Data Engineer

Навыки

• Airflow
• API (интеграции)
• Проектирование архитектуры
• Avro / Parquet
• BI-инструменты
• Big Data
• CI/CD

О компании и продукте

• Амаркон — российская компания с 15-летним опытом в области информационных технологий. Разрабатываем и внедряем собственные решения класса ECM, PIM, DAM, BI, порталы и сервисы для e-commerce, а также осуществляем заказную разработку и интеграцию партнерских продуктов. Среди клиентов: X5 Group, Tele2, Русатом Сервис, НЛМК, Metro CC, Лента и другие.

Задачи

• Разрабатывать интеграционные решения на BigData: сбор, трансформация и загрузка данных из API, логов, БД, CRM в Data Lake и DWH
• Проектировать и развёртывать ETL/ELT-пайплайны на Airflow, Apache Nifi (или аналогах) с автоматизацией, мониторингом и обработкой ошибок
• Оптимизировать производительность запросов и хранилищ: партиционирование, индексы, настройка Hive/Spark, работа с форматами Parquet/ORC/Avro
• Обеспечивать качество и безопасность данных: валидация, дедупликация, управление доступом, маскировка PII
• Участвовать в архитектурных решениях (DWH vs Data Lake, batch vs stream, CDC), разрабатывать документацию и архитектурные схемы
• Участвовать в код-ревью, выстраивании CI/CD, оперативно реагировать на инциденты

Требования

• Python: уверенное владение (pandas, requests, ООП, паттерны)
• Java или Groovy: чтение и доработка кода
• Продвинутый SQL: оконные функции, CTE, JOIN-ы, чтение execution plan, оптимизация, индексы, партиционирование
• Реляционные СУБД: PostgreSQL, MySQL, Oracle, MsSQL и др
• Понимание DWH и Data Lake
• Hadoop-экосистема: HDFS, Yarn, Hive или аналоги
• Форматы данных: Parquet, ORC, Avro
• Spark (PySpark/Scala): чтение/запись, оптимизация, партиционирование
• Airflow, Apache Nifi или аналоги (Talend, Informatica, SAP BW) — проектирование, разработка, сопровождение
• Настройка мониторинга, обработки ошибок, логирования
• Docker (сборка, контейнеризация)
• Деплой в Rancher или Kubernetes
• Git (консоль: ветки, мерж, конфликты)
• Понимание CI/CD, код-ревью. Желательно
• Администрирование Unix/Linux
• Мониторинг (Zabbix, Grafana)
• Архитектурные схемы
• Безопасность данных (Ranger, маскировка)
• Облачные платформы (AWS/GCP/Azure: S3, EMR/Dataproc, IAM, VPC)

Условия

• Удалённая работа
• Официальное оформление (ИП, СЗ)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.