Инженер данных мастер-систем / Data Engineer

Навыки

• Airflow
• API (интеграции)
• Целевая аудитория
• Самостоятельность
• CI/CD
• ClickHouse
• Data Quality

О компании и продукте

• Melon Fashion Group Сфера Продуктовая компания Размер 101 - 200 Melon Fashion Group — одна из ведущих компаний на рынке модного бизнеса России. Деятельность компании — полный цикл организации fashion-бизнеса: моделирование, производство, закупка, распределение, продажа и продвижение женской одежды.
• Мы формируем отдельное направление мастер-данных и ищем инженера, который поможет построить и развивать его технический контур. Операционные хранилища, интеграционные потоки, история изменений, правила обработки и контроль консистентности данных.

Задачи

• Проектировать структуры операционных хранилищ и модели мастер-данных
• Разрабатывать процессы загрузки, обработки, хранения и передачи данных
• Создавать пакетные и потоковые интеграции между информационными системами
• Настраивать получение изменений из систем-источников, включая CDC-механизмы
• Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных
• Обеспечивать хранение истории изменений мастер-данных
• Готовить данные для передачи в DWH и другие системы-потребители
• Разрабатывать проверки качества данных, технические и бизнес-сверки
• Настраивать мониторинг, логирование и обработку ошибок
• Анализировать причины расхождений, задержек и сбоев в интеграционных процессах
• Участвовать в выборе архитектурных и технологических решений
• Сопровождать и развивать разработанные решения в промышленной эксплуатации

Требования

• Уверенное владение SQL
• Опыт разработки на Python
• Опыт проектирования структур и моделей хранения данных
• Опыт создания ETL- или ELT-процессов
• Понимание принципов пакетной и потоковой обработки данных
• Понимание интеграционных паттернов и способов передачи данных между системами
• Навыки работы с реляционными СУБД
• Понимание механизмов обеспечения целостности и консистентности данных
• Опыт настройки логирования, мониторинга и обработки ошибок
• Умение самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации
• Будет преимуществом
• Опыт работы с Kafka, Flink или Debezium
• Практический опыт реализации CDC-процессов
• Опыт разработки процессов в Apache Airflow
• Опыт работы с ClickHouse
• Участие в создании MDM-решений, мастер-систем или операционных хранилищ
• Опыт реализации правил сопоставления, дедупликации и консолидации данных
• Опыт построения систем контроля качества данных и автоматизированных сверок
• Понимание событийно-ориентированной архитектуры
• Опыт интеграции с API, брокерами сообщений и внешними информационными системами
• Опыт работы с Git, CI/CD и контейнеризацией
• Основной технологический стек
• PostgreSQL
• Microsoft SQL Server
• Apache Airflow

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.