Senior · Удалённо из России · Россия · Английский не нужен
Навыки
Airflow
Алгоритмы и структуры данных
КриптоПро
ETL / ELT
Kafka
MongoDB
Pandas
Ещё 4
Polars / Dask
PostgreSQL
Python
Потоковая обработка
О компании и продукте
Должность: Senior Data Engineer
Задачи
Загрузка и регулярное обновление мастер- и справочных данных платформы: госзаказ, справочники, система специальностей и квалификаций, контингент, дипломы, оценки, аттестаты, директора, обновления по колледжам
Поддержка и разработка конвейеров ingestion (ETL): каталоги / атрибуты /оркестрация
Нормализация, валидация и маппинг данных из разнородных и легаси-форматов
постоянный контроль качества загрузок
Сопровождение контрактов данных на стыке с CDC-контуром (Mongo → Kafka → PostgreSQL, Pub/Sub со смежными сервисами)
Сопровождение методологии отчетности и выгрузок: поддержка рабочих отчетов, участие в регулярной подготовке государственной отчётности
Документирование пайплайнов, структуры данных и методологии
Требования
Технические навыки
Python для ETL: Polars / pandas, пайплайны as-code
Оркестрация пайплайнов: Temporal (или Airflow-подобные)