Senior Data Engineer

Навыки

• Airflow
• BI-инструменты
• Big Data
• ClickHouse
• Дашборды и витрины
• Data Quality
• dbt

Задачи

• Развитие новой функциональности
• Разрабатывать новые ETL/ELT-процессы обработки и доставки данных из корпоративных систем в ядро хранилища. Модифицировать и улучшать существующие процессы
• Разрабывать dbt модели
• Разрабывать DAG в Airflow, настраивать контроль SLA, мониторинг и алерты, обрабатывать инциденты при сбоях загрузок
• Проектировать и оптимизировать таблицы и витрины в ClickHouse для аналитичских команд и BI-систем
• Разрабатывать контроли качества данных используя фреймворки Great Expectations и dbt-tests
• Описывать технические части итоговой работы в документации. Улучшение того, что уже есть
• Исследовать проблемные места в текущей реализации и предлагать способы решения проблем
• Проводить оптимизацию задач с недостаточной производительностью
• Проводить рефакторинг кода
• RnD и взаимодействие со смежными командами
• Проводить исследования различных инстументов для работы с данными
• Взаимодействовать с командами смежных систем для выбора оптимальных решений при проектировании изменений

Требования

• Уверенно владеть SQL (оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса)
• Понимать принципы работы Airflow (даги, таски, операторы, сенсоры, хуки, контекст)
• Уверенный опыт работы с Python достаточный для разработки операторов в Airflow (ООП)

Будет плюсом

• Опыт работы с системами мониторинга (Prometheus + Grafana, Open Telemetry, Sentry)
• Опыт работы с СУБД Clickhouse
• Опыт работы с технологиями и инструментами для работы с большими данными Spark (PySpark)

Условия

• График работы: 5/2 с 09:00 до 18:00 (в пятницу до 16:45)
• Работа в аккредитованной Минцифры ИТ-компании
• Конкурентоспособная заработная плата (обсуждается по результатам собеседования)
• программа ДМС со стоматологией, корпоративная мобильная связь, санаторно-курортное лечение
• Возможность расти как вертикально, так и повышать уровень своих профессиональных и деловых компетенций
• Внутреннее обучение: конференции, тренинги, мастер-классы, корпоративный университет. Внешнее обучение по направлению профессиональной деятельности
• Возможность присоединиться к нашим спортивным командам по мини-футболу, баскетболу, волейболу или чирлидингу
• Корпоративная электронная библиотека
• Комфортный офис в бизнес-центре «NordStar» с удобным расположением (5 мин пешком от метро «Беговая», МЦД-1)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.