Ведущий инженер данных / Lead Data Engineer

Навыки

• Airflow
• Ceph / MinIO
• Data Lake
• Docker
• DWH
• ETL / ELT
• Git

О компании и продукте

• Blaze Analytics — команда, специализирующаяся на построении аналитических платформ и решениях в области управления данными. Мы помогаем крупным компаниям и государственным организациям трансформировать работу с данными: от legacy-систем к современной Data Platform. Сейчас мы расширяем команду и ищем Ведущего инженера данных (Lead Data Engineer) для участия в проекте построения Data Lakehouse для крупного государственного заказчика

Задачи

• В перспективе предстоит возглавить группу из 3-4 инженеров данных
• Стэк проекта: CedrusData (Trino) + Apache Iceberg, Spark, Airflow, Kafka + MinIO / VK Cloud Storage + Debezium + XML / XSD
• Создание модулей автоматизации ETL-процедур для переиспользуемого шаблонного кода
• Оптимизация разработанных решений
• Организационные и лидерские задачи: Управление командой 2-4 человека (постановка задач, соблюдение общих стандартов и валидация результатов)
• Декомпозиция высокоуровневых задач и делегирование разработчикам
• Выстраивание процессов разработки (стандарты, CI/CD, стенды, инструкции развертывания)
• Проведение технических демо разработанного функционала заказчику

Требования

• Какой опыт и навыки для нас обязательные Понимание принципов функционирования распределенных систем/вычислений
• Понимание основ проектирования эффективных приложений для СУБД и подходов к оптимизации
• Опыт разработки PySpark и оптимизации Spark-приложений
• Опыт разработки на Python
• Опыт работы с одной из СУБД: Postgres, Oracle, Greenplum или аналогичной
• Опыт работы с Airflow
• Опыт работы с git
• Уверенный пользователь Linux (типовые команды и утилиты)
• Опыт работы с табличными форматами (предпочтительно Iceberg или DeltaLake/Hudi)
• Опыт работы с Docker и Kubernetes
• Опыт разработки на Java (или понимание основ JVM)
• Опыт работы с инструментами мониторинга (Grafana, Prometheus и аналогичные)
• Задачи, которые тебя ждут Разработка программных модулей (преимущественно ETL) с использованием PySpark и Airflow

Будет плюсом

• Желательно Опыт работы с Trino/Hive/Hadoop

Условия

• Простор в реализации идей в рамках проекта
• Мы за продуктовый подход - если ты знаешь предметную область заказчика, готов обосновать свои предложения и понимаешь, как они вписываются в цели проекта, то мы поддержим и дадим возможность их реализовать
• Низкий уровень бюрократии, а также возможность влиять на процессы в компании
• Рост до позиции руководителя группы инженеров данных
• Работу в аккредитованной IT-компании
• Своевременную белую зарплату дважды в месяц с возможностью роста
• Гибридный формат ( обязательно быть в Москве, 2-3 дня в офисе заказчика в неделю )
• Покупку техники (ноутбук + монитор)
• Различные варианты оформления - в штат или на ГПХ
• Проект находится в активной фазе развития: мы переносим сотни потоков данных из legacy DWH в современную гибридную архитектуру

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.