Data Engineer (Middle)

Навыки

• AI-агенты
• AI-инструменты в работе
• Airflow
• BI-инструменты
• Bitbucket
• ClickHouse
• Confluence

О компании и продукте

• Мы — не просто IT-компания, а место, в котором искусственный интеллект объединяется с человеческим. Мы — это более 250 сотрудников, 3 офиса в России, 3 разных направления развития: заказная разработка, outstaffing, собственные продукты. Помимо уже существующих продуктов и решений на основе AI, мы активно развиваем разработку с использованием технологий LLM и Generative AI. Мы строим мультиагентные системы и платформенные решения для брендов, ритейла и маркетплейсов. Мы ищем Data Engineer , который будет работать на внешних проектах наших клиентов (формат аутстаффинга) , включая проекты в банковском и финансовом секторе с высокими требованиями к надежности, безопасности и обработке больших объемов данных

Задачи

• Мечтай о большем с Napoleon IT
• Разработка ETL на Apache Spark (Java стек)
• Разработка ETL-пайплайнов (Apache Spark, HDFS (parquets), Hive, Greenplum, ClickHouse)
• Разработка витрин данных в Greenplum и ClickHouse
• Оркестрация ETL-процессов
• Оптимизация ETL-процессов (батчинг, ретраи, SLA-контроль)
• Взаимодействие с BI-разработчиками и DevOps для своевременной доставки данных в Superset
• Стек технологий : HDFS, Greenplum, Clickhouse, Apache Spark, Apache Airflow, Python, Qlik Sense, Apache Superset, PL/Pg SQL, OpenShift, Bitbucket, Jira & Confluence, Docker, Kubernetes, Kibana, Grafana
• Готовность осваивать Java для использования Spark

Требования

• Обязательное наличие опыта разработки, можно не владеть java, но иметь опыт со Spark (мы готов обучить Java, но важно, чтобы был опыт с pyspark)
• Опыт работы с Apache Spark от 1 года
• Опыт работы с СУБД (Greenplum, ClickHouse, PostgreSQL) от 2 лет
• Опыт работы с Hadoop (HDFS, Hive)
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных
• Опыт оптимизации ETL-пайплайнов и SQL кода
• Продвинутые знания SQL
• Понимание принципов работы распределенных систем
• Опыт работы в банковской сфере, понимание бизнес домена

Будет плюсом

• Опыт разработки на Java
• Опыт работы в проектах, связанных с миграцией данных или BI-платформ
• Опыт работы в крупных проектах с высокими требованиями к надежности
• Формат работы: гибрид в Москве на Вавилова, на старте 3 дня и более в офисе, далее опционально
• Гибкие варианты сотрудничества
• Индивидуальный план развития с возможностью освоения новых технологий
• Компенсацию расходов на покупку профессиональной литературы
• Доступ к курсам нашей объединенной IT-школы GIGASCHOOL

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.