Data engineer

Навыки

• Airflow
• Bitbucket
• CI/CD
• Дашборды и витрины
• Data Lake
• DWH
• EdTech

О компании и продукте

• Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейнего юнита банка. Нами реализована загрузка, обработка и контроль качетсва разрозненных данных из сотен систем-истоников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop. Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки

Задачи

• Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе
• Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket
• И NRT пайплайны, Kafka, dynamic tables. языки - Python, Java, Scala

Требования

• Обязанности разработка DWH/DataLake/LakeHouse построение поставки данных в Batch/NRT/RealTime оптимизация ETL повышение актуальности данных снижение latency доступа к данным разработка и валидация архитектуры данных Требования отличное знание SQL (join, CTE, оконные функции, фреймы и др.) опыт работы с Hadoop, Spark, Iceberg/Paimon опыт работы с Kafka и др
• Брокерами опыт работы с оркестраторами (например, Airflow) и CI/CD опыт построения архитектуры данных (например, Data Vault, Инман
• Кимбалл и др.) опыт кратной оптимизации ETL практическое знание python на уровне разработки ETL будет преимуществом практическое знание java/scala будет преимуществом практический опыт создания и защиты архитектуры данных будет преимуществом практический опыт разработки solution-архитектуры data-продуктов будет преимуществом

Условия

• Условия офисный формат работы (м Кутузовская ул
• Поклонная
• годовая премия корпоративный спортзал и зоны отдыха более 400 образовательных программ
• СберУниверситета для профессионального и карьерного развития регулярные митапы и развитое DS-community расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ подписка
• Прайм с возможностью совместного использования на трёх близких вознаграждение за рекомендацию друзей в команду Сбер

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.