Ведущий разработчик КХД / data engineer (hadoop) в городе Москва с опытом работы от 3 до 6 лет

Навыки

• Airflow
• C++
• Дашборды и витрины
• Анализ данных
• Data Quality
• DWH
• ER-диаграммы

О компании и продукте

• Предприятие. Москва, НЛМК-Информационные технологии
• Группа компаний НЛМК - крупнейший в России и один из самых эффективных в мире производителей стальной продукции расширяет команду и ищет эксперта на позицию Архитектор решений на задачи поддержки и развития информационных систем группы компании НЛМК. Вас ждет

Задачи

• Ведущий разработчик КХД / data engineer (hadoop)
• Проектирование и развитие логических и физических моделей данных источников, хранилищ и витрин данных, включая принципы построения слоев STG/ODS/DDS/DM, а также перемещения данных между ними
• Разработка физических моделей данных с учетом особенностей платформ
• Настройка и поддержка интеграции данных между различными системами
• Извлечение и анализ данных из различных структур: источников данных, хранилищ, витрин, аналитических платформ
• Анализ требований к качеству данных, разработка методики и метрики управления качеством данных - согласованности, своевременности, актуальности, целостности, точности, полноты, достоверности
• Поиск факторов и корневых причин: подготовка, очистка, обогащение, стратификация, визуализация, анализ данных

Требования

• Корпоративные хранилища данных: Опыт построения DWH, DL Разработка процедур загрузки данных из различных источников, автоматизация и контроль ETL\ELT процессов: Apache Airflow Apache NiFi Oozie Знание языков программирования: Python (основные пакеты Numpy, Pandas, SCiPy и др) SQL Java Scala C++
• Знание фреймворков потоковой обработки данных: Kafka Streaming and Connect Flink Spark Streaming Навыки разработки приложений с использованием инструментария экосистемы Hadoop: HDFS, YARN, Hbase, Hive, Spark, Kafka, Sentry, Airflow, Ranger, Impala и т.п
• Опыт работы с реляционными системами управления базами данных (SQL): MSSQL Oracle PostgreSQL MySQL Опыт работы с системами управления базами данных (NoSQL): Clickhouse Cassandra ScyllaDB MongoDB Redis
• Опыт работы
• От 3 до 6 лет

Условия

• Удалённый формат работы
• Конкурентный уровень заработной платы и ежегодная индексация
• Корпоративные льготы: ДМС, льготное страхование родственников, банковские продукты сотрудникам и скидки партнеров
• Обучение и развитие: английский язык в лучших языковых школах, большое количество обучающих курсов от внутреннего корпоративного университета, посещение митапов и конференций
• Возможность принять участие в интересных и сложных проектах с лучшими специалистами индустрии
• Удаленная работа
• Полная занятость

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.