Инженер данных в городе Москва с опытом работы от 3 до 6 лет

Навыки

• Airflow
• ClickHouse
• Code review
• Дашборды и витрины
• Data Quality
• dbt
• Docker

О компании и продукте

• Предприятие. Москва, Новолипецкий металлургический комбинат
• НЛМК — крупнейший в России и один из самых эффективных в мире производителей стальной продукции. Производственные активы в России, Европе, Азии и США. Мы создаем совершенную сталь для ключевых отраслей: от строительства до ветроэнергетики. Разрабатываем новые технологии и внедряем передовые цифровые решения. Наша команда состоит из ML и CV DS, MLOps и DE. Мы занимаемся созданием моделей машинного обучения для реального производства. Мы ищем ещё одного крутого инженера, желающего развиваться в направлении Data Engineering

Задачи

• Ведение актуальное документации по витринам, источникам данных
• Построение витрин в S3 хранилище, ClickHouse
• Интеграция с внешними сервисами (Web сервисы, БД, Kafka)
• Написание ETL пайплайнов на PySpark
• Создание DAG-ов в Airflow
• Визуализация результатов на дашбордах (Superset, Redash)
• Проведение код-ревью, рефакторинг Python кода
• Развитие Web сервиса на FastAPI
• Оптимизация PySpark кода
• Исследование источников данных: владельцы, методы расчета, помощь DS-ам в подготовке данных
• Внедрение DQC (Data Quality Checks)
• Инженер данных

Требования

• Опыт построения витрин данных
• Опыт настройки ETL процессов
• Практический опыт S3, Hadoop, ClickHouse, PostgreSQL
• Знание Superset, Redash
• Опыт работы с PySpark, Kafka, Airflow, DBT, flyway
• Знание языков SQL, Python, Java (опционально)
• Опыт использования FastAPI (опционально)
• Опыт работы с Docker, Kubernetes
• Работа в группе НЛМК - это
• ДМС, санаторно-курортное лечение
• Корпоративная мобильная связь
• Консультации юриста, психолога, финансового советника, эксперта по ЗОЖ
• Дистанционные (телемедицинские) онлайн-консультации врачей
• Программы комплексного медицинского обследования Check up
• Корпоративный спорт: возможности занятий спортом, спортивные соревнования, семейные спортивные праздники
• Детские новогодние подарки, детский отдых на льготных условиях
• Премия за достижение ключевых показателей
• Уникальные технологические и инновационные проекты
• Открытая корпоративная культура для новых идей и предложений
• Высокие стандарты безопасности труда и культуры производства
• Современное технологичное оборудование

Условия

• Удаленная работа
• Полная занятость
• Частичная компенсация стоимости корпоративного питания
• Ежегодная индексация зарплаты
• Корпоративная пенсионная программа
• Возможности для саморазвития и обучения – Корпоративный и Технологический университет, электронные библиотеки, участие в конференциях, содействие в повышении квалификации, программы

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.