Data Engineer

Навыки

• Airflow
• API (интеграции)
• Проектирование архитектуры
• CI/CD
• ClickHouse
• Dagster / Prefect / Luigi
• Дашборды и витрины

О компании и продукте

• НЛМК -предприятие с полным металлургическим циклом: от производства сырья для выплавки чугуна и стали до конечной продукции – плоского металлопроката с высокой добавленной стоимостью. Высококачественная металлопродукция НЛМК применяется в различных стратегически важных отраслях экономики, от строительства и машиностроения до производства энергетического оборудования и труб большого диаметра.

Задачи

• Разработка, сопровождение и развитие ETL/ELT-процессов сбора, обработки, преобразования и загрузки данных
• Проектирование, разработка и сопровождение хранилищ данных и витрин данных
• Интеграция данных из различных источников (базы данных, API, файловые системы, брокеры сообщений и другие внешние системы)
• Разработка, настройка и сопровождение автоматизированных пайплайнов обработки данных
• Обеспечение качества, полноты, целостности и актуальности данных. Оптимизация производительности процессов обработки данных, SQL-запросов и систем хранения
• Администрирование и сопровождение платформ хранения и обработки данных
• Разработка и сопровождение CI/CD-пайплайнов для процессов обработки данных
• Анализ требований, оценка трудоемкости и участие в проектировании решений по обработке данных
• Проектирование архитектуры платформ обработки данных и принятие технических решений по их реализации
• Взаимодействие с командами разработки, аналитики данных, Data Science и другими подразделениями в рамках реализации проектов
• Подготовка технической документации и сопровождение разработанных решений

Требования

• Знание языка программирования Python и языка запросов SQL
• Опыт разработки, сопровождения и оптимизации ETL/ELT-процессов обработки данных
• Практический опыт работы с реляционными и нереляционными базами данных (PostgreSQL, ClickHouse, MongoDB или аналогичными)
• Опыт работы с инструментами оркестрации потоков данных (Apache Airflow, Prefect или аналогичными)
• Опыт обработки больших объемов данных с использованием Apache Spark, Pandas или аналогичных технологий
• Практический опыт работы с системами потоковой обработки данных и брокерами сообщений (Apache Kafka, RabbitMQ или аналогичными)
• Опыт работы с Docker и Kubernetes
• Понимание принципов построения хранилищ данных (Data Warehouse, Data Lake, Lakehouse) и моделирования данных
• Опыт разработки и сопровождения CI/CD-пайплайнов для процессов обработки данных
• Навыки оптимизации SQL-запросов и производительности систем хранения данных
• Умение работать с технической документацией
• Аналитическое мышление, ответственность, умение работать в команде и самостоятельно принимать технические решения
• Работа в группе НЛМК - это
• Работа в международной сталелитейной компании с активами в России, США и странах
• Европы, с развитыми корпоративными ценностями и стандартами
• НЛМК – лидер ESG рейтинга RAEX-Europe по итогам 2022 г.1 среди российских предприятий – лидеров рынка
• Открытая корпоративная культура для новых идей и предложений (Банк идей)
• Высокие стандарты безопасности труда и культуры производства
• Уникальные технологические и инновационные проекты
• Программа бесплатных консультаций юриста, эксперта по здоровому образу жизни, психолога и финансового советника
• Возможности для саморазвития и обучения – Университет НЛМК, электронные библиотеки МИФ, Альпина Диджитал, участие в конференциях, развитие наставничества и менторинга, содействие в повышении квалификации, программы профессионального и карьерного развития, изучение иностранного языка по специальным условиям для сотрудников компании
• Спортивные и культурные мероприятия (спортивные игры, день металлурга, юбилейные даты общества, Новый год)
• Релокационный пакет с нашей поддержкой

Условия

• Оформление по ТК РФ, ежегодная индексация заработной платы, прозрачная система премирования
• Корпоративные льготы: корпоративная сотовая связь, летние путёвки для детей, новогодние детские подарки, программы лояльности от партнеров, частичная компенсация стоимости питания , материальная поддержка сотрудников в различных жизненных ситуациях

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.