Дата-инженер

Навыки

• Airflow
• Дашборды и витрины
• Data Quality
• ETL / ELT
• Hadoop
• HBase / Hive
• Machine Learning

Задачи

• Разработка и оптимизация скриптов и витрин
• Реализация дата-продуктов
• Анализ качества данных
• Разработка проверок качества данных для витрин и их последующий мониторинг
• Проектирование решений
• Оптимизация хранения и доступа к большим массивам данных
• Подготовка технической документации и описание логики расчёта витрин
• Участие в развитии практики data quality и улучшении процессов работы с данными
• Создание и сопровождение ETL/ELT-процессов на базе SQL, Python, Spark, Airflow
• Дата-инженер
• LinkedIn
• Copy link
• Системное администрирование

Требования

• Высшее образование
• Знание SQL (Oracle, Postgres), Hadoop (HDFS, Hive, Impala, Sqoop, Spark) — уровень выше среднего, умение оптимизировать код
• Знание инструментов обработки и трансформации данных (Spark, Apache Airflow)
• Знание теории баз данных
• Умение структурировать информацию
• Знание Python и опыт анализа и обработки данных
• Знание принципов работы моделей (DS) / опыт работы с машинным обучением (ML)
• Английский язык
• Не требуется

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.