Инженер данных Big data

Навыки

• Airflow
• Алгоритмы и структуры данных
• Big Data
• Cassandra / Scylla
• Коммуникация
• Многопоточность
• Дашборды и витрины

Задачи

• Инженер данных
• LinkedIn
• Copy link
• Архитектура ПО
• Обязанности кандидата
• Разработка пакетных ETL/ELT процессов для расчета переменных для моделей машинного обучения
• Создание витрин данных для моделей машинного обучения
• Разработка ETL/ELT процессов для обработки результатов моделей машинного обучения и передачи результатов во внешние системы
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры

Требования

• Английский язык
• Не требуется
• Технические знания и опыт
• Хороший уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование
• Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций
• Понимание принципов распределенных вычислений и обработки данных
• Понимание принципов потоковой обработки данных
• Понимание принципов работы систем распределенного хранения данных – Apache Cassandra, Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg
• Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server
• Опыт работы с системой оркестрации задач Apache Airflow
• Опыт реализации промышленных отказоустойчивых сервисов на Python для пакетной загрузки и трансформации данных (ETL/ELT) на Spark под управлением Airflow
• Опыт работы с платформой потоковой обработки данных Apache Kafka
• Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL
• Личностные качества и коммуникативные навыки
• Проактивный подход к работе – способность и желание искать и предлагать методы и варианты решения задач
• Общий позитивный настрой и активная жизненная позиция
• Умение и желание работать в команде, делиться опытом с коллегами и учиться новым практикам
• Открытость в коммуникации трудностей, препятствующих решению задач

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.