Дата-инженер в Такси

Навыки

• Agile
• Airflow
• Алгоритмы и структуры данных
• CI/CD
• ClickHouse
• Code review
• Dagster / Prefect / Luigi

О компании и продукте

• Команда DWH снабжает менеджеров и аналитиков данными, которые помогают развиваться новым райдтех-направлениям. Мы ищем талантливого инженера данных для работы над DWH, которым пользуются сотни бизнес-пользователей. Какие задачи вас ждут Проектировать, реализовывать и оптимизировать сложные ETL-процессы. У нас широкий инструментарий и огромные объёмы данных. Мы активно развиваем своё хранилище и реализуем новые сложные пайплайны обработки данных. Наши инженеры работают с данными на всех этапах, начиная от появления в источниках и заканчивая финальными витринами и отчётами

Задачи

• Дата-инженер в Такси
• Обеспечивать стабильность и качество того, что уже есть
• Нашими данными пользуется очень много людей, и важно не сломать существующую функциональность
• Можно и нужно заниматься техдолгом: мы всячески поддерживаем любые улучшения, автоматизации, правки и отключение ненужного или устаревшего
• Участвовать в проработке и пилотировании нового
• Flink, Spark, инкрементальное построение, Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами и многое другое — нужно исследовать, сравнивать, пилотировать, думать, превращать в инструменты для всех
• Что-то из этого у нас есть, что-то нужно переосмыслить, что-то внедрить — во всём можно участвовать

Требования

• Уверенно программируете на Python
• Разбираетесь в классических алгоритмах и структурах данных
• Хорошо знаете SQL и понимаете устройство современных баз данных и фреймворков обработки
• Можете объяснить, для чего нужны CI/CD, выделить преимущества использования Git и ревью кода
• От 3 лет

Будет плюсом

• Работали по методологии Agile
• Участвовали в проектировании хранилищ данных
• Знакомы со стеком технологий Hadoop, Spark, Hive
• Создавали сложные высоконагруженные процессы ETL и ELT (отдельным плюсом будет знание инструментов Luigi и Airflow)
• Разрабатывали процессы обработки сложных событий (CEP) во времени, приближенном к реальному (Kafka Streams, Spark, Flink)
• Работаете со специализированными аналитическими базами данных (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, Pandas, SciPy, Matplotlib, Bokeh)
• Размещаете в публичных репозиториях свой код или статьи с примерами работ
• Больше о команде Узнайте про разработку городских сервисов Яндекса на dev.go.yandex

Условия

• Гибридный
• Удалённая работа

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.