Data Engineer

Навыки

• Airflow
• Самостоятельность
• AWS
• Data Lake
• dbt
• ETL / ELT
• Jenkins

О компании и продукте

• Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации. В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны. Наша платформа основана по принципам LakeHouse архитектуры. Наш стек: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub
• Это делает отдельная команда инфраструктуры

Задачи

• активно участвовать в командном чате: отслеживать запросы, оперативно реагировать на вопросы и задачи в рабочее время
• мониторить системы и решать возникающие инциденты вместе с дежурными дата инженерами
• оптимизировать текущие процессы обработки данных
• модернизировать текущую дата платформу вместе с Core командой дата инженеров
• Чего ждём от тебя
• понимание как работают распределенные вычисления
• опыт работы в нашем стеке Apache Spark, Apache Airflow, DBT, Trino будет плюсом
• самостоятельность и ответственность, умение коммуницировать с разными командами и людьми
• желание развиваться и выстраивать процессы вокруг себя
• Как мы работаем
• в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать
• без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений
• на райском острове: можно работать на Пхукете с видом на океан
• Тестирование и сборка производятся на CI сервере (Jenkins)
• Также присутствует Terraform
• Деплой в Kubernetes(EKS в AWS)
• Настройкой серверов и разворачиванием баз мы не занимаемся

Требования

• опыт работы инженером данных от 1 года
• знание языков программирования: Python/SQL (обязательно), опыт работы с другими языками будет плюсом
• понимание принципов ETL/ELT процессов и опыт работы с инструментами

Условия

• В нашу дружную команду нужен начинающий дата инженер, который в ближайшей перспективе будет сфокусирован на задачах, связанных с поддержкой работоспособности дата платформы и главного продукта компании
• компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.