Senior Data Engineer

Навыки

• A/B-тесты
• Airflow
• API (интеграции)
• Big Data
• XGBoost / LightGBM / CatBoost
• Дашборды и витрины
• Docker

О компании и продукте

• Мы ищем data engineer’а в команду, занимающуюся развитием ML-подходов в страховании. Если у вас хорошая математическая подготовка, вы любите анализировать большие объемы данных и хотите получить опыт участия в полном цикле разработки ML-решений, а также готовы внедрять эти решения и влиять на бизнес, то мы будем рады видеть вас в нашей команде. Наши модели работают в online-режиме 24/7, решая задачи оценки риска, выявления фрода, ценообразования и формирования индивидуальных предложений. Мы оцениваем влияние нашей работы на бизнес-метрики с помощью A/B-тестов. Используем в работе open-source решения: Spark, MLFlow, DVC, Feast, CatBoost, Docker, данные готовим на Hadoop-кластере.

Задачи

• Заниматься разработкой новых data-пайплайнов с использованием Pyspark, Airflow, как и батч загрузку, так и стриминг с помощью Kafka Готовить витрины данных, в том числе из сырых логов
• Разрабатывать API и сервисы по данным
• Подключать новые источники и отвечать за бесперебойную поставку данных
• Поддерживать и наполнять OpenMetaData

Требования

• Уверенный Python и Отличные знания SQL (JOIN, подзапросы, оконные функции)
• Уверенные знания стека Hadoop (HDFS, YARN, Hive) и Pyspark
• Понимание принципов построения data-пайплайнов (kappa И lambda - архитектуры)
• Знакомство с Kafka и Airflow, понимание их роли в data-пайплайне
• Знание базовых команд Linux-консоли, git
• Интерес к технологиям больших данных и большое желание учиться

Будет плюсом

• Знакомство с системами контейнеризации и виртуализации Linux (Docker, Kubernetes)
• Опыт разработки REST-сервисов на Python (Flask / FastAPI)
• Знакомство с Kafka
• Знакомство с CDC (Debezium)

Условия

• Работу в профессиональной команде, которая готова делиться знаниями и опытом
• Возможность внешнего обучения и прокачки твоих скиллов за счет Компании
• Заботу о сотрудниках: возможность прохождения медицинских chek-апов, безлимитные бесплатные консультации с финансовыми консультантами, юристами и психологом
• В компании поддерживается и развивается культура ЗОЖ
• Отличный социальный пакет, включающий ДМС, скидки на страховые продукты компании, скидки от наших партнеров (туризм, фитнес и т.д.)
• Обеспечение техникой для работы
• Гибридный график работы 5\2 (гибкое начало дня с 8 до 10)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.