Инженер по данным

Навыки

• Airflow
• Алгоритмы и структуры данных
• Многопоточность
• Анализ данных
• Решения на данных
• Отладка и поиск ошибок
• ETL / ELT

Задачи

• Разработка технологии и программных инструментов потокового расчета признаков (фичей) для моделей машинного обучения
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры
• Реализовывать промышленные отказоустойчивые сервисы ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow, Argo Workflows
• Разрабатывать сервисы потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink

Требования

• Высокий уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование
• Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций
• Общее понимание процессов разработки и эксплуатации моделей машинного обучения, понимание концепции признаков (фичей) моделей
• Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server
• Опыт работы с Apache Kafka для решения задач потоковой обработки данных

Условия

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования
• Удаленный или гибридный формат работы
• Среда для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у тебя будет доступ к бесплатным корпоративным библиотекам Альпины и бизнес - изданий, скидки на курсы иностранных языков
• Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень
• Чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с тобой экспертизой
• Забота о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества
• Также есть фитнес-зал в офисе
• Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.