Data Engineer (Python/Spark/Airflow)

Навыки

• Airflow
• Алгоритмы и структуры данных
• API (интеграции)
• Code review
• Анализ данных
• Data Lake
• DWH

О компании и продукте

• Компания Centicore💙 находится в поисках Data Engineer. Наша компания занимается продуктовой разработкой проектов наших Заказчиков под ключ. Вакансия: Data Engineer (Python/Spark/Airflow). Технический уровень: Middle+. Важно для нас

Задачи

• Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем Банка
• Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения
• Создание и развитие ETL/ELT-проектов на стеке Python + PySpark + Airflow
• Разработка и поддержание в актуальном состоянии технической документации по разработанному функционалу
• Своевременное отражение статуса выполнения задач в Jira
• Проверка качества кода (code review), написанного инженерами и младшими инженерами данных
• Участие в развитии Feature Store и улучшении процессов работы с признаками для ML-моделей
• Для вопросов и резюме - просьба обращаться в лс @ktvsk_d
• Способность разобраться с API поставщиков данных, используя доступную документацию

Требования

• Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - numpy, pandas
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников
• SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum
• Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных - Airflow
• Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark, уверенное знание настроек Spark и их влияния на производительность приложений Spark

Условия

• Формат работы: Удаленно по РФ
• Вилка: 300-340к на руки (в зависимости от опыта и пожеланий кандидата)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.