Инженер данных

Навыки

• AI-инструменты в работе
• Airflow
• Алгоритмы и структуры данных
• API (интеграции)
• Code review
• Анализ данных
• Data Lake

Задачи

• Технопарк) Гибрид Специализация Data Engineering Уровень Middle Требуемый опыт 1 + лет Откликнуться Поделиться Технологии/инструменты Python NumPy Pandas XML JSON API SQL Oracle PostgreSQL Greenplum Apache Airflow PySpark Apache Spark Чем предстоит заниматься
• Реализация высоконагруженных конвейеров обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем банка
• Реализация комплексных задач по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения
• Разработка и поддержание в актуальном состоянии документации по разработанному функционалу
• Своевременное отражение статуса выполнения задач в Jira
• Проверка качества кода (код-ревью), написанного инженерами и младшими инженерами данных

Требования

• Python - уверенное знание структур данных и алгоритмов, эффективное применение принципов ООП и ФП (Функциональное программирование), опыт написания модульных и интеграционных тестов, знание и опыт применения библиотек обработки и анализа данных - NumPy, pandas
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных и слабо структурированных данных (текст, xml, json) из внешних источников
• Способность разобраться с API поставщиков данных, используя доступную документацию
• SQL - умение создавать сложные запросы с использованием аналитических оконных функций и использовать инструменты профилирования для оптимизации их производительности, опыт работы с БД Oracle, Postgres, Greenplum
• Уверенное знание и опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных
• Airflow - Опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark, уверенное знание настроек Spark и их влияния на производительность приложений Spark

Условия

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования
• Пятидневная рабочая неделя: с 9.00 до 18.00 и в пятницу у нас сокращенный рабочий день, удаленный формат работы
• Среда для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у тебя будет доступ к бесплатным - корпоративным библиотекам Альпины и бизнес - изданий, скидки на курсы иностранных языков
• Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень
• Чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с тобой экспертизой
• Забота о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества
• Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты
• Работа у трижды лучшего работодателя РФ по версии hh.ru, Forbes, РБК
• Программа развития ИИ-грамотности: треки по работе с нейросетями от базового до продвинутого уровня

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.