Data Platform Engineer (NRT/Spark)

Навыки

• Airflow
• Big Data
• ClickHouse
• Дашборды и витрины
• Data Governance
• Data Quality
• DevSecOps

О компании и продукте

• Это экосистема финансовых сервисов, встроенная в повседневную жизнь миллионов пользователей и бизнесов. Это молодое, смелое направление, которое уже доказало свою пользу и продолжает активно расти. Ключевые продукты Финтеха: Яндекс Пэй, Сплит, Сейвы, Карта. Плюса, кредитные продукты, Яндекс ID, Яндекс. Про и многое другое. Это сложная инженерная и аналитическая среда, где пересекаются высокая нагрузка, большие данные и жёсткие требования регуляторов. В команду платформенных данных требуется специалист по Apache Spark с глубоким понимаем внутренней архитектуры фреймворка. Основная задача — развитие платформы для обработки NRT-данных (near real time), повышение отказоустойчивости и производительности потоковых процессов
• Мы готовимся к кратному росту объёмов обрабатываемых данных
• Мы обеспечиваем наблюдаемость и контролируемость процессов
• Мы выстраиваем среду безопасной разработки и повышаем надёжность разрабатываемых решений. В ваши задачи войдёт создание изолированных сред разработки, тестирования и предпрода с автоматизированными процессами проверки. Развитие фреймворков обработки данных. Для ускорения разработки мы создаём low-code-решения. Вам предстоит развивать внутренние фреймворки для загрузки, трансформации и контроля качества данных. Больше о разработке в Яндексе — в канале Yandex for Developers

Задачи

• Data Platform Engineer (NRT/Spark)
• Вот с чем вам предстоит столкнуться
• Высокие нагрузки: миллионы транзакций, таблицы с объёмом далеко за 1 млн записей
• Распределённые данные: используются Greenplum, ClickHouse, Hadoop, Spark для обработки огромных массивов информации
• Архитектура DWH: строятся сложные хранилища данных, витрины для отчётности (регуляторной и управленческой), настраиваются ETL-процессы
• Безопасность и интеграция: проработка интеграций с внешними источниками (БКИ, СМЭВ), автоматизация ручных процессов бэк-офиса, работа с автоматизированными банковскими системами
• Стек для ежедневных задач
• Язык: Python (основной для разработки пайплайнов и скриптов)
• Оркестрация: Apache Airflow (разработка пайплайнов)
• Обработка данных: Apache Spark (Spark SQL, DataFrame)
• Запросы: Trino (работа с данными через движок)
• Какие задачи вас ждут Проектирование и развитие облачной дата-платформы
• Вы будете оптимизировать инфраструктуру и проектировать новые компоненты платформы с использованием облачных технологий Yandex Cloud
• Построение единой observability-платформы для таблиц DWH
• Вам предстоит создать единую точку входа для мониторинга статусов сборки, качества данных и анализа зависимостей, включая построение datalineage и процессы логирования
• Ускорение текущих процессов поставки данных
• Наша задача — ускорить обработку растущих потоков данных
• Вы будете оптимизировать существующие и выстраивать новые надёжные процессы поставки данных, включая процессы взятия снепшотов, загрузки инкрементов напрямую, из аудит-таблиц и CDC, а также внедрять Spark Streaming или аналогичные решения для обеспечения обновления данных с минимальной задержкой
• Построение тестовых окружений

Требования

• Занимались коммерческой разработкой от четырёх лет
• Глубоко понимаете устройство баз данных: оптимизация запросов, планы выполнения, партиционирование, шардирование и индексы
• Владеете СУБД разного типа: PostgreSQL, Oracle, MongoDB, Greenplum
• Имеете опыт работы с CDC (Change Data Capture): понимаете принципы и умеете реализовывать пайплайны
• Уверенно работаете с S3-совместимыми хранилищами
• От 3 лет

Условия

• Гибридный
• Финтех в Яндексе — это одно из ключевых и наиболее динамично развивающихся направлений компании

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.