Разработчик дата-платформы Logos

Навыки

• Airflow
• Самостоятельность
• Big Data
• CI/CD
• C++
• Dagster / Prefect / Luigi
• Анализ данных

О компании и продукте

• Наша команда разрабатывает внутреннюю платформу управления данными Logos. С её помощью ML-инженеры, дата-инженеры и аналитики Яндекса строят ETL-пайплайны обработки данных, хранилища данных для аналитики и отчётности, собирают датасеты для машинного обучения и обучают модели. Под управлением нашей платформы находится около 10 тысяч регулярных процессов, которые каждый день обрабатывают десятки и сотни петабайт данных. Среди наших пользователей — Реклама, Маркет, Кинопоиск, Музыка, Плюс и многие другие сервисы Яндекса. Мы помогаем нашим пользователям сосредоточиться на содержимом обрабатываемых данных и извлекать из них пользу, а инфраструктуру, оркестрацию пайплайнов и надёжность их работы берём на себя. Ищем коллегу, который будет помогать нам развивать платформу, используя всю мощь систем хранения и обработки данных Яндекса
• Как мы тестируем дата-пайплайны в рекламе Яндекса (видео тут ). Опыт построения DMP в рекламе Яндекса

Задачи

• Разработчик дата-платформы Logos
• Как регулярно строить всё больше ML-пулов на MapReduce, а дежурить всё меньше
• Какие задачи вас ждут Разработка ETL-фреймворка
• Наши пользователи создают свои конвейеры обработки данных на Python с помощью фреймворка, который мы разрабатываем
• Вам предстоит расширять его возможности, делать его более гибким и открывать новые сценарии применения
• Одновременно с этим вас ждут задачи по упрощению базовых сценариев и сокращению объёма бойлерплейт-кода, который должны писать пользователи, чтобы снизить трудозатраты на разработку и поддержку процессов обработки данных
• Развитие платформы обработки данных
• Среди наших пользователей такие крупные сервисы Яндекса, как Реклама, Маркет, Плюс, Фантех
• Все они используют общую инфраструктуру Яндекса, при этом данные и процессы каждого сервиса обладают своими особенностями
• Наша задача — снизить стоимость и сократить время внедрения общих решений, а также распространять лучшие практики, сохраняя при этом максимальную гибкость, чтобы учесть особенности каждого сервиса
• Вы сможете поучаствовать в разработке общих инструментов для управления данными, например data-quality-инструментов, поработать над поддержкой различных систем хранения и обработки данных в рамках дата-платформы
• Повышение надёжности сервиса
• Под управлением нашей платформы находятся десятки петабайт данных и тысячи процессов, принадлежащих десяткам команд более чем дюжины различных сервисов
• На таких масштабах пользователям необходимы инструменты, которые позволяют тестировать их конвейеры в рамках CI/CD и обеспечивать бесперебойную работу процессов в продакшне
• В ваши задачи будут входить разработка средств мониторинга проблем в продакшне и реагирования на них, внедрение лучших практик Яндекса по обеспечению надёжности высоконагруженных сервисов, чтобы наши пользователи могли самостоятельно обслуживать свои конвейеры
• Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования

• Отлично знаете Python
• Знаете базовые принципы и паттерны проектирования ПО
• Стремитесь писать код, который легко читать и поддерживать
• Работали с реляционными и нереляционными базами данных и понимаете их устройство
• От 5 лет
• Санкт-Петербург
• Нижний Новгород
• Разрабатывали и поддерживали библиотеки на Python

Будет плюсом

• Писали на С++ и Golang
• Понимаете, как устроены отказоустойчивые распределённые системы
• Занимались обработкой больших данных, работали с хранилищами данных DWH
• Знакомы с ETL-фреймворками Airflow, Luigi, Dagster и другими
• Офисы в Санкт-Петербурге
• Офисы в Москве
• Офисы в Нижнем Новгороде
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям

Условия

• Гибридный

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.