Разработчик бэкенда в Data Transfer

Навыки

• API (интеграции)
• Big Data
• C++
• ETL / ELT
• Java
• Ответственность за результат
• Оптимизация производительности

О компании и продукте

• Наша команда делает сервис для поставки данных, который связывает реалтайм-потоки данных на базе YDB Topics и систему хранения и обработки больших данных YTsaurus. Сервис обрабатывает десятки тысяч поставок (а это петабайты данных) каждый день. Благодаря этому сервисы Яндекса могут решать задачи пакетной обработки (batch processing) и архивного хранения своих данных, а также многие другие. Мы ищем опытного ответственного разработчика, который будет вместе с нами делать поставки быстрее, надёжнее и удобнее в использовании

Задачи

• Разработчик бэкенда в Data Transfer

Требования

• Разрабатывали и эксплуатировали сервисы в проде
• Умеете и хотите писать код на С++ и Python
• Интересуетесь областью работы с данными
• Больше о команде
• Видео о команде
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям
• От 3 лет

Условия

• Масштаб : возможность поработать с большими данными и познакомиться с тем, как с ними работают разные команды, получить или передать опыт в данной области
• Крутые коллеги : мы близко и активно взаимодействуем с другими инфраструктурными сервисами, составляющими технологический фундамент Яндекса (в первую очередь это YTsaurus и YDB)
• Гибкий график и распределённая команда
• Какие задачи вас ждут Оптимизация производительности и инфраструктурные задачи
• Из-за масштабов сервисов даже небольшие изменения дают заметный эффект на уровне всей компании
• Вам предстоит работать и с горячими путями работающего кода (профилированием, снижением потребления CPU и памяти, ускорением критичных операций), и с архитектурными улучшениями (пересмотром компонентов, где текущий дизайн стал узким местом)
• Также нужно будет поддерживать баланс между скоростью переноса данных, их консистентностью и нагрузкой на источники и приёмники
• Повышение качества и упрощение эксплуатации
• Стабильность сервисов напрямую влияет на бизнес-процессы большинства продуктов Яндекса, включая денежные показатели
• Ваша задача — усилить механизмы наблюдаемости, автоматизировать регламентные операции, снизить количество ручных действий при инцидентах, поднять покрытие тестами и учениями отказоустойчивости
• Улучшение User Experience
• Работаем над тем, чтобы сервисы были проще и доступнее — от понятных сообщений об ошибках и предсказуемого поведения API до документации, шаблонов и инструментов, которые снижают порог входа для новых пользователей
• Работа над механизмом поставки exactly-once
• Вам предстоит проработать и реализовать механизм, который обеспечит семантику поставки exactly-once для тех хранилищ, где она не поддерживается из коробки
• Развитие сервиса Data Transfer
• Вы поможете сервису Data Transfer эволюционировать в полноценный ETL-инструмент с возможностью потоковой обработки данных непосредственно в процессе их переноса
• Больше о бэкенде в Яндексе — в канале Yandex for Backend
• Гибридный

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.