ML-инженер в группу онлайн-обучения генеративной персонализации

Навыки

• C++
• Отладка и поиск ошибок
• Интеграционное тестирование
• Инференс LLM
• Machine Learning
• Прототипирование
• Python

О компании и продукте

• ML-инженер в группу онлайн-обучения генеративной персонализации
• Мы создаём рекомендательные системы, которые помогают миллионам пользователей находить именно то, что им нужно. Наша команда работает на стыке рекомендательных систем, глубокого обучения и инфраструктуры, надёжно внедряя передовые нейросетевые подходы в высоконагруженные сервисы с тысячами RPS. Что у нас есть. Высокая техническая и исследовательская культура. Удобные инструменты для прототипирования и проведения экспериментов. Сотни топовых GPU и петабайты логов для обучения и инференса моделей. Вариативность проектов и развитие экспертного опыта в области рекомендаций на различных доменах внутри команды
• Мы также делимся результатами наших исследований и выступаем на конференциях (RecSys, KDD). Наши статьи. Scaling Recommender Transformers to One Billion Parameters. Correcting the LogQ Correction: Revisiting Sampled Softmax for Large-Scale Retrieval. Yambda-5B: A Large-Scale Multi-modal Dataset for Ranking And Retrieval. Какие задачи вас ждут Ускорять алгоритмы RL-дообучения рекомендательных моделей. Мы умеем улучшать качество рекомендаций, используя Reinforcement Learning (GRPO, DPO) для быстрой адаптации моделей на основе свежего пользовательского фидбэка
• Мы разрабатываем фреймворк, который уже внедрён в домены Музыки и Картинок и гарантирует такую консистентность

Задачи

• Вам предстоит создавать и оптимизировать рантайм-пайплайн, который позволит дообучать и выкатывать обновлённые нейросетевые модели за десятки минут
• Ключевой фокус — на ускорении итераций RL-цикла и эффективном использовании вычислительных ресурсов
• Строить и внедрять распределённый RT-процессинг
• Для обучения и сервинга современных рекомендательных моделей, работающих с объёмным пользовательским профилем, необходима надёжная и эффективная поставка семплов
• Вы будете расширять существующие и создавать новые системы для сервисов Яндекса, которые обеспечивают хранение, передачу и обработку таких данных с гарантией высокой доступности и бесперебойной работы RL-пайплайнов
• Внедрять концепцию Feature Store для улучшения ML-пайплайнов
• Как обеспечить идентичную обработку признаков для нейросетевых моделей в режимах real-time-инференса и дообучения?
• Вам предстоит расширять его функциональность и сферу применения, уделяя внимание специфике работы с данными для обучения с подкреплением

Требования

• Владеете Python и C++, в том числе имеете уверенные навыки оптимизации
• Понимаете принципы распределённой обработки данных и парадигмы MapReduce
• Знаете основы работы нейронных сетей
• Умеете разбираться в чужом коде и предлагать улучшения архитектуры
• От 3 лет
• Машинное обучение

Будет плюсом

• Занимались разработкой и отладкой многопоточных или высоконагруженных систем

Условия

• Возможность внедрять E2E-решения, которые непосредственно влияют на пользователей

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.