ML-разработчик в команду базового алайнмента Alice AI LLM

Навыки

• Дообучение моделей
• LLM
• Machine Learning
• NLP

О компании и продукте

• Наша команда занимается стадией алайнмента Alice AI LLM. Мы превращаем LLM, обученную предсказывать следующий токен в документах из интернета, в диалогового агента, способного выполнить широкий спектр запросов пользователя. Какие задачи вас ждут Обучение следованию инструкциям пользователя (Supervised Fine-tuning, SFT)
• Это примеры вопросов, на которые мы ищем ответы с помощью ML-экспериментов
• Мы собираем разметку относительного качества ответов модели и учим её генерировать ответы наилучшего качества. На этом этапе мы применяем алгоритмы online-RL (GRPO, GSPO) и используем комбинацию стадий RLHF и RLVR. Также мы занимаемся обучением с одновременным учётом нескольких аспектов качества
• Мы развиваем свою линейку reward-моделей, которые могут быстро оценивать качество ответа модели на уровне человека. Кроме базового обучения моделей наград, мы применяем подходы с использованием рубрицированных оценок, а также используем LLM-as-a-Judge (LLMaJ) напрямую. Объединение экспертных моделей. Мы занимаемся объединением экспертных моделей, обученных на разных доменах, в единую модель, которая сочетает в себе сильные качества каждой из них. Для этого мы активно исследуем и применяем такие методы, как On-Policy Distillation (OPD). Больше об ML в Яндексе — в канале Yandex for ML

Задачи

• ML-разработчик в команду базового алайнмента Alice AI LLM
• Чтобы превратить предобученную LLM в диалогового агента, нужно собрать множество демонстраций желаемого поведения модели на разнообразных задачах
• Обучение модели на основе пользовательских предпочтений и верифицируемых наград (RLHF, RLVR)
• После стадии SFT качество ответов модели даже на один и тот же запрос может очень сильно различаться
• Обучение модели наград (Reward Modeling)
• Разметка качества ответов людьми — очень дорогой и небыстрый процесс, а алгоритмы online-RL требуют оценки в реальном времени

Требования

• Отлично знаете классические методы ML и NLP
• Понимаете, как устроены современные LLM, решали с их помощью прикладные задачи или имеете релевантный исследовательский опыт
• От 3 лет
• Какие именно задачи важнее, насколько сложными могут быть демонстрации, каких навыков модели не хватает для решения конкретной задачи и как модель может выучить этот навык на стадии алайнмента?

Условия

• Гибридный
• Удалённая работа

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.