ML Engineer / Research Engineer — обучение LLM с нуля

Навыки

• Big Data
• Анализ данных
• LLM
• Machine Learning
• NLP
• Python
• PyTorch

О компании и продукте

• Наша команда обучает с нуля базовые модели Alice AI LLM. На них строятся Алиса и другие продукты Яндекса, которыми пользуются миллионы людей. Мы работаем с претрейном — первым и самым масштабным этапом обучения LLM
• Мы отвечаем за полный цикл создания претрейн-моделей: от формирования обучающего корпуса и проверки исследовательских гипотез до масштабных запусков на GPU-кластерах и анализа модели

Задачи

• ML Engineer / Research Engineer — обучение LLM с нуля
• Вы будете создавать LLM с нуля, а не только использовать или дообучать готовые модели
• Сможете влиять на фундаментальные знания и способности модели
• Результаты вашей работы станут основой следующего поколения Alice AI LLM и всех продуктов Яндекса, построенных поверх неё
• Если вам интересно понимать, почему модель приобретает новые способности и как сделать её сильнее с помощью данных и методов обучения, — будем рады познакомиться
• Какие задачи вас ждут Исследование данных для претрейна
• Современные LLM обучаются на триллионах токенов, но объём корпуса сам по себе не гарантирует качество
• Важно понять, какие данные действительно развивают способности модели
• Вы будете исследовать
• какие источники дают наибольший прирост качества
• как сочетать веб-данные, специализированные корпуса и синтетику
• как выбирать оптимальное соотношение доменов и языков
• как менять состав обучающей смеси по ходу претрейна
• как масштабировать выводы небольших экспериментов на крупные модели
• Обучение моделей с нуля
• Вы пройдёте полный цикл создания новой LLM
• сформулируете гипотезу
• подготовите экспериментальный датасет
• запустите обучение proxy-моделей
• проведёте абляции и проанализируете результаты
• определите, как подход ведёт себя при масштабировании
• перенесёте успешные изменения в обучение большой модели
• Предстоит работать не только с финальными метриками, но и с динамикой обучения: исследовать, как разные способности возникают и развиваются по мере претрейна
• Scaling laws и раннее прогнозирование качества
• Обучение большой модели требует значительных вычислительных ресурсов, поэтому особенно важно заранее понимать, какие решения стоит масштабировать

Требования

• Хорошо знаете Python
• Имеете опыт в ML, NLP, LLM или других областях deep learning
• Понимаете принципы работы и обучения трансформеров
• Умеете формулировать гипотезы и ставить контролируемые эксперименты
• Способны анализировать результаты и находить причины изменений качества
• Умеете читать исследовательские статьи и оценивать применимость идей на практике
• Готовы работать с задачами, для которых ещё нет готовых решений
• Необязательно соответствовать всем пунктам: сильного опыта в нескольких из них уже достаточно
• От 3 лет
• Меня зовут Екатерина Редина, я руковожу командой исследования знаний
• Именно здесь формируется фундамент будущей модели: её знания, способность понимать язык, рассуждать, писать код и осваивать новые задачи
• Екатерина Редина
• Руководитель команды исследования знаний
• Вы получите редкий опыт на стыке исследований, обучения моделей и систем обработки больших данных — опыт, который сегодня определяет, кто задаёт направление развития LLM, а кто их только настраивает
• как данные влияют на знания, reasoning, coding и другие способности

Будет плюсом

• Знакомы с любыми из этих областей: претрейн или посттрейн LLM, PyTorch и распределённое обучение, обработка больших данных, подготовка обучающих корпусов, scaling laws, evaluation LLM, synthetic data, обучение моделей на GPU-кластерах

Условия

• Гибридный
• Удалённая работа

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.