ML-инженер в команду аудиоязыковых моделей

Навыки

• Проектирование архитектуры
• ASR / TTS
• Анализ данных
• Дообучение моделей
• LLM
• Machine Learning

О компании и продукте

• Наша команда обучает аудиоязыковые модели нового поколения. Мы хотим, чтобы одна модель могла понимать звучащий вокруг мир: речь, интонацию, настроение собеседника, фоновые события, музыку, шумы и другие акустические сигналы. Мы решаем задачу в общем виде: строим модели, которые умеют воспринимать аудио как часть полноценного контекста и использовать это понимание в диалоговых и аналитических сценариях. Такие модели мы хотим применять как в сервисах Яндекса, так и для внутренних задач компании. Ищем сильного ML-инженера, который сможет влиять на архитектуру, обучение и качество моделей: от исследовательских гипотез до работающих пайплайнов обучения. Какие задачи вас ждут Обучение аудиоязыковых моделей
• Мы обучаем большие модели, поэтому важны не только идеи, но и качество реализации: воспроизводимые эксперименты, эффективные пайплайны, стабильное обучение, анализ логов, оптимизация узких мест и аккуратная работа с большими вычислениями. Больше об ML в Яндексе — в канале Yandex for ML

Задачи

• ML-инженер в команду аудиоязыковых моделей
• Вы будете участвовать в полном цикле обучения моделей: претрейне, SFT и GRPO
• Нужно будет проектировать эксперименты, анализировать качество, находить слабые места моделей и улучшать их на сложных срезах данных
• Исследование архитектур и рецептов обучения
• Предстоит разбираться в современных подходах к LLM, audio encoders, speech/audio understanding, multimodal alignment и обучению моделей по reward-сигналам
• Важно будет следить за развитием области, читать статьи, обсуждать идеи с командой и проверять перспективные гипотезы на практике
• Работа с данными и метриками качества
• Вам нужно будет участвовать в построении датасетов, формулировать задачи для обучения и оценки, выбирать метрики для разных сценариев: распознавание речи, понимание акустических событий, диалоговые способности, устойчивость к шуму и следование инструкциям по аудио
• Развитие исследовательской и инженерной инфраструктуры

Требования

• Обучали LLM или мультимодальные модели
• Понимаете полный цикл ML-разработки: от идеи и эксперимента до анализа качества и внедрения улучшений
• Умеете разбираться в современных ML-статьях, формулировать на их основе гипотезы, проводить эксперименты и делать выводы по результатам
• Готовы отвечать за направление, архитектурные решения или крупный исследовательский трек
• От 3 лет
• Участвовали в исследовательских проектах, опенсорсных или ML-соревнованиях, имеете публикации

Будет плюсом

• Работали с аудио, речевыми технологиями, ASR, TTS, speaker/audio understanding или audio representation learning
• Обучали мультимодальные модели или применяли SFT, RLHF, DPO, GRPO и другие методы посттрейна
• Работали с распределённым обучением, большими датасетами и инфраструктурой для обучения крупных моделей
• Внедряли ML-модели в продуктовые или внутренние продакшен-сценарии

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.