DL-разработчик в команду исследования архитектуры Alice AI LLM

Навыки

• CUDA / ONNX / TensorRT
• LLM
• Инференс LLM
• Machine Learning
• PyTorch

О компании и продукте

• DL-разработчик в команду исследования архитектуры Alice AI LLM
• Наша команда отвечает за исследование архитектуры и обучение моделей Alice AI LLM. Мы занимаемся претрейном LLM, ставим эксперименты с самыми современным подходами, оптимизируем распределённое обучение на большом GPU-кластере, и в итоге наши базовые модели внедряются в ключевые продукты Яндекса. Ищем опытного DL-инженера, который присоединится к команде базовой технологии. Какие задачи вас ждут Воспроизведение и улучшение мировых наработок по обучению LLM

Задачи

• Вы будете реализовывать и исследовать архитектуры LLM и все составные части обучения
• Ваша работа может включать реализацию новых оптимизаторов, постановку экспериментов с Mixture of Experts, улучшение attention-а и многое другое
• Вы будете ставить эксперименты для достижения максимального качества и эффективного инференса моделей
• Повышение эффективности распределённого обучения на GPU
• Вам предстоит ускорять обучение моделей на кластере, исследовать и реализовывать наиболее оптимальные стратегии параллелизма, профилировать CUDA и CPU-код и находить ботлнеки
• Разбор релевантных публикаций
• Нужно будет глубоко анализировать релевантные современные публикации по теме, выявлять наиболее перспективные и полезные подходы, а затем воспроизводить их и улучшать
• Больше об ML в Яндексе — в канале Yandex for ML

Требования

• Обучали и реализовывали трансформерные модели на PyTorch
• Понимаете, как устроены современные LLM
• Имеете опыт в распределённом обучении и знаете, какие алгоритмы в нём используются
• Обладаете крепкой базой в машинном обучении
• От 3 лет

Будет плюсом

• Разрабатывали на CUDA или Triton
• Умеете выявлять и устранять проблемы в процессе обучения на GPU
• Знакомы с FSDP и ZeRO, понимаете концепции Model Parallelism

Условия

• Гибридный

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.