ML-разработчик в команду ускорения инференса

Навыки

• API (интеграции)
• C++
• CUDA / ONNX / TensorRT
• LLM
• Инференс LLM
• Machine Learning
• NLP

О компании и продукте

• Мы ищем инженера-исследователя с опытом чтения и реализации статей, готового экспериментировать и внедрять методы ускорения инференса для современных и быстро меняющихся архитектур LLM. Какие задачи вас ждут Непрерывный разбор статей из ресёрча

Задачи

• ML-разработчик в команду ускорения инференса
• В зависимости от аудитории и нагрузки в сервисе может понадобиться от десятков до тысяч самых современных GPU
• Оптимизация даже десятков процентов ресурсов на таких объёмах уже представляет значимую ценность
• В первую очередь предстоит глубоко ознакомиться с серией статей по теме (более 20 публикаций), систематизировать их и зафиксировать самые перспективные
• Применение методов для Alice AI LLM
• Необходимо провести множество итераций экспериментов по проверке гипотез для Alice AI LLM, чтобы перейти к генерации и реализации новых подходов
• Также нужно будет подтвердить практическую применимость методов: замерить качество и ускорение
• Разработка универсальных инструментов
• И наконец, предстоит создать общее решение, которое будут переиспользовать ML-инженеры во всём Яндексе
• Больше об ML в Яндексе — в канале Yandex for ML

Требования

• Работали с современными LLM и понимаете, как устроена их архитектура
• Пишете на Python, имеете опыт разработки на Torch
• Глубоко разбираетесь в NLP
• Знакомы с пайплайном инференса генеративных моделей, знаете такие оптимизации, как KV-кеширование
• Понимаете, как изменяются вычисления при изменении batch_size
• Разбираетесь в пользовательских требованиях к API моделей: RPS, latency per token/sample, GPU VRAM, SM utilization
• От 3 лет

Будет плюсом

• Уверенно владеете C++ и знакомы с программированием на CUDA

Условия

• Гибридный
• Alice AI LLM всё глубже проникает в сервисы компании и решает самые разнообразные задачи, принося пользу людям
• Каждое внедрение ставит перед разработчиками уникальные вызовы, связанные с качеством и скоростью работы ML-моделей
• Но для каждого запуска неизменно одно: инференс моделей в production стоит очень дорого

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.