DL/LLM engineer (Multimodal)

Навыки

• aiohttp / asyncio
• ASR / TTS
• Отладка и поиск ошибок
• EdTech
• Дообучение моделей
• LLM
• Machine Learning

О компании и продукте

• Мы — core-команда, которая отвечает за ML для понимания аудио во всем Сбере
• Сейчас мы активно улучшаем мультимодальные возможности GigaChat: работаем над качеством на сложных аудио- и визуальных контекстах и учим модель понимать видео не только по звуковому потоку, но и по кадрам. Цель — совместное обучение на vision+audio и video+audio диалогах длительностью 90+ минут. Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры

Задачи

• Проводить эксперименты по обучению Vision / Audio / Video LLM: данные, стадии обучения, способы смешивания модальностей
• Оптимизировать ML-инфраструктуру для обучения на длинных мультимодальных контекстах
• Формулировать и проверять гипотезы о том, как улучшать качество LLM на видео

Требования

• Сильный опыт в DL-инженерии, желательно в обучении LLM-моделей
• Глубокое знание PyTorch, включая DDP / FSDP Понимание distributed training и efficient deep learning: DP / TP / PP / EP / SP, mixed precision, checkpointing, offloading, профилирование и оптимизация обучения
• Понимание архитектуры LLM: Transformer, attention (MHA / GQA / MLA), RoPE и другие позиционные эмбеддинги, long context, MoE Уверенный Python на уровне production-кода: asyncio, multiprocessing, профилирование, отладка больших систем
• За последний год мы выложили в open source SOTA-модель для распознавания речи на русском языке — GigaAM , а прошлой весной первыми в России запустили нативное понимание звука в LLM — GigaChat Audio
• ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием
• Ваш опыт и участие помогут сделать его удобным и полезным!

Будет плюсом

• Опыт обучения мультимодальных LLM Опыт снижения стоимости контекста при обработке видео Опыт расширения контекста LLM Понимание RL-подходов для обучения моделей: RLHF / RLVR, PPO / GRPO / DPO Опыт построения бенчмарков с использованием LLM-as-a-judge
• СберПрайм+, скидки на продукты компаний-партнеров вознаграждение за рекомендацию друзей в команду Сбера

Условия

• СберУниверситета для профессионального и карьерного развития расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа ипотека выгоднее до 7% для каждого сотрудника бесплатная подписка

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.