Data Scientist в команду LLM

Навыки

• Самостоятельность
• Code review
• CUDA / ONNX / TensorRT
• Анализ данных
• Дообучение моделей
• Git
• LLM

О компании и продукте

• Наша команда занимается обучением собственных базовых LLM и их внедрением в разнообразные бизнес-сценарии Авито. Цель команды — обеспечить все продукты оптимальными моделями как по качеству ответов, так и по стоимости применения (cost-efficiency).Мы адаптируем лучшие open-source решения под русский язык и доменную специфику Авито с помощью Continual Pre-training и подмены токенизатора.Для постоянного улучшения моделей мы непрерывно исследуем новые методы, пайплайны, включая RL и синтетические данные, и датасеты. Чтобы оставаться на острие технологий, мы проводим регулярные LLM-семинары, где разбираем свежие статьи и тренды AI.Наш технический фокус сегодня:— Построение оптимального и масштабируемого пайплайна для претрейна и дообучения LLM.— Оптимизация инференса: работа с современными движками, квантованием, speculative decoding и другими методами ускорения.

Задачи

• Масштабирование базовой модели A-vibe: исследование новых архитектур и подходов к обучению
• Оптимизация скорости и стоимости инференса высоконагруженных моделей в продакшене
• Проектирование и помощь в разработке внутренних LLM-платформ и multi-agent-систем
• Построение надёжной инфраструктуры для оценки качества моделей (evaluation)

Требования

• Хорошо понимаете основы машинного и глубокого обучения, знаете устройство Transformer и базовые подходы к работе с NLP-моделями
• Имеете практический опыт обучения или дообучения нейросетевых моделей и работы с датасетами, метриками и валидацией
• Уверенно пишете на Python, умеете работать с PyTorch и знакомы с базовыми инженерными практиками: Git, тестирование, Code Review
• Умеете корректно ставить эксперимент, сравнивать подходы и объяснять, почему получился тот или иной результат
• Можете самостоятельно доводить до результата задачу с понятной постановкой, вовремя подсвечивать риски и обращаться за помощью, когда она нужна
• Интересуетесь LLM, читаете технические материалы и готовы быстро осваивать новые инструменты и подходы
• Имеете опыт с современными NLP-моделями либо участвовали в их внедрении в продакшен

Будет плюсом

• Работали с Hugging Face Transformers, PEFT/LoRA или другими инструментами дообучения LLM
• Знакомы с инструментами распределённого обучения или оптимизации инференса: DeepSpeed, vLLM, SGLang, TensorRT-LLM и аналогами
• Использовали MLOps-инструменты для трекинга экспериментов и версионирования данных: Weights & Biases, MLflow, DVC и другие
• Участвовали в исследовательских проектах, open-source-разработке или соревнованиях по машинному обучению

Условия

• возможность влиять на продукт: ваши решения будут улучшать опыт миллионов пользователей
• сложные технологические задачи на большом масштабе
• мощное железо: доступ к производительным GPU-кластерам для экспериментов
• сильное комьюнити: команда экспертов, с которой можно обсуждать идеи и подходы
• развитие: бюджет на обучение, курсы, конференции и профессиональную литературу
• забота о здоровье: ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист
• гибкость: возможность работать удалённо или из офисов в 4 городах России

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.