MLOps (Инженер LLM-инфраструктуры)

Навыки

• CUDA / ONNX / TensorRT
• Дашборды и витрины
• Отладка и поиск ошибок
• DevSecOps
• Docker
• ELK / Elastic Stack
• Grafana

О компании и продукте

• AI Platform Team отвечает за всю инфраструктуру AI: от исследований моделей до их продакшн-запуска. Наша задача — дать продуктам надёжный и эффективный доступ к LLM
• Мы ищем инженера, который будет проектировать, разворачивать и оптимизировать платформу для инференса больших языковых моделей

Задачи

• Развитие и эксплуатация инфраструктуры для инференса LLM, включая BitrixGPT, локальные и облачные модели: внедрение стеков для эффективного обслуживания LLM, таких как vLLM, Nvidia Triton Inference Server и их аналогов, оптимизация схем распределения нагрузки, батчинга и стриминга токенов
• Настройка, эксплуатация и оптимизация GPU-кластеров для инференса: управление ресурсами, планирование загрузки (capacity planning), снижение стоимости владения
• Профилирование и отладка сервисов инференса: поиск и устранение узких мест, влияющих на задержки (latency) и пропускную способность (throughput)
• Настройка наблюдаемости (observability) AI-стека: сбор метрик, логирование, трассировка и алертинг (Prometheus, Grafana и других инструментов, разработка дашбордов для мониторинга доступности, задержек, ошибок и стоимости инференса
• Участие в разработке и улучшении платформенных процессов: совместная работа с командами разработки и data science, ревью архитектуры и сервисов, обмен экспертизой на внутренних митапах
• Строить отказоустойчивые системы, которые держат нагрузку
• Работать с vLLM/Triton, GPU-кластерами, observability-стеком, чтобы модели работали быстро, стабильно и экономично
• Если вы строили высоконагруженные ML-системы и хотите решать инфраструктурные задачи в области LLM — давайте обсудим

Требования

• Продовый опыт эксплуатации ML-/LLM-сервисов
• Практический опыт работы с контейнеризацией и оркестрацией (Docker)
• Владение Python для разработки сервисов, утилит, оркестрации и автоматизации
• Понимание устройства современных LLM: архитектура трансформеров, токенизация, контекстное окно, влияние параметров (batch size, KV-cache) на latency и throughput
• Опыт настройки мониторинга и логирования в production (Prometheus, Grafana, ELK-стек, Sentry или аналоги)
• Навыки анализа и оптимизации производительности сервисов: профилирование, поиск и устранение узких мест
• Готовность отстаивать своё мнение и предлагать улучшения для достижения наилучшего результата
• ТАКЖЕ ДЛЯ НАС ВАЖНО: Практический опыт работы с vLLM и/или SGLang
• Опыт работы с GPU-инфраструктурой: CUDA, мониторинг и тюнинг GPU-нагрузки
• Знание принципов безопасной разработки и эксплуатации веб-сервисов

Условия

• Полная занятость с возможностью удаленной работы или работы в комфортном офисе в Москве/Калининграде
• Уникальная возможность влиять на пользовательский опыт миллионов компаний по всему миру
• Работа в компании, где принятие решений основано на данных и аналитике
• Конкурентоспособная заработная плата, оформление по ТКРФ
• Программы профессионального развития и обучения
• ДМС со стоматологией после трех месяцев работы
• Сервис психологической поддержки ЯСНО и онлайн-платформа для спорта
• Корпоративная культура, направленная на заботу о сотрудниках и их благополучии

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.