Senior LLM Inference Backend Engineer

Навыки

• A/B-тесты
• AI-агенты
• AI-инструменты в работе
• API (интеграции)
• Code review
• Креативность
• Дисциплина

О компании и продукте

• Senior LLM Inference Backend Engineer
• Senior LLM Inference Backend Engineer Откликнуться
• Наша команда обеспечивает доступность нейросетей для тысяч пользователей одновременно. Мы сопровождаем и улучшаем production-платформу для хостинга LLM: ее надежность, производительность и масштабирование. Кроме того, мы создаём прикладные AI-продукты на базе LLM. Ищем опытного инженера, которому интересно работать и с платформенной частью, и с продуктовой.

Задачи

• Инфраструктура и высоконагруженный инференс (Platform Engineering)
• Проектирование и поддержка GPU-кластера инференса (Nvidia) для десятков тысяч пользователей: скалирование, балансировка и приоритизация запросов, пользовательские лимиты
• Оптимизация производительности: кэширование, батчинг, etc
• Надежность и observability: обеспечение SLA и предотвращение регрессий
• Оценка и внедрение новых LLM
• Продуктовая разработка (LLM Application)
• Разработка AI-сервисов: AI Code Assistant (Co-Pilot), AI Chat, AI Code Review
• Проектирование пайплайнов автоматизаций: tool/function calling, обработка ошибок, управление контекстом/состоянием
• Интеграции: встраивание AI-сервисов в корпоративную среду (API, БД, legacy-системы)
• Исследования и прототипирование (R&D)
• Проведение экспериментов, создание MVP и выстраивание пути доведения до продакшена
• Исследование новых технологий и подходов для улучшения продуктов
• Мы ждем от будущего члена команды: Экспертиза в Python & Backend
• Опыт создания высоконагруженных API (FastAPI или аналоги), работа с очередями, воркерами и фоновыми задачами
• Архитектура и надежность (Production)
• Опыт построения gateway/router, управление ключами, маршрутизация, пользовательские лимиты
• Опыт поддержки высоконагруженных сервисов в продакшене: стабильность контрактов, обработка ошибок
• Глубокие знания LLM & Inference
• Опыт настройки инференса под highload: latency/throughput, управление GPU-ресурсами
• Опыт построения решений с tool/function calling: MCP, guardrails, борьба с галлюцинациями
• Дополнительно приветствуем: Насмотренность в применении AI агентов, мультиагентных систем, оркестрации инструментов
• Понимание основных метрик качества LLM решений, опыт проведения A/B-тестов и офлайн-оценки: eval-сеты, human eval, etc
• Опыт Lua-разработки

Требования

• Опыт разработки на Python (5+ лет), знание стандартов: typing, асинхронность, паттерны проектирования
• Опыт работы с инструментами инференса (vLLM, SGLang, OpenAI API), понимание их внутренней работы

Условия

• Здоровье
• Поддержка
• Обучение
• Спорт и хобби
• Программа лояльности
• Забота о сотрудниках — ДМС со стоматологией с первых дней работы
• Льготные условия страхования близких
• Возможность взять day off для восстановления здоровья
• Помощь в личных и профессиональных вопросах — Консультации юристов по любым вопросам
• Сессии с психологом для поддержания ментального здоровья
• Помощь экспертов по ЗОЖ и управлению личными финансами
• Премии за патенты и изобретения
• Развитие и новые знания — Учебный портал с лекциями от экспертов
• Участие в топовых конференциях
• Изучение английского
• Дополнительное профессиональное обучение на внешних курсах
• Поддержка активных и творческих увлечений — Программа, по которой можно вместе с коллегами посещать тренировки, творческие уроки и участвовать в соревнованиях — компания частично компенсирует расходы
• Бонусы и скидки от партнеров — Скидки на посещение ресторанов и фитнес-клубов, заказы в сервисах доставки, на подписку в онлайн-кинотеатрах и другие спецпредложения
• Анкета кандидата Пожалуйста, заполните эту анкету, чтобы мы могли познакомиться с вами поближе. 01 Отклик Подача резюме
• или заполнение анкеты
• 02 Отбор Прохождение интервью
• и/или выполнение тестового задания
• 03 Оффер Получение обратной связи
• и предложения о работе
• Резюме У меня есть файл с резюме

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.