Мы создаем экосистему цифровых сотрудников на базе передовых открытых LLM/VLM-моделей. Наши ИИ-агенты автоматизируют ключевые операционные процессы, напрямую влияя на эффективность и конкурентное преимущество бизнеса наших заказчиков. Компания: Selecty. Позиция: MLOps (банк)
Задачи
Ты станешь ключевым инженером, который превращает исследовательские прототипы в отказоустойчивую GenOps-фабрику цифровых агентов
DevOps для AI
Проектирование и развитие самообслуживания CI/CD пайплайнов для внутреннего деплоя AI-агентов и мультиагентных систем
Инференс под управление: Развертывание и оптимизация LLM/VLM в процессе разработки (оптимизация памяти, формирование скорости) с использованием vLLM, Triton Inference Server, SGLang
Надёжность: Обеспечение высокой доступности сервисов, работа с масштабированием горизонтальных подов и управление состоянием агентов
Мониторинг 360°: Внедрение комплексного наблюдения: от стандартных метрик (CPU/GPU, задержка) до конкретных ML-метрик (качество генерации, дрейф данных, оценка тональности ответов)
Публикатор: Nelly
Обсуждение
Требования
Опыт вывода LLM-решений в прод
Уверенное владение Python и асинхронным программированием (asyncio)
Уверенное владение Kubernetes (Helm, управление кластерами)
Знание Gitlab CI, Jenkins и пр
Понимание архитектуры RAG-систем, работы embedding-моделей и ранжирования