Город и адрес офиса: Калининград

Навыки

• API (интеграции)
• ArgoCD / Flux
• CI/CD
• CUDA / ONNX / TensorRT
• Docker
• GitHub Actions
• GitLab CI

О компании и продукте

• вакансия. Город и адрес офиса: Калининград

Задачи

• Развертывание, сопровождение и обновление LLM-инференс платформ (vLLM, SGLang, Ollama)
• Эксплуатация и развитие AI-платформы в Kubernetes, включая масштабирование и управление GPU-ресурсами
• Настройка AI Gateway (LiteLLM): маршрутизация запросов, API-ключи, квоты, лимиты и политики доступа
• Оптимизация производительности inference: batching, KV Cache, semantic cache, снижение latency и стоимости инференса
• Настройка мониторинга, логирования и трассировки (OpenTelemetry, Langfuse, SigNoz, Prometheus/Grafana)
• Автоматизация CI/CD процессов для инфраструктуры и моделей, поддержка GitOps-подхода
• Интеграция и сопровождение сервисов памяти, векторных хранилищ и компонентов RAG/Agentic AI
• Диагностика и устранение инцидентов, обеспечение стабильности и высокой доступности LLM-платформы
• Что мы ждём от нового члена команды
• Опыт администрирования Kubernetes в production, Docker, Helm, понимание GitOps-подходов
• Опыт эксплуатации LLM inference-серверов (vLLM, SGLang, Ollama или TGI) и понимание их архитектуры
• Хорошее понимание принципов работы LLM: токены, KV Cache, batching, streaming, квантование, RAG
• Практический опыт работы с GPU (NVIDIA/CUDA), распределением ресурсов и оптимизацией производительности
• Опыт настройки мониторинга и observability (Prometheus, Grafana, OpenTelemetry, SigNoz/Langfuse)
• Уверенные знания Linux, Docker, сетевого взаимодействия и диагностики инфраструктурных проблем
• Навыки автоматизации на Python и работы с CI/CD (GitLab CI/GitHub Actions)
• Опыт работы с Redis, PostgreSQL и API-шлюзами
• Знание LiteLLM, KEDA, Qdrant/Milvus будет преимуществом
• Название компании: KODE
• Публикатор: Татьяна Горбацевич
• Обсуждение
• Особенности найма
• удаленка только из городов РФ
• 2 этапа интервью

Требования

• ВАЖНО! Опыт в роли DevOps от 4 лет

Условия

• Формат работы: удаленка, гибрид, офис
• Занятость: полная
• Зарплатная вилка: от 170000 gross до 230000 gross

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.