Backend/Platform Developer в команду LLM Platform

Навыки

• API (интеграции)
• Дисциплина
• Go
• HTML
• JavaScript
• LLM
• Мониторинг и observability

О компании и продукте

• Мы строим платформу, которая предоставляет унифицированный доступ к различным языковым моделям: и к собственным, и к опенсорсным, развёрнутым во внутреннем контуре. Платформа помогает командам безопасно, прозрачно и эффективно использовать LLM в продуктах, внутренних сервисах и бизнес-процессах. Каждый день платформой пользуются десятки тысяч сотрудников и сотни внутренних сервисов — поэтому для нас важны надёжность, масштабируемость, контроль ресурсов, безопасность данных и удобство интеграции. LLM Platform решает несколько ключевых задач. Предоставляет единый API для работы с любыми LLM. Управляет справедливым распределением ресурсов между пользователями, командами и сервисами. Собирает аналитику по запросам, токенам, моделям, пользователям и бизнес-юнитам. Поддерживает единый конфиг с возможностью подключения собственных моделей
• Позиция подойдёт разработчику, которому интересно строить не просто продуктовые фичи, а внутреннюю платформу масштаба крупной компании. Здесь много задач на стыке backend-разработки, платформенной инженерии, LLM-инфраструктуры, безопасности, аналитики и управления ресурсами

Задачи

• Backend/Platform Developer в команду LLM Platform
• Помогает безопасно использовать внутренние данные компании при работе с публичными моделями
• Понадобится принимать инженерные решения, влияющие на стоимость, надёжность и безопасность использования LLM
• Какие задачи вас ждут Разработка системы управления квотами
• Эта система должна позволять
• Задавать и контролировать квоты на разные типы запросов
• Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов
• Предоставлять аналитику менеджерам и владельцам продуктов
• Реализовывать биллинг и cost allocation по бизнес-юнитам
• Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace
• Интеграции с LLM-провайдерами и внутренними моделями
• Нужно развивать единый API для работы с разными моделями и провайдерами
• Подключать LLM-провайдеров и собственные инференсы
• Унифицировать форматы запросов и ответов
• Разрабатывать механизмы маршрутизации запросов между моделями
• Учитывать стоимость, доступность, latency, лимиты и требования безопасности
• Поддерживать конфигурацию моделей, namespace, теги и политики доступа
• Безопасное использование данных
• LLM-платформа должна помогать командам использовать LLM без риска утечки чувствительной информации. Поэтому вам предстоит
• Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели
• Разрабатывать фильтры, политики и алгоритмы обработки запросов
• Участвовать в проектировании решений для защиты внутренних данных
• Интегрироваться с внутренними системами контроля, аудита и доступа
• Сбор и извлечение данных из веб-источников
• Также вы можете выполнять задачи, связанные с получением структурированных данных из внешних веб-источников

Требования

• Занимались backend-разработкой на Go на промышленном уровне
• Понимаете принципы построения распределённых систем
• Проектировали API и интеграции между сервисами
• Умеете работать с высоконагруженными сервисами, очередями, базами данных и кешами
• Понимаете observability: метрики, логи, трассировка, алерты
• Аккуратны в вопросах безопасности данных и разграничения доступа
• Готовы разбираться в предметной области LLM, токенов, моделей, провайдеров и лимитов
• От 3 лет
• LLM Platform — это единая точка входа для работы с LLM внутри Яндекса

Будет плюсом

• Работали с LLM API и AI-инфраструктурой
• Разрабатывали платформенные сервисы
• Строили quota management, rate limiting, billing или cost allocation систем
• Имеете опыт web scraping / web crawling / data extraction
• Анализировали веб-приложения, API и сетевой трафик
• Офисы в Москве
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.