AI/ML Engineer

Навыки

• AI-агенты
• Обратная связь
• LLM
• Machine Learning
• 152-ФЗ / персональные данные
• Prompt engineering
• Прототипирование

Задачи

• Повышение качества RAG-агентов на трёх направлениях: поиск по
• технической документации, по нормативной базе, по бухгалтерской
• документации
• Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды
• Подготовка эталонных наборов оценки качества
• Реализация LLM-as-a-judge как методологии автоматических
• регрессионных проверок
• Настройка защит (guards) для production-агентов: фильтры от
• инъекций в промпт, валидация структуры и контента выходов
• защита от утечек ПДн, anti-hallucination механизмы
• A/B-тестирование промптов и моделей для подбора лучших конфигураций
• Тюнинг качества по сигналам обратной связи пользователей и
• трассировкам из Langfuse

Требования

• Python от 2 лет коммерческой разработки
• Практический опыт RAG-систем в продакшене: эмбеддинги, векторные
• базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг
• Опыт построения и поддержки как минимум одного RAG-решения от
• начала до конца, не прототип
• Практический опыт оценки качества LLM-систем: подготовка эталонных
• наборов, offline-метрики, LLM-as-judge, регрессионные проверки
• Опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги)
• Практический опыт настройки защит для LLM-приложений: защита от
• инъекций в промпт, валидация структуры и контента выходов
• защита от утечек персональных данных
• Опыт промпт-инжиниринга и контекст-инжиниринга в реальных
• проектах: итеративная настройка промптов, structured output
• function calling
• Понимание архитектуры RAG: стратегии нарезки документов, метаданные
• выбор моделей эмбеддингов, переранжирование, точность ссылок на
• источник
• Практический опыт работы хотя бы с одним LLM-фреймворком
• LangChain, LangGraph, PydanticAI, OpenAI API или аналоги
• Практический опыт A/B-тестирования промптов и моделей в продакшене
• Опыт работы с агентскими протоколами (MCP) или собственным
• tool-layer для агентов
• SQL и работа с реляционными базами на базовом уровне

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.