Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы

Навыки

• LLM
• Machine Learning
• NLP
• Статистика

О компании и продукте

• Data Scientist (Модели оценки качества), Диалоговый ИИ и ML сервисы. удаленка #middle. Компания: OZON. Вы будете

Задачи

• Погружаться в особенности создания наших проектов
• Частью центра принятия решений о релизе моделей
• Создавать и улучшать процессы вокруг оценки ML-решений
• Проводить аудит поведения всех типов моделей отдела
• Заботиться о качестве артефактов для построения и оценки моделей
• Работать с LLM и LLM apps
• Разрабатывать решения для реалтайм анализа динамики ведения диалога агентами с пользователем
• Создавать инструменты для автоматической валидации решений на основе LLM (в том числе симуляции взаимодействия с агентами)
• Прототипировать ML-решения для проверки гипотез о влиянии на метрики
• Задавать стандарты в оценке поведения и качества ответов агентов

Требования

• Опыт работы Data Scientist от 3х лет
• Опыт работы с NLP от 2 лет
• Практический опыт проведения процедур оценки LLM-решений
• Опыт работы с агентами для консультации пользователей
• Понимание ограничений LLM
• Умение писать продакшн-код
• Подготовка понятных отчетов
• Умение объяснить сложные метрики понятным языком

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.