Аналитик-разработчик в команду качества генеративных моделей

Навыки

• AI-инструменты в работе
• Самостоятельность
• LLM
• Machine Learning
• Prompt engineering
• Python
• SQL

О компании и продукте

• Аналитик-разработчик в команду качества генеративных моделей
• Мы развиваем Алису AI — систему моделей для построения ответов LLM с использованием поиска как источника информации и обогащений ответа. Мы внедрили такую систему в Поиск Яндекса и Алису и сейчас хотим научиться качественно отвечать на сложные запросы, требующие специализированных знаний. Например: пользователь задаёт вопрос, связанный с его здоровьем
• Ищем аналитика-разработчика, который поможет нам совершенствовать наши модели. Почему у нас классно. Мы работаем с Алисой AI — новым продуктом Яндекса на основе LLM — и ориентированы прежде всего на результат в продакшене
• Мы делаем уникальные по сложности, масштабу и архитектуре краудсорс-проекты

Задачи

• Чтобы сформировать корректный и полезный ответ, нужно глубокое понимание предметной области «медицина»
• А подобных запросов — сотни тысяч, и они охватывают самые разные темы
• Вы будете работать бок о бок с практикующими специалистами (врачами, юристами и др.) и сильной ML-командой, превращая экспертные знания в понятные правила для модели
• Наша слаженная команда аналитиков и ML-инженеров качества Поиска постоянно обсуждает задачи и обменивается опытом
• Какие задачи вас ждут Метрики качества
• Вам предстоит разбираться, как устроены метрики качества модели, развивать их на экспертных срезах и помогать улучшать продукт
• Вы будете напрямую работать с экспертами (практикующими специалистами в своей области), формализовать их знания и превращать их в разметку и понятные критерии оценки для модели
• Аналитика генеративных ответов
• Вместе с экспертами вы станете анализировать ответы модели на сложные темы, формулировать, что делает их полезными и точными для пользователя, и на основе этих выводов улучшать качество ответов
• Разработка инфраструктуры
• Вы будете создавать процессы и инструменты, которые снижают рутину для экспертов и ускоряют разметку: разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны для более эффективной работы
• Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Уверенно работаете с Python и SQL
• Знаете математическую статистику и теорию вероятностей
• Умеете формализировать и структурировать требования и ожидания заказчиков
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую
• От 5 лет
• У нас вы сможете развивать как технические, так и коммуникативные и менеджерские навыки
• Ваша работа прямо повлияет на то, каким станет Алиса AI через полгода

Будет плюсом

• Писали инструкции и самостоятельно запускали проекты разметки данных
• Работали с машинным обучением и нейронными сетями
• Умеете создавать точные и эффективные промпты для генеративных нейросетей
• Как в Яндексе проходят собеседования для аналитиков
• Рабочие задачи и этапы найма для аналитиков

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.