Аналитик-разработчик по развитию AI-агентов

Навыки

• AI-агенты
• AI-инструменты в работе
• Самостоятельность
• Анализ данных
• Data Quality
• LLM
• Machine Learning

О компании и продукте

• Мы ищем талантливых аналитиков-разработчиков, которые помогут нам растить качество ответов наших технологий и тем самым улучшать пользовательский опыт общения с Алисой и работы с Поиском. Анатолий Овчаренко. Тимлид команды Нейро. Мы работаем над LLM- и VLM-агентами — системой построения ответов в Алисе и в Поиске, умеющей обращаться в разные сервисы Яндекса для составления ответа с опорой на источники
• Мы работаем с агентами — современной технологией на основе LLM и VLM — и ориентированы прежде всего на результат в продакшне. Мы даём сотрудникам возможность развивать как технические, так и коммуникативные и менеджерские навыки. Ваша работа напрямую повлияет на то, какими станут Алиса и Поиск через полгода. Мы решаем задачи, для которых почти никогда нет готового решения: задачи имеют как сложную техническую, так и содержательную творческую составляющую — research & development. Наша сплочённая команда аналитиков и ML-инженеров Алисы и Поиска регулярно обсуждает задачи и обменивается опытом. Какие задачи вас ждут Исследование пользовательских сценариев. Развитие агентов в Алисе и Поиске не может начаться без исследования типовых сценариев и задач, с которыми пользователи обращаются к этим продуктам, в том числе сценариев, при решении которых агенты дают ответы недостаточного качества

Задачи

• Аналитик-разработчик по развитию AI-агентов
• В частности, ключевое значение имеют датасеты запросов пользователей
• Речь идёт о примерах запросов, на которых происходит развитие технологий внутри Алисы и Поиска, проверка качества получаемых ответов и исследование того, в каком направлении продукт должен развиваться в будущем
• Существенно, чтобы с одной стороны датасеты запросов имели хорошую полноту покрытия реальных пользовательских сценариев, а с другой стороны — содержали в себе трудные для технологии примеры: именно это позволяет агентам последовательно улучшаться к каждому новому релизу
• Почему у нас классно
• Вы будете проводить разбор, какие задачи волнуют пользователей, а выводы по итогам вашего анализа войдут в основу траектории развития агентов
• Сбор датасетов запросов
• Вам предстоит проводить исследования, на каких запросах и пользовательских сценариях нужно продолжить развитие агентов, и воплотить результаты своих изысканий в реальных датасетах, которые пойдут в обучение моделей
• Работа с разнообразными источниками данных
• Источников, из которых можно брать примеры запросов, в Яндексе и в открытом доступе существует много — они отличаются как по формату, так и по качеству данных внутри
• Вам будет предложено погрузиться в специфику этих источников и придумать способы, как выделить из них самые интересные и полезные примеры для развития агентов
• Использование LLM и VLM для сбора датасетов запросов

Требования

• Уверенно работаете с SQL и Python
• Знаете математическую статистику и теорию вероятностей
• Понимаете, почему важно всегда смотреть в данные
• Умеете формализовать и структурировать требования и ожидания заказчиков
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Умеете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
• От 3 лет
• Одна из важных задач нашей службы — научить агентов решать сложные пользовательские сценарии и отвечать на трудные запросы, которые требуют применения многих навыков, таких как общий интеллект, достоверность, умение несколько раз обращаться к Поиску (в том числе последовательно), делать вычисления и так далее
• Важным шагом при решении этой задачи становится сбор качественных датасетов, на которых будет проводиться обучение агентов
• Для развития ключевых навыков агентов нужны примеры челенджевых запросов — таких, на которые трудно дать хороший ответ, не приложив усилия для изучения предметной области задачи, которую пользователь решает своим запросом
• При создании содержательных датасетов запросов часто нужно прибегать к нетривиальной характеризации пользовательских задач (насколько запрос сложный, требует ли он специальных навыков и т. д.), а иногда и вовсе создавать интересные запросы синтетически, то есть искусственно
• Для решения этих задач вы будете активно работать с самыми передовыми LLM и VLM, составляя к ним промпты и даже системы промптов
• Больше об аналитике в Яндексе — в канале Yandex for Analytics
• Интересуетесь передовыми подходами в области LLM и умеете читать тематические статьи на английском языке

Будет плюсом

• Интересуетесь продуктом, стремитесь понять, каким он должен быть и почему
• Умеете создавать точные и эффективные промпты для генеративных нейросетей
• Как в Яндексе проходят собеседования для аналитиков
• Рабочие задачи и этапы найма для аналитиков

Условия

• Гибридный
• Удалённая работа
• Я Толя, руководитель бригады сбора корзин Нейро
• Я в Яндексе с 2023 года и с тех пор работаю над развитием больших языковых и визуальных моделей (LLM и VLM) в разных проектах компании
• Наша служба занимается качеством ответов моделей, работающих под капотом Алисы и Поиска

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.