Аналитик в отдел аналитики и метрик Поиска

Навыки

• Аналитическое мышление
• LLM
• Machine Learning
• Prompt engineering
• Python
• RAG
• SQL

О компании и продукте

• Наша команда занимается разработкой и анализом сигнала, который помогает оценивать качество ответов Поиска, в том числе генеративных, привносить в него новые полезные свойства, задавать вектор его развития и непосредственно влиять на работу этого сервиса, которым ежедневно пользуются миллионы людей
• В нашей команде создаются метрики, определяющие развитие всего Поиска: мы решаем исследовательские задачи, разрабатываем собственные подходы к анализу качества и активно используем современные ИИ-инструменты, включая LLM-агентов, чтобы быстрее находить инсайты и улучшать продукт. Мы тратим значительные ресурсы на получение качественных размеченных данных — основы для всех наших ML-моделей. На это уходит очень много денег и очень много времени. Наша команда реализовывает смелый проект по оптимизации этих расходов, заменяет ручную разметку автоматической с помощью актуальных ML-моделей. Мы стремимся значительно сократить затраты на ручную разметку данных и оставить профессиональных асессоров только для сложных случаев, которые требуют особого внимания
• Считаем, что за счёт этого нового вектора развития мы сможем добиться прорыва в сокращении денежных затрат, ускорении всех наших ML-процессов и в повышении итогового качества продукта!. Какие задачи вас ждут Разработка критериев внедрения ML-разметки

Задачи

• Аналитик в отдел аналитики и метрик Поиска
• Поиск с Алисой — один из крупнейших технологических продуктов Яндекса, которым ежемесячно пользуются более 110 миллионов человек
• Вы будете формулировать количественные и качественные критерии, по которым мы будем определять возможность перехода от ручной разметки к моделям в действующем проекте
• В тех случаях, когда полностью отказаться от краудсорсинга не получится, нужно будет разрабатывать принципы и условия частичного перехода на модели
• Внедрение LLM-разметки в пайплайны для обучения продакшен-моделей
• Вам предстоит не только анализировать ML-разметку качества ответов, но и внедрять эту разметку в процессы обучения продакшен-моделей Поиска и Алисы в Поиске — для улучшения качества итогового продукта
• Улучшение качества разметки ответов Поиска с помощью ML-разметки
• Нужно будет искать точки роста в разметке и искать способы улучшить её, например за счёт более продвинутого использования внешней информации (RAG) или привлечения экспертов для разбора сложных случаев
• Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Обладаете аналитическим складом ума и опытом работы с данными
• Хорошо знаете Python и SQL для анализа и обработки данных
• Понимаете принципы работы современных языковых моделей (LLM)
• Умеете оценивать качество моделей машинного обучения и интерпретировать метрики
• Способны ясно формулировать требования к инструментам и системам
• Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
• От 3 лет
• Меня зовут Кирилл, я руковожу группой аналитики качества ответов в Поиске
• Имеете опыт работы с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами

Будет плюсом

• Участвовали в разработке или настройке языковых моделей
• Знакомы с промпт-инжинирингом для генеративных моделей
• Работали в проектах по оптимизации процессов или сокращению расходов
• Понимаете специфику разметки данных для поисковых систем
• Как в Яндексе проходят собеседования для аналитиков
• Рабочие задачи и этапы найма для аналитиков

Условия

• У нас сильная, целеустремлённая и дружная команда
• Будем рады новым коллегам — присоединяйтесь!
• Кирилл Остапенко
• Руководитель группы

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.