Аналитик-разработчик в LLM Блендер

Навыки

• AI-инструменты в работе
• Blender
• Дашборды и витрины
• Внедрение систем
• KPI
• LLM
• Наставничество

О компании и продукте

• В Поиске Яндекса, помимо обычных ссылок на веб-страницы (документов), есть множество тематических блоков: картинки, видео, ответ нейросети от Алисы, калькулятор, курс валют и др. Мы делаем офлайн-метрику, основанную на LLM-разметке релевантности тематических блоков запросам по инструкции
• Команда офлайн-KPI-метрики отвечает не только за саму форму офлайн-метрики, но и за множество процессов офлайн-оценки качества поиска: приёмки новых ML-моделей ранжирования, сбор «корзин» (множества запросов для оценки качества поиска), сбор дашбордов мониторинга качества и получение по ним инсайтов о проблемных зонах и методах их устранения

Задачи

• Аналитик-разработчик в LLM Блендер
• Вам предстоит развивать её и делать ранжирование блоков в Яндексе ещё лучше, а количество удовлетворённых пользователей — ещё больше!
• В команде вы будете разрабатывать метрики, определяющие качество генеративного поиска, применять современные ИИ-технологии и участвовать в создании новых инструментов оценки качества, результаты которых быстро попадают в продакшен и влияют на пользовательский опыт
• Какие задачи вас ждут Улучшение офлайн-метрики ранжирования тематических блоков
• Вы будете исследовать, формулировать и оцифровывать проблемы в метрике и итоговом ранжировании, придумывать и реализовывать способы исправления проблем
• Результат напрямую влияет на продакшен, ведь офлайн-метрика — это таргет для модели ранжирования в Поиске
• Сбор бенчмарка ранжирования
• Офлайн-метрика замеряет качество поиска, но нужно замерять качество и самой метрики!
• Именно для этого нужен бенчмарк — набор эталонных оценок ранжирования
• Его сбор — во многом продуктовая задача, ведь бенчмарк задаёт эталонное ранжирование
• Построение и поддержка аналитических моделей в оценке качества Поиска
• Потребуется решать множество важных продуктовых и аналитических вопросов и вести сложные проекты
• Работа с офлайн-метриками всех компонентов выдачи
• Выдача Яндекса состоит не только из ссылок на веб-страницы (так называемой органической выдачи), но и из рекламы, тематических блоков
• Для каждого из этих компонентов тоже существует офлайн-сигнал
• В перспективе вы будете отвечать за внедрение этих офлайн-сигналов в единую офлайн-метрику всей выдачи и улучшать как качество самих сигналов, так и процессы вокруг них
• Больше об аналитике в Яндексе — в канале Yandex for Analytics

Требования

• Имеете опыт руководства или менторства в аналитике
• Умеете выстраивать стабильные и прозрачные рабочие процессы
• Обладаете глубокими знаниями математики
• От 3 лет
• Читаете и понимаете профильные тексты на английском языке

Будет плюсом

• Обладаете знаниями в области машинного обучения, имеете опыт внедрения моделей
• Участвовали и побеждали в олимпиадах по математике, физике, программированию
• Как в Яндексе проходят собеседования для аналитиков
• Рабочие задачи и этапы найма для аналитиков

Условия

• Гибридный

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.