Разработчик инфраструктуры метрик качества Поиска

Навыки

• Креативы
• Анализ данных
• Django
• Email-маркетинг
• Flask
• Machine Learning
• Python

О компании и продукте

• Мы отвечаем за скорость и качество сбора этих датасетов. И это прямо влияет на скорость появления новой функциональности. Какие задачи вас ждут Внедрение генеративных моделей в разметку данных для сбора датасетов
• Мы видим, что генеративные модели могут давать качество разметки, сравнимое с людьми, а иногда и лучше. Или как минимум — помогать людям в таких задачах
• Это могут быть баннеры в заданиях, автоматические рассылки, инструменты для техподдержки, которая разбирает обращения. Архитектура разметок. До сих пор мы говорили про каждую разметку по отдельности, как лучше собрать её или улучшить качество. Но в Поиске есть уже десятки таких разметок. Они сильно отличаются по сложности, требуемым объёмам и SLA. Каждый отдельный заказ также может распасться на десяток подзаказов. Например, мы хотим, чтобы на вопросы про Python отвечали исполнители с опытом в программировании. Техническая сложность тут возникает из-за крайней инертности системы: эффект от изменения в приоритетах можно увидеть скорее в течение часов, чем минут или секунд, так как задания выполняют люди. Каждое усложнение системы разметок требует пересобрать систему управления разметками, чтобы максимально эффективно встроить новую сложную разметку в каскад старых

Задачи

• Разработчик инфраструктуры метрик качества Поиска
• Собрать корректные датасеты — важнейшая задача любого машинного обучения
• Традиционный подход всегда состоял в том, чтобы делать это через крауд
• И прямо сейчас в нашей области происходит тихая революция
• Активно внедрять модели, работать над методологией замера качества, отслеживать его на уровне конкретных разметок — вот примеры задач, которыми вам предстоит заниматься
• Инфраструктура сложных обучений
• По мере развития поиска и технологий постоянно растут требования к качеству, а как следствие — и к подходам, с помощью которых мы собираем данные на людях
• Возникает инфраструктурная задача: как организовать такую разметку
• С одной стороны, надо уметь поддерживать запуск с нуля разметки любой сложности и в самые короткие сроки
• А с другой, наша обязанность — разрабатывать конкретные инструменты, чтобы лучше доносить до исполнителей, чего мы от них ждём

Требования

• Хорошо знаете Python
• От 3 лет
• Наше подразделение крайне важно для Поиска, именно центральной его части: поисковой строки с Алисой
• В центре любого машинного обучения лежат датасеты

Будет плюсом

• Знаете SQL
• Работали с краудом, собирали датасеты
• Знаете любой backend framework для Python: Flask, Django
• На базовом уровне знаете математическую статистику
• Наличие даже одного пункта выше — нормально: мы не ожидаем, что вы знаете всё это
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.