Разработчик поискового рантайма в Search-as-a-Service (C++)

Навыки

• AI-агенты
• Алгоритмы и структуры данных
• Самостоятельность
• C++
• Распределённые системы
• Highload
• Linux

О компании и продукте

• Мы создаём технологии, благодаря которым другие команды получают готовый полнотекстовый поиск, key-value-хранилище (eventually consistent) или kNN — и не тратят месяцы на разработку и поддержку собственного решения. Сегодня платформой пользуются сотни сервисов компании, суммарный объём поисковых индексов исчисляется петабайтами, а суммарный RPS — несколькими миллионами
• Это сложная распределённая система, которая принимает и маршрутизирует запросы, собирает документы из разных источников, фильтрует и ранжирует их в несколько стадий и возвращает результат пользователю. Всё это — под высоким RPS и в условиях частичных отказов: потери шарда, деградации соседних сервисов или выхода из строя целого дата-центра. От рантайма напрямую зависит, насколько быстро работает поиск и сколько ресурсов уходит на обработку каждого запроса. При этом рантайм должен быть универсальным: поддерживать разные типы поисковых структур данных и стадии исполнения запроса
• Это диктует новые требования к рантайму и открывает множество технических задач. Впереди — большая инженерная работа. Сейчас удачный момент, чтобы присоединиться к нам и повлиять на то, каким станет рантайм. Какие задачи вас ждут Разработка логики исполнения поисковых запросов
• Мы строим систему, предоставляющую единую модель работы с различными типами поисковых индексов. Сегодня рантайм уже поддерживает классический инвертированный индекс, HNSW-графы, KD-деревья и другие структуры данных

Задачи

• Разработчик поискового рантайма в Search-as-a-Service (C++)
• Поисковый рантайм — сердце SaaS
• Вам предстоит проектировать общий механизм исполнения запросов, который устроен как граф стадий: доступ к инвертированному индексу, фильтрация по атрибутам, ранжирование и т. д
• Каждая стадия может выполняться отдельным сервисом, чтобы гибко масштабироваться за пределы одного бэкенда
• При этом система должна надёжно работать в условиях отказов: корректно деградировать при потере шардов, осознанно выбирать стратегию частичного ответа, балансировать между полнотой результата и скоростью обработки запросов
• Развитие технологий поискового рантайма
• Вы будете развивать эти технологии и внедрять новые, выжимая максимум из доступного железа
• И всё это — в многопоточной распределённой системе, от которой уже зависят сотни продуктовых сервисов
• Создание SDK и инструментов для работы с рантаймом
• Чтобы другие команды решали свои продуктовые задачи, а не погружались в устройство поиска, вам предстоит развивать экосистему рантайма. Вы будете разрабатывать удобный SDK — единый интерфейс для отправки поисковых запросов, который упрощает интеграцию, скрывает распределённую природу системы и её сложность
• улучшать средства самостоятельной диагностики — аналог оператора EXPLAIN из классических баз данных, трассировку запросов и логирование ключевых поисковых стадий
• и делать многое другое
• Проектирование языка поисковых запросов
• Сегодня поисковые запросы описываются набором CGI-параметров
• В перспективе мы хотим прийти к полноценному языку запросов — и у вас будет возможность спроектировать его с нуля: от грамматики и планировщика до исполнителя
• Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования

• Уверенно владеете C++ и хотите на нём писать — это основной язык рантайма
• Хорошо знаете классические алгоритмы и структуры данных, умеете выбирать их под задачу
• Глубоко разбираетесь в многопоточном программировании: знаете модели памяти, примитивы синхронизации, lock-free-структуры и алгоритмы, понимаете природу гонок и умеете их предотвращать
• Понимаете устройство Linux: процессы и потоки, управление памятью, сеть
• Используете инструменты профилирования и трассировки
• Разрабатывали распределённые системы: понимаете, как живут сервисы под нагрузкой и какие бывают точки отказа
• От 3 лет
• Главная сложность — совместить гибкость и эффективность, чтобы новые структуры и стадии внедрялись без существенного изменения кодовой базы, но при этом каждый запрос укладывался в жёсткие требования по времени и ресурсам
• С развитием AI поиск переживает тихую революцию: модели ранжирования становятся тяжелее, появляются новые источники данных и подходы к отбору кандидатов на основе LLM, а сам поиск становится фундаментом для RAG-систем и AI-агентов
• Оптимизировали производительность на низком уровне: работали с кешами CPU, использовали SIMD

Будет плюсом

• Понимаете, как устроены поисковые системы: инвертированные индексы, векторный поиск, генерация кандидатов, ранжирование
• Работали с системами под высокой нагрузкой и с жёсткими требованиями к времени обработки запросов
• Проектировали DSL, языки запросов, парсеры или планировщики исполнения
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям

Условия

• Гибридный
• SaaS (Search-as-a-Service) — общая поисковая платформа в Яндексе

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.