Разработчик в команду индексации Search-as-a-Service (C++)

Навыки

• AI-агенты
• Алгоритмы и структуры данных
• Проектирование архитектуры
• ClickHouse
• C++
• Распределённые системы
• Elasticsearch

О компании и продукте

• Мы создаём технологии, благодаря которым другие команды получают готовый полнотекстовый поиск, key-value-хранилище (eventually consistent) или kNN — и не тратят месяцы на разработку и поддержку собственного решения. Платформой пользуются сотни сервисов компании, а суммарный объём поисковых индексов исчисляется петабайтами. Наша команда строит новое поколение поисковой индексации — большую распределённую систему, поверх которой работают поисковые и рекомендательные сценарии. Мы отвечаем за то, как миллиарды документов попадают в индексы, хранятся, обновляются и доставляются до рантайма — при полной перестройке индекса и в потоковом режиме, когда данные приходят практически в реальном времени
• Мы строим технологию, на которой будут работать самые большие сервисы компании, поэтому эффективность использования железа критична — на нашем масштабе даже небольшой выигрыш в производительности экономит ощутимые ресурсы
• Мы создаём систему нового поколения, и многие вопросы ещё остаются открытыми

Задачи

• Разработчик в команду индексации Search-as-a-Service (C++)
• SaaS (Search-as-a-Service) — общая поисковая платформа в Яндексе
• Вы будете строить распределённые системы, которые обрабатывают миллиарды документов и поддерживают разные режимы индексации, включая полную перестройку индекса, потоковый режим и их гибридную комбинацию
• При этом сами алгоритмы должны быть не только быстрыми, но и надёжными — например, гарантировать, что документы попадают в индекс в том же порядке, в котором изначально были отправлены
• Улучшение эффективности индексации и хранения данных
• Вы будете оптимизировать построение индексов на самом низком уровне, применять и улучшать современные кодеки сжатия, а также искать новые способы выжимать из железа максимум
• Создание движка векторного поиска
• Современные RAG-системы и AI-агенты сделали векторный поиск массовым: всё больше сервисов компании приходят к нам за kNN-поиском и предъявляют к нему более высокие требования по функциональности, скорости, качеству и масштабу
• Чтобы закрыть этот спрос, мы с нуля разрабатываем движок приближённого поиска
• Вы будете проектировать и запускать собственный kNN, способный работать на масштабах компании
• Проектирование архитектуры и проведение R&D
• Вы будете участвовать в формировании и принятии ключевых архитектурных решений и проверять их на практике: исследовать, тестировать и внедрять новые подходы к обработке петабайтов данных, их эффективному хранению и быстрой доставке обновлений до поиска
• Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования

• Уверенно владеете C++ и хотите на нём писать
• Хорошо знаете классические алгоритмы и структуры данных
• Разрабатывали высоконагруженные распределённые системы и понимаете паттерны их проектирования
• Умеете писать надёжный и быстрый многопоточный код

Будет плюсом

• Понимаете устройство современных поисковых систем и баз данных, знакомы с внутренностями Lucene, Elasticsearch, Qdrant, ClickHouse
• Знаете, как работают инвертированные индексы, приближённый поиск и различные алгоритмы ранжирования
• Знакомы с SIMD и понимаете, как работают современные кодеки сжатия
• Профилировали и оптимизировали приложения (CPU-bound и I/O-bound)
• Работали с технологиями потоковой обработки данных (Kafka, Flink) или MapReduce
• Офисы в Москве
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям

Условия

• Сегодня поиск становится основой для современных RAG-систем и AI-агентов, и требования к индексации только растут: нужно работать с ещё большими объёмами данных, развивать инфраструктуру и внедрять новые типы индексов — например, векторные для семантического поиска
• Всё это — сложная работа на стыке высоконагруженных систем, низкоуровневой оптимизации и R&D, от которой зависит будущее нашего поиска
• Какие задачи вас ждут Разработка общих механизмов индексации

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.