Data Infrastructure & Platform Tech Lead (GigaChat)

Навыки

• API (интеграции)
• Проектирование архитектуры
• CI/CD
• Code review
• C++
• Анализ данных
• Дисциплина

О компании и продукте

• В этой роли вы будете отвечать за техническое развитие платформы хранения, вычислений и оркестрации, лежащей в основе полного жизненного цикла данных для претрейнинга. Это техлидская позиция для сильного инженера, который способен проектировать платформенные решения, задавать стандарты для команды, развивать инженерную культуру и помогать коллегам расти.
• Роль предполагает высокий уровень технического влияния и может стать естественным шагом к переходу в тимлидскую позицию по мере роста команды.

Задачи

• Проектировать и развивать масштабные системы хранения данных, оптимизированные под характерные паттерны доступа в претрейне LLM
• Развивать платформу версионирования и отслеживания происхождения данных, обеспечивающую воспроизводимость и аудит на всём жизненном цикле датасетов
• Создавать и совершенствовать системы оркестрации workflow-ов, координирующие многоэтапные пайплайны данных на тысячах узлов
• Оптимизировать инфраструктуру подачи данных так, чтобы обучающие данные поступали на GPU-кластеры без узких мест и с минимальными потерями вычислительного времени
• Развивать внутренние инструменты, SDK и API, которые упрощают работу исследователей и дата-инженеров с платформой данных
• Реализовывать механизмы контроля доступа, шифрования и audit logging для работы с чувствительными и лицензированными датасетами
• Отвечать за capacity planning, оптимизацию затрат и performance benchmarking для облачной и локальной инфраструктуры хранения
• Формировать технические стандарты платформенной команды: архитектурные подходы, требования к надёжности, эксплуатационные практики, code review и инженерную документацию
• Менторить инженеров, помогать команде расти технически и распространять экспертизу по платформенной архитектуре и надёжной эксплуатации систем

Требования

• Высшее образование в области computer science, systems engineering или смежной области
• Не менее 6 лет опыта в infrastructure engineering или platform engineering, включая серьёзный опыт построения data-intensive distributed systems
• Экспертное знание облачной инфраструктуры, объектного хранения, оркестрации вычислений и сетевых подсистем
• Уверенное владение как минимум двумя языками из следующих: Python, Rust, C++
• Глубокий опыт работы с Kubernetes, Infrastructure as Code и CI/CD-пайплайнами
• Подтверждённый опыт проектирования систем с высокой доступностью, отказоустойчивостью и горизонтальной масштабируемостью
• Опыт работы с промышленными форматами хранения и сериализации данных и понимание их эксплуатационных компромиссов
• Способность выступать техническим лидером команды: принимать архитектурные решения, согласовывать платформенные подходы между командами и системно развивать коллег
• Опыт менторинга и построения сильных инженерных практик внутри команды

Будет плюсом

• Опыт работы с YTSaurus
• Опыт поддержки ML training workloads, особенно претрейна на крупных GPU-кластерах
• Знакомство с инструментами orchestration для data-пайплайнов в промышленном масштабе
• Опыт создания внутренних платформ разработки и self-service-инструментов для инженерных команд

Условия

• Кластеры YTSaurus с большим количеством ресурсов: десятки петабайт + десятки тысяч ядер
• Сильная команда выпускников МФТИ, ВШЭ, МГУ, много людей с опытом работы в профильном БигТехе
• Комфортный современный офис рядом с м. Кутузовская
• Гибридный формат работы (2 дня в офисе, 3 дня на удалёнке)
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Система обучения для профессионального и карьерного развития
• Расширенный полис ДМС с первого дня работы и страхование для семьи
• Льготная программа ипотеки для сотрудников
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров
• Вознаграждение за рекомендацию друзей в команду Сбера

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.