Разработчик инфраструктуры больших данных в Автономный транспорт

Навыки

• API (интеграции)
• Проектирование архитектуры
• Big Data
• Распределённые системы
• Go
• gRPC
• Linux

О компании и продукте

• Мы создаём технологию автономного транспорта, способного передвигаться по городу без участия водителя. Во время каждого проезда автопилот генерирует большое количество данных: записи с камер, лидарные облака, GPS-логи и множество другой информации, которую необходимо изучить, обработать и применить для дальнейшего развития технологии. Команда данных занимается обработкой и хранением всей информации, которая поступает напрямую от нашего флота автономной техники, и предоставляет доступ к ней. Мы работаем с действительно большими данными, и нашей платформой пользуются многие другие команды. Какие задачи вас ждут Проектирование архитектуры хранения и обработки больших данных. Автономный транспорт в результате своей работы создаёт большое количество данных, которые нужно эффективно обрабатывать, хранить и доставлять пользователям в удобном для них формате
• Ежемесячно наше хранилище прирастает более чем на 3 ПБ только за счёт новых логов. Одна из ключевых задач команды — проектирование архитектуры для хранения сырых данных, а также реализация отказоустойчивой системы без потери данных, обеспечивающей высокий уровень доступности для наших пользователей. Развитие инфраструктуры метаданных. Для навигации в большом объёме сырых данных необходимо использовать метаинформацию, которую мы получаем как через настройку автоматических постпроцессингов, так и в результате ручной разметки данных, которую выполняют аналитики и асессоры

Задачи

• Разработчик инфраструктуры больших данных в Автономный транспорт
• Вам предстоит анализировать потребности пользователей и на основе результатов анализа планировать и реализовывать инфраструктуру метаинформации, которая обеспечит быстрый поиск и доступ к данным
• Разработка бэкенд-сервисов
• Для взаимодействия с пользователями данных мы используем бэкенд-API-сервисы на языке Golang с использованием gRPC и Swagger
• Вам предстоит дорабатывать существующие сервисы и создавать новые с нуля: от сбора требований до запуска в эксплуатацию, с дальнейшим сопровождением и обеспечением высокой доступности
• Больше о бэкенде в Яндексе — в канале Yandex for Backend

Требования

• Разрабатывали нагруженный бэкенд не меньше трёх лет
• Работали с SQL и реляционными базами данных
• Разбираетесь в распределённых системах
• Разрабатывали для Linux
• Офисы в Санкт-Петербурге
• Офисы в Москве
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям
• От 3 лет
• Санкт-Петербург

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.