Разработчик интеграции Apache Spark с YTsaurus

Навыки

• C++
• Дисциплина
• Распределённые системы
• Docker
• Обратная связь
• Hadoop
• Java

О компании и продукте

• Мы ищем опытного Spark-разработчика, который станет частью нашей команды и будет вместе с нами развивать проект. Гарантируем большой объём сложных, но интересных и нетривиальных задач!. Саша Токарев. Ведущий разработчик группы разработки SPYT. YT (YTsaurus) — это основная платформа для аналитики и построения batch-процессов в Яндексе, которая включает несколько видов хранилищ, планировщик ресурсов и встроенный MapReduce-движок. Apache Spark — популярный открытый фреймворк для распределённой обработки больших объёмов данных. Уже больше 5 лет мы занимаемся интеграцией Spark с YTsaurus в рамках проекта SPYT. За это время Spark стал одним из основных аналитических инструментов для работы с данными, которые хранятся в YTsaurus и используются как внутри Яндекса, так и внешними пользователями. Исходный код SPYT доступен в опенсорсе в репозитории
• За последние годы мы несколько раз рассказывали про наш проект на конференциях

Задачи

• Разработчик интеграции Apache Spark с YTsaurus
• Как подключить к Apache Spark проприетарный источник данных
• Расширение области применения инструмента

Требования

• Работали с Apache Spark не менее трёх лет и знаете, как добиться от него максимальной эффективности
• Умеете разрабатывать под JVM на Java и Scala, а также на Python
• Понимаете принципы распределённого хранения и обработки больших объёмов данных
• От 3 лет
• Екатеринбург
• Нижний Новгород
• Новосибирск
• Санкт-Петербург

Будет плюсом

• Работали с Hadoop-стеком (HDFS, YARN)
• Работали с Docker и Kubernetes
• Принимали участие в работе над опенсорс-проектом
• Знаете C++
• Больше о команде Мы искренне увлечены большими распределёнными системами и сложными техническими задачами
• Многие из нас имеют академический опыт и до сих пор активно преподают — в МФТИ, ВШЭ и других вузах, а также в ШАДе
• Несколько человек из нашей команды занимали призовые места в соревнованиях по спортивному программированию
• У нас сохраняется дух стартапа: дружно общаемся в рабочее и нерабочее время, вместе штурмуем задачи, экспериментируем и участвуем в CTF
• Офисы в Екатеринбурге
• Офисы в Нижнем Новгороде
• Офисы в Новосибирске
• Офисы в Санкт-Петербурге
• Офисы в Москве
• Как в Яндексе проходят алгоритмические секции собеседований
• Как мы нанимаем бэкенд-разработчиков
• Задачи для подготовки к собеседованиям

Условия

• Гибридный
• Я Саша Токарев, руковожу командой разработки интеграции Apache Spark с YTsaurus (проект SPYT)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.