Data engineer

Навыки

• Airflow
• Проектирование архитектуры
• BI-инструменты
• Big Data
• ClickHouse
• Дашборды и витрины
• Data Governance

О компании и продукте

• Мы строим корпоративную дата-платформу следующего уровня. Это новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark), и постепенно переносим существующие пайплайны на новую платформу. С нуля — это не «начать с чистого листа», это возможность заложить фундамент, который будет надёжным, масштабируемым и понятным десяткам инженерных команд. Именно сейчас мы переопределяем техстек, архитектурные подходы, процессы. И именно сейчас у тебя есть шанс поучаствовать в запуске платформы, куда будут стекаться все корпоративные данные.

Задачи

• Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform
• Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse)
• Работать с большими объёмами данных и высоконагруженными Kafka-топиками
• Строить отказоустойчивые пайплайны обработки и доставки данных
• Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных
• Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP)
• Сопровождать миграцию BI-отчётов на новую платформу (например, DataLens, Power BI)
• Почему это интересно: Ты действительно будешь создавать платформу с нуля — не “настроил Airflow и готово”, а архитектура верхнего уровня с безопасностью, мониторингом и многопользовательской нагрузкой
• Прямое влияние на технологический курс всей компании: твои решения будут использовать десятки команд
• Работа с современным стеком: Spark 3+, Kafka, S3, ClickHouse, и BI-инструментами
• Возможность реализовать техрешения, которые трудно было бы внедрить в рамках существующего кода/подходов
• Технический вызов: миграция с Hadoop, масштабируемость, отказоустойчивость, строгие SLA на доставку данных
• Мы будем рады специалисту, который: Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer
• Имеет опыт работы с высоконагруженной Kafka (десятки/сотни тысяч событий)
• Хорошо понимает, как работает Spark и умеет его готовить
• Работал с ClickHouse и знает, как «выжать» из него максимум
• Знаком с построением дата-архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Goverments)
• Умеет проектировать пайплайны под отказоустойчивость
• Хорошо владеет одним из языков программирования
• Знает SQL и может читать логику отчетов без боли. Плюсом будут: Опыт построения дата-платформ (SelfService инструменты и процессы)
• Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data contracts)
• Опыт построения Data Lineage и работа с Data Catalog
• Инфраструктурный опыт: Docker, Kubernetes, CI/CD. Как мы работаем: Не боимся убирать легаси — мы осознанно избавляемся от устаревших решений
• Оцениваем эффективность не по объёму кода, а по бизнес-ценности
• Любим, когда инженер предлагает нестандартные, но обоснованные решения

Условия

• 2ГИС — аккредитованная IT-компания
• У нас можно работать удалённо
• Для нас важен специалист, а не его локация
• Если хочешь работать в гибридном формате, у нас есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске
• Само собой, полностью белая зарплата. Дополнительные дни отпуска за стаж работы в компании
• Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента
• Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра
• Есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.