SRE инженер Hadoop

Навыки

• Airflow
• API (интеграции)
• Bash / shell
• Cassandra / Scylla
• Ceph / MinIO
• ClickHouse
• ETL / ELT

О компании и продукте

• Мы создаем единую систему цифровой маркировки и прослеживания товаров в России и странах ЕАЭС. Наша система позволяет снизить уровень контрафакта и гарантировать подлинность товаров, производимых в стране или ввозимых в нее. Честный Знак - одна из самых высоконагруженных платформ, которой нет аналогов: — микросервисная архитектура на Kubernetes с Istio в нашей собственной инфраструктуре; — петабайты живых данных, с которыми круглосуточно работают наши сервисы и клиенты через API; — миллиарды транзакций в день и десятки тысяч запросов в секунду; — аналитика в реальном времени на потоках событий и масштабная батчевая аналитика по ночам; — мобильное приложение с 27+ миллионов установок; — десятки релизов в продакшн каждый день, feature flags, инфраструктура как код. Под капотом — Kafka, Cassandra, Spark, Airflow, Iceberg, ClickHouse, GitLab CI/CD, Helm, Prometheus, Grafana.
• Мы, команда SRE и DataOps-инженеров, сопровождаем аналитические системы, у которых ядром данных выступает «Аналитическая платформа». Она построена в экосистеме Hadoop – ключевое в нем это HDFS, YARN, Spark, Ranger, Iceberg; Оркестратором ETL выступает Airflow, хранилище меты и справочников в PostgreSQL, а хранилище конечных агрегатов в Clickhouse; Брокером сообщений у нас работает Kafka, большинство приложений разворачиваем в k8s, а меньшинство – standalone.

Задачи

• Поддержка и развитие инфраструктуры аналитической платформы, которая включает Hadoop, HBase, Clickhouse и Kubernetes
• Разработка и внедрение новых и существующих механизмов мониторинга, алертинга и логирования для обеспечения высокой доступности и производительности платформы
• Оптимизация процессов автоматизации развертывания, обновлений и масштабирования сервисов в Kubernetes
• Устранение неисправностей и проведение RCA
• Взаимодействие с командами разработки и эксплуатации для улучшения качества обслуживания и стабильности платформы
• Обеспечение отказоустойчивости системы и подготовка к масштабированию в условиях растущих объемов данных
• От успешного кандидата мы ожидаем: Опыт работы с Kubernetes (k8s), включая настройку кластеров и управление контейнерами
• Знания в области работы с распределенными системами, такими как HDFS, YARN, HBase, Kafka
• Опыт работы с S3 системами хранения данных, такими как MinIO, Ceph или аналогичные
• Умение работать с мониторингом на стеке VictoriaMetrics, логированием и алертингом в высоконагруженных системах
• Умение писать скрипты на Python, Bash или Go для автоматизации процессов
• Опыт работы с инструментами CI/CD (например, Gitlab, Nexus)
• Знание принципов обеспечения отказоустойчивости распределенных систем
• Владение скриптовыми языками (Python, Bash)
• Опыт руководства или наставничества, готовность брать на себя ответственность за координацию и поддержку работы команды
• Будет преимуществом: Опыт работы с другими инструментами для аналитики и больших данных (например Spark, Iceberg)
• Опыт работы с инструментами для автоматического развертывания инфраструктуры (например Ansible, Salt)

Условия

• Возможности для развития Участие в митапах и конференциях: делимся знаниями и учимся у других
• Внутренние корпоративные тренинги
• Buddy-поддержка: путеводитель в корпоративную жизнь компании
• Заботимся о сотрудниках Здоровье: ДМС (включая стоматологию) после испытательного срока, 100% оплата больничных (до 14 дней в год), полис путешественника, корпоративные психологи
• Материальная помощь в сложных жизненных ситуациях
• Кафетерий льгот: не только на спорт и обучение, но и ИТ-сервисы, расширение ДМС для семьи
• Удобство и комфорт Оформление по ТК РФ в аккредитованной ИТ-компании
• Работай удаленно из любой точки, в гибридном формате или из офиса в центре Москвы/Петербурга (рядом с метро)
• Гибкое начало рабочего дня
• Выдаем рабочую технику: ноутбук, монитор, гарнитура — всё для продуктивной работы
• Жизнь в компании Открытая культура общения
• Спорт: футбол, волейбол, йога — вариантов много, выбирай или создай свое комьюнити!
• Воркшопы, праздники для детей, книжный клуб — скучно не будет
• Стильный мерч, который хочется носить
• Реферальная программа: приводи друзей и получай бонусы

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.