Главный DevOps-инженер Hadoop

Навыки

• Active Directory
• Ansible
• AWS
• Bash / shell
• Ceph / MinIO
• Grafana
• Hadoop

Задачи

• Администрирование и развитие Hadoop-кластера (HDFS, YARN, Hive, Spark)
• Обеспечение отказоустойчивости и доступности сервисов
• Мониторинг, алертинг и анализ инцидентов
• Оптимизация производительности кластера и сервисов
• Автоматизация рутинных операций (Ansible, скрипты)
• Взаимодействие с командами разработки и аналитики
• Ведение документации (runbooks, инструкции)

Требования

• Опыт администрирования Linux (systemd, сети, диски, RAID/LVM)
• Практический опыт работы с Hadoop (HDFS, YARN, Hive, Spark)
• Понимание HA (Active/Standby, Zookeeper quorum)
• Опыт настройки Kerberos и TLS
• Навыки диагностики (top, iostat, vmstat, tcpdump)
• Опыт работы с мониторингом (Prometheus/Grafana или аналоги)
• Bash/Python, Ansible S3 / Object Storage
• Опыт работы с S3-совместимыми хранилищами (MinIO, AWS S3)
• Интеграция Hadoop/Spark с S3 (s3a)
• Понимание отличий HDFS и Object Storage
• Оптимизация работы с S3 (multipart upload, tuning)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.