DevOps Engineer (Data Platform & OT Integration)

Навыки

• ArgoCD / Flux
• Nexus / Artifactory
• Big Data
• Ceph / MinIO
• CI/CD
• CRM-системы
• Data Lake

О компании и продукте

• Компания: ДИЭНЭЙ (проект табачной компании)
• Проект: Построение платформы Data Ocean (Lakehouse/Streamhouse) и интеграция с производственными OT-системами.
• Проект предполагает развертывание инфраструктуры в изолированных контурах (без доступа в интернет) и интеграцию с промышленными системами (OPC UA, MQTT). Нам нужен инженер, который сможет не просто поддерживать инфраструктуру, а выстроить надежный, автоматизированный и безопасный фундамент для Data Engineering и OT-интеграции.

Задачи

• Построение Data-платформы: Развертывание и администрирование компонентов Lakehouse/Streamhouse: Apache Iceberg, Apache Paimon, MinIO (S3), Apache Spark, Apache Flink, StarRocks/Trino
• Интеграция с OT-системами: Настройка шлюзов для сбора данных с промышленных датчиков и контроллеров (OPC UA, MQTT), обеспечение надежной доставки данных в Kafka
• CDC и ETL: Настройка процессов Change Data Capture (Debezium/Kafka Connect) для синхронизации данных из ERP/CRM систем
• Kubernetes & GitOps: Управление кластерами Kubernetes (в т.ч. Edge-решениями, если потребуется), разработка Helm-чартов, настройка GitOps-процессов
• CI/CD для Data-инфраструктуры: Построение пайплайнов для сборки и деплоя Data-сервисов, автоматизация тестирования конфигураций
• Работа в изолированных средах: Организация локальных репозиториев (Nexus), настройка прокси-серверов, автоматизация деплоя в контурах без интернета
• Безопасность и Мониторинг: Интеграция с HashiCorp Vault для управления секретами, настройка мониторинга (Prometheus/Grafana) для Big Data-компонентов (метрики Spark/Flink, Kafka Lag, состояние Iceberg)

Требования

• Опыт работы: от 5 лет в роли DevOps SRE
• Kubernetes: Глубокое понимание архитектуры K8s (Pods, Deployments, StatefulSets, Probes, Network Policies)
• Опыт запуска Big Data-задач (Spark/Flink) в Kubernetes через Operators
• Data Stack: Практический опыт работы с Apache Spark, Apache Flink, Apache Kafka
• Понимание принципов работы Apache Iceberg или Apache Paimon
• Опыт работы с S3-совместимыми хранилищами (MinIO)
• CI/CD & IaC: Опыт построения пайплайнов в Jenkins. Знание Terraform и Ansible
• Linux & Сети: Уверенное знание Linux (администрирование, диагностика, скриптинг на Bash/Python). Понимание сетевых протоколов (TCP/IP, HTTP, TLS)
• Мониторинг: Опыт настройки мониторинга для распределенных систем (Prometheus, Grafana, Loki/ELK)
• Знание Git, опыт работы с GitLab/Jira/Confluence
• Английский: Уровень чтения технической документации (B1+)

Будет плюсом

• Опыт работы с Apache StarRocks или Trino
• Опыт настройки CDC (Debezium) и работы с Kafka Connect
• Опыт работы в изолированных (Air-Gapped) средах
• Знание протоколов промышленной автоматизации (OPC UA, MQTT)
• Опыт работы с Apache Airflow

Условия

• Формат: Удаленно (Оформление ИП/СЗ)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.