Инженер по обеспечению надежности данных (Senior DataOps/Big Data Infrastructure Engineer)

Навыки

• Airflow
• Ansible
• ArgoCD / Flux
• Big Data
• Data Lake
• Data Quality
• Docker

О компании и продукте

• Ко всем вакансиям Инженер по обеспечению надежности данных (Senior DataOps/Big Data Infrastructure Engineer) г. Москва

Задачи

• Развивать и сопровождать текущую дата-платформу (Hadoop, Oracle, Vertica)
• Участвовать в построении Lakehouse-платформы на базе Yandex Cloud
• Проектировать, разворачивать и сопровождать платформенные сервисы для обработки, хранения, оркестрации и доступа к данным
• Автоматизировать эксплуатацию и развертывание инфраструктуры с использованием Terraform, Ansible, Helm и GitOps-подходов
• Развивать Kubernetes-контур дата-платформы: workloads, операторы, изоляцию окружений, управление ресурсами, storage, ingress, секреты, мониторинг и диагностику проблем
• Поддерживать и развивать системы оркестрации и выполнения data-пайплайнов: Airflow, Spark, Trino, JupyterHub и связанные компоненты
• Развивать мониторинг и алертинг дата-платформы: доступность сервисов, задержки, ошибки, утилизация ресурсов, состояние пайплайнов, свежесть и качество данных
• Участвовать в построении практик DataOps: проверка схем, контроль миграций, контроль качества и свежести данных, воспроизводимость поставки данных, управление изменениями
• Обеспечивать надежную эксплуатацию платформенных компонентов в гибридной инфраструктуре
• Оптимизировать производительность, устойчивость и стоимость инфраструктуры данных
• Взаимодействовать с командами DE, DWH, Analytics, DS, MLOps, GenAIOps по вопросам стабильности, масштабируемости и развития дата-платформы
• Исследовать новые инструменты и подходы в области DataOps, Lakehouse и Data Platform Engineering, оценивать их применимость и внедрять там, где это повышает надежность, скорость разработки или эффективность платформы

Требования

• Опыт промышленной эксплуатации дата-платформ, распределенных систем хранения или обработки данных
• Понимание архитектуры современных платформ данных: DWH, Data Lake, Lakehouse, OLAP, batch-обработка, оркестрация пайплайнов и сервисы доступа к данным
• Опыт работы с системами обработки и доступа к данным: Airflow, Spark, Trino, JupyterHub или аналогичными решениями
• Уверенный опыт работы с Linux: настройка, мониторинг, диагностика сетевых, файловых, ресурсных и производительных проблем
• Опыт работы с Kubernetes, Helm и Docker в production окружениях
• Опыт описания и автоматизации инфраструктуры на базе IaC: Terraform, Ansible, Helm, GitOps-подходы
• Опыт работы с системами контроля версий и организации CI/CD: GitLab, Bitbucket, Bamboo или аналогичными решениями
• Уверенное владение Python или другим языком для автоматизации, разработки внутренних инструментов и интеграций
• Уверенный опыт работы с SQL и понимание принципов оптимизации запросов в аналитических системах
• Понимание принципов эксплуатации распределенных систем: отказоустойчивость, масштабирование, балансировка нагрузки, управление ресурсами, резервирование и восстановление
• Опыт настройки мониторинга и алертинга: Prometheus Stack, Grafana, Alertmanager, логи, метрики и технические дашборды
• Опыт безопасной работы с секретами, токенами, сертификатами и чувствительными данными

Условия

• ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья
• Страхование жизни
• Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%
• Программа привилегий и скидок от BestBenefits
• До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада
• Бесплатные юридические консультации
• Дополнительные выходные в случае важных событий
• Яркие мероприятия и много неформального общения
• Развитие для каждого
• Опытный наставник для каждого новичка
• Обучение и участие во внешних конференциях
• Помогаем развивать личный бренд, выступать на конференциях и писать статьи
• Проводим митапы и demo-дни для обмена знаниями
• Погружаем в fashion и каждый сезон знакомим с модными трендами
• Введите данные +7
• поля обязательные для заполнения Здесь можно написать что-то особенное
• Введите данные Выберите файл или перетащите резюме сюда
• (pdf,doc,docx) Не более 10МБ
• Перед отправкой резюме убедитесь, что во вложенном файле указаны контактные данные (email, телефон) для обратной связи

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.