Senior Data Engineer [DPI Антифрод]

Навыки

• Airflow
• Big Data
• Баг-репорты
• ClickHouse
• Docker
• ETL / ELT
• Событийный маркетинг

О компании и продукте

• МТС Web Services (MWS) — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения под разные задачи бизнеса: от работы с данными до разработки продуктов и оптимизации процессов. Также мы запустили новую публичную платформу собственной разработки — MWS Cloud Platform.
• Мы ищем опытного дата-инженера для разработки и автоматизации ETL-процессов на проекте ГИС "Антифрод". Наша команда проектирует и разрабатывает высоконагруженную ETL-платформу для сбора, агрегации, управления и передачи данных с сетевых систем оператора связи МТС (DPI, MME, CGNAT и др.).

Задачи

• проектировать архитектуру, согласовывать требования, выбирать технологии и средства реализации решений
• планировать и реализовывать ETL-процессы, включая формирование источников нормализованных событий с контекстом, реализацию мультифакторной корреляции, профилирование устройства и абонента, передачу сигналов в ГИС
• тестировать и автоматизировать запуск ETL-конвейеров
• автоматизировать доставку, установку и обновление ПО и конфигураций
• мониторить и исследовать проблемы производительности ETL-процессов в облачной инфраструктуре
• участвовать в процессах автоматизации сценариев функционального, интеграционного и нагрузочного тестирования ПО
• работать с дефектами, вести документацию по решению

Требования

• знание технологий обработки данных в реальном времени
• опыт проектирования и реализации ETL-процессов «под ключ», включая создание компонентов автоматизации
• навыки написания пайплайнов и автоматизации процессов на Python
• уверенное знание SQL
• опыт создания Spark-приложений для распределенной потоковой обработки больших данных
• опыт работы с брокерами сообщений (Kafka)
• умение оркестрировать ETL-задачи с помощью Airflow или аналогов
• навыки проектирования и поддержки различных СУБД (ClickHouse, Greenplum и др.)
• опыт работы с микросервисной архитектурой, Docker и Kubernetes
• опыт работы с Git/GitLab

Будет плюсом

• опыт работы с S3

Условия

• собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах
• профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом
• внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации
• участие во внешних IT конференциях
• Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference!
• полезные курсы и вебинары в корпоративном университете и электронные библиотеки
• медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой
• единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium
• скидки и предложения от партнеров на фитнес, занятия английским и прочее
• отпуск 28 календарных дней + 3 дополнительных дня за ненормированный/гибкий рабочий день
• гибридный и удаленный формат в зависимости от локации в рамках РФ

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.