Lead · Гибрид · Москва, Россия · Английский не нужен
Навыки
Airflow
API (интеграции)
Работа с бэклогом
CI/CD
ClickHouse
Code review
Data Lake
Ещё 17
Data Quality
dbt
DWH
ETL / ELT
GitLab CI
Greenplum
Java
Kafka
MongoDB
PostgreSQL
Python
Scala
Scrum
Spark
SQL
SQL: оконные функции, CTE
Управление командой
О компании и продукте
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.
Задачи
Управлять кросс-функциональной командой
Обеспечивать эффективное взаимодействие между БА, СА, дата-инженерами, дата-аналитиками, тестировщиками и разработчиками
Распределять задач с учётом профиля специалистов и приоритетов проектов
Участвовать в найме, онбординге и менторстве новых членов команды
Осуществлять декомпозицию задач, оценку трудоёмкости, формирование спринтов и бэклога
Контролировать сроки и качество реализации (ETL/ELT-процессы, витрины данных, отчётность, API-слои)
Предоставлять отчётности по метрикам команды: скорость, загрузка, качество данных
Проектировать и развивать архитектуру ДВХ (Data Lake, Data Warehouse, Data Marts)
Выбирать и внедрять технологии: СУБД (ClickHouse, Greenplum, PostgreSQL, MongoDB), оркестрация (Airflow), обработка данных (Spark, Python/Java/Scala)
Обеспечивать методологию Data Vault 2.0, оптимизировать запросы, репликация и шардинг
Управлять интеграциями через брокеры сообщений (Kafka), REST API
Координировать работу БА и СА по сбору, анализу и документированию требований к данным
Участвовать в разработке ТЗ, функциональных спецификаций, API-спецификаций
Контролировать соблюдение нотаций BPMN, UML, моделей данных
Проводить код-ревью для Python-разработок и SQL-скриптов
Контролировать тестовое покрытие (unit, интеграционные тесты), работы с DBT, валидации данных
Настраивать CI/CD (GitLab CI) для пайплайнов обработки данных
Внедрять мониторинг качества данных, логирования (Grafana, Rancher)
Инициировать рефакторинг, оптимизации запросов и пайплайнов
Участвовать в разборе инцидентов на production-среде (остановка пайплайнов, потеря данных), проведение post-mortem