Data Engineer

Навыки

• Airflow
• Ansible
• Avro / Parquet
• CI/CD
• ClickHouse
• Dagster / Prefect / Luigi
• Распределённые системы

О компании и продукте

• Вы присоединитесь к проекту одного из ведущих международных консалтинговых игроков, работающего с крупнейшими организациями по всему миру. Проект связан с развитием высоконагруженной платформы обработки данных для кредитного скоринга. Команда строит промышленную data-платформу для обработки больших объемов данных, автоматизации ETL-процессов и развития аналитической инфраструктуры.

Задачи

• Разрабатывать и сопровождать ETL/ELT-пайплайны на Python/PySpark и Apache Spark
• Оптимизировать SQL-запросы и процессы обработки больших объемов данных
• Работать с OLAP-СУБД (ClickHouse, StarRocks или аналогичные), настраивать загрузку и обновление данных
• Внедрять и поддерживать оркестрацию пайплайнов (Airflow, Dagster или Prefect)
• Эксплуатировать Spark-кластеры и инфраструктуру обработки данных в Linux-среде
• Контейнеризировать сервисы (Docker), поддерживать CI/CD (GitLab CI) и мониторинг (Prometheus, Grafana)
• Обеспечивать надежность, отказоустойчивость и производительность data-платформы
• Мы ожидаем 5+ лет опыта в Data Engineering. 3+ года практического опыта с Apache Spark в промышленной эксплуатации
• Опыт работы с большими объемами данных в банках, финтехе или телекоме
• Отличное знание SQL: аналитические запросы, оконные функции, партиционирование, оптимизация производительности
• Уверенное владение Python (PySpark, pandas, pyarrow, parquet)
• Практический опыт построения надежных ETL-пайплайнов и оркестрации (Airflow / Dagster / Prefect)
• Опыт работы с OLAP-СУБД и распределенными системами хранения данных
• Хорошее знание Linux, Docker, GitLab CI, Prometheus и Grafana
• Опыт работы с on-premise инфраструктурой

Будет плюсом

• Kubernetes, Ansible, Terraform
• Интеграция внешних источников данных (кредитные бюро, госреестры, налоговые сервисы)

Условия

• Релокация в Ташкент, Узбекистан
• Работа в крупной международной консалтинговой компании
• Официальное трудоустройство и конкурентная заработная плата
• Возможность влиять на архитектуру платформы, производительность и отказоустойчивость критически важных сервисов

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.