Lead · Удалённо из России · Москва, Россия · Английский не нужен
Навыки
API (интеграции)
Проектирование архитектуры
Работа с бэклогом
CI/CD
ClickHouse
Code review
Дашборды и витрины
Ещё 17
Data Quality
Docker
DWH
ER-диаграммы
ETL / ELT
Greenplum
Kanban
Микросервисы
Мониторинг и observability
Оптимизация запросов
Scrum
SOLID и паттерны
SQL
SRE-практики
Управление командой
Trino / Presto
Vertica
О компании и продукте
Мы строим фундамент для продуктовой разработки Авито — внутреннюю платформу данных. Эта роль — для тех, кто уверенно чувствует себя и в backend-разработке, и в data engineering.
Задачи
управлять командой инженеров: code review, менторинг, развитие людей, архитектурные решения
повышать observability и контролируемость загрузок: выстраивать мониторинг, алертинг, SLO/SLI для пайплайнов, чтобы любые отклонения обнаруживались быстро и предсказуемо
внедрять shift-left Data Quality: автоматические проверки на этапах загрузки, валидация контрактов данных, предотвращение попадания некачественных данных в витрины
развивать self-service и автоматизации: улучшать DSL-инструментарий, снижать порог входа для внутренних пользователей, убирать ручные операции
проектировать и развивать микросервисы платформы (DSL-транслятор, оркестратор нового поколения, сервисы observability)
участвовать в миграции на Trino: принимать архитектурные решения, проводить ревью моделей данных и ETL/ELT-логики, управлять рисками
Требования
бладаете сильным бэкграундом в backend-разработке (микросервисная архитектура, паттерны проектирования, API, контейнеризация, CI/CD)
имеете опыт в data engineering: проектирование ETL/ELT-пайплайнов, работа с MPP-хранилищами (Vertica, Trino, ClickHouse, Greenplum и т.п.), продвинутый SQL, понимание моделей данных (3НФ, Data Vault, 6НФ — хотя бы на уровне концепций)
имеете опыт обеспечения качества данных и мониторинга пайплайнов
умеете расследовать нестабильность сложных систем и находить корневые причины
обладаете опытом руководства командой разработки или data-инженеров от 1 года: техническое лидерство, управление поставкой, менторинг, найм
умеете принимать архитектурные решения, балансируя долгосрочные цели платформы и бизнес-ценность
обладаете навыками управления процессами: Kanban/Scrum, цикл обратной связи, работа с продуктовым бэклогом
имеете практический опыт с 6-й нормальной формой или якорным моделированием
имеете опыт разработки DSL, компиляторов/трансляторов (ANTLR, Xtext)
Будет плюсом
обладаете глубокими знаниями Vertica или Trino (эксплуатация, оптимизация запросов)
работаете с современными оркестраторами (Temporal, Cadence, Airflow)
участвовали в миграциях аналитических хранилищ
обладаете опытом с потоковой обработкой (Kafka, Spark Streaming, Flink)
Условия
возможность реализовать свои идеи в проекте с многомиллионной аудиторией