Data Engineer

Навыки

• Airflow
• Avro / Parquet
• Big Data
• Дашборды и витрины
• Data Lake
• dbt
• Flink

Задачи

• Сбор требований от бизнес-заказчиков и анализ источников данных
• Разработка, реализация и сопровождение интеграционных потоков и витрин данных
• Разработка решений на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
• Оперативное решение инцидентов и выполнение задач в зоне ответственности
• Поддержка и актуализация технической документации по платформе больших данных
• Подготовка отчетности по выполненным задачам

Требования

• Понимание архитектуры Lakehouse и принципов работы платформ больших данных
• Понимание отличий Big Data/Lakehouse от классических систем хранения данных
• Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности)
• Знание Python и/или Java
• Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.)
• Уверенное владение Git
• Опыт работы с DBT, Cosmos, Apache NiFi
• Опыт разработки на Apache Spark
• Понимание принципов работы Trino
• Знание форматов данных Iceberg, Parquet, Avro
• Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами)
• Опыт работы с системами управления проектами и технической документацией
• Greenplum • Trino • Apache Airflow • ClickHouse • Python • Spark • SQL (dbt) • S3 • Hadoop

Условия

• Формат: удаленно
• Зарплата: от 200 000 ₽

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.