Data Engineer middle+ (ритейл)

Навыки

• Airflow
• Avro / Parquet
• Big Data
• ClickHouse
• Дашборды и витрины
• Data Lake
• dbt

Задачи

• Общее представление о стеке технологий Lakehouse
• Понимание различия работы между BigData/Lakehouse и с данными обычного размера
• Знание SQL (индексы, функции, оптимизация, профилирование производительности
• Знание языков программирования (JAVA, Python)
• Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)
• Умение работать с Git (знание команд git pull/commit/push)
• Опыт работы с DBT, Cosmos, Ni-Fi
• Опыт разработки на Spark
• Понимание особенностей Trino
• Понимание форматов данных Iceberg, Parquet, Avro
• Понимание работы с minio или любого другого хранилища на основе S3
• Опыт использования системами ведения проектов и документации
• Рекрутер
• oleg_recruiter

Требования

• Наш стек: Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL (dbt), S3, Hadoop
• Сбор требований с бизнес-заказчиков и анализ источников данных
• Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
• Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
• Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных
• Предоставление отчетности о своей деятельности руководителю

Условия

• Локация: Любая
• Формат: удаленно

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.