Data Engineer

Навыки

• Airflow
• API (интеграции)
• Avro / Parquet
• BI-инструменты
• ClickHouse
• CSV
• Data Lake

О компании и продукте

• Мы в поиске Дата инженера на проектную занятость. Грейд: middle+|Senior

Задачи

• Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде (Java, Groovy, Apache Nifi, Airflow)
• Определение стека технологий для конкретных проектов и задач
• Решать технически сложные задачи, которые не могут решить другие инженеры в команде
• Оперативно реагировать на информацию о проблемах в зоне ответственности, выполнять задачи в установленные сроки
• Разрабатывать и контролировать актуальность документации по взаимодействию конфигурационных единиц платформы больших данных
• Предоставлять отчеты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством
• Контроль качества интеграционных решений с последующим созданием задач/дефектов для рефакторинга
• Определять технологическую стратегию развития проекта или продукта, работать на перспективу
• Выстраивать процессы (например, CI/CD, код-ревью), внедрять и развивать инженерные практики
• ml_data_science_job

Требования

• Опыт работы в роли Data Engineer от 4-х лет
• Опыт полного цикла создания данных: от проектирования пайплайнов и моделей до внедрения в production и мониторинга
• Системное мышление, способность проектировать масштабируемые и отказоустойчивые решения, учитывающие объем, скорость и разнообразие данных
• Навыки эффективной коммуникации с командами аналитики, бизнес-аналитиков, DevOps и разработки продуктов
• Опыт проведения нагрузочных тестов DataLake-платформ
• Практический опыт написания эффективных SQL-запросов для анализа и трансформации данных в StarRocks или аналогичных OLAP-системах (ClickHouse, Impala)
• Умение создавать и поддерживать таблицы, партиции, представления
• Базовое понимание модели данных StarRocks (дублирующиеся/агрегатные таблицы) для реализации готовых решений
• Опыт загрузки данных (через файлы, INSERT, использование простых коннекторов)
• Работа с HMS через Spark или Hive для создания/обновления таблиц, чтения метаданных. Понимание, для чего нужен каталог метаданных
• Уверенная работа с Parquet, Iceberg, JSON, CSV. Понимание преимуществ колоночных форматов
• Опыт написания DAG в Airflow (или аналоги) для планирования регулярных ETL-задач. Понимание принципов идемпотентности и перезапуска задач
• Интеграция Data Ocean Nova с источниками данных (базы данных, BI-инструменты). Понимание архитектуры таких платформ (часто микросервисной на базе K8s)
• Понимание, как перечисленные компоненты взаимодействуют друг с другом в единой платформе. Например, как запрос из StarRocks через HMS получает метаданные таблиц, а Ranger проверяет права доступа
• SQL (Продвинутый уровень)
• Сложные JOIN, оконные функции (window functions), агрегации
• Умение читать и анализировать план выполнения запроса (EXPLAIN) для базовой оптимизации
• Python (Средний уровень)
• Разработка скриптов для ETL, работа с API, Pandas для обработки данных умеренного объема. Знание основ
• PySpark: Умение писать и оптимизировать Spark-приложения (DataFrame API) для пакетной обработки данных. Понимание основ работы трансформаций и действий (transformations/actions), принципов партиционирования данных в Spark
• Kubernetes: Базовое понимание концепций (Pod, Deployment, Service)
• Опыт запуска и мониторинга своих задач (Spark, контейнеры) в K8s
• Умение работать с логами подов

Условия

• Оформление: только ИП 📌
• Ставка: от 272К до 285К
• Гражданство/Локация: РФ
• Загрузка: фуллтайм
• Срок: долгосрочный

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.