Data Engineer

Навыки

• AI-инструменты в работе
• Airflow
• API (интеграции)
• Самостоятельность
• Big Data
• ClickHouse
• Дашборды и витрины

Задачи

• Разработка и поддержка ETL-процессов: создание и доработка загрузок данных из API, файлов, внутренних баз данных и других источников, поддержка регулярного обновления данных
• Работа с Airflow: разработка и сопровождение DAG, настройка расписаний, зависимостей, повторных запусков, обработка ошибок, разбор падений и задержек в загрузках
• Работа с хранилищами и витринами: разработка таблиц и витрин в ClickHouse/PostgreSQL, написание SQL-запросов, оптимизация запросов, подготовка данных для отчетности, аналитики, внутренних сервисов и задач разработки
• Контроль качества данных: проверка полноты, актуальности, дублей, пропусков и расхождений, улучшение существующих загрузок с точки зрения стабильности, прозрачности и надежности данных
• Поддержка инфраструктуры направления данных: работа с серверной средой, Airflow, базами данных, логами, техническими ошибками и вспомогательными процессами, необходимыми для стабильной работы данных
• Работа с внутренними инструментами: участие в тестировании и сравнении внутренних инструментов/субагентов для разработки, исправления и стандартизации DAG
• Документирование загрузок и витрин: описание источников, логики обработки, расписаний, проверок качества данных, зависимостей и возможных ошибок

Требования

• Опыт работы в data engineering, DWH, ETL-разработке, аналитической разработке или смежной роли от 1,5–2 лет
• Уверенное знание SQL
• Опыт работы с PostgreSQL, ClickHouse или аналогичными СУБД
• Опыт или уверенное понимание Apache Airflow: DAG, расписания, зависимости, retries, логи, обработка ошибок
• Python для задач обработки данных, автоматизации, работы с API и файлами
• Понимание принципов ETL: извлечение, трансформация, загрузка, обновление данных
• Опыт загрузки данных из API, файлов или баз данных
• Понимание принципов построения витрин данных
• Базовые навыки Linux: командная строка, файлы, директории, процессы, логи
• Git на базовом уровне
• Готовность разбираться в существующем коде, чужих DAG и неидеальной документации
• Мы предлагам
• Современный уютный офис с комфортными зонами отдыха (7 минут пешком от м. Алексеевская)
• Свобода выполнения задач — ты сам определяешь, как достигать целей, выбираешь подходы и методы. Нет жестких рамок — только результат!
• Свои сервера и инфраструктура — наши дата-инженеры живут в собственной, полностью оборудованной инфраструктуре офиса
• Это позволяет быстро решать любые вопросы с системой долгого ожидания, обеспечивая максимальную оперативность и независимость
• Высокий уровень самостоятельности — у тебя есть возможность самостоятельно планировать и реализовывать свои задачи, не теряя оперативности и гибкости
• Много направлений для экспериментов — работа с большими данными, искусственный интеллект, автоматизация — выбирай то, что интересно именно тебе
• Активное использование искусственного интеллекта — мы внедряем современные технологии, и у тебя есть уникальная возможность быть в авангарде этих изменений
• Гибкость в выборе направления деятельности — хочешь перейти на другую роль или направление?
• При желании ты можешь изменить свою специализацию и развиваться в интересных тебе сферах

Условия

• Оформление по ТК РФ (полностью белая заработная плата, стабильный и прозрачный доход, оплачиваемые отпуск и больничные)
• График работы - гибридный, 5/2 с 9:00 до 18:00, (сокращённая пятница)

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.