Старший инженер данных

Навыки

• Airflow
• Avro / Parquet
• Ceph / MinIO
• CI/CD
• Confluence
• DWH
• ETL / ELT

О компании и продукте

• Мы развиваем корпоративное хранилище данных, которое используется для аналитики, отчетности и принятия бизнес-решений по всему банку. Команда занимается подключением новых систем-источников к единому хранилищу данных, обеспечивая сбор, обработку и доставку данных для внутренних заказчиков. Важно: Мы ищем специалиста, который одинаково уверенно чувствует себя как в инженерной части работы с данными, так и в аналитической составляющей: способен разобраться в новой системе-источнике, проанализировать требования, спроектировать решение и довести его до промышленной эксплуатации.

Задачи

• Подключать новые системы и источники данных к корпоративному хранилищу данных
• Анализировать структуру и особенности данных в системах-источниках
• Проектировать и разрабатывать интеграционные решения для загрузки и обработки данных
• Разрабатывать и сопровождать ETL/ELT-процессы
• Тестировать реализованные решения и участвовать в их внедрении в промышленную эксплуатацию
• Работать как с автоматизированными инструментами подключения источников данных, так и реализовывать нестандартные интеграции вручную
• Анализировать существующие решения и техническую документацию
• Подготавливать и актуализировать техническую документацию
• Предлагать улучшения архитектуры и процессов обработки данных, участвовать в их обсуждении и реализации
• Опыт разработки и сопровождения ETL/ELT-процессов
• Опыт работы с Git, CI/CD, Jira, Confluence или аналогичными инструментами Будет преимуществом
• Знание Scala или Java
• Опыт работы с Apache Iceberg
• Опыт работы с Apache Flink
• Опыт работы с Greenplum, MongoDB, ElasticSearch
• Понимание принципов работы REST API
• Опыт работы с RabbitMQ, Tarantool
• Опыт работы с XML и JSON

Требования

• Наши пожелания к кандидатам: Уверенное знание SQL и Python Понимание принципов построения хранилищ данных (DWH)
• Опыт работы с Apache Spark Опыт работы с объектными хранилищами данных (S3/MinIO)
• Знание форматов хранения данных Parquet и ORC Опыт работы с Apache Airflow Опыт работы с Kafka Опыт работы с Oracle и/или PostgreSQL Навыки системного анализа и подготовки технической документации

Условия

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
• Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург
• Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.