Senior · Удалённо из России · Москва, Россия · Английский не нужен
Навыки
Airflow
Big Data
CI/CD
ClickHouse
Data Lake
DWH
ETL / ELT
Ещё 11
Git
Greenplum
Hadoop
KPI
Linux
OLAP
Python
Рефакторинг
S3 (объектное хранилище)
Spark
SQL
О компании и продукте
ОДНА ИСТОРИЯ — ВСЕ ВОЗМОЖНОСТИ Кино, музыка, книги, театр, концерты и выставки — всё в одном медиахолдинге ЖИВЁМ ВО ВСЕХ ФОРМАТАХ СЕЙЧАС МЫ В ПОИСКАХ DATA ENGINEER В КОМАНДУ ОНЛАЙН-КИНОТЕАТРА КИОН Мы создаем оригинальный развлекательный контент и развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку
Задачи
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark
Разарбатывать и поддерживать OLAP движков Starrocks/Clickhouse
Поддерживать текущие пайплайны на Greenplum и Hadoop
Осуществлять миграцию с HDFS на S3
Проводить оптимизацию Spark-приложений
Требования
ЧТО ВАЖНО ДЛЯ ЭТОЙ ПОЗИЦИИ Опыт работы с Python от 3 лет
Глубокое знание SQL и опыт работы с большими данными
Опыт работы с Apache Airflow Опыт проектирования и разработки ETL/ELT процессов
Опыт работы с колоночными БД (ClickHouse)
Знание принципов построения Data Warehouse и Data Lake
Понимание разницы между OLTP/OLAP системами
Уверенная работа c linux и git
Понимание процессов ci/cd
Условия
Оклад + годовой бонус при выполнении KPI ДМС с первого месяца работы и страховка для поездок за границу
Два дня в неделю можно работать удаленно: дома, в коворкинге, кафе или там, где хочется
Современный офис в центре
Москвы с собственным кинозалом
Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты
Корпоративная программа «ON Медиа
Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта
Еще немного о бонусах ДМС ДМС с первого месяца работы, включая стоматологию
А еще оплачиваем 50% стоимости полиса ДМС для родственников Прием врачей Прием врачей общей практики и массаж в офисе
Консультация психологов и программа поддержки сотрудников Мобильная связь
Мобильная связь за счет компании и льготные тарифы для близких Университет
Собственный корпоративный университет и оплачиваемое внешнее обучения для карьерного развития Страхование
Страхование от несчастных случаев с 1 месяца работы
Материальная помощь в сложных жизненных ситуациях
Компенсация расходов
Компенсация расходов на выбор сотрудника, например, на спорт, ипотеку или питание
Специальные предложения от партнеров и скидки от продуктов экосистемы МТС Подписка