Дата-инженер (Платформа анализа данных)

Навыки

• Airflow
• Аналитическое мышление
• API (интеграции)
• Big Data
• ClickHouse
• Многопоточность
• Анализ данных

О компании и продукте

• Мы запускаем проект — «Платформа анализа данных. Это не просто классическое хранилище данных. Мы строим выделенный высокопроизводительный конвейер для обработки огромных объёмов данных. Чем предстоит заниматься Вы будете не просто дата-инженером в классическом понимании. Нам нужен специалист, который сочетает экспертизу в дата-инжиниринге с опытом backend-разработки и умеет работать с высокими нагрузками.

Задачи

• Разработка и сопровождение высоконагруженного конвейера обработки данных на отдельном контуре
• Реализация API для взаимодействия между компонентами системы
• Сбор информации через коллекторы (syslog, UDP и другие протоколы)
• Построение ETL/ELT-пайплайнов с использованием Airflow, Spark, Kafka Оптимизация производительности: профилирование, работа с многопоточностью, диагностика и устранение узких мест
• Интеграция внешних источников данных в связке с аналитиком Мы ждём, что вы
• Опыт: от 2 лет в дата-инженерии или разработке высоконагруженных систем
• Опыт работы с коллекторами сбора информации (syslog, UDP и другие) Soft skills: Системное мышление
• Понимание производительности и архитектуры
• Умение работать с большими объёмами данных
• Коммуникация с аналитиками и смежными командами

Требования

• Имеете высшее образование
• Технические навыки (обязательно): Python — основной язык для разработки пайплайнов и автоматизации SQL — уверенное владение, оптимизация сложных запросов ClickHouse, Hive и другие СУБД Опыт работы с Big Data: Hadoop, Spark, Kafka Оркестрация: Airflow, Jenkins или аналоги
• Опыт разработки API высокой нагрузки (понимание многопоточности, работа с сетевыми протоколами)

Условия

• Профессиональный рост: участие в профильных конференциях, доступ к корпоративной библиотеке и курсам
• Официальное трудоустройство в штат аккредитованной IT-компании ООО «НАПА ЛАБС»
• полный соцпакет: оплачиваемые отпуска, больничные (100% компенсация), командировки
• ДМС со стоматологией после прохождения испытательного срока
• Корпоративные привилегии: бонусные тарифы на телеком-услуги Дом.ру, программы лояльности, скидки в фитнес-клубы и многое другое от партнеров
• Дружелюбная атмосфера в команде профессионалов, прозрачные процессы
• Яркая корпоративная жизнь: внутренние хакатоны, митапы, совместные выезды и спортивные мероприятия

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.