Data Engineer

Навыки

• API (интеграции)
• Проектирование архитектуры
• Самостоятельность
• Code review
• Data Governance
• Data Quality
• dbt

О компании и продукте

• Мы - MAREE , международный косметический бренд и бестселлер на Amazon. Наши продукты уже покорили сердца более 1 000 000 девушек в США, и мы продолжаем активно расти. Мы родом из СНГ, но работаем в первую очередь с рынком США (Amazon и другие площадки), а команда распределена по миру: СНГ, Европа и Азия. Мы быстро тестируем гипотезы, много экспериментируем с продуктами и упаковкой и ценим людей, которые любят скорость, системность и ответственность. Мы ожидаем, что вы Владеете Python на уровне написания коннекторов к внешним API Обладаете опытом работы с dbt на уровне разработки моделей, тестов и инкрементальных материализаций

Задачи

• Разрабатывать и поддерживать коннекторы к источникам данных Подключать новые источники: анализировать документацию API, учитывать лимиты и квоты, пагинацию и аутентификацию
• проектировать структуру сырого слоя и контракт с потребителями данных
• Поддерживать инфраструктуру платформы: конфигурации окружений, управление секретами
• Настраивать мониторинг и алертинг сервисов платформы
• Ожидания по результатам 3 месяца - самостоятельно поддерживаете существующие пайплайны, подключили минимум один новый источник 6 месяцев - проектируете загрузки с нуля, предлагаете схему контрактов, настроили мониторинг и DQ-проверки по своим пайплайнам 12 месяцев - стали точкой входа по вопросам загрузки данных, участвуете в архитектурных решениях, проводите код-ревью

Требования

• Владеете SQL на уровне сложных аналитических запросов и чтения плана выполнения
• Понимаете основные подходы и концепции построения DWH (Kimball, Data Vault)
• Понимаете процессы Data Quality и Data Governance Знакомы с принципами обработки данных (ETL, ELT, Batch, Streaming)
• Работали с self-hosted инфраструктурой
• Знакомы с IaC (Terraform) и Kubernetes

Условия

• Возможность реализовать свои идеи в одной из самых успешных e-commerce команд СНГ
• 100% удаленная работа из любой точки мира
• Стабильная высокая заработная плата
• Возможность в дальнейшем расти и развиваться в компании
• Возможность поучаствовать в построении архитектуры современной data платформы
• Мы поощряем использование open source продуктов, а не вендорских решений

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.