Инженер данных в Финтех

Навыки

• Agile
• CI/CD
• ClickHouse
• Code review
• DWH
• ETL / ELT
• Финтех и платежи

О компании и продукте

• В Финтехе мы создаём платёжные продукты, сервисы и инструменты для управления личными финансами. Финтех уже превратился из стартапа в полноценный и крайне важный продукт. Сейчас мы собираем новое — аналитическое — хранилище данных и формируем для этого команду. В хранилище нет легаси, поэтому у вас будет возможность оказаться у истоков нового проекта. У нас большие планы — приходите помогать их реализовать!. Какие задачи вас ждут Строить ETL-процессы
• Как известно, у нас нет собственного легаси, но мы часто работаем с прототипами, реализованными аналитиками, чьё представление о прекрасном может не совпадать с нашим. Поэтому мы распутываем нетривиальную логику и предлагаем более строгую, консистентную и оптимальную, ориентируясь на большие объёмы данных
• Мы преследуем совсем другие цели, поэтому максима «сработало раз — и ладно» не о нас. Идеал такой: хранилище обеспечивает регулярную поставку с минимально возможным количеством сбоев, а данные — корректны, полны, непротиворечивы и отвечают самым строгим стандартам качества
• Мы хотим заложить основы, которые позволят ему быстро развиваться, обрастая при этом не «костылями» и «велосипедами», а современными инженерными практиками и подходами

Задачи

• Инженер данных в Финтех
• Нужно извлекать из источников ценную информацию, обрабатывать её и представлять в виде, удобном для аналитиков
• Сложность пайплайнов может варьироваться от простых инжестов данных из внешней среды и приземления результата в хранилище до витиеватых графов со множеством инпутов и аутпутов
• Оптимизировать логику
• Обеспечивать доступность сервиса
• Олимпиадный подход подразумевает одноразовость результата
• Проектировать структуру хранилища
• Лучшее аналитическое DWH ещё только в планах
• Взаимодействовать с аналитиками
• Они наши главные и любимые заказчики
• Вместе с ними вам предстоит обдумывать бизнес-задачи, иногда вы будете спорить, но в итоге — находить оптимальные решения
• Неотъемлемая часть этого процесса — накапливание личного опыта в бизнес-домене Финтеха
• Прибавим сюда рост инженерного опыта — и получим двойную выгоду
• Почти как у Яндекс Пэй

Требования

• Уверенно программируете на Python
• Хорошо знаете SQL и понимаете устройство современных СУБД
• Понимаете и можете объяснить необходимость непрерывной интеграции и доставки (CI/CD), преимущества использования систем контроля версий, код-ревью, тестирования и мониторинга
• Работаете в командной строке Unix-подобных систем (Linux, macOS)
• От 3 лет

Будет плюсом

• Создавали сложные высоконагруженные ETL- и ELT-процессы (Hadoop, Hive, Spark)
• Разрабатывали процессы обработки событий, приближенные к реальному времени (Kafka, Spark Streaming, Flink)
• Участвовали в проектировании хранилищ данных
• Работали по методологии Agile
• Руководили стажёрами или начинающими специалистами
• Знакомы со специализированными аналитическими БД (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, pandas, SciPy, Matplotlib)
• Публикуете свой код в доступном репозитории, пишете статьи, выступаете на конференциях

Условия

• Гибридный

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.