Data Engineer

Навыки

• Airflow
• XGBoost / LightGBM / CatBoost
• CI/CD
• Dagster / Prefect / Luigi
• Дашборды и витрины
• Data Lake
• Data Quality

О компании и продукте

• Работаем из 47 городов и нам нравится 600+ сотрудников. Цели проекта: участие в развитии сбора, обработки, трансформации и представления данных

Задачи

• проектированием и разработкой слоев данных (Raw, Clean, Enriched/Presentation) с учетом лучших практик моделирования (Data Vault 2.0 / 3NF для хранилища, Star Schema для витрин)
• разработкой и внедрением кастомных алгоритмов дедупликации и Entity Resolution (Fuzzy Matching) на Python
• формализацией бизнес-правил качества данных в код, настройкой уровней доверия к источникам и правил выживания (survivorship rules)
• внедрением Data Contracts и механизмов карантина (quarantine) для некачественных данных с возможностью их последующего разбора
• настройкой автоматизированного тестирования данных (Data Quality checks) в пайплайнах
• Чего мы ждем от тебя: SQL и трансформации: продвинутый уровень SQL и опыт работы с dbt (или аналогами) для построения слоев данных
• Python для данных: уверенное владение PySpark и/или pandas для обработки больших объемов данных и реализации логики матчинга
• Fuzzy Matching: практический опыт применения библиотек нечёткого поиска и связывания записей (например, Splink, recordlinkage, dedupe, theFuzz)
• алгоритмы: понимание принципов работы алгоритмов сравнения строк (Левенштейн, Джаро-Винклер, косинусное сходство на TF-IDF/эмбеддингах)
• моделирование данных: глубокое понимание 2-3NF, Data Vault 2.0 и различий между слоями сырых, очищенных и обогащенных данных
• Data Quality: Опыт внедрения инструментов тестирования данных (Great Expectations, Soda, dbt tests, deequ или аналоги)
• Будет существенным преимуществом: опыт обучения простых ML-моделей (Logistic Regression, XGBoost) или использование Active Learning для классификации дублей
• понимание принципов вероятностного связывания записей (Probabilistic Record Linkage, модель Фелледжи-Сантера)
• опыт работы с графовыми базами данных или графовыми алгоритмами (Connected Components) для разрешения сущностей
• знание специфики работы с Greenplum и stream lakehouse
• ИТ делают многие, но с нами интереснее
• Аккредитованная ИТ-компания ИТ-решения для всех сфер экономики
• Сохраняем гибкость и дух стартапа
• Сами решаем какой будет «Лоция» завтра

Требования

• оркестрация и DevOps: опыт работы с оркестраторами (Airflow, Dagster или Prefect), уверенное использование Git и базовые навыки CI/CD для дата-пайплайнов

Условия

• Официальное оформление со всеми социальными гарантиями
• Возможность работы в офисе, удаленно или в гибридном формате
• Комфортный офис в шаговой доступности от м
• Войковская и МЦК «Балтийская» с компенсацией питания ДМС с телемедициной и стоматологией с первого дня работы
• льготное подключение родственников
• Выгодный зарплатный проект с доступом к масштабной экосистеме сервисов
• Внешнее обучение и участие в конференциях, митапы, хакатоны и обмен практиками
• Полис путешественника и льготные программы страхования
• Свободный дресс-код и никакой бюрократии

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.