Data Engineer

Навыки

• Airflow
• ClickHouse
• Анализ данных
• Data Governance
• Data Quality
• DWH
• ETL / ELT

О компании и продукте

• 30 июля 2026 • г Москва • ПАО Сбербанк • Информационные технологии:Дата-сайентист
• Команда блока Строительства в поиске Data Engineer на задачи по построению хранилища и автоматизации работы бизнес процессов.

Задачи

• Подготовка данных для AI: Формирование датасетов для обучения ML-моделей и тонкой настройки LLM-агентов (очистка, разметка, агрегация)
• Разработка пайплайнов: Создание и сопровождение ETL-процессов, агрегирующих информацию из 3 смежных автоматизированных систем (АС), с обеспечением минимальной задержки
• Векторные хранилища: Проектирование схем и наполнение векторных баз данных (Chroma, Qdrant, Milvus) для реализации семантического поиска и RAG-архитектур
• Управление качеством данных (Data Quality): Внедрение систем валидации (проверка на полноту, дубликаты, аномалии) и мониторинг показателей здоровья данных
• Data Lineage & Документация: Ведение полного учета происхождения данных (от источника до агента), разработка схем данных и актуализация технической документации для смежных команд (ML-инженеров и бэкендеров)

Требования

• Опыт работы: От 3 лет в коммерческой разработке на позиции Data Engineer или ETL-разработчика
• Языки и стек: Продвинутое владение Python (написание продакшн-кода) и SQL (сложные запросы, оконные функции)
• Распределенная обработка: Уверенное владение Apache Spark (PySpark) для трансформации больших объемов данных
• Оркестрация: Построение и поддержка ETL/ELT-пайплайнов с использованием Apache Airflow или Apache NiFi
• Хранилища данных: Практический опыт с колоночными СУБД (ClickHouse) и/или облачными решениями типа Snowflake
• Интеграции: Опыт проектирования REST API для выдачи данных наружу (в том числе для агентов)
• Работа с "грязными" форматами: Умение парсить, нормализовать и структурировать неструктурированные данные (опыт работы с PDF-документами, чертежами DWG, сканами) обязателен
• Инструментальное владение AI для анализа, генерации и автоматизации

Условия

• Гибридный формат работы (современный офис в Москве на метро Кутузовская)
• Льготные ипотечные условия кредитования
• Подписка Прайм с возможностью совместного использования на трёх близких
• Скидки на продукты компаний – партнеров: Okko, Сбер Маркет, Мега Маркет, Самокат, Еаптека и другие
• ДМС с первого дня и скидки на страхование для близких
• Корпоративная пенсионная программа
• Детский отдых и подарки за счет Компании
• Обучение за счет Компании
• Онлайн курсы, неограниченный доступ к библиотеке и обучение на базе
• Корпоративного университета, тренинги, митапы и возможность получить новую квалификации

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.