Python-разработчик (Gigadata)

Навыки

• aiohttp / asyncio
• CI/CD
• ClickHouse
• Code review
• Распределённые системы
• DNS / DHCP
• Docker

Задачи

• Проектировать и разрабатывать ключевые компоненты распределённой системы массового краулинга
• Оптимизировать пропускную способность системы: асинхронный I/O, connection pooling, DNS-кэширование, батчинг запросов
• Проектировать и развивать архитектуру URL-фронтира: шардирование, приоритизация, дедупликация на масштабе миллиардов URL
• Разрабатывать интеллектуальные crawl-планировщики: адаптивное расписание обхода, приоритизация по freshness и значимости
• Реализовывать механизмы обнаружения и обхода crawler-ловушек (spider traps, infinite loops)
• Проектировать пайплайны обработки данных: парсинг, нормализация, дедупликация контента, индексация
• Обеспечивать отказоустойчивость на уровне архитектуры: stateless-воркеры, автоматический failover, graceful degradation
• Оптимизировать использование ресурсов: CPU, память, сетевой bandwidth, стоимость облачных ресурсов
• Разрабатывать системы мониторинга и observability для контроля здоровья краулера в реальном времени
• Работать с геораспределённой инфраструктурой для снижения латентности и увеличения покрытия

Требования

• Коммерческий опыт разработки на Python от 6 лет
• Глубокая экспертиза в асинхронной и мультипоточной разработке (asyncio, uvloop, multiprocessing)
• Отличное понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, WebSocket
• Опыт проектирования и эксплуатации распределённых систем высокой нагрузки
• Практический опыт работы с веб-краулерами на масштабе (десятки миллионов страниц в сутки)
• Опыт работы с распределёнными очередями и потоковыми системами (Kafka, Redis Streams, RabbitMQ)
• Опыт работы с реляционными (PostgreSQL) и нереляционными БД (Redis, ClickHouse, MongoDB)
• Понимание принципов consistent hashing, шардирования, репликации
• Опыт работы с Docker, Kubernetes, CI/CD
• Навыки глубокого troubleshooting: tcpdump, strace, perf, flamegraphs
• Опыт проведения Code Review и формирования технических стандартов

Условия

• Крупнейшее DS&AI community — более 600 DS-специалистов банка
• Дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
• Возможность быть соавтором НИРов и статей для международных конференций
• Возможность выбрать удобный формат работы: гибрид или офис
• Ежегодный пересмотр зарплаты, годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.