Наша команда отвечает за управление всеми данными B2C сегмента клиентов Сбера. Мы уже трансформировали подход к управлению данными, построили единый слой детальных данных и продолжаем развивать его актуальность и полноту. Так же перед нами стоят амбициозные задачи построения единого слоя агрегатов и фичей B2C, реализация всего тракта поставки данных в RealTime и внедрения нового стека технологий, что позволит создать единую точку правды для упр. отчетности, моделей и фронтальных систем, а так же капитализировать данные за счет их многократного переиспользования.
Ищем лида тех компетенции DE.
Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.
И NRT пайплайны с Flink, Spark Streeming, Kafka, dynamic tables.
языки - Python, Java, Scala.
Обязанности
- разработка DWH/DataLake/LakeHouse
- построение поставки данных в RealTime/NRT/Batch
- проведение код-ревью других разработчиков
- оптимизация ETL
- повышение актуальности данных
- снижение latency доступа к данным
- разработка и валидация архитектуры данных
Требования
- отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
- опыт работы с Hadoop, Spark, Iceberg/Paimon
- опыт работы с Flink и Spark Streaming
- опыт работы с Kafka и др. Брокерами
- опыт работы с оркестраторами (например, Airflow) и CI/CD
- опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
- опыт кратной оптимизации ETL
- практическое знание python на уровне разработки ETL
- практическое знание java/scala будет преимуществом
- практический опыт создания и защиты архитектуры данных будет преимуществом
- практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
Условия
- офисный (метро Кутузовская) формат работы 5/2
- годовой бонус и ежегодный пересмотр
- расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
- корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
- офис на Кутузовской с зонами отдыха и спортзалом
- льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров.
Похожие вакансии
Опыт юридической работы в области IT или в области интеллектуальной собственности не менее 3-х лет. Знание гражданского права, в...
Уверенный пользователь ПК MS Office (MS Word, MS Excel). Знание программы "Турбо сметчик", "Смета.ру". Чтение проектной документации.
Высшее строительное образование по специальности ПГС. Опыт работы ГИПом от 3х лет в гражданском проектировании обязателен; общий опыт работы...
Высшее техническое образование. Знание электротехники, ПУЭ, ГОСТов для проектирование НКУ. Знание программ AutoCAD, Компас-3D, NanoCAD. Знание основ, методов...
От 5 лет опыта в продуктовой работе в B2B SaaS — в роли Product Manager, Senior Business / System Analyst.