Мы передовое ИТ подразделение, создающее дата платформу на сотни петобайт данных для крупшейнего юнита банка.
Нами реализована загрузка, обработка и контроль качетсва разрозненных данных из сотен систем-истоников банка в единое хранилище в Data Lakehouse архитектуре на платформе Hadoop.
Ищем сильных и энергичных дата инженеров для развития нашей платформы в сторону обработки данных в режимах батчевой и потоковой загрузки.
Вы будете работать в сильной команде дата инженеров с сложными инженерными задачами, передовым стеком технологий и самыми большими объемами данных в Европе.
Задачи разработки и поддержки витрин данных в Hadoop (HDFS, Icberg, Hive), ETL - Spark, CTL - Oozie, CI/CD - Jenkins + BitBucket.
И NRT пайплайны, Kafka, dynamic tables.
языки - Python, Java, Scala.
Обязанности
- разработка DWH/DataLake/LakeHouse
- построение поставки данных в Batch/NRT/RealTime
- оптимизация ETL
- повышение актуальности данных
- снижение latency доступа к данным
- разработка и валидация архитектуры данных
Требования
- отличное знание SQL (join, CTE, оконные функции, фреймы и др.)
- опыт работы с Hadoop, Spark, Iceberg/Paimon
- опыт работы с Kafka и др. Брокерами
- опыт работы с оркестраторами (например, Airflow) и CI/CD
- опыт построения архитектуры данных (например, Data Vault, Инман, Кимбалл и др.)
- опыт кратной оптимизации ETL
- практическое знание python на уровне разработки ETL будет преимуществом
- практическое знание java/scala будет преимуществом
- практический опыт создания и защиты архитектуры данных будет преимуществом
- практический опыт разработки solution-архитектуры data-продуктов будет преимуществом
Условия
- офисный формат работы (м Кутузовская ул. Поклонная 3)
- годовая премия
- корпоративный спортзал и зоны отдыха
- более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- регулярные митапы и развитое DS-community
- расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбер.
Похожие вакансии
Опыт работы от 6 лет в сборке и настройке. Мультироторов, из них опыт с тяжёлыми. Платформами (10 кг и выше...
Высшее, профильное образование. Умение проводить статические расчеты, переходные процессы механических конструкций, модальный анализ, оценка усталостной прочности металлических конструкций и вращающихся...
Образование, высшее техническое. Опыт работы в аналогичной должности от 3 лет. Уверенный пользователь Microsoft, 1С Документооборот. Готовность к разъездному...
Опыт работы с ТЕАТРАМИ. Опыт взаимодействия с государственными заказчиками, в том числе с Минкультуры России и подведомственными организациями.
ТОЛЬКО высшее строительное образование. Релевантный опыт работы в аналогичной должности от 5 лет. !!! ОБЯЗАТЕЛЕН ваш ОПЫТ РАБОТЫ по направлению инженерных...