Инженер данных (Hadoop)

ИТ B2C — самая крупная экосистема в Сбере. Нас более 8000 человек в 18 городах России. Мы занимаемся разработкой и развитием розничных решений, помогая сделать сервисы Банка доступнее, безопаснее и удобнее.

Ждем именно тебя!

Мы – новая команда в Блоке «Развитие клиентского опыта B2С, и мы ищем инженера данных, который присоединится к нашей команде и займётся разработкой и поддержкой витрин данных на базе Hadoop. Вам предстоит участвовать в разработке базовых и специальных витрин данных в Едином ПКАП B2C, готовить датасеты для обучения моделей в FeatureStore B2C, разрабатывать витрины данных на Hadoop в ПКАПе команды, реализовывать реплики в КАП Первичные данные.

Обязанности

• Проектирование, разработка и сопровождение витрин данных на базе Hadoop;
• Участие в разработке ETL-процессов для загрузки данных в витрины;
• Поддержка и мониторинг работы витрин данных;
• Взаимодействие с командами разработки и системными/дата-аналитиками по вопросам сбора, обработки и хранения данных;
• Разбор инцидентов качества данных, развитие автоматизированных тестов (Data Quality);
• Документирование разработанных решений.

Требования

• Практический опыт в разработке витрин данных, выстраивании ETL-процессов;
• Уверенное владение SQL (аналитические функции, подзапросы, хранимые процедуры/функции, оптимизация производительности), готовность к созданию инструментов для нужд инфраструктуры и разработки;
• Опыт работы с Hadoop (HDFS, YARN, Hive) и Spark;
• Знание Java/Scala и опыт разработки на нём;
• Опыт разработки на Python;
• Понимание инструментов и технологий Big Data;
• Знание принципов построения распределённых систем хранения и обработки данных;
• Опыт обработки и миграции больших объёмов данным между различными источниками;
• Опыт работы с системами контроля версий (Git);
• Навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом;
• Опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки.

Будет плюсом:

• Опыт работы с Kafka;
• Опыт работы с CI/CD инструментами (Jenkins, GitLab CI);
• Базовые знания Docker и иных технологий контейнеризации;
• Опыт работы с системами Unix (bash).

Условия

• Офисный формат работы (опционально)
• Годовой бонус и ежегодный пересмотр
• Расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
• Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• Офис на Кутузовской с зонами отдыха и спортзалом
• 90 дней удаленной работы из любого региона РФ (не применимо для сопровождения)
• Льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.