Data engineer ( Рекламная платформа)

Работодатель:
Опыт работы:
От 3 до 6 лет

Мы ищем Data engineer в команду развития специализированных витрин данных.

Обязанности

Чем предстоит заниматься:

  • разрабатывать и поддерживать витрины данных в облачной экосистеме
  • проектировать и улучшать архитектуру системы
  • разрабатывать и оптимизировать пайплайны обработки данных/ETL на Python / Scala, а также помогать другим командам
  • внедрять контроль качества данных (SODA).

Требования

  • высшее образование
  • опыт в аналогичной роли от 3 лет
  • понимание принципов модели распределенных вычислений
  • опыт в поиске, обработке и построении витрин данных при помощи Spark и SQL
  • опыт промышленной разработки на стеке Scala/Java/Python
  • знание и опыт использования инструментов по обработке больших данных (Spark, Trino, Polars и др.)
  • опыт работы со стримингом (Flink, Spark Streaming, Kafka и др.)
  • хорошие знания SQL, опыт работы с одной из реляционной БД - Oracle/PostgreSQL/mySQL/MS SQL Server
  • опыт работы с S3, HDFS
  • знание любого оркестратора (AirFlow/Oozie/Dagster/Argo Workflows)
  • понимание подходов к организации разработки (CI/CD, DevOps).

Будет плюсом:

  • опыт работы с Iceberg
  • опыт работы с DataHub/OpenMetaData
  • опыт работы с SODA/GreateExpectation
  • опыт работы с ClickHouse
  • опыт работы с Kubernetes
  • навыки работы с генеративными AI-моделями
  • опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

  • офис рядом с метро Маяковская
  • гибридный формат работы
  • годовой бонус и ежегодный пересмотр
  • расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
  • корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
  • 90 дней удаленной работы из любого региона РФ
  • льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний.

Похожие вакансии

Инженер-проектировщик (водоснабжение и канализация)
Московский метрополитен

Высшее техническое образование (водоснабжение, водоотведение). Опыт работы от 1 года. Опыт проектирования подземных сооружений. Знание нормативной документации (СП, ГОСТ, ФЗ...

122 000 руб.
Системный инженер (разработка аппаратуры) в команду роботов доставки
Яндекс

Работали с системным и функциональным анализом сложных программно-аппаратных систем, знаете основы их моделирования и стремитесь изучить передовые практики в...

Системный инженер по сенсорным системам в Автономный транспорт
Яндекс

Готовы самостоятельно разбираться в новых стандартах и форматах — отрасль молодая, готовых ответов часто нет. Умеете чётко формулировать мысли в письменной...

Инженер по функциональной безопасности в Автономный транспорт
Яндекс

Проводили FMEA, DFA и HARA. Работали в рамках ISO 26262. Знаете методы анализа видов и последствий отказов и умеете применять...

Инженер по функциональной безопасности в Автономный транспорт
Яндекс

Проводили FMEA, DFA и HARA. Работали в рамках ISO 26262. Знаете методы анализа видов и последствий отказов и умеете применять...