Senior Data Engineer / Старший инженер данных

Работодатель:

Опыт работы:

От 3 до 6 лет

О проекте

Ищем Data Engineer для работы над Data-проектами крупного российского банка.

Основной фокус — развитие корпоративного хранилища данных: создание и сопровождение ETL/ELT-процессов, подключение источников, разработка аналитических и продуктовых витрин, повышение стабильности и качества загрузок.

В работе используются Python, SQL, Apache Airflow, Spark, Kafka, PostgreSQL и MPP-хранилища. Предстоит взаимодействовать с аналитиками, архитекторами и другими Data Engineers и самостоятельно вести задачи от анализа источника до промышленного запуска.

Что мы ожидаем

Опыт работы Data Engineer, DWH Developer или ETL Developer от четырёх лет.
Уверенное владение SQL: CTE, оконные функции, сложные JOIN, агрегации, анализ и оптимизация запросов.
Практический опыт разработки на Python.
Опыт самостоятельной разработки ETL/ELT-процессов.
Практический опыт с Apache Airflow.
Понимание архитектуры DWH и принципов построения витрин данных.
Опыт работы с PostgreSQL.
Практический опыт со Spark/PySpark.
Опыт работы с Kafka.
Понимание batch- и streaming-обработки.
Умение самостоятельно разобраться в источниках и спроектировать процесс загрузки.
Внимательное отношение к качеству и стабильности данных.
Опыт ведения задачи от постановки до промышленного запуска.

Основной стек

Python, SQL, Apache Airflow, Spark/PySpark, Kafka, PostgreSQL, DWH, ETL/ELT.

Не ожидаем одинаково глубокого знания всех инструментов. Критически важны уверенные SQL и Python, опыт построения Data-пайплайнов и понимание архитектуры хранилищ.

Будет преимуществом

Опыт работы в банке или финтехе.
Greenplum.
ClickHouse.
Hadoop, Hive или HDFS.
Oracle или Teradata.
Опыт работы с MPP-СУБД.
Опыт миграции DWH или отдельных ETL-процессов.
Опыт построения streaming-процессов.
Знание Data Vault.
Работа с большими объёмами данных.
Опыт оптимизации производительности хранилищ и процессов загрузки.
Опыт работы с банковскими продуктами и банковской отчётностью.

!!!
Ищем нескольких Data Engineers. Если вы сильный инженер с опытом DWH и ETL/ELT, но ваш стек отличается от указанного -- будем рады отклику.
У нас несколько проектов, в которых есть высокий шанс совпасть по технологиям.
!!!

Условия

Официальное трудоустройство, конкурентная зарплата — обсуждаем на встрече по итогам собеседования, отталкиваемся от вашего опыта и рынка;
Гибкие варианты оформления (в штат, по договору, самозанятость).
Удалённо (работа по московскому времени) или гибрид
Полная занятость.
Быстрая обратная связь по кандидату + возможен переход на смежный проект и рост в грейде/роли;

Команда расширяется

Ищем нескольких Data Engineers. Если вы сильный инженер с опытом DWH и ETL/ELT, но ваш стек отличается от указанного -- будем рады отклику.
У нас несколько проектов, в которых есть высокий шанс совпасть по технологиям.

В сопроводительном письме можно указать (необязательно!):

какие ETL/ELT-процессы вы разрабатывали;
с какими объёмами данных работали;
насколько уверенно используете SQL, Python и Airflow;
какой формат работы и уровень вознаграждения рассматриваете.