Старший дата-инженер (Senior Data Engineer)

Работодатель:

Опыт работы:

Более 6 лет

Место работы:

Москва, Новодмитровская улица, 2к1

Мы ищем Senior Data Engineer, который усилит нашу команду.

Задачи:

Поддержка инфраструктуры DWH в рабочем состоянии;
Развитие архитектуры системы;
Развитие и рефакторинг ETL сервиса (Airflow / python);
Написание тестов (pytest);
Поддержка legacy пайплайнов ETL (logstash);
Добавление/изменение поставок данных из Kafka и API сторонних сервисов;
Создание и изменение DBT моделей агрегатов и вьюх;
Участие в инициативах по снижению стоимости DWH (оптимизация хранения, compute, пайплайнов и моделей);
Участие в ревью и командных встречах;
Взаимодействие с другими командами разработки;
Поддержание технической документации и Wiki в актуальном состоянии.

Мы ожидаем:

3+ года опыта работы Data Engineer;
Знание Python 3.9+, asyncio, pytest;
Опыт написания SQL запросов;
Умение работать с системой контроля версий Git;
Знание Docker, Gitlab CI, Unix cli;
Знание и опыт работы с Kafka;
Умение находить и решать проблемы;
Опыт работы с DBT и ClickHouse (или аналогичными OLAP);
Знакомство с экосистемой Yandex.Cloud;
Опыт оптимизации стоимости DWH: снижение объёма хранения и compute за счёт TTL/партиционирования, инкрементальных ETL, оптимизации SQL/OLAP-моделей;
Умение измерять и объяснять эффект по деньгам/ресурсам.

Будет плюсом:

Data lifecycle: hot/cold хранение, архивация, политики retention;
Опыт миграции и упрощения legacy ETL в более дешёвый и управляемый контур;
Практический опыт оптимизации ресурсов в Yandex.Cloud (диски, compute/managed-сервисы, сетевой трафик);
DBT: инкрементальные модели, тесты на рост объёма, контроль «дорогих» агрегатов.

Мы предлагаем:

Все по ТК и даже больше - дополнительные отгулы и доплата за дни больничного листа;
Гибридный формат работы (офис/удаленка);
Ноутбуки для комфортной работы из дома;
Современный офис с игровой зоной, фруктами и напитками;
ДМС со стоматологией после прохождения испытательного срока;
Частичная компенсация фитнес абонемента;
Обучающие курсы, тренинги и конференции;
Эффективная программа адаптации для новых сотрудников;
Корпоративы и тимбилдинги.

Похожие вакансии