Мы запускаем сервис-агрегатор, который будет формировать единый портрет пользователя WB.
Зачем это нужно? Сейчас данные о клиентах распределены по разным доменам и системам, из-за чего получение всей информации о пользователе занимает время и требует агрегации.
Мы хотим создать единый источник, который будет собирать, стандартизировать и предоставлять эти данные в удобном виде.
Вам предстоит:
- Проектировать и реализовывать ETL-пайплайны на основе требований;
- интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
- обеспечивать надёжность пайплайнов;
- разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- оптимизировать производительность обработки данных.
- Уверенно владеете SQL (сложные запросы, оконные функции, оптимизация);
- имеете практический опыт с Python для обработки данных;
- имеете опыт автоматизации пайплайнов в Airflow;
- понимаете архитектуру DWH / Data Lake;
- владеете опытом построения и поддержки ETL-пайплайнов;
- имеете опыт работы с БД ClickHouse и Kafka.
Похожие вакансии
Сильный Python и опыт работы с PySpark, ClickHouse, S3 или аналогичными хранилищами. Опыт разработки и вывода в прод ML...
Среднее техническое или высшее образование. Опыт управление коллективом (от 5 человек). Опыт работы по специальности от 2-ух лет.
Опыт работы от 1 года. Высшее образование.
Высшее техническое образование. Опыт в аналогичной сфере будет преимуществом. Готовность работать в режиме многозадачности. Уверенный пользователь ПК (MS Office).
Опыт работы : не менее 3-х лет самостоятельного проектирования систем ОВиК в должности «ведущего инженера-проектировщика ОВиК» . Участие в полном...