Мы ищем Инженера данных (Senior) в команду DWH, где основная задача - поддержка инфраструктуры Единого аналитического хранилища Рекламной платформы.
Стек: Trino, ClickHouse, Airflow, PySpark, DBT, Open Metadata Server, Kafka, Kafka Connect, Flink, Java, Python, HDFS, S3, Iceberg, K8s.
Вам предстоит:
- интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- обеспечивать надёжность пайплайнов обработки данных;
- оптимизировать производительность обработки данных;
- дорабатывать оупенсорс-инструменты обработки данных;
- исследовать новые оупенсорс-инструменты
- создавать гайды, собирать best practices для конечных пользователей.
Формат работы - гибридный или удаленный формат работы по договоренности с руководителем.
Вы нам подходите, если:- владеете опытом работы от 6 лет в DE;
- уверенно владеете стеком Trino, Airflow, PySpark, DBT, Java, Python, HDFS, S3.
- владеете опытом работы с мониторингом (Prometheus + Grafana).
Похожие вакансии
Опыт работы в области защиты персональных данных и информационной безопасности от 3 лет. Знание 152-ФЗ и подзаконных актов, практика...
Опыт работы с Windows на уровне продвинутого пользователя. Опыт в автоматизированном тестировании. Английский язык на уровне чтения технической литературы.
Наличие высшего технического образования. Опыт работы не менее 3 лет в роли DevOps. Знание внутренней архитектуры серверного оборудования.
Знаете серверное железо на уровне совместимости и тонкой диагностики. Понимаете разницу между поколениями Xeon и EPYC, типами памяти (RDIMM, LRDIMM...
Опыт в редакционной роли (редактор, старший. Редактор) с показательными результатами. Опыт создания разных типов контента: коммерческие. И некоммерческие тексты, B...