Мы ищем Инженера данных в команду DWH, где основная задача - поддержка инфраструктуры Единого аналитического хранилища Рекламной платформы.
Стек: Trino, ClickHouse, Airflow, PySpark, DBT.
Вам предстоит:
- разрабатывать витрины для конечного пользователя;
- интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
- обеспечивать надёжность пайплайнов;
- разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- оптимизировать производительность обработки данных
Формат работы - гибридный или удаленный формат работы по договоренности с руководителем.
Вы нам подходите, если:- опыт работы от 4 лет в DE:
- уверенно владеете стеком Trino, HDFS, S3, Airflow, Apache Iceberg;
- владеете опытом работы с мониторингом (Prometheus + Grafana);
- был опыт работы с Хранилищем данных.
Похожие вакансии
Рассматриваем кандидатов с высшим юридическим образованием (образование ВУЗов МГУ им. М.В. Ломоносова, МГЮА, НИУ ВШЭ, МГИМО - будет преимуществом).
Высшее образование, профильная подготовка — преимущество. Профессиональные навыки работы на ПК: уверенное владение MS Office и AutoCAD (продвинутый уровень).
Высшее техническое образование — робототехника, автоматизация, мехатроника или смежные направления. Уверенная работа с измерительными приборами и электроинструментом. Навыки работы с Linux...
Требования (знания): Технологии, принципы работы и эксплуатации объектов. Порядок приемки, монтажа и пуско-наладки оборудования. Условия эксплуатации и методы технических...
Опыт работы в производственной компании, проектном институте или конструкторском бюро. Высшее техническое образование. Знание стандартов оформления конструкторской документации (КД).