Ищем в команду Data Engineer на проект по построении. Платформы данных.
Цель:
Развитие экосистемы сбора, обработки, трансформации и визуализации данных.
Ключевые задачи:
-
Разработка и интеграция: Создание и внедрение новых пайплайнов данных.
-
Расширение возможностей: Подключение новых источников и доработка функционала информационной системы «Платформа данных».
-
Конфигурирование: Настройка и оптимизация существующих процессов ETL
Чем предстоит заниматься:
-
разработкой, конфигурированием и интеграцией новых пайплайнов, источников и возможностей ИС «Платформы данных».
Чего мы ждем от тебя:
- опыт работы с Airflow, kafka, PySpark, Базы данных, Git;
- очень желательно - Debezium, PixBI/PowerBI/Superset, dbt/sqlmesh, dagster.
Похожие вакансии
Получили высшее техническое образование. Работали с данными в PLM. Знаете структуру XML. Знаете MS Excel.
Опыт работы с SQL / Impala (написание сложных запросов, оптимизация). Опыт работы с Hadoop / Spark (работа с большими объёмами данных).
Глубокая экспертиза в Kubernetes, Docker, Helm. Опыт построения и развития CI/CD (GitLab CI, Jenkins, Argo CD). Опыт работы с...
Навыки и стабильный опыт в области проектирования, развертывания и сопровождения средств защиты информации. Знание и навыки работы с основными операционными...
Опыт работы с высоконагруженными системами и распределенными архитектурами (например, в банковской сфере, fintech, или финансовых платформах). Понимание принципов обеспечения высокой...