Чем ты будешь заниматься:
- Разрабатывать и сопровождать ETL/ELT-пайплайны на Apache Spark и Apache Flink
-
Проектировать и развивать продуктовые витрины данных под задачи аналитики, BI и ML
-
Готовить агрегированные и очищенные наборы данных из телематики, GPS, логов и учетных систем
-
Контролировать качество, полноту и своевременность обновления данных
-
Взаимодействовать с корпоративной платформой данных и владельцами источников по требованиям на подключение новых источников и доработку существующих загрузок;
-
Оптимизировать задания Spark/Flink, SQL-запросы и витрины для быстрой работы аналитики и дашбордов
Мы ожидаем от кандидата:
- Опыт работы в роли Data Engineer / BI Engineer от 2–3 лет
- Уверенный опыт работы с Apache Spark
- Опыт работы с Apache Flink или понимание принципов потоковой обработки данных
- Хорошее знание SQL и опыт оптимизации запросов
- Уверенное владение Python; понимание ETL/ELT-процессов, качества данных и мониторинга загрузок
- Опыт проектирования витрин
- Будет плюсом: опыт с ClickHouse; опыт работы с IoT-, log- или телематическими данными; понимание логистики, автотранспорта, эксплуатации техники; опыт подготовки данных для ML и process mining
- Стек технологий: Apache Spark, SQL, Python, ClickHouse, S3(Parquet +Iceberg), Postgres, ETL / ELT, Git, Airflow, Apache Superset
Похожие вакансии
Опыт разработки RTL от 3 лет. Знание Verilog/SystemVerilog. Опыт использования RTL симулятора от 3 лет (any vendor).
Уверенный опыт разработки Telegram-ботов различной сложности. Опыт работы с Telegram Bot API. Опыт разработки Telegram Mini Apps / Web Apps.
Продвинутые навыки в Excel (Power Pivot, Power Query, сводные таблицы, логические формулы). Знания и опыт работы с Google Analytics/Яндекс...
Опыт работы DevOps от 3х лет. Опыт работы с системой оркестрации Kubernetes от 3х лет. Понимание сетевого взаимодействия...
Знание технологий: модель OSI, понимание работы стека TCP/IP, протоколов SSL (SSL handshake, TCP handshake), HTTP/HTTPS и принципов их...