Data Engineer (гибрид в Москве)

О компании

• Язык: Python (уверенное владение, понимание ООП, типизации, работы с памятью)
• ETL/ELT: Опыт построения пайплайнов в продакшн (от 1–2 лет активной поддержки)
• Обработка данных: PySpark / pandas / аналоги; работа с большими объёмами
• Форматы: Parquet, columnar storage (понимание partitioning, compression, schema evolution)
• Хранилища: S3 или аналоги (MinIO, Yandex Object Storage, etc.)
• Архитектура: Data Lake / Lakehouse, multi-layer: raw → processed → curated
• Data Quality: Нормализация, дедупликация, формирование golden record / master data
• БД & SQL: PostgreSQL, Greenplum, ClickHouse (или аналоги); продвинутый SQL (оконные функции, CTE, оптимизация запросов)
• Оркестрация: Apache Airflow (или аналоги: Dagster, Prefect, Temporal)
• DevOps: Docker, CI/CD (GitLab CI, GitHub Actions, Jenkins), Git
• Облака: Yandex Cloud / AWS / GCP (любая из трёх, понимание IAM, сетей, compute/storage)
• XML: lxml, ElementTree или аналоги; опыт парсинга/валидации сложных структур

ОСНОВНЫЕ ЗАДАЧИ

• Разработка и оптимизация ETL/ELT-пайплайнов под большие объёмы.
• Парсинг, валидация и трансформация XML-данных.
• Построение слоёв raw → processed → curated (Parquet + S3).
• Реализация нормализации, дедупликации и формирования "золотых" записей.
• Тюнинг производительности и обеспечение стабильности в продакшене.
• Подготовка решений к переносу в закрытый контур заказчика.
• Взаимодействие с аналитиками, архитектором, DevOps и командой

Условия:

• проект под NDA у крупного заказчика со сроком - до конца этого года с возможностью продления;
• современный стек и работу с Data Lakehouse-архитектурой;
• гибридный формат работы (Москва): 3 дня в офисе, 2 дня удаленно;
• полную занятость (40 часов в неделю);
• конкурентную почасовую ставку;
• стабильную загрузку без поиска проектов между контрактами;
• сопровождение со стороны EvApps на всех этапах проекта.