Data Engineer

Издательский дом «Коммерсантъ» — ведущее деловое медиа России. Мы строим и развиваем собственную аналитическую платформу для сбора данных из разных источников, их унификации и формирования дашбордов для бизнеса и редакции. Наши цифровые активы — kommersant.ru, autopilot.ru, myweekend.ru — ежедневно генерируют большие объёмы данных. Мы ищем Data Engineer, который поможет нам сделать пайплайны надёжными, прозрачными и эффективными.

Чем предстоит заниматься:

· Оценить текущие ETL-процессы и разработать рекомендации по их изменению, затем заняться их реализацией.

· Разрабатывать и поддерживать ETL/ELT-пайплайны по спецификациям.

· Настраивать интеграции с источниками данных (API / файлы / БД), обеспечивать стабильную доставку данных.

· Писать SQL-трансформации и собирать витрины данных в ClickHouse (агрегации, инкрементальные загрузки, оптимизация запросов).

· Разрабатывать и сопровождать DAG’и в Apache Airflow (расписания, зависимости, ретраи).

· Поддерживать и мониторить существующие пайплайны: алерты, разбор инцидентов, устранение причин падений.

· Участвовать в тестировании и отладке data pipelines (проверки качества, корректность расчетов, контроль «пустых» загрузок).

· Вести документацию: описания источников, схем, витрин, логики расчетов и изменений.

Наши ожидания:

· Опыт работы в data engineering или backend-разработке с фокусом на данные от 2 лет.

· Опыт построения отказоустойчивых DWH / Data Lake.

· Хорошее знание SQL (JOIN, оконные функции, агрегации, оптимизация запросов).

· Опыт работы с ClickHouse и реляционными СУБД (PostgreSQL, MySQL и др.).

· Python на уровне уверенного написания скриптов для загрузки/обработки данных (requests, pandas, работа с CSV/JSON, базовые принципы тестирования).

· Понимание принципов ETL/ELT.

· Опыт работы с Apache Airflow (создание DAG’ов, Operators/Sensors).

· Linux/Ubuntu: командная строка, базовое администрирование, понимание логов, cron, systemd, pm2.

Будет вашим преимуществом:

· Опыт работы с Redash (создание дашбордов, подключение источников).

· Знание инструментов мониторинга (Prometheus, Grafana).

· Понимание работы с большими данными (партиционирование, шардирование).

· Опыт использования Docker / Kubernetes для оркестрации data-приложений.

Мы предлагаем:

· Оформление по ТК РФ.

· График работы: гибридный формат (часть времени в офисе, часть — удаленно). 5/2 с 10:00 до 19:00.

· Испытательный срок 3 месяца. По окончании — ДМС и другие опции соцполитики.

· Уровень дохода: конкурентная заработная плата, обсуждается с успешным кандидатом.

· Работа в престижном бизнес-центре класса А (м. Маяковская, Оружейный переулок, 41) или удаленно.

· Период адаптации, профессиональная команда, доступ к эксклюзивным данным и инструментам.