Data Engineer (ClickHouse, Airflow, Python)

Работодатель:
Зарплата:
157 500 руб.
Опыт работы:
От 1 года до 3 лет
Место работы:
Елабужский район, особая экономическая зона Алабуга, улица Ш-2, 6
Обязанности:
  • разработка, сопровождение и оптимизация ETL/ELT-пайплайнов на базе Apache Airflow;
  • проектирование и развитие схем данных в ClickHouse (основное хранилище);
  • поддержка PostgreSQL на базовом уровне;
  • интеграция данных из различных источников: S3, RabbitMQ, внешние API, внутренние сервисы;
  • написание и оптимизация SQL-запросов;
  • контроль качества данных: профилирование, мониторинг полноты и консистентности, отладка пайплайнов;
  • настройка и сопровождение мониторинга процессов и инфраструктуры: Grafana, Loki, Alertmanager, OpenSearch;
  • работа с контейнеризированной инфраструктурой: Docker, Portainer;
  • ведение задач и документирование решений в Jira/Wiki;
  • взаимодействие с командой разработки и аналитиками для уточнения требований к данным.
Требования:
  • уверенное владение Python (pandas, обработка и трансформация данных);
  • опыт построения и сопровождения ETL/ELT-пайплайнов в Apache Airflow или аналогах;
  • опыт проектирования и сопровождения хранилища данных в ClickHouse: движки таблиц, партиционирование, оптимизация запросов;
  • базовые навыки работы с PostgreSQL: проектирование схем, DDL/DML, индексы;
  • опыт работы с объектным хранилищем (S3 и аналоги);
  • опыт работы с брокерами сообщений: предпочтителен RabbitMQ, опыт с Apache Kafka и NATS также рассматривается;
  • базовое понимание систем мониторинга и сбора журналов: Grafana, Loki, Alertmanager, OpenSearch или аналоги;
  • понимание контейнеризации: Docker, Portainer;
  • уверенная работа с системой контроля версий Git;
  • опыт приёма и обработки IoT-телеметрии от датчиков и оборудования (работа с потоками временных рядов);
  • опыт разработки приложений потоковой обработки данных на Apache Flink или аналогах (Kafka Streams, Spark Streaming);
  • от 2 лет в роли Data Engineer или аналогичной позиции.
Условия:
  • конкурентный уровень з/п (обсуждается индивидуально);
  • работа в крупной и стабильной компании – в структуре самой большой ОЭЗ в Европе;
  • транспорт до работы из г. Елабуга, г. Набережные Челны, г. Нижнекамск;
  • полис добровольного медицинского страхования;
  • предоставление платного жилья для иногородних;
  • гарантия профессионального роста;
  • амбициозная, проектно-ориентированная команда;
  • командные и спортивные игры, реализация нестандартных задач;
  • карьерный рост при наличии и обретении в процессе работы необходимых компетенций.

Похожие вакансии

Инженер технического надзора по инженерным сетям (Грузия, Батуми)
LLC European Village

Опыт технического надзора на крупных объектах гражданского строительства — обязательно. Опыт работы в отельном или многофункциональном строительстве — будет плюсом.

2 000 USD
Инженер по эксплуатации (м.Павелецкая)
Управляющая компания Корвет

От 3 лет опыта работы в управлении инженерными и техническими службами или аналогичной должности. Опыт реализации крупных строительных, ремонтных или...

174 000 - 174 000 руб.
Инженер-сметчик
Группа компаний Мосренстрой

Smeta.ru. Опыт работы с объектами Фонда реновации.

180 000 руб.
Ведущий инженер ПТО
Оптимгрупп

Знание строительных технологий и нормативной документации. Умение работать с технической документацией. Ответственность и внимательность. Готовность к работе на объектах с...

120 000 - 170 000 руб.
Главный инженер (эксплуатация)
CORE.XP

Опыт работы не менее 5 лет на руководящих технических должностях. Опыт эксплуатации ТРЦ/ТРК/МФК площадью от 30000 кв.м.

220 000 - 220 000 руб.