Data Engineer

Работодатель:

Опыт работы:

Более 6 лет

Место работы:

Минск, проспект Победителей, 7А

Ключевые требования:

Минимум 4 года data engineering в production-среде
Опыт интеграции с промышленными и enterprise-системами (историаны, MES, SAP)
Опыт развёртывания data-контура on-prem в закрытых периметрах заказчика
Самостоятельность и работа в малой команде без выделенного DevOps на каждую задачу

Обязательные Hard Skills

Python и SQL — уверенное владение; построение и сопровождение ETL/ELT-пайплайнов (Airflow/Dagster)
Интеграции с промышленным ландшафтом:
- OPC UA/DA, PI Web API / PI SDK или аналогичные интерфейсы историанов
- MES-системы, SAP (RFC, OData), REST API
- потоковый транспорт: Kafka, MQTT
Time-series хранилища: ClickHouse, TimescaleDB или InfluxDB — моделирование данных техпроцессов, тэговая модель, downsampling
Качество данных: валидация, обработка пропусков и сбоев сенсоров, data contracts, идемпотентность и восстановление пайплайнов после сбоев
PostgreSQL/Greenplum, объектные хранилища (S3-совместимые)

Инфраструктурные навыки:

Docker, Kubernetes, CI/CD (GitLab CI или аналоги), Git
Linux-администрирование, сетевые основы: DMZ, сегментация промышленных сетей, работа через однонаправленные шлюзы
Инфраструктура как код: Ansible/Terraform
Мониторинг пайплайнов: Prometheus/Grafana, алертинг

Желательные навыки:

Знание протоколов АСУ ТП: Modbus, S7, IEC 60870/61850
Опыт работы в металлургии, ГМК, нефтехимии или энергетике
Понимание требований ИБ промышленных заказчиков: 152-ФЗ, 187-ФЗ (КИИ), аттестованные сегменты
Spark/Flink для тяжёлой пакетной и потоковой обработки
Опыт участия во внедрениях на площадке заказчика

Похожие вакансии