Data Engineer (ClickHouse / Kafka / MariaDB)

Приветствую, меня зовут Марина, я являюсь HR компании
“Амбрелла — Защита Информационных Систем”.

О роли

Мы ищем экспертов по работе с данными и потоковой обработке, с сильным бэкграундом в построении data pipeline и высоконагруженных систем.
Предполагается активная работа с ingestion, обработкой и хранением больших объемов данных в production.

Обязанности

• Проектирование и развитие data pipeline (ingestion → processing → storage)

• Работа с потоковыми данными через Kafka

• Проектирование и оптимизация схем в ClickHouse

• Работа с реляционными БД (MariaDB) для transactional / operational задач

• Оптимизация производительности запросов и хранения данных

• Построение ETL / ELT процессов

• Обработка и агрегация больших объемов данных (highload)

• Настройка и сопровождение data-инфраструктуры

• Диагностика и устранение инцидентов (troubleshooting)

• Мониторинг и анализ работы data pipeline

• Проведение code review

• Подготовка технической документации

• Взаимодействие с backend-разработчиками, DevOps и SIEM-инженерами

• Ежедневный status report о ходе работ

Требования

Обязательные:

• Глубокий опыт работы с ClickHouse

• Проектирование таблиц (MergeTree и др.)

• Партиционирование и шардирование

• Оптимизация запросов

• Уверенный опыт с Kafka

• Топики, партиции, consumer groups

• Настройка producer/consumer

• Понимание delivery semantics (at least once / exactly once)

• Опыт работы с MariaDB / MySQL

• Отличное знание SQL

• Понимание архитектуры распределённых систем

• Опыт построения ETL / streaming pipeline

• Опыт работы с большими объемами данных (GB/TB+)

• Опыт работы с Linux

• Опыт автоматизации (Bash / Python)

• Опыт работы с Docker

• Понимание принципов отказоустойчивости и масштабирования

Будет плюсом

• Kafka Connect / Kafka Streams / ksqlDB

• Airflow / Dagster / Prefect

• Debezium (CDC)

• Опыт работы с columnar storage

• Опыт работы с time-series / event data

• Prometheus + Grafana

• OpenSearch / ELK stack

• Понимание SIEM / log pipeline

• Опыт построения real-time аналитики

• Опыт highload систем

• Опыт DevOps / SRE

• Опыт оптимизации хранения (TTL, compression, tiered storage)

• Понимание сетевых протоколов

• Наличие публичных проектов (GitHub / GitLab)

• Опыт написания собственных ingestion / processing сервисов

Обязательно

• Ссылка на GitHub / GitLab (pipeline, ingestion, SQL, сервисы)

• Готовность к full-time работе

• Опыт работы с production-системами

• Готовность участвовать в on-call / incident response (при необходимости)

Условия

• Работа в аккредитованной IT-компании

• Дружный коллектив

• Оформление по ТК РФ, оплачиваемый отпуск

• График работы 5/2

• Возможность работать над передовыми продуктами в сфере кибербезопасности

• Удалённый формат работы
  

  Всегда рады новым талантам и новым успехам наших сотрудников!