Data Engineer

Мы — динамично развивающаяся технологическая компания, лидер в сфере информационной безопасности. Создаём инновационные решения для защиты корпоративных и государственных информационных систем. В связи с расширением - ищем Data Engineer специалиста, начинающего эксперта.

Основная задача:

Развивать и поддерживать инфраструктуру данных для ML-сервисов в области информационной безопасности. Работа связана с интеграцией данных из SOC-инфраструктуры, EDR, SIEM, СЗИ, TI и внутренних систем, а также с подготовкой аналитических витрин и признаков для моделей, исследований и продуктовых задач.

Что предстоит делать:

• Развивать и поддерживать пайплайны обработки данных (телеметрия с хостов и сети, алерты и инциденты СЗИ/SIEM, IoC-вердикты из TI и репутационных баз);
• Поддерживать и улучшать единый контур хранения данных (сырые данные, нормализованные слои, аналитические витрины и признаки для моделей);
• Проектировать, дорабатывать и поддерживать модели данных, схемы хранения и подходы к загрузке данных;
• Создавать и развивать коннекторы к EDR, SIEM, СЗИ, внутренним сервисам и внешним API;
• Реализовывать пайплайны для извлечения, валидации, нормализации и обогащения данных;
• Готовить витрины данных и признаки для ML-моделей анализа инцидентов, событий безопасности и телеметрии;
• Оптимизировать производительность аналитических и ML-загрузок;
• Настраивать и развивать мониторинг качества данных, алерты по отказам пайплайнов, задержкам и аномалиям в загрузках;
• Разрабатывать внутренние API для доступа к данным и результатам обработки;
• Работать совместно с ML-инженерами, аналитиками SOC и DevOps над надежностью, воспроизводимостью и мониторингом сервисов.

Технологический стек:

• Оркестрация пайплайнов (Apache Airflow, Prefect);
• Обработка данных (Python, pandas, Spark);
• API и валидация данных (FastAPI, Pydantic);
• Хранилища и поисковые системы (PostgreSQL, Elasticsearch, S3);
• Мониторинг и визуализация (Grafana, Prometheus);
• Инфраструктура и CI/CD (Docker, GitLab CI/CD);
• Языки и инструменты разработки (Python, SQL, Git, Linux).

Требования:

• Опыт от 2 лет в роли Data Engineer, ML Data Engineer или на смежной роли;
• Уверенное владение Python и SQL;
• Понимание практик ETL/ELT и принципов построения хранилищ данных;
• Опыт работы с Apache Airflow или Prefect;
• Опыт интеграции пайплайнов с внешними API, микросервисами или внутренними продуктами;
• Опыт разработки API или внутренних сервисов на Python. Будет полезен опыт с FastAPI и Pydantic;
• Практический опыт обработки данных с использованием pandas и/или Spark;
• Опыт работы с PostgreSQL и Elasticsearch;
• Понимание принципов качества данных, мониторинга пайплайнов и управления метаданными;
• Навыки работы с Docker, GitLab CI/CD и Linux;
• Опыт настройки логирования и мониторинга с использованием Grafana, Prometheus или схожих инструментов;
• Интерес к задачам информационной безопасности в SOC.

Будет преимуществом:

• Опыт работы с данными из различных СЗИ;
• Опыт работы с SIEM, EDR, XDR, TI, репутационными базами или событиями безопасности;
• Опыт проектирования аналитических витрин и моделей данных для ML-задач;
• Опыт подготовки признаков для моделей машинного обучения;
• Опыт работы с ORM, например SQLAlchemy;
• Опыт участия в проектах по автоматизации анализа инцидентов, классификации событий или детекции угроз;
• Опыт работы с ELK-стеком;
• Навыки работы с Kubernetes или Helm.

Работая в РТ-Информационная безопасность, вы получаете:

• Аккредитация+;
• Оформление по ТК РФ;

• Гибридный формат работы после успешного прохождения ИС;

• ДМС со стоматологией после ИС;
• Стабильную официальную окладную часть + возможны премии по результатам работы;
• Обучение для развития профессиональных навыков;
• Удобное расположение офиса в 15 минутах от ст. м. Южная, 10-15 минут от ст. м. Чертановская;
• Партнерскую программу скидок.