Наша команда занимается поиском и развитием знаний о корпоративном клиенте. Для нового проекта ищем аналитика, который будет работать над новым стратегическим проектом – мультиагентной системой иерархического графа причинно-следственных связей в бизнесе клиента.
Обязанности
- проектирование и разработка ETL/ELT-пайплайнов для обработки и трансформации табличных и событийных данных компании
- интеграция и загрузка данных в векторные, графовые и документные базы данных (в том числе для поддержки RAG-систем и ИИ-агентов)
- проектирование алгоритмов трансформации данных, расчет и поддержка аналитических витрин, обеспечение качественными данными процессов создания ML-моделей, RAG и ИИ-агентов
- организация регулярной поставки данных в Лабораторный контур для ad-hoc исследований и обучения моделей
- вывод в промышленный контур (Production) ETL-пайплайнов, витрин данных и компонентов для ИИ-сервисов
- профилирование, анализ сырых данных и оптимизация вычислительных процессов (настройка очередности расчетов, тюнинг запросов)
- мониторинг работы витрин и пайплайнов: анализ логов и метрик, оперативное выявление и решение проблем в ПРОМ-среде
- взаимодействие с командой сопровождения Hadoop/Spark кластера и разработчиками Core-сервисов для повышения надежности инфраструктуры, настройка процедур регулярного контроля качества данных (Data Quality) и автоматизация поставок.
Требования
- опыт работы в роли Data Engineer от 2 лет
- уверенное знание Python (ООП, структуры данных, алгоритмы) и библиотек для анализа/обработки данных
- отличное знание SQL, навыки оптимизации запросов
- понимание процессов ETL/ELT, опыт построения пайплайнов для табличных и событийных данных
- опыт работы с Big Data стеком: Hadoop, Apache Spark (PySpark, Spark+Scala), глубокое понимание структур данных, форматов хранения (Parquet, JSON, CSV, YAML). • Знание паттернов моделирования DWH, понимание концепций OLTP, OLAP, ACID, теоремы CAP, понимание специфики работы с векторными, графовыми и документными СУБД (опыт интеграции будет огромным плюсом)
- опыт вывода решений в промышленный контур
- уверенное владение Git, понимание принципов CI/CD и DevOps-практик, опыт работы с оркестраторами (Airflow) и системами мониторинга
- понимание основ машинного обучения, опыт работы с LangChain/LangGraph (базовый уровень для понимания потребностей ИИ-команды), опыт подготовки и согласования технической документации (Confluence, Jira).
Условия
- комфортный современный офис г. Москва Вавилова 19
- гибридный формат работы
- ежегодный пересмотр зарплаты, годовая премия
- корпоративный спортзал и зоны отдыха
- система обучения для профессионального и карьерного развития
- расширенный полис ДМС с первого дня работы и страхование для семьи
- программа ипотеки для сотрудников
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбер
Похожие вакансии
Уверенные знания SQL (оконные функции, CTE, процедурный язык PostgreSQL/Greenplum). Опыт работы с Airflow. Опыт работы с PostgreSQL/ Greenplum в...
Опыт работы в роли системного аналитика/разработчика витрин данных от года. Понимание процесса разработки витрин данных с нуля.
Работать со слоями данных RAW, ODD, DDS: создавать их и развивать. Поддержка и развитие базы знаний. Способен взять ответственность свое...
Опыт работы с реляционными базами данных: PostgreSQL, Oracle, MS SQL, MySQL. Глубокое знание системных каталогов и информационных схем, включая information_schema.
Опыт работы: От 3 лет в коммерческой разработке на позиции Data Engineer или ETL-разработчика. Языки и стек: Продвинутое владение...