Мы — команда, отвечающая за бесперебойную поставку данных в аналитическую платформу на базе Greenplum и ClickHouse. Наша работа — это фундамент, на котором аналитики и data scientists строят свои модели и принимают ключевые бизнес-решения. Мы ищем коллегу, который поможет нам поддерживать и развивать этот тракт данных, автоматизировать процессы и следить за качеством информации.
Обязанности
- обеспечивать поставку данных: загружать новые витрины данных в Лабораторию Greenplum и Clickhouse с помощью наших внутренних инструментов. Создавать собственные инструменты для поставки данных.
- мониторить и оптимизировать: отслеживать состояние ETL-процессов (в Airflow и собственных решениях), реагировать на сбои, находить и устранять "бутылочные горлышки" в дата-пайплайнах для ускорения загрузки.
- работать с качеством данных (Data Quality): разрабатывать и внедрять проверки качества на всех этапах, анализировать причины ошибок и исправлять их.
- автоматизировать рутину: писать скрипты на Python для автоматизации повторяющихся задач по обработке данных.
- вести документацию: разрабатывать и поддерживать техническую документацию и базу знаний по нашим процессам.
- участвовать в R&D: тестировать новые технологии и инструменты для улучшения нашей платформы.
Требования
- SQL: уверенное владение: сложные запросы, оконные функции, CTE, умение читать планы выполнения для оптимизации.
- Python: навыки программирования, опыт работы с библиотекой Pandas для обработки данных, написания скриптов для автоматизации рутины
- теоретическая база: понимание принципов работы реляционных СУБД, архитектуры DWH/витрин данных и ETL/ELT-процессов.
- инструменты: опыт использования планировщиков задач (Airflow или аналоги).
- проактивность: желание развиваться в области инженерии данных, учиться новому и самостоятельно решать сложные проблемы.
- коммуникация и командная работа: способность не только самостоятельно решать задачи, но и эффективно взаимодействовать с другими командами.
- английский: свободное чтение технической документации
- навыки работы с генеративными AI-моделями; опыт
- создания AI-агентов и использования их в работе будет преимуществом
- опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
- инструментальное владение AI для анализа, генерации и автоматизаци
Условия
- офисный формат (Поклонная 3к1)
- ежегодный пересмотр зарплаты и годовая премия
- расширенный ДМС и льготное страхование для семьи
- уникальная система обучения Сбера для профессионального и карьерного развития
- выгодная ипотека для сотрудников
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.
Похожие вакансии
Образование: Высшее профильное техническое (ПГС, Инженерные системы, Теплогазоснабжение и вентиляция, Электроснабжение или Автоматизация). Опыт работы: От 3–5 лет в...
Высшее образование (приоритет: технические, строительные и инженерные специальности). Опыт работы Инженером ПТО от 5 ти лет. Уверенное пользование основными приложениями...
Высшее профессиональное образование по специальности: «Теплогазоснабжение и вентиляция», «Холодильная, криогенная техника и системы жизнеобеспечения», «Техника и физика низких температур» и...
Высшее профессиональное образование по специальности: «Теплогазоснабжение и вентиляция». Опыт работы по специальности от 3 лет. Знание нормативной базы (СП 60...
Образование не ниже среднего специального, профильное техническое или химическое. Опыт работы по специальности — от 3 лет. Уверенное владение Microsoft Word...