Мы ищем Senior Data Engineer для участия в крупном технологическом проекте в финансовом секторе. Проект связан с развитием платформы обработки и анализа больших объемов клиентских данных и ее переводом в промышленную эксплуатацию.
Специалист присоединится к команде разработки и будет отвечать за построение надежных ETL-процессов, автоматизацию обработки данных, внедрение оркестрации и подготовку решения к стабильной работе в production-среде.
Подробная информация о компании и проекте предоставляется кандидатам на следующих этапах отбора.
Обязанности
- Разработка и оптимизация процессов обработки больших объемов данных с использованием Apache Spark, PySpark и SQL.
- Построение и развитие многостадийных ETL-пайплайнов, включая обеспечение их идемпотентности и восстановление после сбоев.
- Внедрение и настройка оркестрации пайплайнов с использованием Airflow, Dagster или Prefect.
- Работа с OLAP-СУБД, оптимизация массовой загрузки и батчевой обработки данных.
- Интеграция данных из внутренних и внешних источников.
- Участие в переводе решения в промышленную эксплуатацию, включая автоматизацию, мониторинг и взаимодействие с ML- и DevOps-командами.
Требования
- Опыт работы Data Engineer от 5 лет, включая не менее 3 лет промышленной работы с Apache Spark и PySpark.
- Опыт работы с большими объемами клиентских данных в банковской, финтех- или телеком-сфере от 2 лет.
- Экспертное владение SQL: оптимизация сложных аналитических запросов, оконные функции, партиционирование и батчевая обработка больших выборок.
- Уверенное владение Python и инструментами обработки данных: pandas, pyarrow, Parquet.
- Опыт построения отказоустойчивых многостадийных ETL-пайплайнов, включая идемпотентность, восстановление после сбоев и контроль потребления памяти.
- Практический опыт работы с OLAP-СУБД, массовой загрузкой данных и системами оркестрации, такими как Airflow, Dagster или Prefect.
Условия
- Участие в крупном технологическом проекте в финансовом секторе.
- Работа с высоконагруженными системами и большими объемами данных.
- Контракт сроком на 1 год.
- Офисный формат работы с релокацией в Узбекистан.
- Итоговое предложение определяется по результатам интервью и зависит от опыта и технической экспертизы кандидата.
- Работа в команде опытных Data Engineering, Machine Learning и DevOps-специалистов.
Похожие вакансии
Высшее образование в области строительства. Стаж работы по специальности (строительный контроль или технический надзор) не менее трех лет.
Опыт работы инженером пусконаладчиком, инженером по слаботочным системам или инженером по системам безопасности не менее 3 лет. Высшее образование.
Опыт разработки носимых устройств или медицинской электроники от 3 лет. Знание Altium Designer / KiCad, умение разводить платы под BGA и...
Опыт работы по соответствующему направлению предпочтительно в Компаниях нефтегазовой отрасли не менее 10 лет. Знание основ международных стандартов учета и...
Знание температурных режимов ГВС, отопления, знание норм давления в трубопроводах. Правила технической эксплуатации объектов теплоснабжения и теплопотребляющих установок.