-
Разрабатывать и сопровождать ETL процессы и инженерию данных на базе Spark как основного движка обработки и загрузки данных.
-
Настраивать интеграции источников данных: подключение по JDBC к базам и стендбаям, а также стриминговые интеграции через Kafka, работу с топиками и JSON.
-
Разрабатывать и поддерживать оркестрацию процессов в Airflow (DAG’и), используя Python в связке со Spark.
-
Работать с большими объемами данных (от десятков тысяч строк до сотен миллионов и миллиардов), решать задачи оптимизации обработки.
-
Разрабатывать и обслуживать слой данных на S3 и MinIO: работа с файловой системой, компрессией, охлаждением данных, обслуживанием и пересозданием таблиц, понимание партиционирования и форматов (в т.ч. JSON).
-
Участвовать в алгоритмизации и оптимизации хранения и обработки данных в объектном хранилище (S3/MinIO) с учетом особенностей, отличных от классических реляционных СУБД вроде Greenplum.
-
Опыт работы в области ETL и Data разработки.
-
Уверенная работа с S3, опыт работы с MinIO.
-
Опыт работы с MinIO.
-
Уверенная работа со Spark.
-
Понимание табличного формата Iceberg.
-
Опыт интеграций с Kafka, умение работать с форматом JSON.
-
Навыки разработки DAG’ов в Airflow.
-
Владение Python на уровне для написания ETL процессов и служебного кода.
-
Опыт работы с JDBC подключениями к БД и источникам данных.
-
Опыт работы с ClickHouse (в том числе в окружении Arenadata ClickHouse).
- Оформление по ТК РФ в ИТ-аккредитованную компанию
- Годовой бонус до 15% от годового дохода
- Выстроенная система работы с персоналом: индивидуальный план развития, выделенный бюджет на обучение у сторонних подрядчиков, регулярные 1:1 с руководителем
- ДМС, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой;
- Программа корпоративных скидок Best benefits
- Дополнительный оплачиваемый отпуск
Похожие вакансии
Опыт в автоматизации тестирования от 3 лет. Понимание основных принципов тестирования и автоматизации. Умение писать автотесты. Знание техник тест-дизайна.
Опыт работы главным инженером проекта или техническим руководителем в сфере мультимедиа/AV-индустрии будет вашим огромным преимуществом. Свободное владение AutoCAD...
Образование - высшее техническое (строительное, инженерное), профильное. Опыт проектирования в аналогичной должности от 1-3 лет. Знание проектных программ AutoCAD и...
Уверенное администрирование Linux (Debian/Ubuntu). Глубокое понимание CI/CD и практический опыт с Jenkins, Bitbucket, Nexus. Продвинутый опыт работы с...
Опыт работы не менее 3-х лет в системном интеграторе\дистрибьюторе\вендоре. Знание технологий и классов систем в области ИБ...