Senior Data Engineer

В связи с активным расширением мы в поиске senior инженера данных в проект импортозамещения оперативного хранилища данных с применением концепции LakeHouse.

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:

• Создание ядра (загрузка, мониторинг и реконсиляция данных) для автоматизации работы оперативного хранилища данных.

Стек: Hadoop, Iceberg, PySpark, Airflow, Hive, Impala, Trino

НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА:

• Понимание SQL и NoSQL баз данных, уверенное владение SQL синтаксисом.
• Хорошее знание и практические навыки в одном из языков программирования (Python, Java, Scala).
• Понимание принципов работы распределенных файловых систем (HDFS, Ozone, Minio), а так же опыт работы с одним из них как с хранилищем NoSQL базы данных.
• Опыт работы с одном из SQL движков (Hive, Impala, Trino), а так же табличными форматами, предпочтительно с Iceberg.
• Практический опыт работы со Spark и понимание принципов его работы.

БУДЕТ ПЛЮСОМ:

• Airflow

ЧТО МЫ ПРЕДЛАГАЕМ:

• Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.);
• Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы;
• Забота о вашем здоровье: ДМС после испытательного срока, куда входит стоматология;
• Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI;
• Гибкий график или полная удаленка (по итогам общения с командой);
• Комфортные и современные офисы в городах присутствия (Москва, Санкт-Петербург, Белгород, Самара, Саратов, Новосибирск, Уфа);
• Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д