Data Engineer (Big Data / Lakehouse)

Группа Компаний Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания.

Мы реализуем масштабные технологические проекты с глубокой экспертизой в цифровизации бизнеса.
Ключевые отрасли: государственный сектор, FinTech, HR Tech, коммуникации и медиа, услуги, рынок недвижимости, travel.

Нам доверяют крупнейшие компании РФ, среди которых: Т1, ВТБ, Иннотех, Альфа-Банк, ОИС и другие.

Более 6 лет мы развиваем собственную продуктовую и заказную разработку высокоэффективных цифровых решений.

Сейчас мы находимся в поиске Data Engineer (Big Data / Lakehouse) в крупный ритейл.

• Сбор и анализ требований от бизнес-заказчиков;
• Анализ источников данных и проектирование интеграционных потоков;
• Разработка, реализация и поддержка ETL/ELT-процессов;
• Построение и сопровождение витрин данных;

Работа со стеком Big Data / Lakehouse:

1. Trino
2. Iceberg
3. Spark
4. Apache Airflow
5. Kafka
6. Flink
7. S3 / MinIO

• Разработка и оптимизация SQL-запросов;
• Профилирование и оптимизация производительности обработки данных;
• Поддержка и развитие платформы данных;
• Ведение технической документации и отчетности;
• Оперативное реагирование на инциденты и устранение проблем в зоне ответственности.

• Понимание архитектуры и принципов работы Lakehouse / Big Data платформ;
• Понимание различий между обработкой Big Data и данных стандартного объема;
• Отличное знание SQL:

1. индексы
2. оконные функции
3. оптимизация запросов
4. профилирование производительности

• Опыт программирования на Python и/или Java;
• Опыт работы с реляционными БД:

1. PostgreSQL
2. Oracle
3. MySQL
4. MS SQL
5. Greenplum

• Опыт разработки на Spark;
• Опыт работы с dbt;
• Опыт работы с Apache Airflow;
• Понимание особенностей Trino;
• Знание форматов данных:

1. Iceberg
2. Parquet
3. Avro

• Опыт работы с S3-совместимыми хранилищами (MinIO и др.);
• Опыт работы с Git (pull / commit / push);
• Опыт использования систем управления задачами и документацией;
• Будет плюсом опыт работы с:

1. Cosmos
2. NiFi
3. ClickHouse
4. Hadoop
5. Kafka
6. Flink

• Удалённый формат работы;

• Белую заработную плату, оформление по ТК РФ;

• Комфортный старт: 3 месяца плавного онбординга с поддержкой HR;

• Поддержку: IT-отсрочка, консультации HR и юристов;

• Прозрачные процессы и открытую коммуникацию;

• Работу на современном оборудовании без логирования времени - фокус на доверии и результате;

• ДМС за счет компании;

• Профессиональное развитие: индивидуальный план обучения, конференции и митапы;

• Развитие личного бренда: выступления, публикации, экспертные активности;

• Бенефиты: регулярное обновление корпоративных скидок;

• Корпоративную жизнь: онлайн и оффлайн мероприятия, мерч, конкурсы и челленджи.