Работодатель:
Зарплата:
180 000 - 300 000 руб.
Опыт работы:
От 3 до 6 лет
Место работы:
Москва

Ищем ETL-разработчика, который умеет строить, поддерживать и оптимизировать процессы обработки и перемещения данных. Предстоит работать с SQL, Python, ETL/ELT-пайплайнами, оркестрацией процессов и архитектурой DWH, обеспечивая стабильность загрузок, качество данных и производительность решений.

Нам нужен специалист с практическим опытом разработки data-процессов, который умеет самостоятельно разбираться в источниках, находить причины сбоев, оптимизировать обработку больших объёмов данных и развивать существующую инфраструктуру.

Что будет в работе

Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для извлечения, преобразования и загрузки данных из различных источников.

Реализовывать пайплайны обработки данных с использованием SQL, Python и Apache Airflow.

Интегрировать данные из реляционных БД, API, файловых источников и систем обмена сообщениями.

Разрабатывать инкрементальные загрузки, механизмы повторного запуска, обработки ошибок и восстановления процессов.

Реализовывать дедупликацию, проверку полноты, целостности и корректности данных.

Работать с архитектурой DWH, Data Lake и различными слоями хранения и обработки данных.

Оптимизировать SQL-запросы, процедуры загрузки, работу с индексами и производительность баз данных.

Разрабатывать и сопровождать DAG в Airflow, настраивать зависимости, расписания, retries, сенсоры и мониторинг выполнения.

Работать с распределённой обработкой данных и большими объёмами информации.

Участвовать в развитии инфраструктуры обработки данных, автоматизации процессов и улучшении качества существующих пайплайнов.

Разбираться в сбоях ETL-процессов, анализировать логи, выявлять причины проблем и реализовывать решения.

Что важно

SQL и базы данных

Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции, агрегирование.

Опыт оптимизации запросов, анализа планов выполнения и поиска узких мест.

Понимание индексов, партиционирования, блокировок и принципов эффективной работы с БД.

Коммерческий опыт работы с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.

Опыт работы с PL/SQL или процедурным SQL — в зависимости от используемого стека.

ETL/ELT и обработка данных

Коммерческий опыт разработки и сопровождения ETL/ELT-процессов.

Понимание принципов извлечения, загрузки и трансформации данных из различных источников: БД, API, файлов, очередей.

Опыт разработки процессов загрузки, преобразования и переноса данных.

Понимание инкрементальных загрузок, CDC, обработки изменений и повторного запуска процессов.

Опыт обработки ошибок, дедупликации, контроля полноты и целостности данных.

Понимание особенностей обработки больших объёмов данных и оптимизации пайплайнов.

Python

Уверенное владение Python для разработки ETL-процессов и автоматизации обработки данных.

Опыт работы с библиотеками обработки данных.

Написание скриптов для загрузки, трансформации, проверки и автоматизации работы с данными.

Работа с API, файлами, логированием, обработкой исключений и ошибками выполнения.

Понимание принципов написания поддерживаемого и переиспользуемого кода.

Оркестрация и архитектура DWH

Практический опыт работы с Apache Airflow.

Разработка DAG, настройка зависимостей, расписаний, retries, сенсоров и мониторинга пайплайнов.

Понимание архитектуры Data Warehouse и Data Lake, принципов построения слоёв данных (ODS, DDS, Data Mart и аналогичных).

Понимание различий OLTP и OLAP, принципов моделирования и организации хранения данных.

Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.

Инструменты и инфраструктура

Git: работа с репозиториями, ветками, коммитами и Merge Requests.

Linux: командная строка, работа с логами, запуск, мониторинг и диагностика процессов.

Docker: понимание контейнеризации приложений и окружений.

CI/CD: понимание процессов сборки, тестирования и доставки изменений.

Kafka / RabbitMQ: понимание принципов работы очередей и потоковой интеграции.

Jira, Confluence или аналогичные инструменты для командной работы и документации.

S3 / MinIO или аналогичные решения для объектного хранения данных.

Будет плюсом

Опыт работы с dbt: разработка моделей, трансформаций, тестов и документации данных.

Практический опыт работы с Apache Spark / PySpark.

Опыт работы с Kafka и потоковой обработкой данных.

Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД.

Знакомство с Apache Iceberg, Delta Lake и современными форматами хранения данных.

Опыт внедрения автоматизированных проверок качества данных (Data Quality).

Понимание MPP-архитектуры и распределённых вычислений.

Опыт миграции DWH, ETL-процессов и модернизации инфраструктуры обработки данных.

Опыт работы с банковскими, финансовыми или высоконагруженными системами.

Английский

Умение читать техническую документацию на английском языке.

Процесс

Короткое знакомство и обсуждение опыта с рекрутером.

Техническое интервью / TechCertify-скрининг.

Передача профиля на подходящие проекты клиентам.

Если вам интересно развивать процессы обработки данных, создавать надёжные пайплайны и работать с производительными решениями в области Data Engineering

Похожие вакансии

C#/.NET-разработчик (Middle+/Senior)
IndigoSoft

Intellectual environment: сильная команда, где ценят инженерный подход, а не «костыли». Вам предстоит не просто писать код, а отвечать за...

3 000 - 3 500 USD
Мобильный разработчик (Android / iOS)
Милленниум-командировочные решения

Опыт коммерческой мобильной разработки от 3 лет. Уверенное знание Kotlin / Java для Android. Практический опыт разработки или поддержки приложений на...

200 000 руб.
Senior+ iOS Developer
MANGO FZCO

Опыт разработки на iOS: от 5 лет. Опыт разработки мессенджеров, чатов или realtime-приложений. UI-разработка: SwiftUI основной фреймворк +...

900 000 руб.
TypeScript-разработчик (backend)
IT Solutions Management International Pte. Ltd.

Стек технологий: - Nest JS. - качественный код.

210 000 руб.
Старший разработчик-аналитик систем бизнес-планирования (Anaplan, Optimacros)
Мэврика

Ожидания по опыту и навыкам успешного кандидата: Высшее образование. Опыт работы с Optimacros / Anaplan более 2 лет - обязательно.

250 000 - 300 000 руб.