Data Engineer (June)

Вакансия открыта в Инновационном центре «Безопасный транспорт», который входит в структуру Московского метрополитена. С 2017 года мы собираем и анализируем Big Data всего Транспортного комплекса Москвы. Эти данные помогают создавать продукты и проекты, которые улучшают работу транспортной инфраструктуры столицы.

У Инновационного центра более 10 направлений работы: аналитика, моделирование, разработка, консалтинг и другие. Более 300 экспертов ежедневно работают над тем, чтобы дороги Москвы стали безопаснее, а поездки — комфортнее. Если вы хотите видеть результаты своего труда на улицах Москвы, присоединяйтесь к нашей команде.

Основные задачи:

• Поддержка работоспособности и дальнейшее развитие хранилища данных
• Разработка и поддержка ETL-процессов для загрузки данных из различных источников (FTP, API, сайты) с использованием Python
• Разработка витрин данных с использованием SQL, Python, PySpark
• Разработка и поддержка дагов в Airflow
• Реализация batch и real-time процессов загрузки данных в различные СУБД: Vertica, PostgreSQL, ClickHouse
• Декомпозиция и оценка трудозатрат по своим задачам
• Code-review, развитие внутренней культуры разработки(после 6 месяцев работы)
• Ведение технической документации и базы знаний

Опыт и навыки:

• Законченное высшее образование
• Базовое понимание архитектуры распределённых систем и Big Data технологий (Hadoop, Spark — будет преимуществом)
• Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов
• Навыки программирования на Python, понимание чужого кода, способность писать читаемый и поддерживаемый код
• Понимание принципов работы Git-систем
• Понимание принципов работы систем оркестрации (Airflow)
• Знание основных команд Linux на уровне пользователя
• Знание английского языка на уровне чтения технической документации
• Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию
• Навык работы с ИИ-агентами (промптинг, рефакторинг кода, выбор и адаптация подходящего решения под стек проекта)
• Умение эффективно взаимодействовать в команде, делиться знаниями и помогать коллегам
• Заинтересованность в личном развитии и развитии города
• Релевантный опыт работы от работы 1 года

Условия:

• Официальное трудоустройство в соответствии с ТК РФ
• Гибридный формат работы: 5/2, всего 1 день работаем из офиса в центре Москвы (в шаговой доступности от м. Белорусская)
• Расширенный отпуск: 42 календарных дня
• Корпоративные бонусы: бесплатный проезд на метро, корпоративные скидки от компаний-партнеров, льготы на отдых в оздоровительном комплексе метрополитена, специальные программы в лагерях для детей сотрудников и многое другое
• Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата