Дата-инженер в VK Tech

Работодатель:
Опыт работы:
От 3 до 6 лет
Место работы:
Москва, Ленинградский проспект, 70

В VK Tech строим высоконагруженное хранилище данных, которое обслуживает ключевые аналитические и бизнес-задачи.

Сейчас наша вычислительная платформа — YTsaurus (YT), но мы также используем экосистему Hadoop/Spark. Рассматриваем возможность миграции на свою платформу в виде S3 + Spark.

У нас можно получить уникальный опыт: не просто читать статьи про Spark, а переписывать пайплайны, сравнивать подходы, настраивать performance и участвовать в принятии архитектурных решений. Это даст вам глубокое понимание обеих экосистем.

Задачи

  • Разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow
  • Оптимизировать запросы и распределённые вычисления под ClickHouse и YT
  • Мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость
  • Помогать аналитикам с оптимизацией их SQL-запросов и структур данных
  • Проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD)
  • Участвовать в миграции вычислительной платформы с YT на Hadoop/Spark

Требования

  • Опыт разработки и поддержки ETL-процессов на Python + Airflow
  • Уверенное знание SQL (JOIN, оконные функции, CTE, агрегации)
  • Понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds
  • Опыт оптимизации запросов в распределённых системах (ClickHouse или Spark)
  • Знание Git (ветки, коммиты, pull requests, code review)
  • Умение читать и анализировать чужой код

Будет плюсом

  • Реальный опыт с YTsaurus (YT)
  • Коммерческий или уверенный учебный опыт с Hadoop/Spark
  • Опыт миграции пайплайнов с одной вычислительной платформы на другую
  • Навыки работы с DBT (у нас есть свой похожий инструмент)
  • Понимание жизненного цикла данных (загрузка, трансформация, выгрузка)

Похожие вакансии

Менеджер проектов в сфере интернет‑рекламы (медийная и перформанс‑реклама)
Яндекс

Работали более двух лет в сфере интернет-рекламы, знаете медийные и перформанс-инструменты, понимаете ключевые метрики их анализа.

Менеджер по коммерческим офферам в интернет‑рекламе
Яндекс

Работали более двух лет в сфере интернет-рекламы, знаете медийные и перформанс-инструменты, понимаете ключевые метрики их анализа.

Врач-офтальмолог в офтальмологический центр (м. Китай-город)
Группа компаний МЕДСИ

Высшее медицинское образование. Действующий сертификат по специальности "Офтальмология".

160 000 руб.
Reels-сценарист в онлайн школу / project менеджер
Клевцова Ирина Александровна

Один из лучших докторов-нутрициологов по теме детского здоровья в России. Опыт более 12 лет. Более 6000 учеников по всему...

60 000 - 120 000 руб.
Операционный директор (COO) в бренд одежды
Луцай Артем Андреевич

Умеете строить процессы продаж и каналов с нуля. — Активно используете ИИ-инструменты в работе: автоматизация процессов, построение процессов и структур...

200 000 - 350 000 руб.