Data Engineer (Портал Продавцов)

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь есть личный кабинет, загрузка и хранение контента, интеграция с поиском и каталогом, баланс продавца, откгрузка товаров и доставка до покупателя, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.

Вам предстоит:

• Участвовать в разработке production-ready пайплайнов обработки данных для инференса и обучения ML-моделей;
• оптимизировать имеющиеся SQL и pyspark скрипты;
• выполнять оркестрацию через Airflow;
• реализовывать интеграции ML-предиктов в смежные системы Заказчиков внутри компании;
• обеспечивать стабильность и отказоустойчивость работы пайплайнов сбора и трансформации данных ML-команды.

• Имеете уверенный опыт программирования на Python (не менее 2-х лет);
• владеете опытом работы с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
• имеете опыт с Iceberg, Trino;
• имеете опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
• владеете опытом работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).