Data Engineer

Работодатель:

WILIX

Зарплата:

180 000 - 240 000 руб.

Опыт работы:

От 3 до 6 лет

О Нас

WILIX — аккредитованная IT-компания. Мы создаем современные корпоративные системы и развиваем направление аутстаффинга. Мы предоставляем высокую инженерную экспертизу ведущим игрокам рынка: Сбер, Т-Банк, МТС Банк, X5 Ритейл, Магнит, Северсталь, Альфа Страхование, ОТП Банк и многим другим. Сегодня мы расширяем команду и ищем Инженера данных для работы над внешними проектами в таких сферах, как ритейл, EdTech, банкинг и других.

Чем предстоит заниматься

Проектировать и разрабатывать потоки данных на ETL/ELT-инструментах;
Имплементировать кастомные трансформации;
Проектировать и строить прототипы и витрины данных;
Анализировать производительность и масштабировать существующие системы;
Оптимизировать SQL-запросы и структуры баз данных;
Разрабатывать процедуры на языке PL/pgSQL;
Развивать архитектуру DWH, участвовать в анализе и выборе технологий, методологий и инструментов;
Создавать и актуализировать базу знаний для пользователей DWH;
Разрабатывать программный код и проводить его тестирование.

Что мы ожидаем

Знание принципов построения хранилищ данных;
Опыт работы с экосистемой Hadoop/HDFS/Hive (HDFS, YARN, Spark, Kafka, NiFi, Sqoop, Flume и др.);
Уверенное знание SQL (DDL, DML), опыт оптимизации запросов;
Опыт работы с Greenplum и PostgreSQL;
Знание Java или Python (NumPy, Pandas); знание Scala будет плюсом;
Опыт использования систем ведения проектов и документации, сопровождения и мониторинга информационных систем;
Опыт администрирования Hadoop/Linux;
Понимание принципов CI/CD (Jenkins, GitLab).

Будет плюсом

Опыт работы с оркестраторами (Airflow) и инструментами трансформации данных (dbt);
Работа с Clickhouse;
Опыт работы в консалтинге или на проектах с несколькими заказчиками;
Умение документировать решения и взаимодействовать с бизнес-заказчиком напрямую.

Мы предлагаем

Участие в разнообразных проектах ведущих компаний из разных отраслей;
Возможность профессионального развития и освоения новых технологий;
Работу в команде профессионалов.