Data Engineer + java

ЛИАН — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

В рамках проекта требуется специалист, который поможет перевести ключевые процессы обработки данных с классического SQL на потоковую обработку (streaming) в Apache Flink.

Чем предстоит заниматься:

• Участие в замене SAP на кастомную реализацию с использованием Apache Flink

• Перевод существующих SQL-логик и ETL-процессов в потоковую обработку (streaming) на Flink

• Поддержка потоковых пайплайнов на Java + Flink

• Интеграция с системами-источниками и приемниками данных через Kafka

• Участие в проектировании архитектуры нового решения

• Работа в команде с аналитиками и инженерами данных

• Уверенное знание Java (не просто «знаю синтаксис», а реальный коммерческий опыт). Понимание многопоточности, работы с памятью, коллекций.
• Написание парсеров логов, файлов, внешних источников на Java
• Опыт разработки на Flink (DataStream API, Process Functions, оконные операции). Понимание того, как Flink управляет состоянием (state).
• Понимание стриминговых паттернов, watermarks, exactly-once semantics, checkpointing.
• Хороший уровень SQL (оконные функции, оптимизация запросов).
• Построение пайплайнов на Airflow.
• Работа с экосистемой больших данных: Apache Kafka (источник данных для Flink), Hadoop (HDFS), Hive.
• Опыт работы с ClickHouse, Greenplum.
• Опыт работы с S3.

• Форма трудоустройства на ваш выбор: договору оказания услуг с ИП или самозанятым
• Участие в интересных масштабных проектах с Заказчиками федерального и международного уровня
• Работа с передовыми технологиями
• Возможности профессионального и карьерного роста
• Полностью удаленная работа
• Регулярная и достойная оплата труда

В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !