Аналитик по качеству рекомендаций агентных систем

Работодатель:
Опыт работы:
От 3 до 6 лет

Команда отвечает за повышение качества персонализированных рекомендаций для развития корпоративных клиентов. Ищем эксперта, умеющего выявлять недостатки в ответах агентов, видеть закономерности и переводить бизнес-спефифику в четкие правила работы. Важны аналитика качества и бизнес-понимание, техническая база (LLM/Python) — плюс.

Обязанности

  • качество и разбор кейсов. Выявлять дефекты ответов (логика, арифметика, сопоставимость периодов, структурные ошибки JSON, неверный выбор инструмента), группировать их в паттерны причин, формировать гипотезы улучшений.
  • правила и стандарты. Определять формат межагентных сообщений, политику «когда считаем в модели/через инструмент/в Python», описывать «как выглядит хороший ответ» для разных зон внимания и отраслей, формулировать критерии приёмки.
  • эксперименты. Планировать и проводить эксперименты «до/после» (промпты, параметры, инструменты), фиксировать эффект по качеству, стоимости и задержке.
  • взаимодействие. Работать в связке с Python-разработчиками и промт-инженерами: постановка задач, проверка результатов, упаковка решений «в пакет на внедрение».

Требования

  • знание бизнес-аналитики: финансы, структура затрат, экономика продукта, цепочка создания стоимости
  • базовое понимание LLM: промпты, JSON/schema, function calling, параметры инференса
  • Python (Jupyter, pandas, numpy, scipy, scikit-learn, matplotlib/plotly)
  • опыт анализа данных (Middle+): формулировка гипотез, подбор метрик, построение расчетов, сравнение периодов, фиксация выводов

Будет плюсом:

  • опыт с GigaChat SDK, LangGraph, LangChain, LlamaIndex
  • навыки работы с pydantic, jsonschema, jinja2, httpx/aiohttp, asyncio
  • знание инструментов RAG, KAG, MCP; опыт реализации проектов с заметными улучшениями.

Условия

  • комфортный современный офис рядом с м. Кутузовская
  • корпоративный спортзал и зоны отдыха
  • программа адаптации и помощь руководителя на старте
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • ипотека выгоднее до 4% для каждого сотрудника
  • бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
  • вознаграждение за рекомендацию друзей в команду Сбера

Похожие вакансии

Специалист по технике и сервисному обслуживанию
Компания ПЭК

Средне специальное образование. Знание технологий погрузо-разгрузочных работ (ПРР). Знания и опыт ремонта складской техники: ричтраки, электротехника, дизельные машины.

118 000 руб.
Ведущий бизнес-аналитик (финансовые рынки)
Совкомбанк

Опыт работы на финансовых рынках (КИБ, фондовая биржа или инвестиционная/брокерская компания) - обязателен. Опыт работы с продуктами финансового рынка: акции...

Юрист, специалист по корпоративному праву (корпоративный секретарь)
Концерн ВКО Алмаз - Антей

Высшее образование (юриспруденция). Опыт работы юристом в области корпоративного управления (корпоративное право) от 1 года. Отличное знание корпоративного права.

Специалист по обслуживанию холодильного оборудования
ФГБУ ЦСП ФМБА России

Опыт работы с холодильным оборудованием от 2 лет. Знание принципов работы холодильного оборудования. Умение читать электрические схемы и схемы управления.

Специалист по работе с населением (м. Домодедовская, ЖК Ясеневая)
ПИК-специализированный застройщик

Образование не ниже среднего специального, высшее. Работа в гостиничном и ресторанном бизнесе будет преимуществом. Обязателен опыт работы с трудными клиентами.

105 000 - 105 000 руб.