Команда разработки AI Бизнес-помощника внутри интернет-банка для предпринимателей (СберБизнес).
Обязанности
- разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полнота, непротиворечивость (включая LLM-as-a-judge)
- проводить структурный анализ ошибок (error analysis): выявлять паттерны галлюцинаций, сбоев логики, деградации качества
- планировать и проводить A/B-эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты
- генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования и улучшения агентов
- искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению
- формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы
- готовить аналитические отчёты и презентовать команде выводы: не просто цифры, а конкретные рекомендации
- работать с ad-hoc запросами: оперативно доставать данные, проверять гипотезы, разбирать инциденты
Требования
- хорошее знание математической статистики, теории вероятностей и дизайна экспериментов (A/B-тесты, статзначимость)
- опыт работы аналитиком данных от 1 года
- продвинутое знание SQL
- уверенный Python для анализа и визуализации данных (pandas, numpy, scipy, matplotlib)
- опыт проведения исследований: проверка гипотез, оценка результатов, формулировка actionable-выводов
- понимание устройства мультиагентных систем или сложных LLM-пайплайнов (оркестрация, цепочки вызовов, RAG)
Условия
- комфортный современный офис
- ежегодный пересмотр зарплаты
- корпоративный спортзал и зоны отдыха
- уникальная система обучения Сбера для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС и льготное страхование для семьи
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- подписка Прайм с возможностью совместного использования на трёх близких
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа.
Похожие вакансии
Продвинутый уровень Excel (ВПР, сводные таблицы, формулы). Знание SQL выше среднего. Высшее техническое образование. Умение работать с большим объемом данных.
Высшее образование (мат/физ/тех/эконом-мат). Опыт аналитиком от 3 лет в B2B с широким ассортиментом (автозапчасти...
Высшее профессиональное образование (химическое, биохимическое, физико-химическое, фармацевтическое, биотехнологическое, экологическое). Правила GMP и GLP, относящиеся к сфере его деятельности .
Имеете высшее образование. Знаете принципы работы PLM/PDM-систем и их роль в управлении жизненным циклом изделия. Знаете процессы технологической...
Опыт внедрения продвижения дополнительных услуг. Знание программ: Эксель (высокий уровень), 1С, Битрикс.