Мы разрабатываем AI-агента который помогает пользователям подобрать и оформить пособия и льготы согласно своей жизненной ситуации и возможностей предусмотренных законодательством.
Обязанности
- проверка точности и релевантности ответов: Придумывать и проводить сценарии диалога, имитирующие самые разные жизненные ситуации пользователей (молодые родители, пенсионеры, люди с инвалидностью и т.д.)
- тестирование промтов и логики диалога: Проверять, как ассистент реагирует на уточняющие вопросы, неправильные или эмоционально окрашенные реплики, меняет ли тему и сохраняет контекст разговора
- поиск кейсов, где модель «галлюцинирует»: Выявлять случаи, когда AI выдает неправдивую или выдуманную информацию о льготах
- тестирование интеграций: Проверять работу всего контура системы: от интерфейса чата до корректности подключения базы знаний о льготах
- работа с требованиями: Участвовать в составлении и проверке сценариев диалога (user journeys), предлагать улучшения с точки зрения пользователя
- тесное взаимодействие с разработчиками и продукт-менеджерами для улучшения продукта
- разработка заглушек и скриптов автоматизированного тестирования
- контроль за соблюдением требований релизной политики и ведение необходимых артефактов тестирования
- определение приоритетных для автоматизации сценариев и их адаптации под автоматизацию.
Требования
- опыт в сфере тестирования не менее 2-х лет
- опыт разработки автотестов от 1 года
- опыт написания prompt-ов для LLM (в т.ч. и для целей тестирования)
- базовое понимание, как работают LLM (большие языковые модели типа ChatGPT) и что такое «галлюцинации»
- навыки коммуникации: Умение четко и ясно описать проблему так, чтобы ее поняли и разработчик, и дизайнер
- опыт использования инструментов API тестирования
- опыт работы и анализа XML\HTML\XSD\JSON схема\кода
- опыт использования в работе протоколов и инструментов REST/Apache Kafka.
- понимание жизненного цикла разработки ПО
- знание языка Java/Python на уровне Middle (коллекции (структуры данных)); исключения; ООП; умение использовать функциональные интерфейсы)
- знание основных паттернов проектирования программного обеспечения и умение применять их на практике.
Условия
- офис рядом с м. Кутузовская
- стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты
- корпоративный спортзал и зоны отдыха
- уникальная система обучения Сбера для профессионального и карьерного развития
- программа адаптации и помощь руководителя на старте
- расширенный ДМС и льготное страхование семьи
- гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
- бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
- вознаграждение за рекомендацию друзей в команду Сбера
- корпоративная пенсионная программа
Похожие вакансии
Работали с системным и функциональным анализом сложных программно-аппаратных систем, знаете основы их моделирования и стремитесь изучить передовые практики в...
Приветствуется опыт тестирования мобильных и веб-сайтов, но не является приоритетным, рассмотрим кандидатов без опыта (выпускников технических вузов).
Опыт коммерческой разработки от 5 лет на PHP 7.4+/Golang. Контейнеризации (Docker) и оркестрации (Kubernetes). Тестирования (unit, integration...
Знание языка программирования Python (ООП). Знание SQL на уровне middle запросов (select, join). Знание методов и методик тестирования.
Уверенное знание C/C++, разработка в командных проектах от пяти лет. Опыт в разработке системных демонов (systemd). Опыт использования механизмов...