Привет! Мы — команда AI-агентов, и мы создаём новый способ взаимодействия с привычными продуктами 2ГИС и Отелло. Мы уверены, что в ближайшем будущем общение с AI-ассистентами станет таким же естественным, как использование мобильных приложений сегодня. Сейчас мы ищем QA инженера, который поможет нам воплотить это будущее в жизнь.
Чем предстоит заниматься:
- Участвовать в проектах по разработке AI-ассистентов на базе API 2ГИС с текстовыми и голосовыми интерфейсами.
- Организовать и выстроить процесс тестирования AI-агентов.
- Подготавливать тестовые сценарии и данные.
- Проводить различного рода тестирование (ручное, функциональное,
E2E, нагрузочное и пр.) AI-агентов на всем цикле разработки. - Участвовать в формировании стратегического плана развития AI-ассистентов в продуктах 2ГИС, разработке roadmap.
Фреймворки и инструменты тестирования AI:
- Langfuse. Трейсинг и мониторинг AI пайплайнов.
- Интеграционное тестирование. End-to-end сценарии с реальными API. Тестирование цепочек рассуждений агента. Проверка контекстной памяти и диалогов.
- Системное тестирование. Performance под нагрузкой (latency, throughput). Стресс-тестирование при высоком количестве запросов. Тестирование деградации при недоступности внешних API.
- Safety Testing. Prompt injection. Тестирование на генерацию вредного контента. Проверка обработки персональных данных.
- Robustness Testing. Adversarial inputs и edge cases. Тестирование на неполных или противоречивых данных.
- Продакшн мониторинг. Настройка алертов на качество ответов агента. Трекинг пользовательской удовлетворенности (ratings, feedback).
Что вам понадобится для успеха:
- Опыт работы в тестировании от 5 лет.
- Опыт написания автотестов на Python от 3 лет.
- Опыт формирования процесса тестирования продукта с высокой нагрузкой.
- Знание архитектур AI-агентов (ReAct, Tool Use, RAG, Multi-Agent и пр.).
- Понимание принципов работы LLM (токенизация, промпты и пр.).
- Опыт работы с LangChain/LangGraph или аналогичными фреймворками.
- Понимание недетерминированности AI-систем и методов ее контроля.
Будет плюсом:
- Опыт работы в быстро развивающихся компаниях или стартапах.
- Опыт работы с Jira, Confluence.
- Знание принципов RAG (Retrieval-Augmented Generation).
Почему у нас классно:
- 2ГИС – аккредитованная IT-компания.
- Можно работать удалённо на территории РФ — для нас важны твоя экспертиза и результат, а не локация.. Если хочешь работать в гибридном формате, есть офисы в Москве, Санкт-Петербурге, два классных офиса в Новосибирске.
- Заботимся о здоровье: ДМС и возможность получать онлайн-консультации и терапевта, невролога, психолога и медицинского агента.
- Если хочешь делиться своим опытом, мы только за — поможем с выступлениями на конференциях и статьями для Хабра/VC.
- У нас есть собственный учебный центр: курсы, тренинги и книги для прокачки скиллов.
Будем рады развивать продукты вместе :)
Похожие вакансии
Старший продуктовый аналитик в VK
VK
Опыт работы продуктовым аналитиком или аналитиком данных от трёх лет. Глубокое знание и понимание продуктовых метрик и принципов их расчёта.
Инженер строительного контроля (жилищное строительство)
ЛМК
Высшее образование. Опыт работы на объектах ЖС в качестве инженера контроля качества, в т.ч. в службе генподрядчика или заказчика...
Старший аудитор-ревизор
Дельта системы безопасности
Опыт не менее 5-ти лет в должности внутреннего аудитора, специалиста внутреннего контроля. Наличие Проф. стандарта внутреннего аудитора, сертификата по...
Старший разработчик DWH MS SQL Server (Senior DWH Developer)
Cotton Club (Коттон Клаб)
Знакомство с основными моделями КХД: понимание особенностей и различий, опыт реализации на реальных проектах. Опыт проектирования и разработки ETL-процессов...
Senior Программист C
AERODISK
Коммерческий опыт работы от 5 лет. Опыт системного программирования на C. Опыт системного программирования в одном из вариантов Linux/UNIX...