QA-инженер по тестированию ML/AI-продуктов

Работодатель:
Зарплата:
200 000 руб.
Опыт работы:
От 3 до 6 лет
Место работы:
Москва, Лубянский проезд, 15/2

ТЕСТОВАЯ ВАКАНСИЯ

О компании и проекте
Компания iFellow разрабатывает продукт Naimus. Мы ищем QA-инженера, который будет отвечать за качество и самих моделей, и данных, и продукта вокруг них.

Чем предстоит заниматься

  • Оценивать качество ML-моделей на разных наборах данных: считать и интерпретировать accuracy, precision, recall, F1-score, AUC-ROC и другие метрики в контексте конкретной задачи.
  • Проводить A/B-тесты разных версий моделей и анализировать результаты.
  • Выявлять переобучение (overfitting) и недообучение (underfitting) и разбирать их причины вместе с ML-командой.
  • Проверять модели на предвзятость (fairness): искать сценарии, где модель работает несправедливо по отношению к группам пользователей (пол, возраст, раса и др.).
  • Тестировать данные: полноту, консистентность, корректность форматов, качество обучающих и валидационных выборок.
  • Проверять AI-функциональность: корректность и уместность ответов, работу с контекстом, релевантность рекомендаций.
  • Искать граничные случаи и создавать adversarial-примеры, которые могут сломать или обмануть модель.
  • Проверять устойчивость модели к отравлению данных (data poisoning) и поведение на данных, сильно отличающихся от обучающей выборки (out-of-distribution).
  • Проводить функциональное тестирование продукта (API, интеграции, интерфейс).
  • Разрабатывать тест-планы, тест-кейсы и чек-листы, оформлять баг-репорты и проводить анализ первопричин (Root Cause Analysis).

Что мы ждём

Опыт и QA-база

  • Опыт в тестировании от 3 лет.
  • Уверенное владение техниками тест-дизайна, умение писать тест-кейсы, чек-листы и тест-планы.
  • Умение оформлять баг-репорты: чёткие шаги воспроизведения, логи, скриншоты.
  • Умение декомпозировать сложную проблему и находить корневую причину.

ML и данные

  • Понимание метрик качества классификации (accuracy, precision, recall, F1, AUC-ROC) и умение выбирать метрику под задачу.
  • Понимание, что такое переобучение, недообучение и смещение/дисперсия (bias-variance).
  • Базовое понимание того, как устроен процесс обучения и валидации моделей.

Технические навыки

  • SQL: SELECT, WHERE, JOIN (INNER и LEFT), GROUP BY, ORDER BY; опыт работы с PostgreSQL или MySQL.
  • Тестирование REST API: Postman, Swagger; форматы JSON и XML.
  • Опыт работы с баг-трекером (Jira или аналог).
  • Python (предпочтительно) или JavaScript/Java на уровне, достаточном, чтобы читать чужой код и писать автотесты.

Личные качества

  • Умеешь отстаивать позицию перед командой.
  • Самостоятельно планируешь работу и принимаешь решения.
  • Готов (а) находить и описывать новые классы дефектов, характерные для ML-систем.

Будет плюсом

  • Опыт тестирования ML-или LLM-продуктов.
  • Python-инструменты для анализа данных: pandas, scikit-learn, pytest.
  • Инструменты для проверки данных и мониторинга моделей (Great Expectations, MLflow, Evidently и аналоги).
  • Опыт работы с Kafka, ELK, DevTools, СУБД
  • Базовые знания статистики (доверительные интервалы, статистическая значимость в A/B-тестах).
  • Опыт работы с Zephyr

Условия

  • Зарплата: 150 000-200 000 ₽ gross, итог зависит от опыта и результатов собеседования.
  • Формат: гибрид/удалённо.
  • График: полный день, 5/2
  • Оформление: [ТК РФ / Самозанятость].
  • Премии: по результатам завершённых проектов
  • Развитие: обучение за счёт компании [бюджет или формат], рост в направлении ML QA Lead, Data Quality / MLOps или автоматизации тестирования ML-систем.
  • Дополнительно: [ДМС, компенсация курсов; корпоративные мероприятия и тимбилдинги

Похожие вакансии

Менеджер по продажам образовательных курсов
Сотников Алексей Сергеевич

Опыт активных продаж по телефону от 1 года. Уверенный пользователь CRM (Bitrix24, amoCRM или аналоги). Умение выстраивать доверительный контакт...

150 000 - 300 000 руб.
Менеджер по продажам
Закирьян Анна Дмитриевна

От 2 лет в B2C-продажах, из них не менее 1 года в продаже недвижимости. Опыт работы с...

100 000 - 300 000 руб.
Менеджер по продажам
NEURO Agency

Опыт в продажах от 1 года. Уверенное владение CRM-системами. Навыки ведения переговоров и работы с возражениями. Приветствуется опыт работы...

150 000 - 300 000 руб.
Менеджер по переговорам (государственные учреждения)
Дар Мидаса

Пол: (предпочтительно): не важно. Образование : не ниже средне-специального. Опыт и стаж работы в какой отрасли / секторе: предпочтительно опыт продаж...

300 000 руб.
Брокер по продаже коммерции (ПСН, ГАБы, Street-retail, офисы)
Domina Invest

Приоритет: Брокеров с опытом продаж коммерческой недвижимости от 1 года, с подтвержденными кейсами заключенных сделок.

350 000 - 500 000 руб.