ТЕСТОВАЯ ВАКАНСИЯ
О компании и проекте
Компания iFellow разрабатывает продукт Naimus. Мы ищем QA-инженера, который будет отвечать за качество и самих моделей, и данных, и продукта вокруг них.
Чем предстоит заниматься
- Оценивать качество ML-моделей на разных наборах данных: считать и интерпретировать accuracy, precision, recall, F1-score, AUC-ROC и другие метрики в контексте конкретной задачи.
- Проводить A/B-тесты разных версий моделей и анализировать результаты.
- Выявлять переобучение (overfitting) и недообучение (underfitting) и разбирать их причины вместе с ML-командой.
- Проверять модели на предвзятость (fairness): искать сценарии, где модель работает несправедливо по отношению к группам пользователей (пол, возраст, раса и др.).
- Тестировать данные: полноту, консистентность, корректность форматов, качество обучающих и валидационных выборок.
- Проверять AI-функциональность: корректность и уместность ответов, работу с контекстом, релевантность рекомендаций.
- Искать граничные случаи и создавать adversarial-примеры, которые могут сломать или обмануть модель.
- Проверять устойчивость модели к отравлению данных (data poisoning) и поведение на данных, сильно отличающихся от обучающей выборки (out-of-distribution).
- Проводить функциональное тестирование продукта (API, интеграции, интерфейс).
- Разрабатывать тест-планы, тест-кейсы и чек-листы, оформлять баг-репорты и проводить анализ первопричин (Root Cause Analysis).
Что мы ждём
Опыт и QA-база
- Опыт в тестировании от 3 лет.
- Уверенное владение техниками тест-дизайна, умение писать тест-кейсы, чек-листы и тест-планы.
- Умение оформлять баг-репорты: чёткие шаги воспроизведения, логи, скриншоты.
- Умение декомпозировать сложную проблему и находить корневую причину.
ML и данные
- Понимание метрик качества классификации (accuracy, precision, recall, F1, AUC-ROC) и умение выбирать метрику под задачу.
- Понимание, что такое переобучение, недообучение и смещение/дисперсия (bias-variance).
- Базовое понимание того, как устроен процесс обучения и валидации моделей.
Технические навыки
- SQL: SELECT, WHERE, JOIN (INNER и LEFT), GROUP BY, ORDER BY; опыт работы с PostgreSQL или MySQL.
- Тестирование REST API: Postman, Swagger; форматы JSON и XML.
- Опыт работы с баг-трекером (Jira или аналог).
- Python (предпочтительно) или JavaScript/Java на уровне, достаточном, чтобы читать чужой код и писать автотесты.
Личные качества
- Умеешь отстаивать позицию перед командой.
- Самостоятельно планируешь работу и принимаешь решения.
- Готов (а) находить и описывать новые классы дефектов, характерные для ML-систем.
Будет плюсом
- Опыт тестирования ML-или LLM-продуктов.
- Python-инструменты для анализа данных: pandas, scikit-learn, pytest.
- Инструменты для проверки данных и мониторинга моделей (Great Expectations, MLflow, Evidently и аналоги).
- Опыт работы с Kafka, ELK, DevTools, СУБД
- Базовые знания статистики (доверительные интервалы, статистическая значимость в A/B-тестах).
- Опыт работы с Zephyr
Условия
- Зарплата: 150 000-200 000 ₽ gross, итог зависит от опыта и результатов собеседования.
- Формат: гибрид/удалённо.
- График: полный день, 5/2
- Оформление: [ТК РФ / Самозанятость].
- Премии: по результатам завершённых проектов
- Развитие: обучение за счёт компании [бюджет или формат], рост в направлении ML QA Lead, Data Quality / MLOps или автоматизации тестирования ML-систем.
- Дополнительно: [ДМС, компенсация курсов; корпоративные мероприятия и тимбилдинги
Похожие вакансии
Опыт активных продаж по телефону от 1 года. Уверенный пользователь CRM (Bitrix24, amoCRM или аналоги). Умение выстраивать доверительный контакт...
От 2 лет в B2C-продажах, из них не менее 1 года в продаже недвижимости. Опыт работы с...
Опыт в продажах от 1 года. Уверенное владение CRM-системами. Навыки ведения переговоров и работы с возражениями. Приветствуется опыт работы...
Пол: (предпочтительно): не важно. Образование : не ниже средне-специального. Опыт и стаж работы в какой отрасли / секторе: предпочтительно опыт продаж...
Приоритет: Брокеров с опытом продаж коммерческой недвижимости от 1 года, с подтвержденными кейсами заключенных сделок.