AI в тестировании
Две стороны одной медали: AI, который помогает тестировать быстрее, и тестирование продуктов, которые содержат AI. Преимущества, ограничения и безопасные практики.
AI влияет на QA двумя способами. Во-первых, AI-ассистенты и агенты помогают тестировщикам работать быстрее. Во-вторых, всё больше продуктов сами содержат AI-функции, а им нужны новые методы тестирования. Оба случая требуют одинакового мышления: использовать скорость AI, но оставлять ответственность за решения людям.
AI, чтобы тестировать быстрее
| Задача | Как помогает AI | Что должен проверить человек |
|---|---|---|
| Идеи для тестов | Предлагает сценарии и граничные случаи по требованию | Уместность, пропущенные бизнес-правила |
| Тестовые данные | Генерирует реалистичные имена, адреса, тексты на разных языках | Никаких реальных персональных данных, правильные форматы |
| Тест-кейсы и чек-листы | Готовит структурированные кейсы по user stories | Точность, дубликаты, приоритеты |
| Код автотестов | Пишет и рефакторит тестовые скрипты | Селекторы, проверки, поддерживаемость |
| Анализ логов и сбоев | Сжимает длинные логи, группирует похожие сбои | Первопричина, а не только симптомы |
| Баг-репорты | Превращает заметки в аккуратный репорт | Факты, действительно выполненные шаги |
Промпт, который работает
Хорошие результаты даёт хороший контекст: требование, правила продукта и нужный формат результата.
Ты — senior QA-инженер. Требование:
«Пользователь может применить один промокод на заказ. У кодов есть
срок действия и минимальная сумма заказа. Промокоды не сочетаются
с товарами со скидкой».
Составь чек-лист условий для тестирования. Включи граничные значения,
невалидные данные, сочетания с товарами со скидкой и часовые пояса.
Результат — таблица: ID | условие | тестовые данные | ожидаемый результат | приоритет.
Ограничения и риски
- Уверенные ошибки: AI может выдумать функции, правила или поля API, которых не существует; каждый результат нужно проверять
- Поверхностное покрытие: сгенерированные тесты часто идут по основному пути; опытные тестировщики добавляют рискованные случаи
- Конфиденциальность: никогда не вставляйте данные клиентов, учётные данные или конфиденциальный код в инструменты, не согласованные в вашей компании
- Иллюзия продуктивности: тысяча сгенерированных тест-кейсов, которые никто не запускает и не поддерживает, хуже пятидесяти хороших
Человек в цикле
Мы используем AI как быстрого младшего коллегу: он готовит черновик, человек проверяет и решает. AI-агенты уже умеют запускать инструменты, ходить по приложению и писать код; они мощны в рутинных задачах, но их действиям нужны чёткие границы: только тестовые окружения, никакого доступа к продакшен-данным и проверка каждого изменения перед слиянием.
Тестирование продуктов, которые содержат AI
AI-функциям нужны проверки свойств, наборы для оценки, red-team атаки и мониторинг в продакшене вместо проверки на точное совпадение. Полный процесс описан в статье Как тестировать AI-продукты.
| Классическая функция | AI-функция |
|---|---|
| Один и тот же вход → один и тот же выход | Один и тот же вход → разные, часто приемлемые выходы |
| Проверяем точные значения | Оцениваем ответы по рубрике |
| Фиксированный регрессионный набор | Версионируемый набор для оценки, прогон при каждом изменении промпта или модели |
| Баги воспроизводимы | Сбои могут быть статистическими; измеряйте частоту |
| Безопасность: ввод и доступы | Плюс prompt injection, утечка данных, злоупотребление инструментами |