← QA Library
Раздел 8 / 9 · 7 мин чтения

AI в тестировании

Две стороны одной медали: AI, который помогает тестировать быстрее, и тестирование продуктов, которые содержат AI. Преимущества, ограничения и безопасные практики.

AI влияет на QA двумя способами. Во-первых, AI-ассистенты и агенты помогают тестировщикам работать быстрее. Во-вторых, всё больше продуктов сами содержат AI-функции, а им нужны новые методы тестирования. Оба случая требуют одинакового мышления: использовать скорость AI, но оставлять ответственность за решения людям.

AI, чтобы тестировать быстрее

ЗадачаКак помогает AIЧто должен проверить человек
Идеи для тестовПредлагает сценарии и граничные случаи по требованиюУместность, пропущенные бизнес-правила
Тестовые данныеГенерирует реалистичные имена, адреса, тексты на разных языкахНикаких реальных персональных данных, правильные форматы
Тест-кейсы и чек-листыГотовит структурированные кейсы по user storiesТочность, дубликаты, приоритеты
Код автотестовПишет и рефакторит тестовые скриптыСелекторы, проверки, поддерживаемость
Анализ логов и сбоевСжимает длинные логи, группирует похожие сбоиПервопричина, а не только симптомы
Баг-репортыПревращает заметки в аккуратный репортФакты, действительно выполненные шаги

Промпт, который работает

Хорошие результаты даёт хороший контекст: требование, правила продукта и нужный формат результата.

Ты — senior QA-инженер. Требование:
«Пользователь может применить один промокод на заказ. У кодов есть
 срок действия и минимальная сумма заказа. Промокоды не сочетаются
 с товарами со скидкой».

Составь чек-лист условий для тестирования. Включи граничные значения,
невалидные данные, сочетания с товарами со скидкой и часовые пояса.
Результат — таблица: ID | условие | тестовые данные | ожидаемый результат | приоритет.

Ограничения и риски

  • Уверенные ошибки: AI может выдумать функции, правила или поля API, которых не существует; каждый результат нужно проверять
  • Поверхностное покрытие: сгенерированные тесты часто идут по основному пути; опытные тестировщики добавляют рискованные случаи
  • Конфиденциальность: никогда не вставляйте данные клиентов, учётные данные или конфиденциальный код в инструменты, не согласованные в вашей компании
  • Иллюзия продуктивности: тысяча сгенерированных тест-кейсов, которые никто не запускает и не поддерживает, хуже пятидесяти хороших

Человек в цикле

Мы используем AI как быстрого младшего коллегу: он готовит черновик, человек проверяет и решает. AI-агенты уже умеют запускать инструменты, ходить по приложению и писать код; они мощны в рутинных задачах, но их действиям нужны чёткие границы: только тестовые окружения, никакого доступа к продакшен-данным и проверка каждого изменения перед слиянием.

Тестирование продуктов, которые содержат AI

AI-функциям нужны проверки свойств, наборы для оценки, red-team атаки и мониторинг в продакшене вместо проверки на точное совпадение. Полный процесс описан в статье Как тестировать AI-продукты.

Классическая функцияAI-функция
Один и тот же вход → один и тот же выходОдин и тот же вход → разные, часто приемлемые выходы
Проверяем точные значенияОцениваем ответы по рубрике
Фиксированный регрессионный наборВерсионируемый набор для оценки, прогон при каждом изменении промпта или модели
Баги воспроизводимыСбои могут быть статистическими; измеряйте частоту
Безопасность: ввод и доступыПлюс prompt injection, утечка данных, злоупотребление инструментами
AI делает хороших тестировщиков быстрее. Но он не делает непроверенные допущения безопасными.