← QA Library
Розділ 8 / 9 · 7 хв читання

AI у тестуванні

Дві сторони однієї медалі: AI, що допомагає тестувати швидше, і тестування продуктів, що містять AI. Переваги, обмеження й безпечні практики.

AI впливає на QA двома способами. По-перше, AI-асистенти й агенти допомагають тестувальникам працювати швидше. По-друге, дедалі більше продуктів самі містять AI-функції, а вони потребують нових методів тестування. Обидва випадки вимагають однакового мислення: використовувати швидкість AI, але залишати відповідальність за рішення людям.

AI, щоб тестувати швидше

ЗавданняЯк допомагає AIЩо має перевірити людина
Ідеї для тестівПропонує сценарії й граничні випадки з вимогиДоречність, пропущені бізнес-правила
Тестові даніГенерує реалістичні імена, адреси, тексти різними мовамиЖодних реальних персональних даних, правильні формати
Тест-кейси й чеклістиГотує структуровані кейси з user storiesТочність, дублікати, пріоритети
Код автотестівПише й рефакторить тестові скриптиСелектори, перевірки, підтримуваність
Аналіз логів і збоївСтискає довгі логи, групує схожі збоїПершопричина, а не лише симптоми
Баг-репортиПеретворює нотатки на акуратний репортФакти, справді виконані кроки

Промпт, який працює

Хороші результати дає хороший контекст: вимога, правила продукту й потрібний формат результату.

Ти — senior QA-інженер. Вимога:
«Користувач може застосувати один промокод на замовлення. Коди мають
 термін дії та мінімальну суму замовлення. Промокоди не поєднуються з
 товарами зі знижкою».

Склади чекліст умов для тестування. Включи граничні значення, невалідні
дані, поєднання з товарами зі знижкою та часові пояси. Результат — таблиця:
ID | умова | тестові дані | очікуваний результат | пріоритет.

Обмеження й ризики

  • Впевнені помилки: AI може вигадати функції, правила чи поля API, яких не існує; кожен результат потребує перевірки
  • Поверхове покриття: згенеровані тести часто йдуть основним шляхом; досвідчені тестувальники додають ризиковані випадки
  • Приватність: ніколи не вставляйте дані клієнтів, облікові дані чи конфіденційний код в інструменти, не погоджені у вашій компанії
  • Ілюзія продуктивності: тисяча згенерованих тест-кейсів, які ніхто не запускає й не підтримує, гірша за п'ятдесят хороших

Людина в циклі

Ми використовуємо AI як швидкого молодшого колегу: він готує чернетку, людина перевіряє й вирішує. AI-агенти вже вміють запускати інструменти, ходити застосунком і писати код; вони потужні для рутинних завдань, але їхні дії потребують чітких меж: лише тестові оточення, жодного доступу до продакшн-даних і перевірка кожної зміни перед злиттям.

Тестування продуктів, що містять AI

AI-функції потребують перевірок властивостей, наборів для оцінювання, red-team атак і моніторингу в продакшені замість перевірки на точний збіг. Повний процес описано в статті Як тестувати AI-продукти.

Класична функціяAI-функція
Той самий вхід → той самий вихідТой самий вхід → різні, часто прийнятні виходи
Перевіряємо точні значенняОцінюємо відповіді за рубрикою
Фіксований регресійний набірВерсіонований набір для оцінювання, прогін при кожній зміні промпту чи моделі
Баги відтворюваніЗбої можуть бути статистичними; вимірюйте частоту
Безпека: ввід і доступиПлюс prompt injection, витік даних, зловживання інструментами
AI робить хороших тестувальників швидшими. Але він не робить неперевірені припущення безпечними.