Тестовая документация
Стратегия, план, чек-листы, тест-кейсы, баг-репорты, критерии приёмки и отчёты: зачем нужен каждый артефакт и как его писать.
Тестовая документация существует по двум причинам: чтобы тестирование было повторяемым и чтобы качество было видно тем, кого не было рядом. Нужный объём зависит от проекта. MVP стартапа может хватить одностраничной стратегии и чек-листов; платёжной системе нужны подробные тест-кейсы и трассировка.
Основные артефакты
| Артефакт | Отвечает на вопрос | Уровень детализации |
|---|---|---|
| Стратегия тестирования | Как мы в целом подходим к качеству этого продукта? | Высокий; меняется редко |
| Тест-план | Что, когда, где и кто тестирует в этом релизе? | Средний; на релиз или проект |
| Чек-лист | Какие условия нужно проверить? | Короткие пункты без шагов |
| Тест-кейс | Как именно проверить одно условие? | Шаги, данные, ожидаемый результат |
| Баг-репорт | Что не так и как это воспроизвести? | Точно и минимально |
| Отчёт о тестировании | Каково сейчас состояние качества? | Сводка с рисками |
| Матрица трассировки | Какие тесты покрывают какие требования? | Таблица |
Тест-план: что включить
- Объём: функции, которые входят и не входят в тестирование
- Подход: виды и уровни тестирования, ручное или автоматизированное
- Окружения и тестовые данные
- Критерии входа и выхода (когда начинаем и когда заканчиваем)
- График, роли и ответственность
- Риски и способы их снизить
- Результаты: отчёты, списки багов, рекомендации
Чек-листы или тест-кейсы?
Чек-листы быстро писать, и они оставляют место для суждения тестировщика, поэтому тесты разнообразнее. Тест-кейсы точны и повторяемы, что важно для сложной логики, регулируемых отраслей, новых людей в команде и автоматизации.
Чек-лист: Вход
[ ] Вход с правильными email и паролем
[ ] Ошибка при неверном пароле (без подсказки, какое поле неверно)
[ ] Аккаунт блокируется после 5 неудачных попыток
[ ] «Запомнить меня» сохраняет сессию после перезапуска браузера
[ ] Поле пароля скрывает символы, переключатель показать/скрыть работает
[ ] Работает только с клавиатурой и со скринридером
Тест-кейс TC-LOGIN-03: Блокировка после неудачных попыток
Предусловия: активный аккаунт [email protected]
Шаги:
1. Открыть /login
2. Ввести email и неверный пароль, отправить — повторить 5 раз
3. Ввести правильный пароль, отправить
Ожидается: после шага 2 появляется сообщение о блокировке;
шаг 3 отклонён; отправлено письмо для разблокировки
Критерии приёмки
Критерии приёмки определяют, когда user story выполнена. Написанные до разработки, они — самый дешёвый тест-дизайн из возможных. Популярный формат — Given / When / Then:
Scenario: Порог бесплатной доставки
Given сумма моей корзины $49.99
When я добавляю товар за $0.01
Then стоимость доставки $0
And я вижу сообщение «У вас бесплатная доставка»
Баг-репорты
Хороший репорт содержит понятный заголовок, окружение, минимальные шаги, ожидаемый и фактический результаты, доказательства, серьёзность и приоритет. Полный шаблон и примеры — в статье Баг-репорты, которые любят разработчики.
Трассировка и метрики
| Требование | Тест-кейсы | Статус |
|---|---|---|
| REQ-12 Бесплатная доставка от $50 | TC-31, TC-32, TC-33 | Пройдено |
| REQ-13 Промокоды | TC-40 – TC-47 | 1 не пройден |
| REQ-14 Подарочная упаковка | — | Не покрыто |
Матрица трассировки делает пробелы очевидными (REQ-14 выше). Полезные метрики просты: покрытые требования, тесты пройденные/непройденные/заблокированные, открытые баги по серьёзности и дефекты, найденные после релиза. Избегайте метрик, которые поощряют неправильное поведение, например подсчёт багов на тестировщика.