Тест-дизайн
Техники выбора небольшого набора тестов с наибольшими шансами найти дефекты — от ревью до исследовательских сессий.
Тест-дизайн отвечает на один вопрос: какие несколько тестов из бесконечного множества возможных стоит запускать? Хороший тест-дизайн находит больше дефектов меньшим числом тестов и делает покрытие видимым, а не случайным.
Статические техники: ещё до запуска
| Техника | Как выглядит | Что находит |
|---|---|---|
| Неформальное ревью | Коллега читает требование или pull request | Очевидные пробелы, нечёткие формулировки |
| Walkthrough | Автор проводит команду по материалу | Недопонимания, пропущенные сценарии |
| Техническое ревью | Коллеги проверяют на соответствие стандартам | Изъяны дизайна, рискованные решения |
| Инспекция | Формальный процесс с ролями и чек-листами | Дефекты в критичных документах и коде |
| Статический анализ | Линтеры, проверка типов, сканеры безопасности | Запахи кода, уязвимости, опечатки |
Техники чёрного ящика
- Классы эквивалентности: разбейте входные данные на группы с одинаковым поведением и проверьте по одному значению из каждой
- Анализ граничных значений: проверьте значения на границах групп и рядом с ними
- Таблицы решений: выпишите каждую комбинацию условий и ожидаемый результат
- Тестирование переходов состояний: проверьте допустимые и недопустимые переходы между состояниями объекта
- Попарное тестирование: покройте каждую пару значений параметров вместо каждой полной комбинации
- Тестирование сценариев использования: пройдите реалистичные сквозные сценарии, включая альтернативные пути и ошибки
Все эти техники мы разбираем на примерах в статье Техники тест-дизайна на практике.
Техники белого ящика
Техники белого ящика измеряют, какую часть структуры кода выполняют тесты. Покрытие операторов проверяет, что каждая строка выполнилась хотя бы раз; покрытие ветвей — что каждое решение прошло оба варианта (if true и false). Покрытие — полезный сигнал о непротестированном коде, но высокое покрытие не гарантирует хороших тестов: тест может выполнить строку, не проверив результат.
function shippingCost(total, isPremium) {
if (total >= 50) return 0; // ветвь A: true / false
if (isPremium) return 0; // ветвь B: true / false
return 6;
}
// 100% покрытие ветвей требует 3 тестов:
// (60, false) -> 0 (20, true) -> 0 (20, false) -> 6
Техники на основе опыта
- Угадывание ошибок: знание типичных ошибок — пустые значения, спецсимволы, двойная отправка, часовые пояса
- Тестирование по чек-листу: короткий список высокоуровневых условий, который переиспользуется от релиза к релизу
- Исследовательское тестирование: ограниченные по времени сессии с миссией, например «30 минут исследовать страницу профиля с очень длинными именами и нелатинскими алфавитами», с заметками о покрытом и найденном
Как выбрать технику
| Ситуация | С чего начать |
|---|---|
| Поля форм и числовые параметры | Классы эквивалентности + границы |
| Бизнес-правила с несколькими условиями | Таблица решений |
| Заказы, подписки, рабочие процессы | Переходы состояний |
| Много конфигураций или настроек | Pairwise |
| Новая функция, нечёткие требования | Исследовательская сессия + ревью |
| Критичный алгоритм | Белый ящик с покрытием ветвей |