Виды и уровни тестирования
Уровни тестирования, чёрный, белый и серый ящик, функциональное и нефункциональное тестирование и тестирование, связанное с изменениями.
Существуют десятки названий видов тестирования, и они пересекаются. Проще всего в них не запутаться, если разложить их по нескольким независимым осям: на каком уровне мы тестируем, сколько знаем о внутреннем устройстве, что тестируем и зачем тестируем именно сейчас.
Уровни: объект какого размера мы тестируем
| Уровень | Объём | Кто обычно выполняет |
|---|---|---|
| Модульное (компонентное) | Функция, класс или компонент изолированно | Разработчики |
| Интеграционное | Как модули или сервисы работают вместе, API, база данных | Разработчики и QA |
| Системное | Весь продукт в соответствии с требованиями | QA |
| Приёмочное | Готов ли продукт для пользователей и бизнеса | Бизнес, пользователи, QA |
Методы: сколько мы знаем о внутреннем устройстве
| Метод | Знание кода | Типичное применение |
|---|---|---|
| Чёрный ящик | Нет; тестируем через входы и выходы | Функциональное и приёмочное тестирование |
| Белый ящик | Полное; тесты основаны на структуре кода | Модульные тесты, покрытие ветвей и путей |
| Серый ящик | Частичное: архитектура, база данных, API | Интеграционное и API-тестирование, проверки данных |
Функциональное и нефункциональное
Функциональное тестирование проверяет, что система делает: бизнес-правила, расчёты, рабочие процессы. Нефункциональное тестирование проверяет, насколько хорошо она это делает.
- Производительность: нагрузка (ожидаемый трафик), стресс (сверх пределов), выносливость (часы стабильной нагрузки), всплески (резкие скачки)
- Безопасность: контроль доступа, валидация ввода, утечка данных, уязвимости зависимостей
- Удобство и доступность: может ли каждый, включая людей со скринридерами или только клавиатурой, выполнить задачу?
- Совместимость: браузеры, устройства, операционные системы, размеры экранов
- Локализация: переводы, форматы дат и чисел, текст, который становится длиннее на немецком, языки с письмом справа налево
- Надёжность и восстановление: что происходит после падения, потери соединения или неудачного деплоя
Тестирование, связанное с изменениями
| Вид | Когда | Цель |
|---|---|---|
| Smoke | Сразу после новой сборки | Достаточно ли стабильна сборка, чтобы её вообще тестировать? |
| Sanity | После небольшого исправления или изменения | Работает ли изменённая часть, на первый взгляд? |
| Повторное тестирование (ретест) | После исправления бага | Действительно ли исправлен именно этот баг? |
| Регрессионное | Перед каждым релизом | Не сломало ли изменение то, что раньше работало? |
Подходы: по сценариям, исследовательский и на основе рисков
Тестирование по сценариям идёт по подготовленным тест-кейсам и хорошо для повторяемости и аудитов. Исследовательское тестирование совмещает обучение, тест-дизайн и выполнение одновременно, с миссией и ограничением по времени; оно отлично находит неожиданные проблемы. Тестирование на основе рисков определяет, куда тратить усилия: области с высоким влиянием на бизнес и высокой вероятностью сбоя получают больше всего внимания.
Другие названия, которые вы встретите
- Альфа- и бета-тестирование: внутреннее тестирование перед релизом, затем тестирование ограниченной группой реальных пользователей
- A/B-тестирование: сравнение двух версий на реальных пользователях, чтобы увидеть, какая работает лучше (это скорее продуктовый эксперимент, чем поиск багов)
- Обезьянье тестирование: случайные действия, чтобы найти падения
- Тестирование установки и обновления: чистая установка, обновление, откат
- Тестирование данных и миграций: правильность и полнота перенесённых или преобразованных данных