← QA Library
Раздел 2 / 9 · 8 мин чтения

Виды и уровни тестирования

Уровни тестирования, чёрный, белый и серый ящик, функциональное и нефункциональное тестирование и тестирование, связанное с изменениями.

Существуют десятки названий видов тестирования, и они пересекаются. Проще всего в них не запутаться, если разложить их по нескольким независимым осям: на каком уровне мы тестируем, сколько знаем о внутреннем устройстве, что тестируем и зачем тестируем именно сейчас.

Уровни: объект какого размера мы тестируем

UI end-to-endИнтеграционные / APIМодульные+ ИсследовательскоеМедленнее, дороже ↑Быстрее, дешевле ↓
Пирамида тестирования: много быстрых низкоуровневых тестов, меньше медленных end-to-end, плюс исследовательское тестирование людьми.
УровеньОбъёмКто обычно выполняет
Модульное (компонентное)Функция, класс или компонент изолированноРазработчики
ИнтеграционноеКак модули или сервисы работают вместе, API, база данныхРазработчики и QA
СистемноеВесь продукт в соответствии с требованиямиQA
ПриёмочноеГотов ли продукт для пользователей и бизнесаБизнес, пользователи, QA

Методы: сколько мы знаем о внутреннем устройстве

МетодЗнание кодаТипичное применение
Чёрный ящикНет; тестируем через входы и выходыФункциональное и приёмочное тестирование
Белый ящикПолное; тесты основаны на структуре кодаМодульные тесты, покрытие ветвей и путей
Серый ящикЧастичное: архитектура, база данных, APIИнтеграционное и API-тестирование, проверки данных

Функциональное и нефункциональное

Функциональное тестирование проверяет, что система делает: бизнес-правила, расчёты, рабочие процессы. Нефункциональное тестирование проверяет, насколько хорошо она это делает.

  • Производительность: нагрузка (ожидаемый трафик), стресс (сверх пределов), выносливость (часы стабильной нагрузки), всплески (резкие скачки)
  • Безопасность: контроль доступа, валидация ввода, утечка данных, уязвимости зависимостей
  • Удобство и доступность: может ли каждый, включая людей со скринридерами или только клавиатурой, выполнить задачу?
  • Совместимость: браузеры, устройства, операционные системы, размеры экранов
  • Локализация: переводы, форматы дат и чисел, текст, который становится длиннее на немецком, языки с письмом справа налево
  • Надёжность и восстановление: что происходит после падения, потери соединения или неудачного деплоя

Тестирование, связанное с изменениями

ВидКогдаЦель
SmokeСразу после новой сборкиДостаточно ли стабильна сборка, чтобы её вообще тестировать?
SanityПосле небольшого исправления или измененияРаботает ли изменённая часть, на первый взгляд?
Повторное тестирование (ретест)После исправления багаДействительно ли исправлен именно этот баг?
РегрессионноеПеред каждым релизомНе сломало ли изменение то, что раньше работало?

Подходы: по сценариям, исследовательский и на основе рисков

Тестирование по сценариям идёт по подготовленным тест-кейсам и хорошо для повторяемости и аудитов. Исследовательское тестирование совмещает обучение, тест-дизайн и выполнение одновременно, с миссией и ограничением по времени; оно отлично находит неожиданные проблемы. Тестирование на основе рисков определяет, куда тратить усилия: области с высоким влиянием на бизнес и высокой вероятностью сбоя получают больше всего внимания.

Другие названия, которые вы встретите

  • Альфа- и бета-тестирование: внутреннее тестирование перед релизом, затем тестирование ограниченной группой реальных пользователей
  • A/B-тестирование: сравнение двух версий на реальных пользователях, чтобы увидеть, какая работает лучше (это скорее продуктовый эксперимент, чем поиск багов)
  • Обезьянье тестирование: случайные действия, чтобы найти падения
  • Тестирование установки и обновления: чистая установка, обновление, откат
  • Тестирование данных и миграций: правильность и полнота перенесённых или преобразованных данных
Редко нужны все виды сразу. Хорошая стратегия тестирования выбирает сочетание, которое соответствует рискам продукта, — как её записать, см. Тестовая документация.