Основы тестирования
Что означает качество, что такое QA, QC и тестирование и на каких принципах держится каждое решение в тестировании.
Тестирование ПО — это процесс оценки продукта, чтобы найти дефекты и получить уверенность, что он делает то, что нужно пользователям. Тестирование не может доказать, что в программе нет багов, но может показать, где они есть, и даёт команде информацию для решения о релизе.
Качество — это больше, чем «нет багов»
Продукт может не иметь ни одного известного бага и всё равно быть плохим: медленным, запутанным или небезопасным. Поэтому качество обычно описывают через несколько характеристик.
| Характеристика | На какой вопрос отвечает | Пример проверки |
|---|---|---|
| Функциональная пригодность | Делает ли продукт правильные вещи правильно? | Корзина правильно считает налог |
| Производительность | Достаточно ли он быстрый и эффективный? | Страница загружается быстрее 2 с на 4G |
| Удобство | Легко ли им пользоваться? | Новый пользователь регистрируется без посторонней помощи |
| Надёжность | Продолжает ли он работать? | Никакой потери данных после перезапуска сервера |
| Безопасность | Защищены ли данные? | Пользователь не может открыть чужой заказ |
| Совместимость | Работает ли он в своей среде? | Работает в двух последних версиях популярных браузеров |
| Сопровождаемость | Можно ли его безопасно менять? | У кода есть тесты и понятная структура |
| Переносимость | Запустится ли он в другом месте? | Устанавливается на Windows и macOS |
QA, QC и тестирование
Эти три термина часто путают. Обеспечение качества (QA) касается процесса: предотвращения дефектов с помощью хороших практик — ревью, стандартов, понятных требований. Контроль качества (QC) касается продукта: проверки, что созданное соответствует требованиям. Тестирование — главная деятельность QC: запуск программы или изучение её артефактов, чтобы найти проблемы.
Верификация и валидация
Верификация спрашивает: «Правильно ли мы делаем продукт?» — соответствует ли он спецификации. Валидация спрашивает: «Тот ли продукт мы делаем?» — действительно ли он решает проблему пользователя. Функция может идеально пройти верификацию и не пройти валидацию, потому что ошибочной была сама спецификация.
Ошибка, дефект, сбой
Человек совершает ошибку (неверное допущение, опечатку). Ошибка оставляет дефект (баг) в коде или документации. Когда дефектный код выполняется при определённых условиях, он вызывает сбой — видимое неправильное поведение. Не каждый дефект приводит к сбою: некоторые сидят в коде, который никогда не выполняется.
Семь принципов тестирования
- Тестирование показывает наличие дефектов, а не их отсутствие. Успешные тесты снижают риск, но не доказывают совершенства.
- Исчерпывающее тестирование невозможно. Мы расставляем приоритеты по риску, а не пробуем всё.
- Раннее тестирование экономит время и деньги. Проверяйте требования ещё до появления кода.
- Дефекты скапливаются. Несколько модулей обычно содержат большинство багов — ищите там тщательнее.
- Тесты «изнашиваются». Одни и те же тесты снова и снова перестают находить новые баги; обновляйте их и варьируйте.
- Тестирование зависит от контекста. Банковскому приложению и мобильной игре нужны разные подходы.
- Отсутствие ошибок — обманчивая цель. Продукт без багов, который не отвечает потребностям пользователей, всё равно провален.
Статическое и динамическое тестирование
Статическое тестирование изучает артефакты без запуска кода: ревью требований, дизайна и кода или инструменты статического анализа. Динамическое тестирование запускает программу. Статическое дешёвое и находит проблемы рано; динамическое находит то, что проявляется только при выполнении. Здоровый процесс использует оба.