Види та рівні тестування
Рівні тестування, чорна, біла й сіра скринька, функціональне й нефункціональне тестування та тестування, пов'язане зі змінами.
Існують десятки назв видів тестування, і вони перетинаються. Найпростіше в них не заплутатися — розкласти їх за кількома незалежними осями: на якому рівні ми тестуємо, скільки знаємо про внутрішню будову, що тестуємо і навіщо тестуємо саме зараз.
Рівні: якого розміру об'єкт ми тестуємо
| Рівень | Обсяг | Хто зазвичай виконує |
|---|---|---|
| Модульне (компонентне) | Функція, клас чи компонент ізольовано | Розробники |
| Інтеграційне | Як модулі чи сервіси працюють разом, API, база даних | Розробники та QA |
| Системне | Увесь продукт відповідно до вимог | QA |
| Приймальне | Чи готовий продукт для користувачів і бізнесу | Бізнес, користувачі, QA |
Методи: скільки ми знаємо про внутрішню будову
| Метод | Знання коду | Типове застосування |
|---|---|---|
| Чорна скринька | Немає; тестуємо через входи й виходи | Функціональне й приймальне тестування |
| Біла скринька | Повне; тести базуються на структурі коду | Модульні тести, покриття гілок і шляхів |
| Сіра скринька | Часткове: архітектура, база даних, API | Інтеграційне й API-тестування, перевірки даних |
Функціональне й нефункціональне
Функціональне тестування перевіряє, що система робить: бізнес-правила, розрахунки, робочі процеси. Нефункціональне тестування перевіряє, наскільки добре вона це робить.
- Продуктивність: навантаження (очікуваний трафік), стрес (понад межі), витривалість (години стабільного навантаження), сплески (раптові стрибки)
- Безпека: контроль доступу, валідація вводу, витік даних, вразливості залежностей
- Зручність і доступність: чи може кожен, зокрема люди зі скринрідерами чи лише клавіатурою, виконати завдання?
- Сумісність: браузери, пристрої, операційні системи, розміри екранів
- Локалізація: переклади, формати дат і чисел, текст, що стає довшим німецькою, мови з письмом справа наліво
- Надійність і відновлення: що відбувається після падіння, втрати з'єднання чи невдалого деплою
Тестування, пов'язане зі змінами
| Вид | Коли | Мета |
|---|---|---|
| Smoke | Одразу після нової збірки | Чи достатньо стабільна збірка, щоб її взагалі тестувати? |
| Sanity | Після невеликого виправлення чи зміни | Чи працює змінена частина, на перший погляд? |
| Повторне тестування (ретест) | Після виправлення бага | Чи справді виправлено саме цей баг? |
| Регресійне | Перед кожним релізом | Чи не зламала зміна те, що раніше працювало? |
Підходи: за сценаріями, дослідницький і на основі ризиків
Тестування за сценаріями йде за підготовленими тест-кейсами й добре для повторюваності та аудитів. Дослідницьке тестування поєднує навчання, тест-дизайн і виконання одночасно, з місією та обмеженням у часі; воно чудово знаходить несподівані проблеми. Тестування на основі ризиків визначає, куди витрачати зусилля: області з високим впливом на бізнес і високою ймовірністю збою отримують найбільше уваги.
Інші назви, які ви зустрінете
- Альфа- та бета-тестування: внутрішнє тестування перед релізом, потім тестування обмеженою групою реальних користувачів
- A/B-тестування: порівняння двох версій на реальних користувачах, щоб побачити, яка працює краще (це радше продуктовий експеримент, ніж пошук багів)
- Мавпяче тестування: випадкові дії, щоб знайти падіння
- Тестування встановлення й оновлення: чисте встановлення, оновлення, відкат
- Тестування даних і міграцій: правильність і повнота перенесених чи перетворених даних