Автоматизація тестування
Що автоматизувати, а що ні, інструменти за рівнями, підтримувана структура тестів, нестабільні тести та запуск усього в CI.
Автоматизація не замінює тестувальників — вона їх звільняє. Машини швидко й послідовно повторюють перевірки в кожній збірці, а люди зосереджуються на дослідницькому тестуванні, нових функціях і судженнях. Мета — швидкий і надійний зворотний зв'язок, а не найбільша можлива кількість скриптів.
Що автоматизувати
| Хороші кандидати | Погані кандидати |
|---|---|
| Smoke-тести в кожній збірці | Функції, що змінюються щотижня |
| Регресія стабільних критичних сценаріїв | Одноразові перевірки |
| Тести API й бізнес-логіки | Візуальні оцінки та відчуття UX |
| Тести з багатьма наборами даних | Тести, що потребують фізичної взаємодії |
| Перевірки в багатьох браузерах чи пристроях | Дослідницьке тестування |
Практичне правило: автоматизуйте перевірку, якщо вона стабільна, цінна й запускатиметься багато разів. Опускайте тести нижче пірамідою: API-тест швидший і стабільніший за UI-тест для того самого правила.
Інструменти за рівнями
| Рівень | Популярні інструменти |
|---|---|
| Модульний | Jest, Vitest, JUnit, pytest, NUnit |
| API | Postman/Newman, REST Assured, pytest + requests, Karate |
| Веб-UI | Playwright, Cypress, Selenium WebDriver |
| Мобільний UI | Appium, Espresso, XCUITest, Maestro |
| Продуктивність | k6, JMeter, Gatling, Locust |
| Візуальна регресія | Скриншоти Playwright, Percy, Applitools |
Підтримувана структура
Тримайте тести читабельними, а селектори — в одному місці. Патерн Page Object загортає елементи й дії сторінки в клас, тож змінену кнопку треба виправити лише один раз.
// pages/login.page.ts
export class LoginPage {
constructor(private page: Page) {}
async open() { await this.page.goto('/login'); }
async login(email: string, password: string) {
await this.page.getByLabel('Email').fill(email);
await this.page.getByLabel('Password').fill(password);
await this.page.getByRole('button', { name: 'Sign in' }).click();
}
}
// tests/login.spec.ts
test('user sees dashboard after login', async ({ page }) => {
const login = new LoginPage(page);
await login.open();
await login.login(USER.email, USER.password);
await expect(page.getByRole('heading', { name: 'Dashboard' })).toBeVisible();
});
Нестабільні тести
Нестабільний (flaky) тест то проходить, то падає без жодних змін у коді. Такі набори руйнують довіру, тому ми ставимося до них як до багів.
| Причина | Рішення |
|---|---|
Фіксовані паузи (sleep(3)) | Чекати на умову: елемент видимий, запит завершено |
| Крихкі селектори (довгі CSS-шляхи) | Ролі, підписи або окремі атрибути data-testid |
| Спільні чи залишені тестові дані | Створювати ізольовані дані для кожного тесту, прибирати після |
| Залежність від порядку тестів | Кожен тест сам готує свій стан |
| Нестабільне оточення чи сторонні сервіси | Мокати зовнішні сервіси, моніторити тестове оточення |
Автоматизація в CI/CD
Запускайте швидкі набори в кожному pull request, щоб зміну не можна було злити, поки тести червоні. Повну регресію, кросбраузерні тести й тести продуктивності запускайте щоночі або перед релізами. Запускайте тести паралельно, щоб зворотний зв'язок надходив швидше ніж за десять хвилин, і публікуйте зрозумілі звіти зі скриншотами, відео й трасуванням для збоїв. Наш конвеєр описано в статті Shift-left на практиці.
Як вимірювати успіх
- Час від коміту до зворотного зв'язку
- Частка регресії критичних сценаріїв, покрита автоматично
- Частка нестабільних тестів (прагніть майже до нуля)
- Баги, знайдені автоматизацією до релізу, порівняно з багами, знайденими користувачами