Автоматизация тестирования
Что автоматизировать, а что нет, инструменты по уровням, поддерживаемая структура тестов, нестабильные тесты и запуск всего в CI.
Автоматизация не заменяет тестировщиков — она их освобождает. Машины быстро и последовательно повторяют проверки в каждой сборке, а люди сосредотачиваются на исследовательском тестировании, новых функциях и суждениях. Цель — быстрая и надёжная обратная связь, а не наибольшее возможное число скриптов.
Что автоматизировать
| Хорошие кандидаты | Плохие кандидаты |
|---|---|
| Smoke-тесты в каждой сборке | Функции, которые меняются каждую неделю |
| Регрессия стабильных критичных сценариев | Разовые проверки |
| Тесты API и бизнес-логики | Визуальные оценки и ощущение UX |
| Тесты с множеством наборов данных | Тесты, требующие физического взаимодействия |
| Проверки во многих браузерах или на устройствах | Исследовательское тестирование |
Практическое правило: автоматизируйте проверку, если она стабильна, ценна и будет запускаться много раз. Опускайте тесты ниже по пирамиде: API-тест быстрее и стабильнее UI-теста для того же правила.
Инструменты по уровням
| Уровень | Популярные инструменты |
|---|---|
| Модульный | Jest, Vitest, JUnit, pytest, NUnit |
| API | Postman/Newman, REST Assured, pytest + requests, Karate |
| Веб-UI | Playwright, Cypress, Selenium WebDriver |
| Мобильный UI | Appium, Espresso, XCUITest, Maestro |
| Производительность | k6, JMeter, Gatling, Locust |
| Визуальная регрессия | Скриншоты Playwright, Percy, Applitools |
Поддерживаемая структура
Держите тесты читаемыми, а селекторы — в одном месте. Паттерн Page Object оборачивает элементы и действия страницы в класс, поэтому изменившуюся кнопку нужно исправить только один раз.
// pages/login.page.ts
export class LoginPage {
constructor(private page: Page) {}
async open() { await this.page.goto('/login'); }
async login(email: string, password: string) {
await this.page.getByLabel('Email').fill(email);
await this.page.getByLabel('Password').fill(password);
await this.page.getByRole('button', { name: 'Sign in' }).click();
}
}
// tests/login.spec.ts
test('user sees dashboard after login', async ({ page }) => {
const login = new LoginPage(page);
await login.open();
await login.login(USER.email, USER.password);
await expect(page.getByRole('heading', { name: 'Dashboard' })).toBeVisible();
});
Нестабильные тесты
Нестабильный (flaky) тест то проходит, то падает без каких-либо изменений в коде. Такие наборы разрушают доверие, поэтому мы относимся к ним как к багам.
| Причина | Решение |
|---|---|
Фиксированные паузы (sleep(3)) | Ждать условия: элемент видим, запрос завершён |
| Хрупкие селекторы (длинные CSS-пути) | Роли, подписи или отдельные атрибуты data-testid |
| Общие или оставшиеся тестовые данные | Создавать изолированные данные для каждого теста, убирать после |
| Зависимость от порядка тестов | Каждый тест сам готовит своё состояние |
| Нестабильное окружение или сторонние сервисы | Мокать внешние сервисы, мониторить тестовое окружение |
Автоматизация в CI/CD
Запускайте быстрые наборы в каждом pull request, чтобы изменение нельзя было слить, пока тесты красные. Полную регрессию, кроссбраузерные тесты и тесты производительности запускайте каждую ночь или перед релизами. Запускайте тесты параллельно, чтобы обратная связь приходила быстрее десяти минут, и публикуйте понятные отчёты со скриншотами, видео и трассировкой для сбоев. Наш конвейер описан в статье Shift-left на практике.
Как измерять успех
- Время от коммита до обратной связи
- Доля регрессии критичных сценариев, покрытая автоматически
- Доля нестабильных тестов (стремитесь почти к нулю)
- Баги, найденные автоматизацией до релиза, по сравнению с багами, найденными пользователями