Flaky-тесты

Что такое flaky-тесты? Почему они то проходят, то падают, и как с ними бороться?

19 дней назад

Аня Казанцева

Ответы

1

1.Flaky-тесты (флакующие или нестабильные тесты)

— это тесты автоматизации, которые при одном и том же исходном коде программы и без изменений в самом тесте могут производить разные результаты: то успешно проходить (PASS), то завершаться ошибкой (FAIL).

Главная проблема flaky-тестов — потеря доверия к автотестам. Когда тесты падают случайным образом, разработчики перестают обращать внимание на упавшие сборки (CI/CD) и начинают перезапускать их по несколько раз, в результате чего реальные баги легко пропускаются в продакшен.

2. Основные причины: почему тесты «флакуют»

| Асинхронность и таймауты | Race Conditions (гонкой состояний) | Тест пытается кликнуть по элементу или проверить данные до того, как страница/API успели загрузиться. Использование жестких задержек (sleep()). |

| Зависимость от состояния (State Leakage) | Нарушение изоляции | Тесты выполняются в случайном порядке и зависят от данных, оставленных предыдущим тестом (например, в БД или LocalStorage). |

| Внешние зависимости | Сеть и сторонние API | Нестабильный интернет, задержки ответов от сторонних сервисов (эквайринг, геокодинг), меняющиеся внешние данные. |

| Ресурсы и окружение | Нагрузка на тестовый стенд | Параллельное выполнение тестов на CI перегружает процессор или память, из-за чего увеличиваются задержки приложения. |

| Недетерминированные данные | Время, даты, случайные числа | Использование текущего времени (new Date()), из-за чего тест падает при переходе через полночь, в конце месяца или в другой временной зоне. |

3. Как с ними бороться: пошаговый план

  1. Изолируйте и зафиксируйте запуск: Шаг 1: Воспроизведение. Запустите упавший тест 10–50 раз подряд локально или в изоляции на CI, чтобы убедиться, что проблема именно в "флаковании", а не в реальном баге кода.Verification: Тест завершается с разными результатами на одной и той же ревизии кода.

  2. Уберите жесткие задержки (sleep / Thread.sleep): Шаг 2: Стабильное ожидание. Замените фиктивные тайм-ауты (sleep(5000)) на явные ожидания (Explicit Waits / Smart Waits) конкретных событий: появления элемента в DOM, ответа от API или завершения анимации. Verification: Тест ожидает ровно столько, сколько нужно системе, и не падает при небольших задержках UI.

  3. Очищайте окружение и изоляцию данных:Шаг 3: Независимость. Настройте сброс базы данных или используйте уникальные сгенерированные данные (например, UUID для пользователей) для каждого теста. Тесты не должны завязываться на ID = 1 или порядок их выполнения. Verification: Тесты успешно проходят при запускe в случайном порядке (--random-order).

  4. Заглушите (Mock) внешние сервисы: Шаг 4: Контроль зависимостей. Изолируйте тесты от сторонних API с помощью моков и стабов (WireMock, Nock, Msw). Тестируйте логику своего приложения, а не доступность чужого сервера. Verification: Тест проходит стабильно даже при отсутствии подключения к внешнему интернету.

18 дней назад

Nadezhda Заполнить

+7 800 100 22 47

бесплатно по РФ

+7 495 085 21 62

бесплатно по Москве

108813 г. Москва, вн.тер.г. поселение Московский,
г. Московский, ул. Солнечная, д. 3А, стр. 1, помещ. 20Б/3
ОГРН 1217300010476
ИНН 7325174845