Конференция завершена. Ждем вас на других конференциях Онтико

Главное — не моргай! Как мы избавлялись от flaky-тестов

Оптимизация тестов и аналитики

Функциональное тестирование
Автоматизация тестирования
Приёмочные и функциональные тесты
QA / другое

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Flaky-тесты — вечная головная боль тестировщиков и разработчиков. Поговорим о том, как от них избавиться на примере двух типовых и часто встречающихся проблем.

Целевая аудитория

Инженеры, которые страдают от флаки-тестов и которых не устраивает решение "навтыкать sleep'ов и wait'ов".

Тезисы

Практически в любом приложении есть функционал, который зависит от времени, всего от нескольких секунд — что-то появилось и автоматически исчезло, что-то запустилось в фоновом режиме и тому подобное. И когда мы начинаем писать на это автотесты — возникают проблемы. Система чуть притормозила и не успела завершить фоновую работу до того, как мы ожидали, браузер отработал чуть быстрее, и уже скрыл то, что мы хотели увидеть... Всё это ведёт к тому, что автотесты на такой функционал иногда падают без веской причины — система работает, а тест красный. Это ведёт к утрате доверия к билдам.

Классические решения — мониторить и перезапускать такие тесты, поставить ожидания побольше — решают не проблему, а симптомы. Мы решили бороться с самой болезнью.  И я расскажу, как мы победили:
* тесты с автоматически появляющимися и исчезающими окошками;
* тесты, завязанные на асинхронные операции бэкенда.

Также расскажу, как мы продолжаем непримиримую борьбу с флаки-тестами.

FullStack-разработчик (Salesforce, Java, Javascript). Разрабатывал решения для страхования, финтеха, менеджмента мероприятий, гостиничного бизнеса и фармкомпаний. Практик экстремального программирования.

-

Видео