1. И никуда не надо ехать!
Обходные пути в
автоматизированном
тестировании
Дмитрий Жарий

2. О себе

3. Обходы / Workaraund’ы
Или что делать, когда всё плохо

4. Даю вводную...
Вы работаете тестировщиком-
автоматизатором в компании
Google.
И тестируете веб-поиск Google.

5. И тут, как гром среди ясного неба
– Чувак, мы тут вводим фичу
мгновенного поиска, но UI не
поменялся, так что ты
можешь, смело гонять свои
старые тесты для регрессии.

6. Жаль, нет видео.

7. Жаль, нет видео..

8. Жаль, нет видео…

9. Тест на 2 проверки

10. Всё нормально?!

11. Иногда, “This” - это не “this”…
Эта проверка мертва  (Заблокирована)

12. Bug ID: BOOGLE-01

13. Реакция разработчиков
- Молодец, суровый баг нашел, братишка!

14. Реакция менеджмента
- О… да, это Showstopper. Мы не можем
выпускать релиз с таким то багом! Гы-гы-гы

15. Первая реакция автоматизатора
- А у меня 400 тестов из-за этого не
проходят. И половина проверок
заблокирована, код проверок менять?

16. Вторая реакция автоматизатора

17. Обходим!

18. На каком основании?

19. А у нас есть:
Известный и открытый баг с ID: BOOGLE-01
И пока баг открыт – используем обход.
А когда баг закроют – уберем обход.
Всё по закону и порядку!

20. Чтобы тест не был красным
• Подменить ожидаемое значение
• Отключить проверку
• Подавить проверку

21. Код покажи!

22. Подменить ожидаемое значение

23. Талант – брат Краткости
// NO!
const bool is_Тот_баг_с_регистрацией_fixed = false;
// NO!
const bool is_Я_обязательно_Заведу_Баг_по_этому_поводу_fixed = false;
// NO!
const bool is_Вова_знает_об_этом_баге_и_обещал_пофиксить_когда_вернется
_из_отпуска_fixed = false;
// NO!
const bool IsBOOGLE01GoogleInstantSearchShouldNotAlwaysDisplayTheSearch
PhraseInLowerCaseAndILoveCamelCaseSoMuchFixed = false;
// Google Instant search should not always display the search phrase in lower case
const bool isBOOGLE_01_fixed = false;

24. Подменить ожидаемое значение

25. И овцы сыты, и волки целы

26. Ничего секретного

27. Сложный пример с дескриптором

28. Сам дескриптор

29. Отключить проверку

30. Подавить проверку…

31. Но, это же ужас…
Дубликат
Много кода
Дубликат

32. Зачем писать больше?

33. λ Код как параметр!
Обход включен
Обход выключен

34. В результате

35. И еще можно…
• Подменить тестовые данные
“data_driven_test_data.xls”
на “data_driven_test_data_boogle_01.xls”
• Полностью пропустить тест-кейс
if (UseWorkAround(BOOGLE_01)) Assert.Inconclusive();
• Использовать обходной сценарий
тестирования
Например, создать нового пользователя при помощи SQL запросов,
если это невозможно сделать через UI.

36. Когда-то давно было…
Test Automation Report
Total: 1000 tests
Passed: 600 tests
Failed: 400 tests
Issues:
BOOGLE-01 ( http://goo.gl/8lTsz ) : Google Instant search
should not always display the search phrase in lower case
Blocks automation testing

37. Совсем недавно стало…
Test Automation Report
Total: 1000 tests
Passed: 998 tests
Failed: 2 tests
Issues:
Reopened: BOOGLE-02
New: BOOGLE-03
Used Workarounds:
BOOGLE-01 ( http://goo.gl/8lTsz ) : Google Instant search
should not always display the search phrase in lower case

38. Но!
Воркэраунд – это не решение проблемы.
Это всего лишь обход проблемы.

39. Спасибо за внимание!
Я готов ответить на Ваши вопросы.
Дмитрий Жарий
http://blog.zhariy.com
dzhariy@gmail.com
Спасибо за поддержку:

40. Отдельное спасибо
Мемам из Rage Comics,
За участие в презентации
http://www.reddit.com/r/f7u12/