This presentation about automation testing of desktop applications on own experience with using free tools and approaches.

1. Свободу тестировщикам
десктопа: внедряем автотесты!
Александр Зиновьев, B2B Soft

2. О себе
• QA Tech Lead @ B2B Soft
• Automation Inspirer @ B2B Soft
• ISTQB® Certified Tester, Foundation Level
• 7+ лет опыта в тестировании
• 3+ лет опыта в тест менеджменте
• 1+ лет опыта в автоматизации
Контакты:
e-mail: shurik.zinovyev@gmail.com
skype: alexandr.zinoviev
Blog: azinoviev.com
2

3. План
• Проблема
• Особенности тестирования Desktop приложений
• Выбор framework
• Как мы пишем тесты
• Сложности
• Как их решать
• Наш результат
3

4. Проблема
4

5. Наше приложение
•Клиент
•Сервер
•База данных
5

6. Рост скорости процесса разработки
•SP – раз в 1-2 месяца
•Client – раз в квартал
6

7. Частые релизы
•Service Pack: ~ 160 человеко-часов
•Новой версии клиента: ~ 320 человеко-часов
7

8. Команда
4 Manual QA
8

9. Особенности тестирования Desktop
• Инсталляция:
• Обновление
• Новая установка
• Работа с внешними устройствами
• Кроссплатформенное тестирование
• Довольно низкая скорость работы
9

10. Особенности нашего приложения
• Приложение на рынке уже 15 лет
• За это время сменилась не одна команда
• Каждая команда привносила в разработку что-то свое
• Отсутствие code convention
• Приложение довольно хрупкое
• Не зависимо от изменений регрессия проходит через
все приложение
10

11. В среднем неделя в месяц у нас регрессия
11

12. Много релизов – много регрессии – пора
автоматизировать!
12

13. Начинаем выбор framework
13

14. Из чего мы выбирали
• Ranorex
• Coded UI
• Python + Selenium + Winium
• Python + Pywinauto
14

15. Ranorex: плюсы
• Готовая платформа
• Есть возможность записивоспроизведения тестовых сценариев
15

16. Ranorex: минусы
• Стоимость
• C#
• Тяжело поддерживать
16

17. Coded UI: плюсы
• Готовая платформа
• Есть возможность записивоспроизведения тестовых сценариев
17

18. Coded UI: минусы
• C#
• Тяжело поддерживать
18

19. Python + Selenium + Winium: плюсы
• Python – легкий порог входа
• Большое количество библиотек для Python
• Автоматизация на Python популярнее чем на С#
• Selenium
• Полный контроль написания тестов
• Паттерн Page Object
19

20. Python + Selenium + Winium: минусы
• Не стабильный драйвер Winium
• Не все возможности поиска элементов поддерживаются –
Winium не поддерживает все возможности Selenium
20

21. Python + Pywinauto: плюсы
• Python – легкий порог входа
• Большое количество библиотек для Python
• Автоматизация на Python довольно популярна
• Pywinauto – библиотека для работы с Desktop
• Полный контроль написания тестов
• Паттерн Page Object
21

22. Python + Pywinauto: минусы
• Не ко всем элементам можно достучаться – но это скорее
сложности имплементации древнего приложения
• Очень мало информации о Pywinauto на просторах
интернета
22

23. Это наш вариант
23

24. Как мы пишем
• Gherkin
• Page Object pattern
• Код хранится в GIT
• Отдельная база для автотестов
• Запуск через Jenkins каждую ночь
24

25. Gherkin
Тесты пишутся в стиле Behavior
Driven Development:
When I….
And I….
Then I….
Examples – содержит набор тестов
Каждый степ можно использовать
неоднократно в разных тестах
25

26. Вспомогательные приложения
26

27. Visual UI Automation Verify
27

28. SWAPY
28

29. Репортинг
• После запуска автотестов – приходит нотификация на почту
• Если Failed:
• Скриншот аттачится в репорт
• Текст ошибки
29

30. 30

31. 31

32. Сложности
• Общая проблема UI-тестов – это скорость
• ~90 тестов идут 2,5 часа
• Частые падения тестов по различным причинам:
• Элемент не найден если предыдущий тест где-то упал
• Приложение загружалось дольше чем планировалось – Desktop
• Сетевые лаги
• В интернете почти нет инфы по автоматизации Desktop
32

33. Как их решать
• Параллелизация тестов:
• Виртуальные машины
• Docker/Vagrant
• Больше проверок
• На закрытие приложения
• На открытие скринов
33

34. Параллелизация – вроде просто?
34

35. Docker?
35

36. Vagrant! Выход
36

37. Так показалось…
37

38. Но, мы нашли для себя выход...
38

39. Отдельные сборки
• Отдельный PC для автотестов
• Отдельные юзеры в системе
• Под ними отдельные агенты Jenkins
• Отдельный билд-план в Jenkins
• Тесты разделены независимо
• И запуск идет паралельно
39

40. Отдельные сборки
40

41. Что мы получили?
• На данном этапе покрытие 15%
• Количество тестов ~90
• Smoke Test длится 40-45 минут
• Regression Test длится 1 час 20 минут
41

42. 42