Документ описывает инструмент uicov для измерения покрытия пользовательского интерфейса и автоматизации тестирования. Он включает процесс создания, сбора и отчетности по покрытиям, а также примеры использования и форматы данных. Инструмент ориентирован на разработчиков, тестировщиков и команды по обеспечению качества, предоставляя им возможности для анализа и улучшения тестирования.

1. UICov — инструмент измерения
UI покрытия
SQA Days 18

2. Преамбула
А вам приходилось быть в такой ситуации?
Заказчик:
Какое покрытие?
Автотестеры:
Программисты:
Мануальщики:
Я:

3. Преамбула
А вам приходилось быть в такой ситуации?
Заказчик:
Какое покрытие?
Автотестеры:
Программисты:
А «смоки» это отловят?
Мануальщики:
Я:

4. Преамбула
А вам приходилось быть в такой ситуации?
Заказчик:
Какое покрытие?
Автотестеры:
Программисты:
А «смоки» это отловят?
Мануальщики:
А давайте мы будем
смотреть то, что ваши
автотесты не делают?
Я:

5. Преамбула
А вам приходилось быть в такой ситуации?
Заказчик:
Какое покрытие?
Автотестеры:
А мы это уже тестировали?
Программисты:
А «смоки» это отловят?
Мануальщики:
А давайте мы будем
смотреть то, что ваши
автотесты не делают?
Я:

6. Преамбула
А вам приходилось быть в такой ситуации?
Заказчик:
Какое покрытие?
Автотестеры:
А мы это уже тестировали?
Программисты:
А «смоки» это отловят?
Мануальщики:
А давайте мы будем
смотреть то, что ваши
автотесты не делают?
Я:
Огурец!

7. Идея
Сделать модель и высчитывать покрытие во
время запуска автотестов, ведь они сами
знают на каком они экране и что они делают!
http://sqadays.com/ru/talk/26051
И я об этом уже рассказывал год назад

8. Что будем измерять?
Экраны
Screens
Экраны

9. Что будем измерять?
Экраны, Переходы
Transitions
Переходы

10. Что будем измерять?
Экраны, Переходы, Действия
Actions
Действия

11. Что будем измерять?
Экраны, Переходы, Действия, Элементы
Elements
Элементы

12. Что будем измерять?
Экраны, Переходы, Действия, Элементы, Проверки
Checks
Проверки
?
?

13. Готово!
Opensource project on GitHub
https://github.com/budabum/uicov

14. Сущности
Исходная Модель
Шаблон, сделанный по модели
Лог-файл тестов, полученный после прогона
Файл покрытия, созданный по лог-файлам
Отчёт, созданный на основе файлов покрытия и шаблона

15. Генерируем шаблон
Мо
де
ль
template
g
e
n
t
p
l

16. Генерируем шаблон
Мо
де
ль
template
g
e
n
t
p
l
>uicov gentpl model-file1 model-file2 model-fileN

17. Запускаем тесты
Test Suite 1 Test Suite 2 Test Suite N
Тесты
запускаются
как обычно
file1.log file2.log fileN.log

18. Возможны варианты

19. Собираем единое покрытие
file1.log file2.log fileN.log
coverage.uic
g
a
t
h
e
r

20. Собираем единое покрытие
file1.log file2.log fileN.log
coverage.uic
>uicov gather file1.log file2.log fileN.log

21. Собираем покрытие раздельно
file1.log file2.log fileN.log
file1.uic file2.uic fileN.uic
g
a
t
h
e
r
g
a
t
h
e
r
g
a
t
h
e
r

22. Собираем покрытие раздельно
file1.log file2.log fileN.log
file1.uic file2.uic fileN.uic
>uicov gather –cov-file=file1.uic file1.log
>uicov gather –cov-file=fileN.uic fileN.log

23. Создаём единый отчёт (1)
report
coverage.uic
template.uic
r
e
p
o
r
t

24. Создаём единый отчёт (1)
report
coverage.uic
template.uic
>uicov report template.uic coverage.uic

25. Создаём единый отчёт (2)
file1.uic file2.uic fileN.uic
report
template.uic
r
e
p
o
r
t

26. Создаём единый отчёт (2)
file1.uic file2.uic fileN.uic
report
template.uic
>uicov report template.uic file1.uic file2.uic fileN.uic

27. Создаём раздельные отчёты
file1.uic file2.uic fileN.uic
file1 file2 fileN
template.uic
r
e
p
o
r
t
r
e
p
o
r
t
r
e
p
o
r
t

28. file1 file2 fileN
Создаём раздельные отчёты
file1.uic file2.uic fileN.uic
template.uic
>uicov report –out-file=file1.html template.uic file1.uic
>uicov report –out-file=fileN.html template.uic fileN.uic

29. Зачем нужен файл покрытия?
coverage.uic

30. Зачем нужен файл покрытия?
coverage.uic
file1.log
coverage
report
Почему нельзя так?

31. Зачем нужен файл покрытия?
coverage.uic
Это сериализованная модель,
которую легко десериализовывать
и преобразовывать и тестировать

32. Зачем нужен файл покрытия?
coverage.uic
file1.log
coverage
report
А так конечно тоже можно...
Это сериализованная модель,
которую легко десериализовывать
и преобразовывать и тестировать

33. Зачем нужен файл покрытия?
coverage.uic
file1.log
coverage
report
А так конечно тоже можно, но где же шаблон?
Это сериализованная модель,
которую легко десериализовывать
и преобразовывать и тестировать

34. Зачем нужен шаблон?

35. Зачем нужен шаблон?
Что будет, если мы создадим отчёт без использования
шаблона?

36. Зачем нужен шаблон?
Что будет, если мы создадим отчёт без использования
шаблона?
Покрытие всегда будет 100%
Вот что будет.

37. А как на самом деле?
file1.log report
file1.log
report
coverage
template
gather
gentmp
merge
merged
coverage report

38. Откуда вы знаете какие логи?

39. Откуда вы знаете какие логи?
А почему вы думаете, что я знаю какие у вас логи?

40. Откуда вы знаете какие логи?
А почему вы думаете, что я знаю какие у вас логи?
RegExp спешат на помощь
А вот вы точно знаете какие у вас логи!
>uicov gather —pattern-file=my_patterns1 log.file

41. Pattern File
Это Ruby файл, который загрузится и выполнится
UICov::patterns_override :log do
set_current_screen /Your pattern here/
set_transition /Your pattern here/
set_action /Your pattern here/
set_check /Your pattern here/
set_element /Your pattern here/
end

42. Откуда взять модель?

43. Откуда взять модель?
Экраны, Переходы, Действия, Элементы, Проверки
Вытащить из
исходного кода
приложения

44. Откуда взять модель?
Экраны, Переходы, Действия, Элементы, Проверки
Вытащить из
исходного кода
приложения
Вытащить из UI
страниц по спец.
признакам

45. Откуда взять модель?
Экраны, Переходы, Действия, Элементы, Проверки
Вытащить из
исходного кода
приложения
Вытащить из UI
страниц по спец.
признакам
Нарисовать в
plantuml

46. Откуда взять модель?
Экраны, Переходы, Действия, Элементы, Проверки
Вытащить из
исходного кода
приложения
Вытащить из UI
страниц по спец.
признакам
Нарисовать в
plantuml
Вытащить из
автотестов
из PageObject

47. Модель как диаграмма состояний

48. Модель как диаграмма классов
Так выглядит диаграмма

49. Модель как диаграмма классов
А так исходный код
@startuml
class LoginScreen{
Element username
Element password
Element login_button
Transition login(HomeScreen)
Transition login(LoginScreen)
Action restore_password()
Check restore_password_message()
Check error_login_message()
}
class PreferencesScreen{
Element email
Element password
Element confirm_password
Element photo_image
Element save_button
Transition apply_changes(HomeScreen)
Action change_password()
Action change_email()
Action upload_photo()
Action delete_photo()
Check correct_photo()
Check new_email_confirmed()
}
@enduml

50. Модель как диаграмма классов
И это лёгким движением клавиш превращается в шаблон!

51. … и еще вот так

52. Закрепим
>uicov gentpl model-files
Создать шаблон по модели
>uicov gather log-files
Собрать информацию о покрытии
>uicov report template coverage-files
Сгенерировать отчёт
>uicov merge coverage-file1 coverage-fileN
Соединить файлы покрытия

53. Пример html отчёта

54. Спасибо!
Вопросы?
author: Alexey Lyanguzov
mailto: budabum@gmail.com
skype: budabum