Дмитрий Вильнер - доклад на SQA Days, 2-3 декабря 2011, Москва

1. Проект Testbot

2.  Концепция подхода
 Применение
 Архитектура
2

3. 3

4. 4

5. 5

6. 100 сценариев
Изменились шрифты...
Прошла неделя...
6

7. 7

8.  Независимость теста от отображения
данных.
 Обработка непредвиденных ситуаций.
8

9. 9

10. Событие
Реакция
10

11. App Информация Фокусировка на файле
пользовательского
Events уровня Файл открылся
Открылось
контекстное меню
Testbot
Actions
Служебная Ошибки в приложении
информация
Анализ Используемая память
события
Время
Анализ
контекста
11

12. 1. Окрыть документ (курсор в первом
параграфе).
2. Перемещать курсор вправо, пока он не
достигнет начала следующего параграфа.
3. Нажать Backspace.
Exp. result: параграфы объединились.
12

13. 13

14. Time Line
Testbot
File “For test.docx” is focused
Press Enter
File “For test.docx” is Press Enter
focused
14

15. Time Line
Testbot
File “For test.docx” is focused
Press Enter
Document is opened Press
Press Right
Pass
Press Right Backspace
Cursor is moved Cursor is moved right in
Document
Paragraphs are paragraph 0
right in paragraph
opened
merged
0
1 Press Right
Cursor is moved right in
paragraph 0
Press Right
Cursor is moved right in
paragraph 1
Press Backspace
Paragraphs are merged
Pass
15

16. 16

17.  Тестирование неограниченного
количества документов
 Регрессионное тестирование
рендеринга
 CIT
 Интересная работа
17

18. 18

19.  Фиксированный набор специально-
созданных и реальных документов
 Снимаем изображение -> картинки
 Проверяем картинки –> сохраняем как
эталон
 Тестируем этот же набор на следующей
сборке
 Автоматически сравниваем картинки с
эталоном
19

20. 20

21.  Использование библиотеки OpenCV для
поиска изображения на экране
 Использование в диалогах
 Зависимость от отображения
21

22.  Автоматическая сборка на билд-сервере
 Нотификация тест-сервера через Jabber
 Объединение тестов в тест-сеты;
ассоциация тест-сета и сборки
 E-mail нотификации по завершению теста
22

23. 50
45
40
35
30
25 Testbot
20 Sikuli
15
10
5
0
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35
23

25. 25

26.  Приложение запущено в 3-х отдельных
процессах
 Не смогли получить информацию о
состоянии диалогов в 2-ом и 3-ем
процессе
 Нет возможности следить за изменениями в
документе
26

27. Testpoints
Файл
логирования
Testbot
27

28. Строки для обработки
Обработка файла 06:29:36.816 V TESTPOINT: filelist refreshed - ROOT [acco
логирования приложения 06:29:36.902 V TESTPOINT: Account is armed in FileSyste
06:33:55.055 V TESTPOINT activity started; [path:/mnt/sd
06:33:55.067 V TESTPOINT: Start loading presentation
06:33:56.708 V TESTPOINT: End loading presentation
06:29:36.683 E Error:Resource 'arrowleft' not found in 'id„
06:29:36.685 E Error:Resource 'arrowright' not found in 'id„
06:29:36.793 W Retrieving the token without setting it first.
06:29:36.816 V TESTPOINT: filelist refreshed - ROOT [accounts:nwdeer@gmail.com,]
06:29:36.817 W Retrieving the token without setting it first.
06:29:36.819 E Error:Retrieving the consumer
06:29:36.902 V TESTPOINT: Account is armed in FileSystemList [name:null] [id:null]
06:33:55.052 E Error:Resource 'arrowleft' not found in 'id„
06:33:55.053 E Error:Resource 'arrowright' not found in 'id„
06:33:55.055 V TESTPOINT activity started; [path:/mnt/sdcard/!QP-Groups-MSO2003.ppt]
06:33:55.060 E Error:Can not load table_styles_default_xml
06:33:55.067 V TESTPOINT: Start loading presentation
06:33:55.279 D openDocument() new HSLFSlideShow finished in: 199
06:33:55.608 D openDocument() initHSLFAndroid finished in: 528
06:33:55.630 D openDocument() new SlideShow finished in: 550
06:33:56.696 D openDocument() SlideAdapters created finished in: 1616
06:33:56.707 I Document was parsed by POI in 1630 ms.
06:33:56.708 V TESTPOINT: End loading presentation
06:33:56.984 D PointImageUtil: Metafile loaded and cached: size: 1789x1531
06:33:57.022 D PointImageUtil: Metafile loaded and cached: size: 1963x1981
06:33:57.246 W Got unhandled activity result. requestCode=12
28

29. Лог Time Line A: Document
is opened:
1. Document is Document is opened pressRight();
opened pressRight()
2. Cursor is moved Cursor is moved in
in paragraph 0 paragraph 0
3. Cursor is moved pressRight() B: Cursor is
in paragraph 1 Cursor is moved in moved:
4. Paragraphs are paragraph 1 if (index == 0)
merged pressDelete() pressRight();
Paragraphs are merged else
Pass(); pressDelete()
C: Paragraphs
are merged :
pass();
29

30. Лог Time Line
A: Starting
to load
1. Starting to open Starting to load
document document
… wait(120);
Failed(“Could not onEvent():
load”) setTimeOut(120)
onTimeOut():
failed(“Could not
load”);
30

31. Лог Time Line
A: Starting
to load
1. Starting to open Starting to load
document document
2. Null pointer wait(120);
exception recordStackTrace(); onEvent():
wait(30); setTimeOut(120)
Failed(“Could not
load”)
onTimeOut():
failed(“Could not
load”);
onError():
recordStackTrace()
31

32. 32

33. Дмитрий Вильнер
dmitry.vilner@quickoffice.com
Олег Орлов
oleg.orlov@quickoffice.com
33