Доклад Ильи Кацева на конференции SQA Days-12, 30 ноября-1 декабря, Минск

1. Проект «Роботестер»
Илья Кацев

2. План доклада
Зачем?
Как?
Проект «Роботестер»

3. Вступление
Зачем нужны роботы?

4. Зачем?

5. Идеальное будущее
«Робот сам ходит по сайту и все проверяет»

6. Части робота
Краулер
Анализ страницы
Генерация тестов
Обнаружение ошибок

7. Краулеры
Wikipedia:
Поисковый робот («веб-паук», краулер)
— программа, являющаяся составной
частью поисковой системы и
предназначенная для перебора
страниц Интернета с целью занесения
информации о них в базу данных
поисковика.
7

8. Краулеры
Можно:
1.Переходить не только со страницы на
страницу
2.Не извлекать информацию, а
проводить тесты
8

9. Краулеры
Извлечение информации:
Надо обойти все страницы, на которых
есть различная ценная информация.
Тестирование:
Надо обойти все состояния всех
страниц, на которых можно
осуществить различные действия.
9

10. Формы
10

11. Формы
11

12. Формы
12

13. Cложные формы
13

14. Очень сложные формы
14

15. Очень сложные формы
15
Бесконечное количество состояний!

16. Очень сложные формы
16
RIA (Rich Internet Application)

17. Проблемы
1.Технологии
1.Поля текстового ввода
17

18. Проблемы
1.Технологии
1.Поля текстового ввода
18

19. Crawljax
Ali Mesbah (2009).
Analysis and Testing of Ajax-based Single-
Page Web Applications
PhD Thesis, Delft University of Technology.
Принцип действия: полный перебор (в
глубину).
19

20. Crawljax
Mesbah and Prasad (2011). Automated
Cross-Browser Compatibility Testing. In
Proceedings of the 33rd ACM/IEEE
International Conference on Software
Engineering (ICSE’11)
20

21. Проблемы
1.Технологии
1.Поля текстового ввода
21

22. Что вводить?
22

23. Используем текст
23

24. Используем текст
24

25. Используем текст
город город дата
25

26. Используем текст
26

27. Используем текст
форма
27

28. Используем текст
форма
Ключевое слово «Найти»
28

29. Используем текст
форма
Ключевое слово «Найти», тип поля = «поисковый запрос»
29

30. Используем текст
форма
Ключевое слово «Найти», тип поля = «поисковый запрос»
30

31. Веб для незрячих
31

32. Веб для незрячих
32

33. Веб для незрячих
33

34. Стратегии краулинга
34

35. Стратегии краулинга
35

36. Стратегии краулинга
36

37. Стратегии краулинга
M. Dincturk, S. Choudhary, G. von
Bochmann, G.-V. Jourdan and I. Viorel
Onut (2012).
A Statistical Approach for Efficient
Crawling of Rich Internet Applications.
Web Engineering
37

38. Наша стратегия
До глубины k идем всеми способами
Глубже, чем на уровне k, идем одним
способом
По умолчанию k = 2
38

39. Наша стратегия
39

40. Наша стратегия
40

41. Наша стратегия
41

42. Наша стратегия
42

43. Наша стратегия
43

44. Наша стратегия
44

45. Наша стратегия
45

46. Наша стратегия
46

47. Наша стратегия
47

48. Наша стратегия
48

49. 70 состояний:
49

50. Проект «Роботестер»

51. Общие принципы
Ходим «на один шаг»
Имитируем корректные действия
пользователя
Ожидаем корректный ответ
51

52. Ходим на один шаг
52

53. Входные данные
53

54. Реализация
1. Анализ страницы
2. Выполняем тест-кейсы
3. Проверки
54

55. Реализация
1. Анализ страницы
2. Выполняем тест-кейсы
3. Проверки
55

56. Анализ страницы
1. Распознаем элементы (Webdriver)
2. Анализ текстовых полей
3. Строим граф состояний
4. Формируем тест-кейсы (Jenny)
56

57. Анализ страницы
1. Распознаем элементы (Webdriver)
2. Анализ текстовых полей
3. Строим граф состояний
4. Формируем тест-кейсы (Jenny)
57

58. Анализ страницы
1. Распознаем элементы (Webdriver)
2. Анализ текстовых полей
3. Строим граф состояний
4. Формируем тест-кейсы (Jenny)
58

59. Типы значений
korpus, flat, search,
inn, house, range,
bik, icq, date,
kpp, patronymic, price,
address, phone, name,
lastname, street, login,
country, password, anyNumbers,
captcha, submitButton website,
email, , city
59

60. Город
"type":
"city",
"keyWords":
[{"word":"найти","weight":0.1},{"word":"search","weight":0.
1},{"word":"city","weight":2},{"word":"город","weight":0.99},{"
word":"место","weight":0.7},{"word":"местоположение","wei
ght":0.7},{"word":"станци","weight":0.725},{"word":"до","wei
ght":0.558},{"word":"to","weight":0.558},{"word":"from","weig
ht":0.333},{"word":"откуда","weight":0.8},{"word":"name","we
ight":0.1},{"word":"куда","weight":0.8},{"word":"поиск","weig
ht":0.333},{"word":"маршрут","weight":0.925},{"word":"точк",
"weight":0.5}],
60

61. Цена
"type":
"price",
"keyWords":
[{"word":"price","weight":1},{"word":"цена","weight":1},{"w
ord":"от","weight":0.5},{"word":"до","weight":0.5},{"word":"вз
нос","weight":1}],
61

62. Цена
"type":
"price",
"keyWords":
[{"word":"price","weight":1},{"word":"цена","weight":1},{"w
ord":"от","weight":0.5},{"word":"до","weight":0.5},{"word":"вз
нос","weight":1}],
argmax(Σj wijlj)
62

63. Интерфейс обучения
63

64. Входные данные
64

65. Город (2358 значений)
65

66. E-mail (7520 значений)
66

67. Анализ страницы
1. Распознаем элементы (Webdriver)
2. Анализ текстовых полей
3. Строим граф состояний
4. Формируем тест-кейсы (Jenny)
67

68. Анализ страницы
1. Распознаем элементы (Webdriver)
2. Анализ текстовых полей
3. Строим граф состояний
4. Формируем тест-кейсы (Jenny)
68

69. Реализация
1. Анализ страницы
2. Выполняем тест-кейсы
3. Проверки
69

70. Реализация
1. Анализ страницы
2. Выполняем тест-кейсы
70

71. Реализация
1. Анализ страницы
2. Выполняем тест-кейсы
3. Проверки (JUnit)
71

72. Проверки
1.Пингуем ссылки.
72

73. Пример
Сценарий: ищем в поиске «Susan Boyle»
73

74. Пример
Сценарий: ищем в поиске «Susan Boyle»
74

75. Пример
Сценарий: ищем в поиске «Susan Boyle»
75

76. Проверки
1.Пингуем ссылки.
2.Изучаем текст на странице.
76

77. Запрещенные «слова»
error генств failed
ошибка NaN unavailable
. ошибка a,
, не удалось b,
404 не доступен c,
503 недоступен d,
404@ error …
не отвечает problem
77
Undefined exception

78. Все равно:
78

79. Все равно:
79

80. Пример ошибки
80

81. Пример ошибки
81

82. Пример ошибки
82

83. Пример ошибки
83

84. Проверки
1.Пингуем ссылки.
2.Изучаем текст на странице.
3.Смотрим на алерты.
4.Ищем текст красного цвета
5.SpellChecker
84

85. Как пользоваться?
85

86. User-friendly interface
86

87. Сначала было
87

88. Баг:
88

89. Добавили галочку
89

90. Текстовые поля
90

91. Добавили поле
91

92. 2000 тест-кейсов!
92

93. 2000 тест-кейсов!
93

94. 2000 тест-кейсов!
94

95. Добавили еще поле
95

96. Переход на другой сервис
96

97. Переход на другой сервис
http://tune.yandex.ru/region/?reg_from=&r
etpath=http://www.yandex.ru
http://yandex.ru/
97

98. И наконец
98

99. Менеджерское
Робот нашел сотни тысячи багов, но как
понять, что он действительно
сэкономил время?
99

100. Будущее: отчеты
Стандартные не подходят, так как
1. Много похожих сообщений
2. Много сообщений о неисправленном
100

101. Будущее: обучение
1.Обнаружение ошибок
1.Распознавание полей
101

102. Еще
1.Обратная связь
1.Исправление верстки
2.Пользовательские логи
102

103. Спасибо за внимание!
Илья Кацев
103
katsev@yandex.ru