Доклад на SQAdays-8

1. Об опыте тестирования
программного компонента без UI
Игорь Любин, Казань

2. Вступительное слово
Немного о Казани
2

3. Вступительное слово
Немного о себе
Закончил КГУ, ФизФак
В тестировании с 2007 г.
Руководитель группы
тестирования в iiko
Опыт автоматизации
• Selenium, TestComplete
• Собственные разработки
3

4. Программный компонент
– это «кубик» программы
4

5. Программный компонент
Примеры
• API приложений
• WEB-сервисы
• «Внутренности» приложения
5

6. Программный компонент
– это чѐрный ящик
6

7. Постановка задачи
Проект
Интернет газета с сервисами блогосферы
• Профили пользователей
• Лента новостей
• Блоги
• Друзья, Фотки
• Избранное
• …
7

8. Постановка задачи
Проект развивается
Расширяет возможности доступа
• Профили пользователей
• Лента новостей
• Блоги
• Друзья, Фотки
• Избранное, Теги
• …
8

9. Постановка задачи
На проекте идет разработка
Появляется API (Программный компонент)
9

10. Постановка задачи
Имеем картину
• Профили пользователей
• Лента новостей
• Блоги
• Друзья, Фотки
• Избранное, Теги
• …
10

11. Постановка задачи
На входе POST запрос
POST — метод запроса для передачи данных
заданному ресурсу
• ~40 команд
– login / logoff
– blog
– friends
– favorite
– …
11

12. Постановка задачи
На входе POST запрос
POST — метод запроса для передачи данных
заданному ресурсу
• ~40 команд
• Параметры
/login?username=user@mail.ru&password=123
Пример визуализации POSТ запроса в виде GET
12

13. Постановка задачи
На выходе JSON
JSON — текстовый формат обмена данными
• {} – объект
• [] – массив
{
"ключ1" : "значение1",
"ключ2" : "значение2"
}
13

14. Постановка задачи
На выходе JSON
JSON — текстовый формат обмена данными
• Статус
• Данные
{ "status": 0, "data": {"id_user": 1024} }
14

15. Постановка задачи
Надо тестировать!?
• Профили пользователей
• Лента новостей
• Блоги
• Друзья, Фотки
• Избранное, Теги
• …
15

16. Постановка задачи
Почему надо тестировать API?
Для команды разработки API
• Уверенность, что API
работает
• Обратная совместимость
API с моб. клиентом
16

17. Постановка задачи
Почему надо тестировать API?
Для команды разработки моб. клиента
• Профили пользователей
• Пример использования
• Документация • Лента новостей
• Блоги
• Друзья, Фотки
• Избранное, Теги
• …
17

18. Постановка задачи
Цель
Проверить работу
команд API сервиса
18

19. Решение
Программировать
Тестовый инструмент
– Управление набором
тестов
– Запуск/остановка
– Отчетность
– Конфигурирование
19

20. Решение
Инструмент должен уметь
Формировать
запрос
Проверять
результат
20

21. Решение
Организация тестов
Отделить тесты от инструмента
21

22. Решение
Инструмент должен уметь
Загружать
тесты
22

23. Решение
Организация тестов
1 тест = 1 файл
Следствие
• Управление тестами сводится к управлению файлами
23

24. Решение
Организация тестов
Формат тестов
задает API
24

25. Решение
Пример тест-кейса
{
"name" : "Вход пользователя на сайт",
"command" : "login",
"input" : { "username": "user@mail.ru",
"password": "123" },
"assert" : "equal",
"output" : { "status": 0,
"data": {"id_user": 1024} }
}
25

26. Решение
Формирование POST запроса
{
"name" : "Вход пользователя на сайт",
"command" : "login",
"input" : { "username": "user@mail.ru",
"password": "123" },
"assert" : "equal",
"output" : { "status": 0,
"data": {"id_user": 1024} }
}
/login?username=user@mail.ru&password=123
26

27. Решение
Проверка результата
{
"name" : "Вход пользователя на сайт",
"command" : "login",
"input" : { "username": "user@mail.ru",
"password": "123" },
"assert" : "equal",
"output" : { "status": 0,
"data": {"id_user": 1024} }
}
27

28. Решение
{
Пример тест-сценария
"testsuite_name" : "Название сценария",
"testcases":
[
{
"name" : "Тест-кейс 1",
"command": "login",
"input" : {"username":"user@mail.ru","password":"123"},
"output" : {"status": 0, "data": []}
},
{
"name" : "Тест-кейс 2",
"command": "logoff",
"input" : {},
"output" : {"status": 0, "data": []}
}
]
}
28

29. Решение
Тестовый инструмент
29

30. Решение
Формирование POST запроса
30

31. Решение
Проверка результата
array_diff_assoc($array1, $array2)
31

32. Решение
Схема тестового инструмента
32

33. Решение
Лог
20.06.2010 06:15:49 Run test case: Вход пользователя
Request: /login?username=user@mail.ru&password=123
20.06.2010 06:15:50 End test case.
Response: {"status":0,"data":{"id_user":1024}}
20.06.2010 06:15:50 TEST PASSED
33

34. Решение
Лог
20.06.2010 06:15:49 Run test case: Вход пользователя
Request: /login?username=user@mail.ru&password=123
20.06.2010 06:15:50 End test case.
Response: {"status":1,"data":[]}
20.06.2010 06:15:50 TEST FAILED
Expected: {"status":0,"data":{"id_user":1024}}
Разница cur-exp: [status => 1]
Разница exp-cur: [status => 0]
34

35. Решение
Лог
20.06.2010 06:15:49 Run test case: Вход пользователя
Request: /login?username=user@mail.ru&password=123
20.06.2010 06:15:50 End test case.
Response: {"status":0,"data":{"id_user":1024}}
20.06.2010 06:15:50 TEST PASSED
...
**********************************
Time: 268 sec.
Tests: 199, Passed: 191, Failed: 8
**********************************
35

36. Результат
Статистика
Время разработки инструмента 14 д.
Первая версия инструмента через 5 д.
Время разработки тестов 13 д.
Время подготовки документации 2 д.
Количество тест-кейсов ~300
Количество тест-сценариев 63
1 д. = 8 ч.
36

37. Другие примеры
Проект экстрактор
37

38. Другие примеры
Проект сбора статистики
38

39. Результат
Резюмируем
DoRequest() Diff()
39

40. Спасибо за внимание!
Вопросы?
igor.lyubin
ilyubin@yandex.ru
ap-test-team.blogspot.com
40