Мой доклад на SQA Days 15

1. QA Automation: отбрасываем
лишнее и тестируем суть
Игорь Хрол
http://www.wargaming.net
http://www.khroliz.com

2. О себе
• Игорь Хрол
• QA Automation Team Lead в
Wargaming
• Восемь лет в отрасли
• Десятки проектов
• Инженер, тренер, консультант,
менеджер, докладчик
• Мой блог: http://ru.khroliz.com

3. Всё плохо

4. Замкнутый круг
Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать
Работа
несложная
Платят
меньше, чем в
разработке

5. В результате...
• Если в тестирование попадают талантивые
люди, то случайно
http://artkoshelev.github.io/posts/random-tester/
• Но после этого всё равно уходят в
разработку
• Тестирование считается простой и
неинтересной IT-профессией
• Качество тестирования оставляет желать
лучшего

7. Вспомним, кто мы…

8. Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать
Платят
меньше, чем в
разработке
Работа
несложная

9. Как корабль назовёшь...

10. Как корабль назовёшь...
• «Если бы я спросил людей, чего они хотят, они бы
попросили более быструю лошадь.» Генри Форд
• Доклад от @adzynia: http://goo.gl/W2tCj6
• Автоматизация тестирования
• Автоматическое тестирование
• Эффективное автоматическое тестирование

11. Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800

12. Модель задачи по тестированию
𝑉1 𝑉2 𝑉3 𝑉4 𝑉5
𝑉1 × 𝑉2 × 𝑉3 × 𝑉4 × 𝑉5

13. Сложность тестирования
𝑉1 × 𝑉2 × ⋯ × 𝑉𝑛
𝑉 𝑛

14. Экспоненциальная сложность
http://ru.wikipedia.org/wiki/Экспоненциальный_рост

15. Чёрный ящик = Экспонента

16. Автоматизация тестирования -
борьба с экспонентой
• Параллельные запуски не помогают
– 𝑚 – количество потоков
– Сложность:
𝑉 𝑛
𝑚

18. Разделяй и властвуй

19. Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800
5 + 8 + 2 + 1 + 10 = 26
26 + 4 + 1 = 31

20. Модель задачи по тестированию
5 8 2 1 10
800 vs 31

21. Модель задачи по тестированию
𝑉1 𝑉2 𝑉3 𝑉4 𝑉5
𝑉1 + 𝑉2 + 𝑉3 + 𝑉4 + 𝑉5 + 5

22. Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑖=1
𝑛
𝑉𝑖 + 𝑛 ≈ 𝑉 × 𝑛 + 𝑛
Сложность:

23. Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑽 𝒏
vs 𝒏𝑽

25. Срезаем углы
1 1 1 1 10
1 × 1 × 1 × 1 × 10 = 10
1 + 1 + 1 + 1 + 10 = 14
14 + 4 + 1 = 19

26. Срезаем углы
1 1 1 1 10
10 vs 19

27. Срезаем углы
Тестов не только меньше, но они и проще
1 1 1 1 10
10 vs 19

28. Что-то там говорили о «пирамиде»
UI
API
Unit Tests
Главное –
декомпозиция
задачи

30. Проект из жизни

31. Проект из жизни

32. Начало...

34. Ограничение UI-тестов
• Долгие
• Нестабильные
• Задача: оптимизировать предусловия,
которые делаются часами

38. Отказ от браузера
• Плюсы
– Тесты работают быстрее
– Нет проблем с синхронизацией
– Надёжны
– Легко запускаются параллельно
• Минусы
– Не видно, как работают
– Нет доверия
– Выше порог вхождения

39. Не видно как работают
Нет доверия

40. Структура решения
• Технологии
– Java
– TestNG
– Maven
– HttpClient

42. Возврат к
браузеру

43. Браузер
• Запускается только тогда, когда реально
нужен (около 3% сценариев)
• Реиспользуется headless-сессия с
безбраузерного взаимодействия

44. Browser Script API
http://docs.oracle.com/cd/B40099_02/books/OI
Ref/OIRefBrowseScript.html
Browser Script HTTP Server Script

45. API всё
равно
лучше!

46. База
данных

47. База данных
• Самый быстрый способ работы с системой
• Лучше туда напрямую не писать
– Cпециально выверенные stored procedures
• Хорошо подходит для проверок

48. Web-сервисы

49. Web-сервисы
• Взаимодействие с другими системами
– Эмуляция внешних запросов
– Проверки исходящей инфорации

51. Application
server

52. Web-server vs App-server
• Web:
– Вёрстка
– Отсылка ответов
• App:
– Логика приложения

53. Siebel Java Data Bean
http://docs.oracle.com/cd/E14004_01/books/OI
Ref/Customizing_Siebel_Object_Interfaces12.ht
ml
Полный програмный интерфейс для
создания логики приложения из Java

54. Правильные оракулы
Задача: протестировать правила
Проблема: ожидаемая вычисленная дата
• зависит от календаря
• зависит от текущего времени

55. Правильные оракулы
• Создаём заявку под правило
• Отправляем на Siebel дельту и дату
• Берём из Siebel’a вычисленную нам дату
• Сравниваем с датой на созданной заявке

56. Тесты
производительности

57. Тесты производительности
• Традиционный подход:
– Нужно переписывать скрипты для каждого
билда
– Отдельные скрипты
• Jmeter-based:
– Реиспользование кода функциональных тестов
– Тесты поддерживаются для новых версий
вместе с функциональными тестами

60. Итоговые результаты
• Быстрые тесты
• Предсказуемые результаты
• Легко масштабируются
• Возможность взаимодействия с Siebel на
любом уровне

61. Взгляд на тестирование со стороны
реализации системы позволяет
• Уменьшить сложность самой задачи
тестирования
• Уменьшить сложность и длину сценариев
• Увеличить скорость и стабильность работы
• Найти новые области применения
автотестов

62. Спасибо!
Вопросы?
Игорь Хрол
i_khrol@wargaming.net / khroliz@gmail.com
http://ru.khroliz.com