1. Selenium нетрадиционной ориентации
или
Тестирование производительности
Javascript на клиенте

2. О себе
• В IT c 2006
• В автоматизации
тестирования с
2007
• Руковожу
автоматизацией с
2009
@PapaMinos
1

3. Когда-то давно…
2

4. UI – сейчас…
3

5. GWT ???
Google Web Toolkit
Server Side – Java
Client Side – Java (JavaScript)
SWING style
4

6. Почему это важно
5

7. 6

8. Метрики
7

9. Как собрать метрики
Navigation Timing API
– Firefox 7.0 +
– Google Chrome 6.0 +
– Internet Explorer 9.0 +
http://www.w3.org/TR/navigation-timing/
8

10. В реальности…
9

11. Более подробно
10

12. Но есть один момент… (с)
11

13. Сбор метрик с пользователей
• уже на продакшене
• реактивные меры после релиза
• средняя температура по больнице –
36,6
12

14. Собирать метрики до того
как…
• исполнять JavaScript
• учитывать сетевые особенности
пользователей
• учитывать программно-аппаратные
особенности
13

15. 14

16. Фермы
• 100 % virtualization
(VMWare)
• Jenkins – Remote
Control
• Windows, Linux, Zabbix
monitoring
• Infrastructure – Squid,
Artifactory, iptables
15

17. Цели
16

18. Обычное выполнение тестов
17

19. После рефакторинга
18

20. Сеть - Ограничение скорости
канала
• Squid
• Но есть и другие
– Windows –
• netbalancer, netlimiter
– Linux
• netem
19

21. Сеть – Потеря пакетов
• iptables + stats module
• Но есть и другие
– Windows
• Network simulator
– Linux
• netem
20

22. Сбросить кэш браузера –
Google Chrome
21

23. Сбросить кэш браузера –
Google Chrome
22

24. Еще о Google Chrome
Ключи запуска Google Chrome
http://peter.sh/experiments/chromium-command-line-switches/
chrome://cache – просмотр содержимого кэша
chrome://about – служебные страницы Google Chrome
23

25. Сбросить кэш браузера –
Firefox
24

26. Сбросить кэш браузера –
Opera
25

27. Сбросить кэш браузера –
Opera
opera:cache
26

28. Сбросить кэш браузера –
Internet Explorer
1. Как писать плагин
2. Исполнить код на клиенте (Embedded Jetty)
27

29. Загрузить страницу
No comments
driver.get(url);
28

30. Снимаем метрики
vs.
1360503333655 1.360503424038E12
29

31. Отчеты - Jenkins
30

32. Отчеты - Jenkins
• Имя метрики
• Количество измерений (план, факт)
• Описательная статистика
– минимум, максимум
– среднее значение
– 50% перцентиль
– 90% перцентиль
31

33. Средние + перцентили
32

34. Перцентили в динамике
33

35. Логи - Jenkins
34

36. Аналитика – DWH (BI)
Об этом мы уже рассказывали на ADD-3
http://bit.ly/JG632d
35

37. Наш «рецепт»
 Возьмите готовый тестовый фреймворк
 Сделайте рефакторинг
 Ограничьте скорость канала
 Сбросьте браузеру кэш
 Загрузите страницу, с которой хотите собрать
метрики
 Снимите метрики
 Складируйте метрики
36

38. Чего здесь нет
• Точность
• Технические ухищрения
• Экономия ресурсов
37

39. Что дальше
• Ускорение процесса сбора метрик
• Управление аппаратной конфигурацией
клиента
• Географически распределенная ферма для
проведения замеров
• Встраивание в процесс
38

40. Итого
• Встраивайте метрики в приложение
• Собирайте метрики
• Анализируйте метрики
39

41. Спасибо!
Никита Макаров
Руководитель группы автоматизации тестирования,
Одноклассники
nikita.makarov@odnoklassniki.ru

42. И, да…
есть такая работа – сидеть в «Одноклассниках»
http://v.ok.ru
41