Документ представляет собой материалы 19-й международной конференции по вопросам качества, посвященные управлению производительностью и практике тестирования. Он содержит указания по проведению нагрузочного тестирования, делая акцент на ошибках и опыте участников. Также рассматриваются проблемы с тестированием и анализом производительности, а также важность конфигурации и проверки данных.

1. 19 Международная конференция
по вопросам качества ПО
sqadays.com
Андрей Дмитриев
Москва 2016
Performance Management lessons learnt

2. 19 Международная конференция
по вопросам качества ПО
sqadays.com• разработчик, тимлид, груплид
• лидер JUG.ru и CodeFreeze.ru
2
Кто я?

3. 19 Международная конференция
по вопросам качества ПО
sqadays.com• разработчик, тимлид, груплид
• лидер JUG.ru и CodeFreeze.ru
3
Кто я?

4. 19 Международная конференция
по вопросам качества ПО
sqadays.com• разработчик, тимлид, груплид
• лидер JUG.ru и CodeFreeze.ru
4
Кто я?

5. 19 Международная конференция
по вопросам качества ПО
sqadays.com• разработчик, тимлид, груплид
• лидер JUG.ru и CodeFreeze.ru
5
Кто я?

6. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
6
Цель

7. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
7
Цель

8. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
8
Цель

9. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
9
Цель

10. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
• Поделиться своим опытом
10
Цель

11. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
• Поделиться своим опытом
11
Цель

12. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
• Поделиться своим опытом
• Нагрузочное тестирование – это не (с)только автоматизированные
сценарии, но и автоматизация:
12
Цель

13. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
• Поделиться своим опытом
• Нагрузочное тестирование – это не (с)только автоматизированные
сценарии, но и автоматизация:
• выборки данных,
13
Цель

14. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
• Поделиться своим опытом
• Нагрузочное тестирование – это не (с)только автоматизированные
сценарии, но и автоматизация:
• выборки данных,
• предстартовой проверки и
14
Цель

15. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Научить вас проводить performance-тестирование
• Показать как не надо делать
• Поделиться своим опытом
• Нагрузочное тестирование – это не (с)только автоматизированные
сценарии, но и автоматизация:
• выборки данных,
• предстартовой проверки и
• анализа результатов.
15
Цель

16. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Нагрузочное тестирование – это не (с)только автоматизированные
сценарии, но и автоматизация:
• выборки данных,
• предстартовой проверки и
• анализа результатов.
16
Цель
А B

17. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Нагрузочное тестирование – это не (с)только автоматизированные
сценарии, но и автоматизация:
• выборки данных,
• предстартовой проверки и
• анализа результатов.
17
Цель
А B C

18. 19 Международная конференция
по вопросам качества ПО
sqadays.com
•Все лгут
•Тестирование – это данные
•Знай и умей свои компоненты
18
План

19. 19 Международная конференция
по вопросам качества ПО
sqadays.com
19
Все лгут

20. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Файл с 1,5 миллионами ордеров
20
Тестирование начинается с volumetrix

21. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Файл с 1,5 миллионами ордеров
• Валидация заказчиком пройдена
• Тем не менее, ошибка в плане допущена
21
Тестирование начинается с volumetrix

22. 19 Международная конференция
по вопросам качества ПО
sqadays.com
22
Дело о пропавшей диаграмме
ПослеДо
App server
Oracle
Node1
Node3 Node4
Node2

23. 19 Международная конференция
по вопросам качества ПО
sqadays.com
23
Дело о пропавшей диаграмме
ПослеДо
App server
Oracle
Node1
Node3 Node4
Node2

24. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет на тесте работает моментально, а на проде - часы
24
Отчет убить нельзя починить

25. 19 Международная конференция
по вопросам качества ПО
sqadays.com
25
Отчет убить нельзя починить: Было
EVT:
CCN:
PON:
*
*
TOMS:
IMA:
*

26. 19 Международная конференция
по вопросам качества ПО
sqadays.com
26
Отчет убить нельзя починить: Как нужно
EVT:
CCN:
PON:
*
*
TOMS:
IMA:
ICON:
*
*

27. 19 Международная конференция
по вопросам качества ПО
sqadays.com
27
Отчет убить нельзя починить: Стало
EVT:
CCN:
PON:
*
*
TOMS:
IMA:
ICON:
*

28. 19 Международная конференция
по вопросам качества ПО
sqadays.com
28
Отчет убить нельзя починить: Как нужно
EVT:
CCN:
PON:
*
*
TOMS:
IMA:
ICON:
*
*

29. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет на тесте работает моментально, а на проде - часы
• Разработчик в хотфиксе не поставил звездочку на поле
• Тест продолжал искать без одного критерия и выдавал пустое множество
29
Отчет убить нельзя починить

30. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет на тесте работает моментально, а на проде - часы
• Разработчик в хотфиксе не поставил звездочку на поле
• Тест продолжал искать без одного критерия и выдавал пустое множество
• После восстановления функциональности тест по-прежнему работал быстрее,
чем на проде
30
Отчет убить нельзя починить

31. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет на тесте работает моментально, а на проде - часы
• Разработчик в хотфиксе не поставил звездочку на поле
• Тест продолжал искать без одного критерия и выдавал пустое множество
• После восстановления функциональности тест по-прежнему работал быстрее,
чем на проде
• Но это уже следующая история
31
Отчет убить нельзя починить

32. 19 Международная конференция
по вопросам качества ПО
sqadays.com
32
Тестирование – это данные

33. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет на тесте работает быстро, а на проде - часы
33
Синтетика данных

34. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет на тесте работает быстро, а на проде - часы
• Причина - разные сложности данных
• Да, мы делаем автопроверку теперь
• Да, мы делаем выборку правильных данных теперь
34
Синтетика данных

35. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет все равно строится дольше, чем ожидается
• Причина: синтетические данные лежат в файлах данных последовательно
• В реальности они сильно фрагментированы
35
Синтетика данных - копаем дальше

36. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отчет все равно строится дольше, чем ожидается
• Причина: синтетические данные лежат в файлах данных последовательно
• В реальности они сильно фрагментированы
• Данные выровняли:
• эмулировали “натуральное” их создание
• создали индексы правильно
• Идеально было бы копировать .dbf-файлы вместо импорта
36
Синтетика данных - копаем дальше

37. 19 Международная конференция
по вопросам качества ПО
sqadays.com
37
Кривая 90% line

38. 19 Международная конференция
по вопросам качества ПО
sqadays.com
38
Кривая 90% line

39. 19 Международная конференция
по вопросам качества ПО
sqadays.com
39
Кривая 90% line

40. 19 Международная конференция
по вопросам качества ПО
sqadays.com
40
Кривая 90% line

41. 19 Международная конференция
по вопросам качества ПО
sqadays.com
41
Кривая 90% line
Квартет Энскомба: https://goo.gl/wBOLhI

42. 19 Международная конференция
по вопросам качества ПО
sqadays.com
42
Знай и умей свои компоненты

43. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Результаты тестов показали таймауты
43
Я твои стабы на перфоманс проверял

44. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Результаты тестов показали таймауты
• Проблема – в стабах
44
Я твои стабы на перфоманс проверял

45. 19 Международная конференция
по вопросам качества ПО
sqadays.com
45
Я твои стабы на перфоманс проверял

46. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Результаты тестов показали таймауты
• Проблема – в стабах
• Решение – это ядро плюс сторонние компоненты
46
Я твои стабы на перфоманс проверял

47. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отсутствие данных sar на тестовой системе
47
Дело о пропавшей Саре

48. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отсутствие данных sar на тестовой системе
48
Дело о пропавшей Саре

49. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Отсутствие данных sar на тестовой системе
• Причина - переполнение партиции /home
• В чеклист и скрипт включили проверку места подо все
49
Дело о пропавшей Саре

50. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• В отчетах снова стали появляться задержки по 30 секунд!
• Хьюстон, у нас проблемы!
50
Injector не выдержит двоих

51. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• В отчетах снова стали появляться задержки по 30 секунд!
• Хьюстон, у нас проблемы!
51
Injector не выдержит двоих
Injector

52. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Нужна проверка окружения до начала тестов
• Нужна проверка данных до и после замера
• Нужна проверка результатов после замера
• Автоматизация – это не только скрипты тестов
52
Итоги

53. 19 Международная конференция
по вопросам качества ПО
sqadays.com
53
Extra

54. Введение в Performance Management
• В систему будет поступать в
среднем 3000 запросов в сутки
• Длительность теста - 1 час
А. 375 C. 125
B. 3000 D. Неизвестно
Сколько запросов должно быть выполнено за 1 час?

55. Введение в Performance Management
• В систему будет поступать в
среднем 3000 запросов в сутки
• Длительность теста - 1 час
А. 375 (3000/8) C. 125 (3000/12)
B. 3000 D. Неизвестно
Сколько запросов должно быть выполнено за 1 час?

56. Простой пример #1
• В систему будет поступать в среднем 3000 запросов в сутки
• Длительность теста - 1 час
• Сколько запросов должно быть выполнено?
Введение в Performance Management

57. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Что такое конфигурация
• Когда используется Compliance
• Причины почему недотюнили
• Что получилось в итоге
57
Мертвая лошадь Compliance

58. 19 Международная конференция
по вопросам качества ПО
sqadays.com
• Runnable run = new Runnable (){
• public void run () {
• synchronized (STATIC_OBJECT) {
• вызватьЗапрос();
• }
• }
• }
58
ThreadPool не параллелится