Testy obciążeniowe, tudzież load testy, są pojęciem, z którym prawdopodobnie każdy się spotkał i wie o co chodzi. Wystarczy wygenerować odpowiednio duży ruch na naszej stronie/aplikacji i obserwować wyniki. Ale czy na pewno to takie proste? Jak wygenerować ruch? Jak obserwować wyniki? I właściwie jakie wyniki? Czy mamy pewność, że nie popełniamy jakiegoś podstawowego błędu, przez który wyniki są ale... bezsensowne? I po co nam to wszystko? Na te i inne pytania odpowiemy sobie w trakcie prezentacji, dzięki której - mam nadzieję - load testy staną się Waszym nowym i bardziej świadomie używanym narzędziem.

1. Konrad Kokosa
Testy obciążeniowe – co, jak, czym?
@konradkokosa
blog.kokosa.net

3. Spis treści
1. Co?
2. Jak?
3. Czym?
4. Podsumowanie

4. Kto developuje weba...?
Kto robił load testy?

5. Co?

6. Co to jest...?
Jedno z podstawowych narzędzi developera
webowego

7. Co to jest...?
Definicja:
Load testing is the process of putting demand
on a software system or computing device and
measuring its response. Load testing is
performed to determine a system's behavior
under both normal and anticipated peak load
conditions.

8. Co to jest...?
Długowieczna tradycja
Średniowieczna tradycja nakazywała, by
konstruktorzy mostu wchodzili pod niego w
czasie prób obciążeniowych. (...) Budowniczy
stawał przed królem czy księciem i wchodząc
pod most, dawał za niego głowę.
http://wroclaw.wyborcza.pl/wroclaw/1,87947,7597537,Most_musi_cieszyc

9. Co to jest...?

10. Co to jest...?

11. Co to jest...?
Load test
Stress test
Performance test
Volume test
Endurance testSoak test
Concurrency test
Reliability test

12. Co to jest...?
Load vs stress tests

13. Co testuje...?

14. Co testuje...?
Wszystko, ale szczególnie to, gdzie ma to sens

15. Po co to jest...?
●benchmark aplikacji/biblioteki/komponenty
●benchmark przy wyborze
- liba, aplikacji, sprzętu
●wsparcie w badaniu/naprawianiu wydajności,
memory leak
●odtworzenie błędu (np. wielowątkowego)
●szacowanie skalowalności, docelowych
zasobów

16. Po co to je...?
O-o... wolno działa...

17. Jak?

18. Jak...?
Fizycznie

19. Jak...?
Programowo

20. Jak...?

21. Jak...?

22. Jak...?
warunki początkowe -
przygotowanie/czyszczenie danych

23. Jak...?

24. Jak...?
środowisko - powinno być stabilne,
powtarzalne, wyizolowane. Ale im bardziej
"demo mode" stworzymy, tym mniej realne
będą nasze wyniki...

25. Jak...?

26. Jak...?
obserwowane w trakcie -
• statystyki klienckie – response time, throughput,
network usage, …
• perf countery: % Processor Time, Memory,
Pages/sec, % Disk Time, .NET CLR Memory, .NET
Exceptions, Application Queue, Request Executing/Wait
Time, ...

27. Jak...?

28. Jak...?
walidacja wyników - np. czy countery w
założonym zakresie

29. Jak...?
Rodzaje:
• network based
• script/browser based (w tym headless)

30. Jak...?
Rodzaje:
• network based
• script/browser based (w tym headless)

31. Jak...?
Podstawowe definicje:
●virtual users/threads
●ramping up/ramping down
●think time

32. Jak...?

33. Jak...?
Prawdy ogólne

34. Jak...?
#1. load testy to broń atomowa
Prawdy ogólne

35. Jak...?
#1. load testy to broń atomowa
dlatego powinny być pod kontrolą - to nie jest fire & forget
Prawdy ogólne

36. Jak...?
#2. load testy zawsze TYLKO symulują
rzeczywistość
Prawdy ogólne

37. Jak...?
#3. aby porównywać load testy między sobą
albo ruchem PRD musimy mieć jakiś
SPRAWDZONY wyznacznik
Prawdy ogólne

38. Jak...?
#3. aby porównywać load testy między sobą
albo ruchem PRD musimy mieć jakiś
SPRAWDZONY wyznacznik
Prawdy ogólne

39. Jak...?
#4. służą głównie do testowania reakcji
warstwy serwerowej
Prawdy ogólne

40. Jak...?
#4. służą głównie do testowania reakcji
warstwy serwerowej
...bo jak właściwie zmierzyć warstwę kliencką...?
Prawdy ogólne

41. Jak...?
#5. nie load testujemy PRD
Prawdy ogólne

42. Jak...?
#5. nie load testujemy PRD
...nawet jak wydaje się to świetnym pomysłem
Prawdy ogólne

43. Jak...?
#5. nie load testujemy PRD
...nawet jak wydaje się to świetnym pomysłem
...nawet jak myślimy, że mamy pełną kontrolę
Prawdy ogólne

44. Jak...?
#5. nie load testujemy PRD
...nawet jak wydaje się to świetnym pomysłem
...nawet jak myślimy, że mamy pełną kontrolę
...chyba że load testujemy sprytnie
Prawdy ogólne

45. Jak...?
Pułapki

46. Jak...?
#1. stan load testu się psuje w trakcie
Pułapki

47. Jak...?
#2. pomiar psuje zjawisko (zasada
Heisenberga)
Pułapki

48. Jak...?
#3. refresh resources
Pułapki

49. Jak...?
#3. refresh resources
rebuild DB index, recycle app pool, usuniecię danych, logów
Pułapki

50. Jak...?
#4. pułapka CPU
Pułapki

51. Jak...?
#4. pułapka CPU
Pułapki

52. Jak...?
#5. pułapka ograniczeń środowisk
Pułapki

53. Jak...?
#5. pułapka ograniczeń środowisk
Pułapki

54. Jak...?
#6. ruch sieciowy
dostosowywanie do zmian
„download all resources”?
zrównoleglenie?
Pułapki

55. Jak...?
#6. ruch sieciowy
dostosowywanie do zmian
„download all resources”?
zrównoleglenie?
Pułapki

56. Jak...?
#7. kontekst środowiska
czy nie dodaje coś od siebie?
inne trwające procesy?
...?
Pułapki

57. Jak...?
#8. „randomizacja” scenariusza
Pułapki

58. Jak...?
#9. Cachowanie
Pułapki

59. Jak...?
#10. Własna instrumentacja
Pułapki

61. Little's Law

62. Jak...?
L = λ W
Little’s Law

63. Jak...?
L = λ W
Little’s Law
prof. John Little
MIT
Professor of Marketing

64. Jak...?
L = λ W
Little’s Law
Średnia liczba
„klientów” w
systemie
Średnie tempo
przybywania
„klientów”
Średni czas przebywania
„klienta” w systemie

65. Jak...?
L = λ W
Little’s Law
Request executing Request/sec
Request execution time

66. Jak...?
L = λ W
Little’s Law
Number of VUsers Throughput
Response time

67. Jak...?
L = λ (W + T)
Little’s Law
Number of VUsers Throughput
Response time
Think time

68. Czym?

69. Czym...?
LoadComplete
New Relic
WAPT
JMeterSOASTA
runscope
Application Insights
LoadUI
Visual Studio

70. Czym...?
#1. JMeter

71. Czym...?
#2. Visual Studio… Ultimate

72. Czym...?
#3. WAPT

73. Podsumowanie

74. Podsumowanie
●load-testujcie!
●jest trochę pułapek
●zaskakująco mało książek/materiałów o load
testach
●przyszłość:
- client side oriented
- cloud

75. Dziękuję za uwagę! Pytania?!
https://www.surveymonkey.com/r/ZCQNWD2

76. DevWarsztaty.pl!