Dobry system musi być przetestowany pod względem wydajnościowym. Takie testy są zupełnie inne niż testy funkcjonalne: zamiast binarnego rezultatu (pass, fail), mamy ogromne ilości danych do zebrania, zaprezentowania i zinterpretowania. Podczas wystąpienie prelegent omówi cały cykl testów wydajnościowych: od przygotowania warunków testu, środowisk i danych testowych, poprzez przeprowadzenie testów, zebranie danych, ich prezentację i interpretacje, aż po przeprowadzenie procesów decyzyjnych wynikających z danych.

1. testów
wydajnościowych
Jakub Chabik
EPAM Systems
Testwarez 2017

2. O wykładowcy
• Absolwent informatyki, doktor zarządzania
• Od 25 lat w świecie software
• Aktualnie – szef rozwoju w firmie EPAM Systems w projekcie dla klienta
finansowego
• Wcześniej – odpowiedzialny za testy, w tym wydajnościowe u dużego,
międzynarodowego dostawcy technologii
• Geek, publicysta, nieustający entuzjasta technologii

3. Testy funkcjonalne a wydajnościowe
Testy funkcjonalne Testy wydajnościowe
• Istotne w każdym systemie
• Odpowiada na pytanie „czy
działa”
• Binarny wynik: pass, fail
• Jeden test, jeden wynik
• Ręczne i automatyczne
• Powszechnie dostępne
platformy
• Szeroko dostępne
kompetencje
• Istotne w systemach, gdzie
wydajność ma istotne
znaczenie
• Odpowiada na pytanie „jak
działa”
• Wynikiem jest seria / serie
danych
• Jeden test, mnóstwo
wyników
• Właściwie wyłącznie
automatyczne
• Specjalistyczne platformy
• Niszowe kompetencje

4. Ensō testów wydajnościowych
Cel testu
Warunki
testu
Scenariusz
testu
Test
Analiza
Metadane
System testujący i dane
Monitoring platformy
Zapis danych
Wizualizacja
i rekomendacja
Co i po co testujemy?

5. Przykład testu wydajnościowego
Czy platforma sklepu internetowego
wytrzyma 25 tys. równoległych
użytkowników?
Cel
Warunki
ScenariuszTest
Analiza
– klaster 4 serwerów
webowych
– 8 równoległych serwerów
aplikacyjnych
– Serwer bazodanych z
gorącym backupem
– Policzyć mediany i spany
szeregów czasowych
– Przenalizować 90 percentyl
czasów odpowiedzi
– Sprawdzić, czy obciążenie
procesorówna platformach
aplikacyjnych i bazodanych
nie wyszło poza 70%
Zapisać dane w bazie
– Stworzyć skrypt zakupu w
sklepie
– Uruchomić 25 tys.
równoległych klientów
– Uruchmić nagios, top i netstat

6. Konfiguracja środowiska testów
wydajnościowych
Testowane urządzenia /
aplikacje
Sterownik testów
Baza danych

7. Cele testu wydajnościowego
Czego szukamy Jak to sprawdzić
Jaki będzie czas odpowiedzi
systemu
Automat „klikający” po aplikacji,
pomiar czasu; mediana + 90
percentyl
Jaka jest optymalna konfiguracja
sprzęt/system operacyjny
Ten sam test dla różnych
konfiguracji
Jakie są granice wydajności
urządzenia/aplikacji (stress test)
Zaprojektować i uruchomić test,
zwiększać liczbę równoległych
klientów, monitorować
platformę

8. Metadane na temat testu
wydajnościowgo
• Data i godzina testu
• Dokładny opis konfiguracji sprzętowej
• Wersja systemu operacyjnego
• Wersja testowanego
urządzenia/oprogramowania
• Testowane dane
...najlepiej zrzuty automatyczne

9. Przykładowy log testu
wydajnościowego
{
configuration : {
hardware: {
processors: [...],
disks [...] }
software: {
OS: { version: ... }
database: {...}
}
{
test conditions: {
parallel clients: ...
sample size: ...
delay: ...
}
{
test results: {
main result:
data points: [
0: {timestamp: ...}
1: {timestamp: ...}

10. Zapisuj metadane z testów razem z ich
wynikami, w znormalizowanej postaci

11. Co ciekawego pokazują testy
wydajnościowe (1/2)
Przedmiot testowany: dysk SSD. Czas odczytu powininien dla 90% odczytów
mieścić się poniżej 80 ns.
Konfiguracja
Niebieska
Konfiguracja
Zielona
Konfiguracja
Czarna
Średnia 53,0 72,2 64,0
Mediana 53,0 71,2 62,6
Odch. St. 2,0 4,4 8,9
Odsetek
powyżej 80 ns 100,0% 92,9% 92,9%
„Sensei, którą konfigurację mam wybrać?”

12. Co ciekawego pokazują testy
wydajnościowe (2/2)
Przedmiot testowany: dysk SSD. Czas odczytu powininien dla 90% odczytów
mieścić się poniżej 80 ns.

13. Demony mogą kryć się
w danych
nie wahaj się zajrzeć do środka
Haiku o testach wydajnościowych

14. Zadanie optymalizacyjne
• Mamy platformę e-commerce
• Nie wiemy, jaka jest optymalna konfiguracja
programowa i sprzętowa
– RedHat czy Fedora
– 2 czy 4 serwery
– Apache czy Glassfish
– Ograniczenie 16, 32, czy 64 wątków?
Łączna liczba permutacji: 24. Czy musimy sprawdzać
wszystkie?

15. Niekoniecznie!
Start
RedHat
2 serwery
Apache
16 wątków
32 wątki
64 wątki
Glassfish
16 wątków
32 wątki
64 wątki
4 serwery
Apache
16 wątków
32 wątki
64 wątki
Glassfish
16 wątków
32 wątki
64 wątki
Fedora
2 serwery
Apache
16 wątków
32 wątki
64 wątki
Glassfish
16 wątków
32 wątki
64 wątki
4 serwery
Apache
16 wątków
32 wątki
64 wątki
Glassfish
16 wątków
32 wątki
64 wątki
Test w 5 krokach i 4 dodakowych

16. Kōan testów wydajnościowych:
Idź szybko, ale wolnym krokiem
Zmień wszystko, zmieniając tylko jedno

17. Typowe błędy w testach
wydajnościowych
• Niesformułowanie celu testu
• Warunki testu nieadekwatne do jego celu
• Brak informacji o warunkach testu
• Brak normalizacji danych
• Brak walidacji systemu pomiarowego (błąd
metody)
• Niepowtórzenie testu
• Zbieranie zbyt dużej liczby nieistotnych danych

18. Opowiadanie historii za pomocą
danych (1/6)
Rozmiar pliku[MB] Czas przetwarzania [s]
3 12,044
5 24,137
7 29,175
2 29,004
1 4,383
5 24,068
8 34,129
5,5 23,146
1,5 6,747
6,1 24,853

19. Opowiadanie historii za pomocą
danych (2/6)

20. Opowiadanie historii za pomocą
danych (3/6)

21. Opowiadanie historii za pomocą
danych (4/6)

22. Opowiadanie historii za pomocą
danych (5/6)
K1 K2 K3 K4 K5 K6
Liczba serwerów w
klastrze 2 2 2 4 4 4
Wersja systemu
operacyjnego RedHat Fed RedHat Fedora Fedora RedHat
Wersja aplikacji Apache Apache Glassfish Glassfish Apache Glassfish
Liczba wątków 64 32 32 32 16 16
Czas przetwarzania
dobowego 04:04:41 02:04:23 03:48:12 01:01:00 01:14:22 01:08:59
Pobór mocy [kWh] 14,4 16,4 18,1 31 33 31
Koszt konfiguracji 32351 31523 34153 61234 63126 65125

23. Opowiadanie historii za pomocą
danych (6/6)
Krótko trwają, dużo kosztują
Są tanie, ale długo trwają
Konfiguracja
optymalna
Wielkość bańki: koszt konfigruacji

24. Gaman testów wydajnościowych
• Sformułuj cel testu i dobierz do niego
warunki
• Zbieraj dane
• Przechowuj metadane
• Analizuj je, starając się dostrzec
całą złożoność obrazu
• Opowiedz historię

25. Dziękuję za uwagę