1. POSLOVNE WEB APLIKACIJE12.05.2015.
Matija Tomaškovid | Evolva, CEO
Što kad se (s)ruši ili stane
Java aplikacija?

2. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr2 | 12.05.2015.
Java web aplikacije u enterprise okruženju
Baza
Java web
aplikacija
› enterprise okruženje - veliki broj korisnika
› rušenje/zastoj aplikacije – mogude ozbiljne posljedice

3. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr3 | 12.05.2015.
Najčešći razlozi pada Java web aplikacija
› Pad radi greške na nivou pojedine akcije
» česti uzrok: nedostatak granica
› Pad radi prevelikog opterećenja
› Pad radi dugoročne anomalije
» prevencija: short term scenariji / unit testovi
» prevencija: peak test
» prevencija : long-term testovi

4. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr4 | 12.05.2015.
Najčešći razlozi pada Java web aplikacija
› Pad radi greške na nivou pojedine akcije
» česti uzrok: nedostatak granica
› Pad radi prevelikog opterećenja
› Pad radi dugoročne anomalije
» prevencija: short term scenariji / unit testovi
» prevencija: peak test
» prevencija : long-term testovi

5. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr5 | 12.05.2015.
Klasifikacija pada sustava: rušenje ili zastoj?
RUŠENJE
› JVM crash
ZASTOJI
› Zauzede resursa
» Memorija
» Thread pool
» Disk
» Baza: connection pools, statements, ...
› Loša sinhronizacija threadova
» puno blocked threadova
» thread deadlock
› Mrtva petlja

6. POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr6 | 12.05.2015.
JVM crash - analiza

7. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr7 | 12.05.2015.
Situacija: JVM crash
› hs_err_pid*.log datoteku kreira JVM kod rušenja
› na vrhu je razlog

8. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr8 | 12.05.2015.
Situacija: JVM crash
Gdje je file?
› datoteka je locirana gdje je pokrenut JVM proces
› ako je u pitanju bio Windows servis, onda može završiti u
C:WindowsSystem32 (za 32bit)
› Java 6+:
› -XX:ErrorFile=./hs_err_pid<pid>.log
Uzrok?
› ako koristite native kod – vrlo vjerojatno poziv vanjske native funkcije
› ako ne koristite – onda JVM bug – prijaviti grešku i uzeti novi JDK

9. DEMO:
JVM crash – native code

14. POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr14 | 12.05.2015.
Analiza memorije

15. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr15 | 12.05.2015.
Struktura memorije JVM-a
JVM
Heap memory: Java objects
-Xmx=256m
Non-heap:
Tenured generationYoung generation
Eden Survivor
1
Survivor
2
java.lang.OutOfMemoryError: Java heap space
Stack memory: per thread
(local variables, method calls)
-Xss512k
Permanent generation (JDK 7)
Loaded classes, String pool, ...
-XX:MaxPermSize=128m
java.lang.OutOfMemoryError: PermGen space
Code cache: native codeMetaspace (JDK 8)
java.lang.StackOverflowError

16. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr16 | 12.05.2015.
Potrošnja memorije u usporedbi s ostalim

17. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr17 | 12.05.2015.
Potrošnja memorije u usporedbi s ostalim

18. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr18 | 12.05.2015.
Heap dump - analiza
› Ručno:
› %JAVA_HOME%binjmap -dump:format=b,
file=d:manual_heap_dump.bin <pid>
› Automatski:
› -XX:+HeapDumpOnOutOfMemoryError
› -XX:HeapDumpPath=D:auto_heap_dump.bin
› Oracle JDK
› heapdump file: *.bin, *.hprof
› Eclipse Memory Analyzer Toolkit:
› http://www.eclipse.org/mat/
› Visual VM:
› http://visualvm.java.net/
› IBM WebSphere
› javacore file - *.phd (portable heap dump)
› IBM HeapAnalyzer
› https://www.ibm.com/developerworks/community/groups/service/html/c
ommunityview?communityUuid=4544bafe-c7a2-455f-9d43-eb866ea60091

20. DEMO:
Eclipse MAT, IBM Heap Analyser,
Visual VM (runtime)

21. POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr21 | 12.05.2015.
Analiza threadova

22. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr22 | 12.05.2015.
Praćenje threadova – blokade / dead loop
Blokirani threadovi Dead loop / dead lock

23. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr23 | 12.05.2015.
Praćenje threadova - vizualno

24. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr24 | 12.05.2015.
Praćenje threadova - pretraživanje

25. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr25 | 12.05.2015.
Praćenje threadova - uzorkovanje

26. POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr26 | 12.05.2015.
Logging
Orphan requests
Log extractor

27. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr27 | 12.05.2015.
Struktura loga
Main log
10h
11h
12h
12.45h
13h
14h
Requests
Restart
Requests
› main log:
› bilježiti requeste:
› u svakoj liniji identifikator
requesta
› početak requesta
› detalje
› kraj requesta
› bilježiti (re)start sustava
› To omogudava pronalazak dugih i
problematičnih requesta
Error log

28. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr28 | 12.05.2015.
Struktura loga
Main log
10h
11h
12h
12.45h
13h
14h
Requests
Restart
Requests
› main log:
› bilježiti requeste:
› u svakoj liniji identifikator
requesta
› početak requesta
› detalje
› kraj requesta
› bilježiti (re)start sustava
› To omogudava pronalazak dugih i
problematičnih requesta
Error log

29. DEMO:
Orphan log analyser

30. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr30 | 12.05.2015.
Request logging + log extractor

31. POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr31 | 12.05.2015.
Pradenje konekcija na bazi

32. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr32 | 12.05.2015.
Dekoracija konekcija

33. POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr33 | 12.05.2015.
Prevencija: što raditi
da Java aplikacija radi bez zastoja

34. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr34 | 12.05.2015.
Dobro planirati arhitekturu
Database
⁞ Server 1
⁞ Cluster
Load
balancer
JVM 2
⁞ Server 2
JVM 3
JVM 4
JVM 1
⁞ Korisnici
Reporting
JVM 2
Reporting
JVM 1
Database
Poželjan WatchDog

35. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr35 | 12.05.2015.
Segregacija upita/servisa
Database
JVM
⁞ Brzi upiti
Logika
za
odlučiva
nje
Brza
akcija
⁞ Spori upiti
Spori
upit
Spori
izvještaj
Brza
validacija
DB pool
brzi
DB pool
spori

36. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr36 | 12.05.2015.
Pratiti performanse sustava

37. POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr37 | 12.05.2015.
Zaključak

38. ŠTO KAD SE (S)RUŠI ILI STANE JAVA APLIKACIJA?
POSLOVNE WEB APLIKACIJE | info@evolva.hr | www.evolva.hr38 | 12.05.2015.
Preporuka: sveobuhvatni report o ispadu
› Pokušati izbjeći
› Biti spreman
› Generalno
» kronologija rada / trenutak ispada
» ... informacije o okolini koje se ne vide (lako) u logu
› PAD / ZASTOJ
» hs error report (u slučaju JVM crash)
» heap dump
» thread dump
» thread dump uzorci koji su prethodili zastoju
» request log
» orphan analysis

39. Hvala na pažnji
www.evolva.hr
info@evolva.hr
POSLOVNE WEB APLIKACIJE