These are polish slides for talk during 2015 Confitura PL held in Warsaw

1. Czyli dwa pierwsze importy w architekturze rozproszonej
RxJava & Hystrix
Mateusz ‘Serafin’ Gajewski
confitura 2015

2. Kim jestem?
@wendigo
Solutions Architect obszarów:
❖ Finansowego,
❖ Płatnościowego,
❖ Analityki danych
Główne zainteresowania:
❖ Skalowalność,
❖ Odporność na awarie,
❖ Przetwarzanie danych,
❖ Klastry obliczeniowe
Mateusz Gajewski

3. Agenda
❖ Rozproszone i reaktywne systemy,
❖ Jak ułatwić sobie życie narzędziami OSS,
❖ Kilka luźnych przemyśleń

4. Architektura rozproszona

5. Architektura rozproszona
Główne cechy:
❖ współbieżność komponentów,
❖ niezależne awarie komponentów,
❖ brak globalnego zegara

6. Czego oczekują
użytkownicy?

7. Systemy reaktywne
❖ responsywność,
❖ odporność na błędy,
❖ elastyczność,
❖ sterowanie zdarzeniami i wiadomościami

8. responsywność ~ górne ograniczenie na
czas przetwarzania
potrzebne: optymalizacja i zrównoleglenie
nieblokujących operacji

9. odporność ~ tolerancja na błędy i awarie
potrzebne: izolacja i obsługa

10. Platforma Allegro
❖ architektura master-master,
❖ 250+ mikrousług na JVM (kolejne w drodze),
❖ 4 prywatne AZ w 2 DC (4.500 VMs) + AWS,
❖ setki różnych technologii,
❖ dziesiątki niezależnych systemów storage’owych…

11. Co złego się może
wydarzyć?

13. Źródła opóźnień
❖ GC (JVM),
❖ noisy neighbours (cloud),
❖ stan sieci,
❖ wolumen danych,
❖ nieoptymalna implementacja,
❖ obciążenie klastra...

14. Źródła awarii
❖ logika biznesowa,
❖ implementacja techniczna,
❖ problemy sieciowo-sprzętowe,
❖ błąd operatora,
❖ prawo Murphy’ego ;)

15. Smutna prawda:
spontaniczne awarie i
wzrost czasów
odpowiedzi będą zdarzać
się cały czas

16. Musimy nauczyć się
niwelować ich efekty
używając odpowiednich
narzędzi.

17. RxJava 1.0+ Hystrix 1.4+
&

18. RxJava
“Biblioteka do tworzenia
asynchronicznych i opartych o
zdarzenia programów z
wykorzystaniem obserwowalnych
sekwencji”

19. Programowanie reaktywne

20. Programowanie reaktywne

21. Observable<T>
onNext(T value)
onCompleted()
onError(Throwable t)
Observer API:

22. Observable<T> vs pozostałe typy
wartości skalarne sekwencje
sync T getData() Iterable<T> getData()
async Future<T> getData() Observable<T> getData()

23. Składanie operatorów
getDataFromNetwork() // Observable<T>
.skip(10)
.take(5)
.map(value -> value + " transformed")
.subscribe(value -> {
System.out.println("Received => " + value);
});

24. Jak nas to przybliża do
responsywności i
odporności na błędy?

25. Cała magia leży w
dostępnych operatorach
(100+) ;)

26. merge
źródło: http://reactivex.io

27. flatMap
źródło: http://reactivex.io

28. zipWith
źródło: http://reactivex.io

29. retry
źródło: http://reactivex.io

30. timeout
źródło: http://reactivex.io

31. onErrorResumeNext
źródło: http://reactivex.io

32. Zunifikowana obsługa błędów
a.zipWith(b, (x, y) -> x + " " + y)
.subscribe(
value -> { System.out.println("onNext(" + value + ")"); },
error -> { System.out.println("onError(" + error + ")"); },
() -> { System.out.println("onCompleted"); }
);

33. Reactive pull back-pressure
Operatory: onBackpressure*, sample, throttle,...

34. Przykład z warsztatów RX Allegro
client
.getServices() // Observable<Service>
.flatMap(
service -> client
.getInstances(service) // Observable<Instance>
.onErrorResumeNext(Observable.<Instance>empty())
.timeout(500, TimeUnit.MILLISECONDS)
.retry(3),
16)
.subscribe(System.out::println);

35. RxJava - podsumowanie
❖ łatwe tworzenie kodu asynchronicznego,
❖ zunifikowana obsługa błędów,
❖ dostepność operatorów z zaawansowaną mechaniką (DRY),
❖ wysoka wydajność (ring buffers FTW),
❖ ukrywamy wewnętrzną implementację (sync vs async),
❖ kontrola nad back-pressure,
❖ testowalność kodu (wirtualny czas)

36. Hystrix
“Biblioteka zaprojektowana do
kontroli opóźnień, zapewnienia
niezawodności oraz izolacji dostępu
do zdalnych systemów. ”

37. Bezpiecznik
źródło: http://github.com/netflix/Hystrix

38. Hystrix(Observable)Command

39. Hystrix(Observable)Command =
logika biznesowa +
logika statycznego fallbacku +
strategia izolacji +
konfiguracja +
metryki

40. Strategia izolacji
Pozwala oddzielić od siebie, przerwać po
przekroczeniu czasu i ograniczyć ilość
równolegle wykonywanych komend:
❖ Oparta o pule wątków
❖ Oparta o semafory

41. Etapy wykonywania
źródło: http://github.com/netflix/Hystrix

42. Izolacja
Izolujemy siebie od awarii zdalnego
systemu
Chronimy zdalny system od “zalania”
go żądaniami po odzyskaniu
sprawności

43. Co jeszcze fajnego?
❖ dynamiczna zmiana parametrów (Archaius),
❖ strumień metryk (SSE),
❖ dashboard (Turbine),
❖ łatwe użycie za pomocą AOP,
❖ batchowanie komend (Request Collapsing),
❖ cache’owanie komend (Request Caching),
❖ natywne wsparcie RxJava

44. RxJava + Hystrix = ❤

45. Wnioski
❖ programowanie asynchroniczne nie musi
być trudne,
❖ domeny awarii mogą być ograniczone,
❖ opóźnienia można kontrolować,
❖ RxJava i Hystrix można wprowadzić w
każdym momencie życia projektu ;)

46. Pytania?

47. Dzięki!

48. Znajdziesz nas:
Blog: allegrotech.io
Twitter: @allegrotechblog
pracuj z nami
kariera.allegro.pl