Nexteria IT club - Big Data Analytics (24/02/16) http://www.pygmalios.com

1. “Real-time big data v tvojej samoške”

2. Milan Novota
Head of Product
m.novota@pygmalios.com

3. Prieskum
Kto z vás nakupuje v kamenných
obchodoch?
Ráta sa aj bufet.

4. Prieskum
Kto z vás tam nakupuje rád?

5. Fakt
Fyzické nakupovanie
je naša každodenná realita,
ktorá častokrát bolí.

6. Kvíz
Akú časť celosvetových tržieb v
maloobchode podľa vás tvoria nákupy cez
internet?

9. Fakt
Fyzické nakupovanie v mnohých ohľadoch
vážne zaostáva
za e-nakupovaním

10. Problém č.1

11. Problém č.2

12. Naša misia
Fixnúť tieto problémy.

13. Naše riešenie
Senzory a software.

16. Pygmalios Engineering

17. Rado Buranský
Scala developer
r.buransky@pygmalios.com

18. Kamery RTLS Mobily
Obchod

19. Dátový tok v reálnom čase
1.Z predajne chodia 10tky JSON správ za sekundu
2.Na 2 týždne sa uložia do Kafky
3.Spark Streaming číta z Kafky
4.Dáta v pôvodnom tvare ukladá do Cassandry
5.Zagregované do Influxu
6.Node.js číta z Influxu cez HTTP API

20. Zdroje dát
WiFi na mobiloch
Real-time location system - presná poloha
Kamery (nie video) - počítanie ľudí, pohlavie, vek
POS transakcie
Služby tretích strán (počasie, atď.)
Chceme byť nezávislí od konkrétneho HW

22. Kamery RTLS Mobily
Obchod

23. Distribuovaná implementácia kruhového buffera
uloženého na magnetický disk
Úžasne veľká priepustnosť
Spoľahlivosť

25. Kamery RTLS Mobily
Obchod

26. Prekrásny funkcionálny objektový jazyk pre JVM
Silné statické typovanie
Immutability by default
Bohatá štandardná knižnica
Oveľa menej kódu ako v Jave

30. Sada nástrojov na paralelné a distribuované appky
Futures, Actors
Clustering / remoting
Let it crash!
"Without Resilience, Nothing Else Matters" - Jonas Bonér

31. Batchové aj streamové spracovanie dát
Ďalšia generácia po Hadoop MapReduce
Bohaté API - Scala, Python, R, Java
Strojové učenie
Interaktívny režim
Veľa spôsobov nasadenia

33. Kamery RTLS Mobily
Obchod

34. Distribuovaná databáza
Vysoká dostupnosť
Lineárna škálovateľnosť
Rýchly zápis
Dátový model ideálny pre immutable časové dáta
Denormalizácia je štandard

35. Kamery RTLS Mobily
Obchod

36. Databáza pre časové údaje
Bohaté API
Jednoduchá integrácia s grafovými nástrojmi
Priekopnícky spolupracujeme s autormi
Spravili sme vlastný reaktívny driver

38. Kamery RTLS Mobily
Obchod

39. Čítanie dát z Influxu cez HTTP API
Uživateľské rozhranie

40. Infraštruktúra

41. Architektúra

42. Lambda architektúra
Immutable master dataset
Donekonečna pribúdajúce dáta, zdroj všetkej pravdy
Každá query je fcia na všetkými dátami
Batch vrstva
Pre každú query pregeneruje view z master datasetu
Speed vrstva
Kompenzuje pomalosť batchu
ale môže vniesť nekonzistentnosť

44. Vďaka Sparku sú algoritmy
pre batch aj speed vrstvu
naimplementované iba raz

45. Príklad:
Konverzia nakupujúcich

46. Priemerná konverzia nakupujúcich
Počet odchádzajúcich ľudí / počet tých čo nakúpili
Zdroje dát:
1. info o pohybe ľudí z kamier
2. POS transakcie z pokladní

48. Transformácie
Agregácia do 15-minútových okien
Cassandra counter dátový typ
Join
problém

50. Join nie je ľahký
Spojenie dvoch prúdov dát do jedného
Čo ak niektoré správy prídu o hodinu (deň) neskôr?
Čo ak niektoré prídu viac razy?
Čo ak sa popredbiehajú?
Cassandra ho nepodporuje

53. Garancia doručenia správ

54. Garancia doručenia správ
Najviac raz
správy sa strácajú
Aspoň raz
nič sa nestráca ale môže prísť viackrát
Práve raz
nedá sa - viď. Byzantínci

55. Naozaj sa "práve raz" nedá?
Nevadí, sú spôsoby ako sa s tým vysporiadať:
idempotencia
transakcie
Výsledok je ako keby bola každá správa doručená práve raz

57. Centrálny monitoring a logging

60. Škálovanie

61. Škálovanie
Pribúdajú predajne
Naša výhoda je predvídateľnosť

63. Treba kapacitu vôbec plánovať?

64. Škálovanie vďaka Akke
Actorom je im jedno, či sú na tej istej mašine
Akka Cluster zabezpečuje odolnú decentralizáciu

65. NodeGuardian
AvgConvRateActor PeopleCountActorPosTransactionActor SepApiActor
Hierarchia Akka actorov

66. Škálovanie vďaka Sparku
Master / worker architektúra
Flexibilné pridávanie worker nodov

68. Škálovanie vďaka Cassandre
Partitioning
Lineárna charakteristika

70. Škálovanie vďaka Amazon Web Services
EC2 inštancie
s predpripravenými imagemi
DataStax Enterprise
Okamžité spustenie

71. AWS
m3.xlarge
Cassandra
Spark
Akka

73. Škálovanie vďaka Dockeru
Horizontálne škálovanie vytvorením
nových kontajnerov inštancií aplikácie

74. Predikcia je náš cieľ

75. Historické dáta sú nuda
Treba predpovedať budúcnosť
Priamo povedať prevádzkarovi čo robiť
Nech odpoveď nehľadá v grafoch a reportoch
"O týždeň v stredu príde 17 žien v strednom veku a nakúpia Alpu.
Doobjednaj ďalšie na sklad."

76. Spark Machine Learning library
Klasifikácia, regresia, clustering, ...
Prediktívna analýza pre existujúce metriky
SW riešenie namiesto HW:
okoloidúci vs. návštevníci z intenzity WIFI signálu

78. Technológie nás bavia

79. Chceme byť tech
Beta verzie cutting-edge technológii
Prispievanie do open sourcu
Verejné zdieľanie skúseností
Budovanie lokálnej komunity

82. Teraz môžem v práci robiť to,
čo som kedysi robil iba po nociach

84. Povedzte nám, čo vás baví
a príďte k nám na Spark workshop

85. Ďakujeme