Lambda arhitektura
•Download as PPTX, PDF•
0 likes•499 views
How to make Lambda Architecture and why is necessary.
Recommended
Recommended
More Related Content
Similar to Lambda arhitektura
Lambda arhitektura
- 3. Agenda •Big Data •Uvod u Lambda arhitekturu •Kako razviti Lambda arhitekturu •Nadogradnja Lambde •Daljnji razvoj #DSCRO
- 4. Ciljevi •imati sve podatke koje tvrtka generira •imati dostupne podatke iz okoline •data lake – objediniti podatke •istraživanje podataka •obogatiti podatke •predviđanje na temelju povijesnih podataka •pravovremeno reagiranje na temelju podataka #DSCRO Big Data
- 6. •distribuiranost •Skalabilno •Cijena •Proširivo prema potrebi •fault tolerance •Batch •Real-time #DSCRO Big Data
- 7. •big data pristupi •Istraživanje •Real-time •Reagiranje •Strojno učenje •Izvorni podaci •vremenska dimenzija •human tolerance •RAW DATA #DSCRO Big Data
- 8. Big Data - Kako nastaju podaci •user -> click -> event -> new data -> #DSCRO
- 9. #DSCRO Pitanja •Koje proizvode top korisnici kupuju? •Koliko proizvoda top korisnici kupuju? •Koliko korisnika ima koji cjenovni rang? Kako razviti Lambda arhitekturu
- 10. •INFORMACIJA (information) •PODATAK(data) •UPIT(query) •POGLED (view) •FUNKCIJA (function) •Query = function (data) Pipe diagram #DSCRO Kako razviti Lambda arhitekturu
- 11. Kako razviti Lambda arhitekturu #DSCRO
- 12. #DSCRO Kako razviti Lambda arhitekturu – batch layer•izračunati podaci •tehnologije •Hive, Pig, mapReduce,Cascalog •Spark, R, H2O
- 13. •random read •indeksirani podaci •servisi •Hbase, Redis •Cassandra, •Druid •Postgresql #DSCRO Kako razviti Lambda arhitekturu – serving layer
- 14. •CAP teorem •konzistentnost (consistency) •dostupnost (availability) •Tolerancija particioniranja (Partition tolerance) CP - consistency/partition tolerance Redis, MongoDb, HBase AP - availability/ partition tolerance Cassandra, CouchDb, Voldemort #DSCRO Kako razviti Lambda arhitekturu – serving layer
- 15. #DSCRO Kako razviti Lambda arhitekturu
- 16. •brzina , low latency, real time •brzi algoritam za izračunavanje, inkrementalni •vremenski prozori (primjer: svakih 3 minute gledamo vremenski odsjek od 5 minuta) #DSCRO Kako razviti Lambda arhitekturu – speed layer
- 17. •random write, brzo zapisivanje •tehnologije Storm Spark streaming #DSCRO Kako razviti Lambda arhitekturu – speed layer
- 18. •Pmml – Predictive Model Markup Language •POJO model #DSCRO Kako razviti Lambda arhitekturu •tehnologije •H2o •Spark •R •Jpmml
- 19. #DSCRO Lambda arhitekturu – servisi
- 20. •Kappa architecture •simplifikacija Lambda arhitekture •real-time obrada • Jay Kreps - LinkedIn •Apache Samza – koncipiran na YARN-u i Kafki •Summingbird • izrađuju se funkcije za obradu • primjenjive u map-reduceu (batch layer) i Apache Stormu (speed layer) •Spark 2 #DSCRO Daljnji razvoj
- 21. •implementirali: •Yahoo, Netflix, Metamarkets •definirao: •Nathan Marz – Backtype, Twitter , Storm •prednosti: •prava informacija u pravo vrijeme •pravodobno reagiranje na informacije •dodatna vrijednost informacije •informacije se dobivaju brzo (speed layer) •informacije su točne (batch layer) •nedostaci: •komplekstnost izrade •u dvije različite tehnologije se mora izraditi ista funkcija #DSCRO Lambda arhitektura
- 22. Pitanja #DSCRO