Kako obraditi velike količine
podataka u realnom vremenu
koristeći Cloud okruženjekoristeći Cloud okruženje
Ivica Čardić
S...
Sadržaj
● Trendovi
● Liferay Cloud Services sustav
● Arhitektura sustava
● Budući planovi● Budući planovi
Trendovi
Map Reduce
Big Data
Cloud Computing
Apache Cassandra
Apache Hadoop
Big Data
Real-time processing
Amazon Web Servi...
Liferay Cloud Services (LCS)
● Poslovni zahtjevi
o Upravljanje portalima
Hijerarhijska organizacija
Osnovne informacije o ...
Liferay Cloud Services (LCS)
● Tehnički zahtjevi
o SAAS aplikacija
o Tisuće servera spojenih istovremeno
Prikupljanje veli...
Arhitektura sustava
Amazon Web Services
● Resursi
o Amazon EC2, Auto Scaling, Elastic Load Balancing
● Skladištenje
o Amazon S3, Amazon EBS
● ...
Amazon EC2 Konzola
Amazon Auto Scaling
● Dinamički pokreće i zaustavlja EC2 instance
o Amazon CloudWatch servis ili
o Planirani vremenski per...
Netflix Asgard
LCS Klijent
● Portlet
o Sučelje za registraciju
o Niti za komunikaciju
● Registracija portala
LCS Portlet
Customer
Portal
...
LCS Klijent
LCS Gateway
● Server: Apache Tomcat
● Java Servlet
● Stateles arhitektura
o Tomcat-i nisu u clusteru
OSB LCS
Gateway
Amazo...
Amazon SQS
● Pouzdan
● Jednostavan za korištenje
● Skalabilan
● Siguran● Siguran
● Jeftin
● Alternative: JMS, RabitMQ, Zer...
LCS Processor
● Server: Apache Tomcat
● Akka framework
● Stateless arhitektura
o Tomcat-i nisu u clusteru
Amazon SQS
Amazo...
Amazon ElastiCache (Redis)
● Podržava Redis i Memcached
● Redis
o key-value in-memory baza podataka
o moguće spremanje pod...
Apache Cassandra
● Linearna skalabilnost
● Brzi upis podataka
● Fleksibilna pohrana podataka
● Ne sadrži centralno mjesto ...
LCS Dashboard
● Apache Tomcat
● Liferay portal
● Sučelje implementirano
kao skup portleta
MySQL
OAuth
File Repository
Amaz...
LCS Dashboard
LCS Dashboard
LCS Dashboard
Amazon EMR(Apache Haddop)
● Omogućava distribuirano procesiranje velikih
količina podataka preko grupe računala
koristeći ...
Budući planovi
● Private Beta
● Error i Log management
● Web analitika
Hvala
Ivica Čardić
Senior Software
Engineer
ivica.cardic@liferay.comivica.cardic@liferay.com
Igor Bešlić
Senior Software
E...
Upcoming SlideShare
Loading in …5
×

JavaCro'14 - How to handle large amounts of data in real time using a cloud environment – Ivica Čardić and Igor Bešlić

1,492
-1

Published on

The aim of this presentation is to present the architecture of the distributed platform, which was created for the purpose of Liferay Cloud Services project of Liferay Inc, the company behind the very popular web portal. Liferay Cloud Services is a set of services that existing customers of the portal should allow easier management of their portal instances, monitoring and installation of patches. For this purpose own platform has been built that runs on Amazon’s Cloud infrastructure (Amazon AWS). Platform must be able to process large amounts of data in real time. The platform itself uses several technologies used together such as Liferay Portal, Apache Cassandra – NoSQL database, Akka – library for building concurrent applications and Amazon SQS – a distributed queue.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,492
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

JavaCro'14 - How to handle large amounts of data in real time using a cloud environment – Ivica Čardić and Igor Bešlić

  1. 1. Kako obraditi velike količine podataka u realnom vremenu koristeći Cloud okruženjekoristeći Cloud okruženje Ivica Čardić Senior Software Engineer, Liferay Inc.
  2. 2. Sadržaj ● Trendovi ● Liferay Cloud Services sustav ● Arhitektura sustava ● Budući planovi● Budući planovi
  3. 3. Trendovi Map Reduce Big Data Cloud Computing Apache Cassandra Apache Hadoop Big Data Real-time processing Amazon Web Services Redis No SQL Auto Scaling Distributed Systems MongoDB OpenStack RackSpace
  4. 4. Liferay Cloud Services (LCS) ● Poslovni zahtjevi o Upravljanje portalima Hijerarhijska organizacija Osnovne informacije o registrianim portalimaOsnovne informacije o registrianim portalima Automatsko otkrivanje portala u cluster-u o Download zakrpi(FixPacks) o Metrika portala(JVM, Server, Aplikacija)
  5. 5. Liferay Cloud Services (LCS) ● Tehnički zahtjevi o SAAS aplikacija o Tisuće servera spojenih istovremeno Prikupljanje velikih količina podatakao Prikupljanje velikih količina podataka o Skalabilan sustav Modularnost Komunikacija REST servisima
  6. 6. Arhitektura sustava
  7. 7. Amazon Web Services ● Resursi o Amazon EC2, Auto Scaling, Elastic Load Balancing ● Skladištenje o Amazon S3, Amazon EBS ● Baze podataka● Baze podataka o Amazon RDS(MySQL), Amazon ElastiCache(Redis) ● Procesiranje o Amazon EMR(Apache Hadoop) ● Aplikacijski servisi o Amazon SNS, Amazon SQS ● Deployment & Management o Amazon CloudWatch
  8. 8. Amazon EC2 Konzola
  9. 9. Amazon Auto Scaling ● Dinamički pokreće i zaustavlja EC2 instance o Amazon CloudWatch servis ili o Planirani vremenski periodi ● Zamjenjuje nezdrave ili nedostupne instance● Zamjenjuje nezdrave ili nedostupne instance ● Obavještava korisnike o promjenama o Amazon SNS servis
  10. 10. Netflix Asgard
  11. 11. LCS Klijent ● Portlet o Sučelje za registraciju o Niti za komunikaciju ● Registracija portala LCS Portlet Customer Portal ● Registracija portala o otkriva portale u cluster-u ● Handshake ● “Dvosmjerna” veza o Prikuplja podatke o Izvršava komande OSB LCS Gateway LCS Dashboard Podaci Registracija
  12. 12. LCS Klijent
  13. 13. LCS Gateway ● Server: Apache Tomcat ● Java Servlet ● Stateles arhitektura o Tomcat-i nisu u clusteru OSB LCS Gateway Amazon ElastiCache(Redis) Podaci Autorizacija o Tomcat-i nisu u clusteru ● Dobiva podatke od klijenta ● “Šalje” komande klijentu ● Autorizacija portala prilikom slanja podataka Amazon SQS ElastiCache(Redis)
  14. 14. Amazon SQS ● Pouzdan ● Jednostavan za korištenje ● Skalabilan ● Siguran● Siguran ● Jeftin ● Alternative: JMS, RabitMQ, ZeroMQ
  15. 15. LCS Processor ● Server: Apache Tomcat ● Akka framework ● Stateless arhitektura o Tomcat-i nisu u clusteru Amazon SQS Amazon ElastiCache(Redis) Podaci o Tomcat-i nisu u clusteru ● Sprema podatke u Cassandru ● Provjerava autentičnost portala OSB LCS Processor Cassandra NOSQL Podaci
  16. 16. Amazon ElastiCache (Redis) ● Podržava Redis i Memcached ● Redis o key-value in-memory baza podataka o moguće spremanje podataka na disk kreiranjemo moguće spremanje podataka na disk kreiranjem dump datoteke ili dodavanjem komandi u log o tipovi podataka: string hash, lista i set o podržava master-slave replikaciju o podržava transakcije, publish/subscribe, ograničeno vrijeme života podataka, rad isključivo kao cache
  17. 17. Apache Cassandra ● Linearna skalabilnost ● Brzi upis podataka ● Fleksibilna pohrana podataka ● Ne sadrži centralno mjesto pogreške● Ne sadrži centralno mjesto pogreške ● Jednostavna distribucija podataka ● Pojednostavljena administracija ● Podrška za transakcije (AID) ● Sporije čitanje podataka ● Oprez prilikom modeliaranja podataka
  18. 18. LCS Dashboard ● Apache Tomcat ● Liferay portal ● Sučelje implementirano kao skup portleta MySQL OAuth File Repository Amazon S3 LCS Dashboard kao skup portleta ● Klijent vrši autentifikaciju preko OAuth-a ● Integracija sa centralnom bazom korisnika Cassandra NOSQL OSB LCS Portlet OSB LCS NOSQL Amazon EMR
  19. 19. LCS Dashboard
  20. 20. LCS Dashboard
  21. 21. LCS Dashboard
  22. 22. Amazon EMR(Apache Haddop) ● Omogućava distribuirano procesiranje velikih količina podataka preko grupe računala koristeći jednostavne programske modele ● Po potrebi povećava broj servera● Po potrebi povećava broj servera ● Koristi se pri izračunu dostupnih zakrpa za svaki server
  23. 23. Budući planovi ● Private Beta ● Error i Log management ● Web analitika
  24. 24. Hvala Ivica Čardić Senior Software Engineer ivica.cardic@liferay.comivica.cardic@liferay.com Igor Bešlić Senior Software Engineer igor.beslic@liferay.com
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×