"SQL o NoSQL? Progettare applicazioni 'Big Data-ready' attraverso l'utilizzo della Polyglot Persistence" by Mario Cartia Il teorema CAP, formulato da Eric Brewer nel 1998, è una congettura matematica secondo la quale un sistema distribuito non è in grado garantire contemporaneamente scalabilità orizzontale, disponibilità e consistenza. Da qui l’esigenza di un approccio semplice per la progettazione di applicazioni che utilizzano una molteplicità di tecnologie per lo storage dei dati (RDBMS, NoSQL, DFS, etc.) nascondendo tale complessità sottostante attraverso la realizzazione di un’unica interfaccia esterna per l’accesso agli stessi.

1. SQL o NoSQL? Progettare applicazioni
'Big Data-ready' attraverso l'utilizzo
della Polyglot Persistence
Mario Cartia
ROME 18-19 MARCH 2016

2. $ whoami
Mario Cartia
Chief System Egineer

3. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence

4. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
ü Atomicity
ü Consistency
ü Isolation
ü Durability
A.C.I.D

5. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
A.C.I.D
Two Phase Commit
Write Ahead Logging
Resource Contention
Distributed Lock
Shared Disk
Shadow Paging
Shared Memory

6. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
ü Basically
ü Available
ü Soft state
ü Eventual consistency
B.A.S.E.

7. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Scalability
ACID vs. BASE

8. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
CAP Theorem (Brewer)

9. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
? ? ? ?
? ? ? ?

10. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
? RDBMS ? ?
? ? ? ?

11. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
? RDBMS ? ?
? RDBMS ? ?

12. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
ü Key-Value
ü Document store
ü Columnar / Tabular
ü Graph
Most Popular NoSQL Databases

13. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Key-Value Store
Key-Value stores use the
associative array (also known as a
map or dictionary) as their
fundamental data model
In this model, data is represented
as a collection of key-value pairs

14. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Key-Value Store

15. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
ü Simple Data Model
ü Ease of use
ü Horizontal scaling
ü No complex queries

16. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
? RDBMS ? ?
? RDBMS ? ?

17. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
KV
(Mem)
RDBMS
KV
(Disk) ?
? RDBMS ? ?

18. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Document Store
The central concept of a document
store is the notion of a Document
Documents encapsulate and
encode data (or information) in
some standard formats like JSON,
XML, etc.

19. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Document Store
Key-Value
user:1632 => {
"firstName":"John",
"lastName":"Smith",
"age":25,
"address":{
"streetAddress":"21 2nd Street",
"city":"New York",
"state":"NY",
"postalCode":"10021"
},
"phoneNumber":[
{
"type":"home",
"number":"212 555-1234"
},
{
"type":"fax",
"number":"646 555-4567” }
]
}
Document oriented
user:1632 => {
"firstName":"John",
"lastName":"Smith",
"age":25,
"address":{
"streetAddress":"21 2nd Street",
"city":"New York",
"state":"NY",
"postalCode":"10021"
},
"phoneNumber":[
{
"type":"home",
"number":"212 555-1234"
},
{
"type":"fax",
"number":"646 555-4567” }
]
}

20. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
ü Schema Free
ü Ease of use
ü Horizontal scaling
ü Slow complex queries
ü Not ACID*

21. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
KV
(Mem)
RDBMS
KV
(Disk) ?
? RDBMS ? ?

22. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
KV
(Mem)
RDBMS
KV
(Disk) ?
Docum
ent
RDBMS ? ?

23. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Columnar / Tabular
A column-oriented DBMS stores
data tables as sections of columns
of data rather than as rows of data
This column-oriented DBMS has
performance advantages for OLAP
workloads (data warehouse)

24. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Columnar / Tabular

25. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
ü OLAP Performances
ü Horizontal scaling
ü OLTP Performances
ü Handling Single
Records

26. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
KV
(Mem)
RDBMS
KV
(Disk) ?
Docum
ent
RDBMS ? ?

27. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
KV
(Mem)
RDBMS
KV
(Disk) ?
Docum
ent
RDBMS Tabular Tabular

28. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Graph
This kind of database is designed
for data whose relations are well
represented as a graph consisting
of elements interconnected with a
finite number of relations between
them (eg. social, maps, networks)

29. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Graph

30. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
ü Handling Relations
ü Optimal for some
Use Cases (maps, social)
ü Complex queries
ü Not ACID*

31. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
KV
(Mem)
RDBMS
KV
(Disk) ?
Docum
ent
RDBMS Tabular Tabular

32. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Sample Retailers Web Application
User Sessions Financial Data ShoppingCart Recommendations
Product Catalog Reporting Analytics Logs
KV
(Mem)
RDBMS
KV
(Disk)
Graph
Docum
ent
RDBMS Tabular Tabular

33. Best Practices

34. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Best Practices
ü NoSQL data modeling often
starts from the application-
specific queries as opposed to
relational modeling

35. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Best Practices
ü NoSQL data modeling often
requires a deeper understanding
of data structures and
algorithms than relational
database modeling does

36. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Best Practices
ü Data duplication and
denormalization are first-
class citizens

37. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence

38. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
BOTH!!!

39. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Success Case

40. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Success Case
FlockDB

41. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Design Patterns
Data Access Object Pattern (or DAO
pattern) is used to separate low level data
accessing API or operations from high level
business services
Data access object (DAO) is an object that
provides an abstract interface to some type
of database or other persistence mechanism

42. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Design Patterns

43. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Design Patterns
CQRS is a simple pattern that strictly
segregates the responsibility of
handling command input into an
autonomous system from the
responsibility of handling side-effect-
free query/read access on the same
system

44. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
CQRS

45. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Design Patterns
The fundamental idea of Event Sourcing
is that of ensuring every change to the
state of an application is captured in an
event object
These event objects are themselves stored
in the sequence they were applied for the
same lifetime as the application state itself

46. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence

47. I corsi di Codemotion Training
Percorsi didattici dal
taglio pratico – anche
online
WEB APP SECURITY
WEB DEVELOPMENT
IOT
UX & UI
BIG DATA
MOBILE DEVELOPMENT
LEGAL SOFTWARE DISCIPLINE
FRONTEND DEVELOPMENT

48. Big Data Processing Bootcamp
with Hadoop and Spark
Dove: Roma
Quando: 5 Aprile 2016
Info: desk Codemotion
Prossimo appuntamento!
Email: training@codemotion.it

49. SQL o NoSQL? Progettare applicazioni 'Big Data-ready'
attraverso l'utilizzo della Polyglot Persistence
Question Time!

50. Thanks!
ROME 18-19 MARCH 2016
Follow me!
https://twitter.com/mariocartia
https://it.linkedin.com/in/mariocartia
Email:
mario@big-data.ninja
All pictures belong
to their respective authors