Introduction à Cassandra - devoxx france 2012

Introduction à Cassandra Nicolas Romanetti @nromanetti www.jaxio.com mercredi 18 avril 2012 1

University Talk• Tout public• 3h pour vraiment comprendre Cassandra• Pédagogique 2

University Talk• Démarre doucement• Continue doucement• Mais en 3h nous allons couvrir beaucoup de sujets• Devrait vous chatouiller un peu le cerveau• Conseil: prenez des notes 3

Cassandra LAN Party (Hands On Cassandra) Cet après midi de 13h30 à 16h30 4

A Propos• Nicolas Romanetti• @nromanetti• www.jaxio.com• Légitimité? 5

Cassandre• Très belle• Libre• Avait raison 6

Cassandra c’est... 7

Symétrique 10

Conçue pour les pannes 11

RDBM scalabilitéréplication indexes dénormalisation cache transaction join performance 12

Très important 13

Installation de Cassandra 14

Historique Big TableDynamo 15

Data Model Cassandra• Attention au vocabulaire 16

Version courte• Une Map distribuée de Map 17

Column name value timestamp 18

Row col. name1 col. name2 col. name3 col. nameNKey ... col. value1 col. value2 col. value3 col. valueN 19

Exemple de Row column col. name prénom profession twittermick@stones.com Mick Musicien @mjagger col. valueRow Key 20

Libre... column col. namerow qqun tél ﬁxe 0122334455 tél mob. 0612345678 prénom Emma fax naissance surnom tél ﬁxe qqunautre 0102020202 01/12/2000 Nico 0145060063 Key col. value comparator/validator 21

Column Family prénom tél ﬁxe tél mob. qqun Aurélien 0122334455 0612345678user fax naissance tél ﬁxe qqunautre 0102020202 01/12/2000 0122334455 user[qqun][tél mob.] = 0612345678 col. Family row key col. name col. value 22

cluster keyspace keyspace keyspace Column Family Column Family Column Familyrow row row row column column column 23

Le nom est une valeur!‘vol’XK_4501_2012 6:55 7:00 7:20 _01_06 etc... décollage face à la mer survol Capo di Feno survol Cannes 24

Liens‘BlogEntries’ 2012/04/18 10:52 2012/04/12 10:12 2012/04/01 10:11 jaxio etc... rowkeyA rowkeyB rowkeyC‘BlogEntry’ 😳😳 Content date Title rowkeyA etc... Plusieurs talks se ... 2012/04/18 10:52 DevoxxFR rox 😳 25

Composite name, valueless‘TopScores’ 2012/01/02 093:toto 105:titi 106:tutu etc... 26

Super column nromanetti@jaxio.com login ed t ) caaitre nroma e r twitter e prdispa @nromanetti D (v a ville Paris users[france][nromanetti@jaxio.com][ville] = Paris Super row key super sub col. subcol. Family col. name name col. value 27

Fourre tout contactInfo tel:04..., email: nr@..., city: Ajaccio, etc... 28

Gros contenu 0 1 2Une_Video etc... chunk_0 chunk_1 chunk_2 29

Column expirante name value 30

Compteur Distribué nb de like 57832 31

Tombstone nom 32

Questions? 33

Query• Attention au vocabulaire 34

2 types de rowWide row key ... ... ...Skinny row key 35

get• get user[toto][firstname];• get user[toto][state]; 36

Column Slice ... n1 n2 n5 n1033 n2323 n33444Row Key qqchose qqchose qqchose qqchose qqchose qqchose Slice ordre.. 37

Cassandra Query Language• select user where country = FR; Secondary Index 38

«Modélisation»• Avoir un don de prophétie 39

Disponibilité ☞ Réplication 40

Où stocker une row?• Tous les serveurs sont identiques (symétrie)• Postulats • 1 row doit tenir sur 1 seul serveur • On veut répartir les rows uniformément 41

Consistent Hashing bytes Consistent Un ‘token’ entree.g. String Hash 0 et 2^127 0 tokenB row keyA f(keyA) tokenA row keyB f(keyB) (2^127) / 2 ≃ 10^38 42

Consistent Hashing tokenB N0 N7 N1 token1=1*(2^127)/8 token rangetoken6=6*(2^127)/8 N6 N2 token2=2*(2^127)/8 tokenA N5 N3 N4node 2 = contient 1ère replica des rows ayant leur token compris entre token1 et token2 43

nodetool ring 44

Vocabulaire NodeReplication Factor Replica 45

Stratégie de placementReplication Factor = 3 tokenB N0 N7 N1 1ère replica de la row ‘tokenB’ N6 N2 2ème replica... tokenA N5 N3 3ème replica... N4 46

API client• Hector... Frère de Cassandre• Astyanax (créé par Netﬂix)... Fils d’Hector• Driver CQL... Thrift 47

Ecriture: qui contacter?Client ? N0Thrift N7 N1 N2 N6 N5 N3 Une replica? N4 48

Attendre les réponses? N0Client N7 N1 ? N6 ? N2 N5 ? N3 N4 49

solution: Tuneable Consistency CONSISTENCY LEVEL 50

CL - ONE écriture 51

Exemple 1 1er qui répond N0 Client ✓ write N7 N1 OK N6 N2 ? N5 N3RF = 3 ? N4CL = ONE asynchrone 52

Exemple 1 (suite) N0 Client ✓ N7 N1 N6 N2 ✓ N5 N3RF = 3 ✓ N4CL = ONE OK en background... 53

Exemple 2 N0 Client ✓ write N7 N1 OK N6 N2 ? N5 N3RF = 3 ? N4CL = ONE asynchrone 54

Exemple 2 (suite) N0 Client ✓ N7 N1 N6 X N2 ? N5 N3RF = 3 ✓ N4CL = ONE KO en background... 55

Exemple 3 N0 Client write N7 X N1 KO N6 X N2RF = 3 N5 X N3 N4CL = ONE 56

CL - QUORUM écriture 57

Exemple 1 N0 Client ✓ write N7 N1 OK N6 N2 ✓ N5 N3RF = 3 ? N4CL = QUORUM asynchrone 58

Exemple 1 (suite) N0 Client ✓ N7 N1 N6 N2 ✓ N5 N3RF = 3 ✓ N4CL = QUORUM OK en background... 59

Exemple 2 N0 Client ✓ write N7 N1 OK N6 N2 ✓ N5 N3RF = 3 ? N4CL = QUORUM asynchrone 60

Exemple 2 (suite) N0 Client ✓ N7 N1 N6 N2 ✓ N5 X N3RF = 3 ? N4CL = QUORUM KO en background... 61

Exemple 3 N0 Client ✓ write N7 N1 KO N6 X N2 ? N5 N3RF = 3 N4 ?CL = QUORUM asynchrone 62

Exemple 4 N0 Client write N7 N1 KO N6 X N2RF = 3 N5 X N3 N4CL = QUORUM 63

CL - ALL écriture 64

Exemple 1 N0 Client ✓ write N7 N1 OK N6 N2 ✓ N5 N3RF = 3 ✓ N4CL = ALL 65

Exemple 2 N0 Client ✓ write N7 N1 KO N6 X N2 ? N5 N3RF = 3 ✓ N4CL = ALL 66

Exemple 3 N0 Client write N7 N1 KO N6 X N2 N5 N3RF = 3 N4CL = ALL 67

SondageRollback ou pas? 68

Pas de Rollback...• La donnée va être propagée• Mais comment? 69

Hinted Handoff N0 ✓Client write N7 N1 OK N6 N2 ✓ ✓ hint (ttl) N5RF = 3 X N3 N4CL = QUORUM asynchrone 70

Hinted Handoff N0 ✓Client write N7 N1 RF = 3 N6 N2 ✓CL=QUORUM N5 N3 ✓ N4 N3 revient dans le ring 71

Hinted Handoff• 1er mécanisme de reprise sur erreur• TTL du hint 72

CL - ANY écriture 73

Exemple CL Any N0Client write N7 N1 hint (ttl) Tjs OK! N6 N2 ✓ N5 N3RF = 3 N4CL = ANY 74

Etat du ring? 75

Gossip Protocol N0 N7 N1 N6 X N2 N5 N3• Pas d’ilots N4• Découverte du ring• Echange d’info sur le système 76

∿φ Accrual Failure Detector• Ni oui ni non• Probabiliste 77

Expiration du hint• Comment synchroniser les données lorsque le noeud revient dans le ring après expiration des hints? 78

Anti-Entropy N0 ✓ N7 N1hint anti-entropy N6 N2 ✓ N5 N3 re pair N4 n ode 2ème mécanisme de reprise sur erreur 79

Merkle Tree (1982) 80

En lecture• Tuneable consistency 81

CL - ONE lecture 82

Exemple 1 Pourquoi N1 ? N0 Client v2 read N7 N1 re ad digest v1 OK N6 N2 v2 dig est N5 N3 N4 v2RF = 3 Donnée la plus récente parmi ONE replicaCL = ONE 83

Exemple 1 (suite) N0 Client v2 N7 N1 N6 read repair N2 v1 => v2 N5 N3 N4 v2RF = 3CL = ONE 84

Exemple 2 N0 Client v1 read N7 N1 re ad digest v1 OK N6 N2 v1 dig est N5 N3 N4 v2RF = 3 Donnée la plus récente parmi ONE replicaCL = ONE 85

Exemple 2 (suite) N0 Client v1 => v2 N7 a ir N1 r ep ad re read repair N6 N2 v1 => v2 N5 N3 N4 v2RF = 3CL = ONE 86

Read Repair• 3ème mécanisme de reprise sur erreur• Conﬁgurable (% de chance) 87

CL - QUORUM lecture 88

Exemple 1 N0 Client v2 read N7 N1 re ad digest v1 OK N6 N2 + read v2 N5 N3 N4 v2RF = 3 Donnée la plus récente parmi 2 replicasCL = QUORUM 89

Exemple 1 (suite) N0 Client v2 N7 N1 N6 read repair N2 v1 => v2 N5 N3 N4 v2RF = 3CL = QUORUM 90

Exemple 2 N0 Client v2 read N7 N1 KO N6 X N2 v1 N5 X v2 N3 N4RF = 3CL = QUORUM 91

CL - ALL lecture 92

Exemple 1 N0 Client v2 read N7 N1 re ad digest v2 OK N6 N2 v2 dig est N5 N3 N4 v2RF = 3 Donnée la plus récente parmi 3 replicasCL = ALL 93

Consistence Forte• Comment être certain que la donnée lue est la plus récente?• formule W + R > RF W: nb de replica contactées en écriture R: nb de replica contactées en lecture RF: replication factor• Cas trivial: écriture en ALL et lecture en ONE 94

Consistency RF = 3 N0 QUORUM N0 QUORUM N7 N1 N7 N1 Write Write N2N6 N2 N6 Read Read N5 N3 N5 N3 N4 QUORUM N4 ONE «Weak» «Strong» 95

Démo - calculer Tokenimport java.math.BigInteger;public class SimpleTokenCalculator { public static void main(String args[]) { int nbNodes = Integer.parseInt(args[0]); for (int i = 0; i < nbNodes; i++) { BigInteger token = new BigInteger("2"); token = token.pow(127); token = token.multiply(new BigInteger("" + i)); token = token.divide(new BigInteger("" + nbNodes)); System.out.println("token " + i + ": " + token); } }} 96

Démo - création KS + CF• create keyspace ks with placement_strategy = SimpleStrategy and strategy_options = {replication_factor:2};• use ks;• create column family user with key_validation_class = AsciiType and comparator = AsciiType and default_validation_class = AsciiType;• set user[antonio@devoxx.fr][nom]= Goncalves;• get user[antonio@devoxx.fr]; 97

Questions? 98

Performance en écriture• En écriture, Cassandra est extrêmement rapide, pourquoi? 99

Performance en écritureMémoire MemTable putap pe nd Commit LogFichier 100

c1 c2 c3Mémoire k1 put MemTableap pe nd - write (k1: c1,c2,c3) Commit Log 101

c1 c2 c3 c4 k1 put MemTableap pe nd - write (k1: c1,c2,c3) - write(k1: c4) Commit Log 102

c1 c2 c3 c4 k1 c3 k2 put MemTableap pe nd - write (k1: c1,c2,c3) - write(k1: c4) - write(k2, c3) Commit Log 103

c1 c2 c3 c4 k1 c3 k2 put MemTableap pe nd - write (k1: c1,c2,c3) - write(k1: c4) - write(k2, c3) - delete(k1,c2) Commit Log 104

MemTable drop ﬂush c1 c2 c3 c4 c3 SSTable 1 (read-only) k1 k2 sur disque distinctCommit Log Pourquoi conserver la tombstone? 105

Delete distribué• Grace period:10 jours par défaut 106

c3 k1 c4 k2 put MemTableap pe nd - write(k1: c3) k1 c1 c2 c3 c4 k2 c3 SSTable 1 (read-only) - write(k2: c4) Commit Log 107

Pas d’update au ﬂush MemTable drop ﬂush c1 c2 c3 c4 c3 SSTable 1 (read-only) k1 k2 c3 c4 k1 k2 SSTable 2 (read-only)Commit Log 108

Backups?• SSTables sont readonly.... 109

Quid de la lecture? c3 k1 c4 k2 put MemTableap pe nd - write(k1: c3) c1 c2 c3 c4 c3 SSTable 1 (read-only) k1 k2 - write (k2, c4) c3 c4 k1 k2 SSTable 2 (read-only) Commit Log 110

Compaction c3 si < grace period c1 c2 c3 c4 c3k1 k2 c1 c2 c3 c4 c3 c4 k1 k2 c3 c4k1 k2 111

Lecture MemTableMémoireFichiers SSTable SSTable SSTable 6- Contient la valeur... 112

Lecture MemTable 1- Pertinent lorsque le client spéciﬁe le nom de la colonne Row CacheMémoireFichiers SSTable SSTable SSTable 6- Contient la valeur... 113

Lecture MemTable 1- Pertinent lorsque le client spéciﬁe le nom de la colonne Row Cache 2- Stocke l’intégralité d’une row BloomFilter BloomFilter BloomFilterMémoireFichiers SSTable SSTable SSTable 6- Contient la valeur... 114

Bloom Filter (création) key1 f(key1) g(key1) 115

Bloom Filter (création) key2 f(key2) g(key2) 116

Bloom Filter (lecture) keyX f(keyX) g(keyX) keyX présent? NON... 117

Bloom Filter (lecture) key2 f(key2) g(key2) key2 présent? OUI... vrai positif 118

Bloom Filter (lecture) keyY f(keyY) g(keyY)keyY présent? OUI... mais c’est un faux positif 119

Lecture MemTable 1- Pertinent lorsque le client spéciﬁe le nom de la colonne Row Cache 2- Stocke l’intégralité d’une row BloomFilter BloomFilter 3- répond à «La SSTable contient-elle un fragment de row ?» BloomFilter Attention, faux positif possible. Key CacheMémoireFichiers SSTable SSTable SSTable 6- Contient la valeur... 120

Lecture MemTable 1- Pertinent lorsque le client spéciﬁe le nom de la colonne Row Cache 2- Stocke l’intégralité d’une row BloomFilter BloomFilter 3- répond à «La SSTable contient-elle un fragment de row ?» BloomFilter Attention, faux positif possible. Key Cache 4- Donne la position exacte du fragment de row dans la SSTableMémoire Index SummaryFichiers SSTable SSTable SSTable 6- Contient la valeur... 121

Lecture MemTable 1- Pertinent lorsque le client spéciﬁe le nom de la colonne Row Cache 2- Stocke l’intégralité d’une row BloomFilter BloomFilter 3- répond à «La SSTable contient-elle un fragment de row ?» BloomFilter Attention, faux positif possible. Key Cache 4- Donne la position exacte du fragment de row dans la SSTableMémoire Index Summary 5- Donne la position approximative (intervalle) du fragment de row dans la SSTableFichiers SSTable SSTable SSTable 6- Contient la valeur... 122

Questions? 123

Multi Data Center DC USA DC Europe Rack 1 Rack 1 Replica 1 token o token n token s token r Replica 4 token w token v Rack 2 Rack 2 Replica 3 token q token p Replica 2RF = 4 token u token y token t token x Pas de symétrie entre les DC QUORUM implique nécessairement 2 DC => latence 124

DataCenter «Aware» NetworkTopologyStrategy + alternance tokensRF = 3 RF = 3 DC USA DC Europe Rack 1 Rack 1 token n+1 token n token p+1 Replica 4 token p Replica 1 token r+1 Replica 6 token r Replica 3 Rack 2 Rack 2 token o+1 token o token q+1 Replica 5 token q Replica 2 token s+1 token s 125

Ring 2 DataCenter (+1) token n token n+1 rack 1 rack 2 token s token s+1 token o token o+1 rack 2 rack 1 token r token r+1 token p token p+1 rack1 rack 2 token qEurope token q+1USA 126

Latence du QUORUM RF = 3 RF = 3 DC USA DC Europe Rack 1 Rack 1Client ☹ Rack 2 Rack 2 127

LOCAL_QUORUM RF = 3 RF = 3 DC USA DC Europe Rack 1 Rack 1Client ☺ Rack 2 Rack 2 128

EACH_QUORUM RF = 3 RF = 3 DC USA DC Europe Rack 1 Rack 1Client Rack 2 Rack 2 token q token s 129

Autres usages Multi DC• 1 DC pour backup• 1 DC pour traitement particulier 130

Doubler la taille du cluster 0 t n s o 2*(2^127)/8 r p q 131

Doubler la taille du cluster t + n/2 n/2 0 t n (n+o)/2 3*(2^127)/16(s+t)/2 s o 2*(2^127)/8 = 4*(2^127)/16(r+s)/2 (o+p)/2 r p q (q+r)/2 (p+q)/2 132

Ajouter 1 noeud 0 t n n’’ 2*(2^127)/9 o s r p qOn crée un déséquilibre... 133

Ajouter 1 noeud 0 0 t’ n’ t n n’’ s’ n’’ os r’ o’ r p q’ p’ q re-balancing 134

Ajout/Retrait/Upgrade• Se font à chaud 135

Architecture Interne & Monitoring Stage z evt en sortie Stage y Traitement de l’evt par une thread Stage x (thread pool) les evts font la queuecertains peuvent expirer avant d’être traité! SEDA: Staged Event-Driven Architecture... 136

Architecture Interne & Monitoring• Monitoring des «stages» cassandra: (‘tp’ pour thread pool) (1) => 1 thread seulement Pool Name Active Pending Completed Blocked All time blocked ReadStage 0 0 1 0 0 RequestResponseStage 0 0 0 0 0 MutationStage 0 0 20 0 0 ReadRepairStage (1) 0 0 0 0 0 ReplicateOnWriteStage 0 0 0 0 0 GossipStage (1) 0 0 86919 0 0 AntiEntropyStage (1) 0 0 0 0 0 MigrationStage (1) 0 0 0 0 0 MemtablePostFlusher 0 0 4 0 0 StreamStage 0 0 0 0 0 FlushWriter 0 0 4 0 0 MiscStage (1) 0 0 0 0 0 InternalResponseStage 0 0 0 0 0 HintedHandoff 0 0 13 0 0 Message type Dropped RANGE_SLICE 0 READ_REPAIR 0 BINARY 0 Messages expirés sont «droppés» READ 0 MUTATION 0 REQUEST_RESPONSE 0 137

Une critique... si si • Difﬁcile de rentrer dans le code source 138

Une critique... si si • Difﬁcile de rentrer dans le code source 139

Questions? 140

Pour approfondirhttp://www.datastax.com/docs/1.0/indexhttp://wiki.apache.org/cassandra/http://ria101.wordpress.com/2010/02/24/hbase-vs-cassandra-why-we-moved/ 141

https://twimg0-a.akamaihd.net	24
https://si0.twimg.com	17
http://paper.li	4

Introduction à Cassandra - devoxx france 2012

by jaxio

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 45

Statistics

Introduction à Cassandra - devoxx france 2012 Presentation Transcript