Questo è l'ultimo webinar della serie Back to Basics che ti offrirà un'introduzione al database MongoDB. Questo webinar ti guiderà attraverso tutti i passaggi per l'implementazione della produzione.

1. MongoDBEurope2016
Old Billingsgate, London
15th November
mongodb.com/europe
Registratevi con il codice massimobrignoli20
per il 20% di sconto

2. Massimo Brignoli
Principal Solution Architect, EMEA
@massimobrignoli
Back to Basics 2016 : Webinar 6
Messa in Esercizio

3. Riassunto
• Webinar 1 – Introduzione a NoSQL
– I diversi tipi di database NoSQL
– MongoDB come document database
• Webinar 2 – La nostra prima applicazione
– Creazione di database e collectione
– CRUD, indici e explain
• Webinar 3 – Schema Design
– Schema dinamico
– Approcci all’Embedding
• Webinar 4 –Indici Full-Text e geospaziali
• Webinar 5 – Aggregation Framework

4. Perché la Replicazione?
• Quanto spesso avete avuto dei fermi di server?
• Quanti sono stati svegliati dal sonno per fare un failover?
• Quanti hanno avuto problemi a causa della rete lenta?
• Differenziare il workload
– Normal processing
– Analytics

5. Replica Set – Creazione

6. Replica Set – Inizializzazione

7. Replica Set – Rottura

8. Replica Set – Failover

9. Replica Set – Recovery

10. Replica Set – Recovered

11. Scaling

12. Working Set Eccede la Memoria Fisica

13. Quando Considerare lo Sharding?
• Quando una risorsa specifica diventa un collo di bottoglia su
una macchina singola o su un replica set
• RAM
• Disk IO
• Storage
• Concurrency

14. Scalabilità Verticale (Scale Up)

15. Scalabilità Orizzontale (Scale Out)

16. Partizionamento
• L’utente definisce una chiave di sharding
• La chiave di sharding definisce un intervallo di dati
• Lo spazio delle chiavi è come I punti di una linea
• Un intervallo è un segmento di quella linea

17. Distribuzione dei Dati
• Inizialmente 1 chunk
• Gradezza dei chunk di default: 64MB
• MongoDB divide e migra i chunk automaticamente

18. Che cosa è un Shard?
• Shard è un elemento del cluster
• Shard può essere un singolo mongod o un replica set

19. Meta Data Storage
• Config Server
– Memorizza gli intervalli dei chunk e il posizionamento
– Può avere 1 o 3 membri (in produzione sono 3)
– E’- un replica set

20. Indirizzare e Gestire I Dati
• Mongos
– Si comporta come un router/balancer
– Non ha dati locali (che persistono nel database di config)
– Possono essercene 1 o tanti

21. Sharding infrastructure

22. Backup & Restore

23. Tools & Tecniche
• mongodump & mongorestore
• Copia del Files system
• Files system snapshot
• Non usate mongoimport & mongoexport!
//mongodump Example
server> mongodump -h myhost -d cms -c articles

24. Mongodump
• Crea un .bson file
– (e un file json di metadati)
– Sulla rete o sul file system.
>mongodump –h myhost -d cms -c articles
connected to: myhost
2014-04-16T12:54:56.758+0100 DATABASE: cms to dump/cms
2014-04-16T12:54:56.759+0100 cms.articles to
dump/cms/articles.bson
2014-04-16T12:54:56.816+0100 7 documents
2014-04-16T12:54:56.817+0100 Metadata for cms.articles to
dump/cms/articles.metadata.json

25. Da dove posso fare i backup?
• Sulla rete può introdurre dei page faults
• I nodi Primary e Secondary sono identici
– A parte la latenza
• Usate secondary per backup
– Oppure hidden secondary
mongodump

26. Consistenza dei Dati di Backup
• I dati potenzialmente possono essere inconsistenti
– mongodump legge i file del database sequenziale
– Per esempio, fate update di oggetti uno prima e uno dopo il backup
• Due opzioni per mantenere l’integrità dei dati
– Usate il parametro –oplog switch sul mongodump.
– Lockate il database in scrittura durante il backup

27. Esempi di --oplog e --oplogReplay
//Backup with –oplog
//--oplog richiede di effettuare il backup di tutti I
database/collection di quel server
>mongodump –h myhost –oplog
//Per fare il restore usate mongorestore con il parametro
--oplogRelay switch
>mongorestore –h myhost –oplogReplay ./cms/dump

28. Lock del Database in Scrittura
• Sia per I nodi primari che secondari
– Fa il flish dei dati su disco e fa il lock di tutte le scritture
– Usate db.fsyncLock() & db.fsyncUnlock()
//use fsync and lock from the mongo shell
> db.fsyncLock()
{
"info" : "now locked against writes, use db.fsyncUnlock() to
unlock",
"seeAlso" : "http://dochub.mongodb.org/core/fsynccommand",
"ok" : 1
}
//Perform file system backup… then unlock with… unlocked
secondaries will catchup.
> db.fsyncUnlock()
{ "ok" : 1, "info" : "unlock completed" }

29. Backup a livello di Storage-level
• Copiate I file della vostra directory dei dati (e.g. /data/db)
– Da usare assieme a fsync+lock
• File system or block storage snapshot
– Ad esempio snapshot LVM
• Metodo più veloce di backup/restore
• Considerazioni
– Journal, Consistenza
– Granularità del Backup (whole file system back up?)
– Esperienza di Ops
– Dove memorizzare I backup o gli snapshopt?

30. Backup di un Cluster Sharded
• Fermate il processo di bilanciamento
– Aspettate le fine delle migrazioni in corso
– Fate il backup di ogni shard
– Non dimenticate di fare il backup del config!
//Switch the balancer off…
mongos> sh.setBalancerState(false)
//Check to see if the balance is currently doing any migrations.
mongos> sh.isBalancerRunning()

31. Recovery
• In caso di una failure
– Restore dal backup
• Snapshot / mongodump etc.
• Restart del nodo
– Re-sync da un altro nodo
• I file possono essere copiato da un membro di un replica set all’altro.
• O I dati se non sono troppo grandi possono essere sincronizzati via network

32. Monitoring Tools

33. Tools
• I Tool chiave di MongoDB
– Mongostat
– Mongo shell
– Mongo Management Service mms
• Mtools
– Logs
• OS
– iostat

34. Architettura di Ops/Cloud Manager

35. Collezione di Metriche e Reportistica

36. Mongostat
• Accesso alle statistiche chiave
– Collegare a un mongod o un mongos fot I cluster in shardind
– Viualizza operazione al secondo/ memoria usate, page faults, code ecc.
>mongostat -h localhost --port 27017
connected to: localhost:27017
insert query update delete getmore command flushes mapped vsize res faults locked db idx miss % qr|qw ar|aw netIn netOut conn time
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:24
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:25
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:26
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:27
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:28
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:29
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:30
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:31
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.1% 0 0|0 0|0 62b 5k 2 09:08:32
*0 *0 *0 *0 0 1|0 0 1.67g 5.78g 29m 0 .:0.0% 0 0|0 0|0 62b 5k 2 09:08:33

37. Mongo shell
• Comandi per accedere alle metriche
– db.serverStatus()
//to access a subset of serverStatus output specify the sub
document
>db.serverStatus().mem
{
"bits" : 64,
"resident" : 266,
"virtual" : 5920,
"supported" : true,
"mapped" : 1712,
"mappedWithJournal" : 3424
}

38. Logs

39. Definite il livello di log
• Aumentate il livello di log
– Per vedere maggior informazioni sulle performance delle operazioni
– Efficienza degli indici
– Spostamenti di documenti
– Tempo di esecuzione delle operazioni
//Increase log level verbosity from the shell
> db.adminCommand( { setParameter:1, logLevel:1 } )
{ "was" : 0, "ok" : 1 }
>
-v [ --verbose ] be more verbose (include multiple times for more
verbosity e.g. -vvvvv)

40. Esempio di output del Log
• Problemi di Pinpoint
– In questo esempio possiamo vedere che c’è stato uno spostamento del
documento
2014-05-02T13:55:02.047+0100 [conn7] update cms.articles query: { _id:
ObjectId('532198379fb5ba99a6bd4063') } update: { $inc: { comment_count: 1 }, $push: {
comments: { $each: [ { date: new Date(1399035302013), text: "Data locality provides an
amazing performance boost over relational" } ], $slice: -10, $sort: { date: 1 } } } }
nscanned:1 nscannedObjects:1 nmoved:1 nMatched:1 nModified:1 keyUpdates:0
numYields:0 locks(micros) w:33529 33ms

41. Visual Query Profiler

42. New Relic Integration

43. Saturazione del Disco

44. Tool del Sistema Operativo
• iostat
– Utilizzo dell’IO dei dischi
– Controllate la % di utilizzo del disco
– Un’alta percentuale
• Se è sostenuta, dovresti aumentare l’IO del disco
– Sharding
– RAID 1+0
– Partizionare su dischi differenti
– Provisioned IOPS
prompt> iostat –xmt 1

45. Sommario
• Dimensione in modo opportuno sul vostro working set
• Shard solo quando ne avete bisogno, non prima
• Attenzione a scegliere la shard key!
• Scegliere la soluzione di backup giusta per voi
• Attenzione al livello di integrità dei dati richiesto
• Recovery
– Dal Backup o da un altro secondary
• Cloud/Ops Manager Backup disponibile

46. Questions?