Présentation lors du MongoDB Day Paris 2012, par @mathiaskluba sur le déploiement et le monitoring de MongoDB

1. MongoDB en Prod:
déploiement et monitoring
MongoDB Day
Juin 2012

2. Intro: pourquoi Mongo?
Speakers:
§ Mathias Kluba – Fastconnect
§ Twitter @mathiaskluba
§ Loic Dachary – eNovance
2

3. Intro: pourquoi Mongo?
Pourquoi avoir choisie MongoDB ?
§ BigData
§ Linéarité des coups de stockage
§ Requêtes riches
§ Agilité
§ Time to market: passer rapidement de DEV à PRD
§ Cloud
§ La Scalabilité horizontale n’est pas une option,
c’est une obligation
3

4. Intro: pourquoi Mongo?
Avantage majeur de MongoDB:
Scalabilité horizontale
§ Sharding
§ distribuer la charge en lecture/écriture
§ Replica Set
§ disponibilité / résilience
§ distribuer la charge en lecture
4

5. Introduction
Mais en pratique, quand on a 15 nœuds…
§ Comment déployer le cluster?
§ Comment monitorer? Agréger les logs?
§ Comment effectuer des opérations de
maintenances sur tous les nœuds?
5

6. Déploiement
6

7. Déploiement
Scalabilité
dynamique
/
récupéra4on
automa4que
Déploiement
Applica3ons
Monitoring
Meta
Déploiement
Middlewares
Déploiement
API
de
Infrastructure
Provisioning
7

8. Déploiement
Plusieurs solutions de déploiement:
§ Do it yourself!
§ Scripts shell?
§ Template de VM?
§ Chef
§ Puppet
§ Cloudify
§ VMWare App Director
§ Windows Azure
§ Amazon CloudFormation
§ MongoHQ (Mongo As A Service)
8

9. Démos
Chef sur Amazon EC2
§ http://community.opscode.com/cookbooks/mongodb
knife ec2 server create "role[mongod]" -I ami-a29943cb -u
ubuntu -i key.pem -N ubuntu-ec2 -f t1.micro -S key --region
us-east-1 -Z us-east-1d -G default -d ubuntu12.04-gems
knife bootstrap ec2-12-34-56-0.compute-1.amazonaws.com -x
ubuntu -i key.pem --sudo
mongo ec2-12-34-56-0.compute-1.amazonaws.com:27017
initReplicatSet.js
9

10. Démos
10

11. Démos
Windows Azure
§ http://www.mongodb.org/display/DOCS/MongoDB+on
+Windows+Azure
11

12. Démos
Puppet et MongoDB
§ https://github.com/puppetlabs/puppetlabs-mongodb
12

13. Démos
13

14. Démos
Démo: Puppet sur OpenStack
Centraliser la configuration puppet
§ serveur puppetmaster
§ chaque machine un client puppet
§ le rôle de la machine dépend d'un fact
14

15. Démos
Démo: Cloudify sur Amazon EC2
§ 3 Replicat Set
15

16. Monitoring
16

17. Monitoring
Outils de base:
§ http console
§ db.server.status()
§ db.stats()
§ mongostat
17

18. Monitoring
18

19. Monitoring
19

20. Monitoring
Plus?
20

21. Monitoring
Monitoring « As a Service »: MMS
§ Installation facile
§ Outil officiel de 10Gen
§ Le support 10Gen peut diagnostiquer
vos logs
§ Ne monitore que MongoDB
§ Externe à votre infrastructure
21

22. Monitoring
22

23. Monitoring
Monitoring « As a Service »: Server Density
§ Monitore le système (Windows/Linux/etc.)
§ Monitore Mongo de base
§ Monitore de nombreuses choses via plugins
§ Application iPhone/Android :)
§ Externe à votre infrastructure
23

24. Monitoring
24

25. Monitoring
25

26. Monitoring
26

27. Monitoring
27

28. Monitoring
Outils de Monitoring OpenSource existants:
§ S’intègre à votre SI
§ Monitore plus que MongoDB
(OS, Middlewares)
§ Reste en interne
§ Peut être complexe à installer/configurer
28

29. Monitoring
Outils de Monitoring OpenSource existants:
§ Nagios
§ h<ps://github.com/mzupan/nagios-­‐plugin-­‐mongodb
§ Hyperic
§ h<p://support.hyperic.com/display/hyperforge/
MongoDB
§ Munin
§ h<ps://github.com/erh/mongo-­‐munin
§ h<ps://github.com/pcdummy/mongomon
§ Etc.
29

30. Monitoring
Exemple de stats Cacti et Munin
30

31. Monitoring
Exemple de statut avec Nagios + Centreon
31

32. Monitoring
Outils de Monitoring Pro existants:
§ CA Unicenter
§ IBM Tivoli / Patrol
§ HP OpenView
§ ?
32

33. Monitoring
Outils de Monitoring Pro existants: SNMP?
33

34. Démos
Démo: Monitoring avec Cloudify
34

35. Questions ?
35