Morning with MongoDB Paris 2012 - Octo

693 views
575 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
693
On SlideShare
0
From Embeds
0
Number of Embeds
118
Actions
Shares
0
Downloads
11
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Morning with MongoDB Paris 2012 - Octo

  1. 1. A Morning with MongoDB MongoDB et « l’analytics »1© OCTO 2012
  2. 2. Arnaud Huon Consultant Senior Média & Internet ahuon@octo.com MongoDB Addict depuis 20102© OCTO 2012
  3. 3. 3© OCTO 2012
  4. 4. MongoDB & Moi Mes rendez-vous 8 mois d’Urbandive 500 000 entités géographiques sur du replica set 1 mois de Groupe Moniteur Traces fonctionnelles indexées et requêtables 3 jours d’Analytics Réconciliation et Agrégation de traces de visites Mes sentiments Versatile Facile d’accès Facile à mettre en place Robuste Developer Friendly4© OCTO 2012
  5. 5. Application orientée Au-delà de 10 To en ligne, les Stockage Au-delà de 1 000 architectures « classiques » transactions/seconde les nécessitent des adaptations architectures « classiques » logiques et matérielles très Stockage nécessitent des adaptations importantes. distribué logiques et matérielles très Share importantes. nothing UniversFaireFlux orientée glisserProcessing vers lespace réservé ou Application limage Event Stream « standard » XTP Application orientée SGBDR, Transactioncliquer sur licône pour lajouter évènementiel Serveur d’application, ETL, ESB Au-delà de 1 000 Au-delà de 10 threads/Core évènements/seconde, les CPU, la programmation Programmation architectures « classiques » séquentielle classique atteint parallèle nécessitent des adaptations ses limites (IO). logiques et matérielles très importantes. Application orientée Calculs5© OCTO 2012
  6. 6. Application orientée Stockage MongoDBFaire glisser limage vers lespace réservé ou orientée Application orientée Flux Univers Application Transaction « standard »cliquer sur licône pour lajouter évènementiel Application orientée Calculs6© OCTO 2012
  7. 7. Cas d’usage « Analytics » Contexte : un site de presse en ligne veut construire un paywall Enjeu : Etre capable d’agréger 67 M de lignes de CSV (soit 10 Go), avec un temps de développement minimum 5 épreuves imposées : insertion – modification – réconciliation – double agrégation – export Ma contrainte : je ne suis pas DBA !7© OCTO 2012
  8. 8. Amélioration en 3 phases Développement initial en ½ journée Amélioration 1 : faire l’indexation après l’insertion Réduction de 30% du temps de traitement Amélioration 2 : Modifier les données directement à la source Réduction de 50% du temps de traitement Amélioration 3 : Changement d’infrastructure8© OCTO 2012
  9. 9. Notre benchmark Configuration serveur RHEL5 Debian instance "m2.2xlarge" sous 16Go de RAM (8 dispo) 24Go de RAM RHEL6 8 CPU 8 CPU 32Go (35 visible dans le Disque Dur 100Go SSD 70Go top) 4 CPU stockage EBS 300Go Etapes du traitement import des 67 000 000 lignes 1h15 30 mn 55 mn Indexation 1h05 20 mn 40 mn Réconciliation des données 10h 3h30 8h30 Agrégations de préparation Agrégations interrompu au bout de 26h, pas fait, loin davoir fini... manque despace disque 14h009© OCTO 2012
  10. 10. Doggy Bag Insérer puis indexer Modifier plutôt les fichiers sources plutôt que les données insérées Avoir un disque dur volumineux et rapide Avoir le plus de RAM possible10© OCTO 2012
  11. 11. Des questions ? ahuon@octo.com11© OCTO 2012

×