Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

XebiConFr - 15 - Apache Mesos, ou comment exploiter les ressources de votre datacenter ?

887 views

Published on

Apache Mesos est le système d'exploitation du datacenter. Alors que les architectures microservices prennent leur essort, vous seriez en droit de vous demander comment faire pour optimiser l'exploitation des ressources de votre datacenter.

La virtualisation a permis de réduire les coûts liés à l'infrastructure en mutualisant les ressources. Il est maintenant possible de créer une machine virtuelle en quelques minutes. Les architectures microservices permettent de redimensionner le nombre de services au plus près des besoins et les quelques minutes de déploiement/provionning de la VMs ne permettent pas de tirer partie des promesses des architectures microservice. Mais alors, comment faire ? Venez découvrir comment Mesos, Marathon et Docker vous permettent d'exploiter au mieux les ressources de votre Datacenter.

La vidéo de la conférence est à retrouver sur : http://www.xebicon.fr/programme.html

Published in: Software
  • Be the first to comment

XebiConFr - 15 - Apache Mesos, ou comment exploiter les ressources de votre datacenter ?

  1. 1. Mesos Apache Mesos, ou comment exploiter les ressources de votre datacenter ? #XebiConFr Jérôme Doucet Jean-Pascal Thiery
  2. 2. #XebiConFr Bonjour Mesos
  3. 3. #XebiConFr Histoire : l’avant Mesos • Les grands du Web utilisent le cloud comme solution élastique • Dés qu’un besoin de ressource se présente => Création de VM • Twitter constate que seul 10% de leurs ressources facturées sont réellement utilisées
  4. 4. #XebiConFr Histoire : La genèse Florian Leibert Benjamin Hindman Tobi Knaup 2010 : incubator 2013 : top-level 2009
  5. 5. #XebiConFr Mesos, dans les grandes lignes • Clustering générique • Interface de partage de ressources • Support d’applications distribuées
  6. 6. #XebiConFr Cas d’usage • Toutes applications distribuées • Augmenter la densité applicative Mesos Appli distribuée
  7. 7. #XebiConFr REX Mesos Avant Mesos : • QA : 843 composants sur 400 serveurs • Prod : 843 composants sur 700 serveurs Après Mesos : • QA : 1503 composants sur 39 serveurs 1,2 composants / serveurs 12,5 composants / serveurs X 10 Sources : REX HubSpot sur Singularity
  8. 8. #XebiConFr Probléme La vie ce n’est pas ça :
  9. 9. #XebiConFr Hum Hum… La vie c’est ça :
  10. 10. #XebiConFr Sous le capot Mesos
  11. 11. #XebiConFr Partage de ressources Master Slave Slave Slave Slave cpu: 2 mem: 2048 cpu: 4 mem: 16384 cpu: 2 mem: 4096 cpu: 32 mem: 131072
  12. 12. #XebiConFr Framework Scheduler Lance des tâches ( ) Executor Exécute les tâches Maintient le journal de ressources Relaie les tâches aux slaves Mesos Master
  13. 13. #XebiConFr Place de marché Executor Master Slave Slave Scheduler Enregistrement Évènements / Offres
  14. 14. #XebiConFr Executor Master Slave Slave Scheduler Tâches Évènements / Offres Place de marché
  15. 15. #XebiConFr Mesos lave plus blanc • Ressources arbitraires par slave • Intégrées dans les offres • Tags pour donner du contexte
  16. 16. #XebiConFr Go production ? Toile de tente ou parachute ?
  17. 17. #XebiConFr DevOps tu seras
  18. 18. #XebiConFr Points d’attention • Mesos master • Scheduler
  19. 19. #XebiConFr Single point of truth
  20. 20. #XebiConFr Architecture pour de vrai Master Slave Slave Slave Slave Slave MasterMaster Stand By Stand By Zookeeper
  21. 21. #XebiConFr Architecture pour de vrai Master Slave Slave Slave Slave Slave MasterMaster Stand By Stand By Scheduler Scheduler Stand By Zookeeper
  22. 22. #XebiConFr Une dernière chose Mais où sont déployé(e)s : • mes applications ? • mes logs ? • mes données ? Service discovery Centralisation des logs Système de fichier distribué
  23. 23. #XebiConFr Mesos et son écosystème
  24. 24. #XebiConFr Mesos, seul.
  25. 25. #XebiConFr L’écosystème Mesos
  26. 26. #XebiConFr Framework : SDK
  27. 27. #XebiConFr Framework : Les acteurs Scheduler • Est notifié par le master de la mise à disposition de ressources. • Demande l’exécution de tâches au master. Executor • Réalise les taches soumises par le master.
  28. 28. #XebiConFr Cron
  29. 29. #XebiConFr Chronos
  30. 30. #XebiConFr Init, SystemD
  31. 31. #XebiConFr Marathon
  32. 32. #XebiConFr Marathon
  33. 33. #XebiConFr Marathon Déploiement élastique Haute disponibilité Système d’évènementsAPI REST Service Discovery
  34. 34. #XebiConFr Un cas d’usage
  35. 35. #XebiConFr Mesos : orchestrateur de Micro-services
  36. 36. #XebiConFr Mesos : orchestrateur de Micro-services Mesos • État des ressources disponibles sur le cluster Docker • Isolation des services Marathon • Monitoring technique et applicatif des services • Cartographie des services • Déploiement automatique des services Auteur aujourd’hui, 11:56 peut être mettre les logos plutôt que d’écrire Messos, docker et marathon
  37. 37. #XebiConFr Mesos, Jenkins et Docker Mesos • État des ressources disponibles sur le cluster Docker • Isolation des Jobs Jenkins • Execution des Jobs
  38. 38. #XebiConFr En conclusion ? • Un must have pour : • Optimiser les ressources d’un cluster • Les applications distribuées • Mais : • Ne fait pas tout
  39. 39. #XebiConFr Des questions ?
  40. 40. Mesos Apache Mesos, ou comment exploiter les ressources de votre datacenter ? #XebiConFr Jérôme Doucet Jean-Pascal Thiery

×