Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Scale your docker containers with Mesos


Published on

Scale your docker containers with Mesos, Chronos, Marathon

Published in: Engineering

Scale your docker containers with Mesos

  1. 1. Docker containers at scale with Apache Mesos Distributed Systems Engineer Apache Mesos PMC Timothy Chen @tnachen
  2. 2. Mesoswhat?    Marathon Chronos Demo!
  3. 3. Status quo is static partitioning  and use of virtual machines
  4. 4. Add some virtual machines
  5. 5. Provision Hadoop
  6. 6. Provision a web service
  7. 7. Moar data, moar Hadoop
  8. 8. Mesos let us treat a cluster of nodes...
  9. 9. As one big computer
  10. 10. Not as individual machines Not as VMs
  11. 11. But as computational resources like cores, memory, disks, etc.
  12. 12. 240 million monthly active users 500 million tweets per day Up to 150k tweets per second More than 100TB per day of compressed data
  13. 13. “Mesos is the cornerstone of our elastic compute infrastructure — it's how we build all our new services and is critical for Twitter's continued success at scale. It's one of the primary keys to our data center efficiency.” — Chris Fry, SVP of Engineering at Twitter
  14. 14.   Containerization in Mesos, a brief history
  15. 15. Mesos is...  A top-level Apache project  A cluster resource negotiator  Scalable to 10,000s of nodes  Fault-tolerant, battle-tested  An SDK for distributed apps
  16. 16.  
  17. 17. Mesos for all the things
  18. 18.  Marathon  Mesoswhat? Chronos Demo!
  19. 19. a self-serve interface to your cluster
  20. 20. distributed "init" for long-running services
  21. 21. a private fault-tolerant PaaS
  22. 22. Marathon does it! Start, stop, scale, update apps Nice web interface, API Highly available, no SPoF Native Docker support Fully featured REST API Pluggable event bus Rolling deploy / restart Application health checks Artifact staging
  23. 23.    Chronos Mesoswhat? Marathon Demo!
  24. 24. Introducing Chronos a scheduler for batch and one-off jobs
  25. 25. Distribute a graph of jobs Dependency graph for execution
  26. 26. Features Distributed job scheduler Web interface, API Highly available, no SPoF Native Docker support Easy scheduling with repeating intervals
  27. 27. Chronos  REST PUTchronos-node:8080/scheduler/job/job1 GETchronos-node:8080/scheduler/jobs DELETEchronos-node:8080/scheduler/task/kill/job2
  28. 28.     Demo! Mesoswhat? Marathon Chronos
  29. 29. Thanks! Come and talk to me P.S., we're hiring!