Full Stack Docker CI for Stability and Scalability

268 views

Published on

Slides for the presentation made at Docker and DevOps Meetup Bangalore on 30th April 2016 - http://www.meetup.com/Docker-Bangalore/events/230016388/

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
268
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Full Stack Docker CI for Stability and Scalability

  1. 1. 20162016 IBM and Docker TechnologyIBM and Docker Technology April 30th | Bangalore Full stack docker CI for  stability and scalability IBM Systems and Development Labs
  2. 2. 2 Self bragging! A geographically distributed team working on container  technology with special focus on Power Platform. End to end technology development right from the  firmware, Linux Kernel, Core Docker, Container Cluster  management using mesos, kubernetes etc. Maintenance of Continuous Integration frameworks in  the community for IBM Platforms. Platform enablement and platform feature  differentiation development for the community.
  3. 3. 3 The shallow truth! Running docker is more than just ensuring the docker daemon  functional sanity. Multiple software components are involved with varied  characteristics. ­ Linux Kernel, toolchain, file systems  etc...  Changes in lower stack and impact on eventual scalibility  limits of a system not necessarily limited to docker. How do we stay sane amongst all the chaos? 
  4. 4. 4 Now showing! An overview of the complete technology stack involving  docker development and integration. A brief look at various scalability/stability test  suites run via a continuous integration environment. Innovation resulting from running scalability tests. 10k containers inside a BOX – Yes we aren't  kidding!! :)
  5. 5. 5 Karma! Kernel LTP (container)tests ppc64le, x86   ppc64le, x86    HardwareHardware ppc64le, x86_64ppc64le, x86_64 Architecture Dependent Kernel CodeArchitecture Dependent Kernel Code System Call Interface LTP syscall tests Toolchain / User space Tools &Libs  golang tests,gcc,glibc tests   Docker                                               Integration tests/scalability tests/workload benchmarks cgroups namespace chroots LSM User  Space Kernel  Space CI runs for full stack stability and scalability  Help identify and fix issues across the docker stack – kernel,  toolchain, docker, network etc.
  6. 6. 6 Phases of doom – or the mother of invention? Docker on  POWER  Operational 1K containers  on POWER 2500  Containers 4096  Containers  Ulimit issues  Linux kernel limit  on number of ports  (1K)  Recompile docker  with 50,000  threads  Optimized  splitstack with  gold linker  Increase  ptys >4k  10 thousand  containers  Kernel changes to  minimize  container start  time  After several  thousand  containers it  takes about 22  seconds to start  a new one • Gcc­go, go  tools (cgo)  support • Ubuntu  packages  Kernel recompile  to increase ports  Spilit stack  prototype  Go runtime limit  on number of  threads to 10,000  Each container  has 3 threads
  7. 7. This demo showcases the scalability/performance runs for multiple  blogbench and wordpress containers. Test environment setup is made to scale upto 10K containers and  beyond. Flow: – Latest Docker master binary installed. – Run container benchmark suite – Periodically collect perf. Metrics and profiling data for  analysis.  Demo Overview
  8. 8. The bibliography! Docker at insane scale on IBM Power Systems ­ https://goo.gl/ZIeAe9 IBM POWER8 with Docker: Delivers Superior Cloud Performance ­ http://goo.gl/m0qwn0 Location of Docker Master Binary for various platforms ­ https://master.dockerproject.org/ IBM and Docker ­ https://www.docker.com/IBM Setup Continuous Delivery for containers on IBM Bluemix ­ https://goo.gl/PqKGLJ
  9. 9. Thank You
  10. 10.           Backup

×