Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
DKOS: Mesos기반의
Container Orchestration
정원천 (hardy.jung)
카카오 클라우드컴퓨팅셀
hardy.jung@kakaocorp.com
왜 Mesos 를 선택했나요?
Mesos 란
Program against your datacenter
like it’s a single pool of resources
Apache Mesos abstracts CPU, memory, storage, ...
일반적인 애플리케이션 배포
Mesos를 이용한 배포
Mesos 아키텍처
Mesos 아키텍처
Marathon
• High Availability
• Stateful apps
• Scaling and fault recovery
• Constraints
• Service Discovery & Load Balanci...
Marathon
Marathon
Marathon
Chronos
• 분산배치
• Task 의존성 정의
• 컨테이너 사용가능
• 성공/실패 내역제공
A fault tolerant job scheduler for Mesos which handles
dependencies ...
Chronos 아키텍처
Chronos
Chronos
DKOS(Datacenter of Kakao OS) 란
DKOS(Datacenter of Kakao OS)는 데이터센터 또는 클라우드
의 모든 시스템을 공유 관리하여 자원을 활용하고 응용프로그
램, 빅데이터 인프라 구축...
DKOS를 이용중인 서비스
DKOS를 이용중인 서비스
DKOS 아키텍처
DKOS 아키텍처
DKOS 아키텍처
DKOS 사용현황
• 사용중인 클러스터 : 400개
• 전체 노드 수 : 4000대
• 전체 컨테이너 개수 : 8800개
• 관리인원 : ?
제공기능
제공기능
• mesos 클러스터 생성
• Custom agent 추가
제공기능
제공기능
• SSL offloading
• 클러스터 상태 알람
제공기능
Mesos agent
Service Discovery by Marathon-lb
Container
Marathon-lb
haproxy
Marathon Master Mesos agent
Container
Container...
Marathon-lb 현재 이슈
Hypervisor
Marathon-lb VM
VM
VM
서비스용 아키텍처
물리 LB
Marathon lb
Marathon lb
Marathon lb
Mesos agent
Mesos agent
Mesos agent
Mesos agent
Mesos agent
containerc...
DKOS
Continuous Deploy
Docker
Registry
github marathon Mesos
Tag
Push
Builder
모니터링 with KEMI
• Mesos 기본 stats은 현 상태만 알 수 있다.
• 에이전트
• 시스템 메트릭
• 로드밸런서
• 로드, haproxy response time
• 그룹 단위 알람
DKOS 로깅 with KEMI
• 용량 : TB
• ElasticSearch를 통한 검색
• 1년 보관
• 실시간 Tailing
• SQL 쿼리 기반 알람
We are hiring
• https://careers.kakao.com/jobs
• ccc@kakaocorp.com
Q&A
감사합니다
Upcoming SlideShare
Loading in …5
×

Dkos(mesos기반의 container orchestration)

1,677 views

Published on

다음메일, 카톡 게임탭, 카카오주문하기 등의 서비스가 올라가 있는 mesos 기반의 container orchestration 서비스인 DKOS에 대해 소개합니다. 수천개의 노드를 어떻게 구성해서 사용하고 있는지에 대한 아키텍처를 설명합니다.

Published in: Software
  • Be the first to comment

Dkos(mesos기반의 container orchestration)

  1. 1. DKOS: Mesos기반의 Container Orchestration 정원천 (hardy.jung) 카카오 클라우드컴퓨팅셀 hardy.jung@kakaocorp.com
  2. 2. 왜 Mesos 를 선택했나요?
  3. 3. Mesos 란 Program against your datacenter like it’s a single pool of resources Apache Mesos abstracts CPU, memory, storage, and other compute resources away from machines (physical or virtual), enabling fault-tolerant and elastic distributed systems to easily be built and run effectively.
  4. 4. 일반적인 애플리케이션 배포
  5. 5. Mesos를 이용한 배포
  6. 6. Mesos 아키텍처
  7. 7. Mesos 아키텍처
  8. 8. Marathon • High Availability • Stateful apps • Scaling and fault recovery • Constraints • Service Discovery & Load Balancing • Event Subscription • Metrics • REST API A container orchestration platform for Mesos and DC/OS
  9. 9. Marathon
  10. 10. Marathon
  11. 11. Marathon
  12. 12. Chronos • 분산배치 • Task 의존성 정의 • 컨테이너 사용가능 • 성공/실패 내역제공 A fault tolerant job scheduler for Mesos which handles dependencies and ISO8601 based schedules.
  13. 13. Chronos 아키텍처
  14. 14. Chronos
  15. 15. Chronos
  16. 16. DKOS(Datacenter of Kakao OS) 란 DKOS(Datacenter of Kakao OS)는 데이터센터 또는 클라우드 의 모든 시스템을 공유 관리하여 자원을 활용하고 응용프로그 램, 빅데이터 인프라 구축의 유연함과 확장성을 제공을 하는 마 치 하나의 컴퓨터 위에 올려진 OS
  17. 17. DKOS를 이용중인 서비스
  18. 18. DKOS를 이용중인 서비스
  19. 19. DKOS 아키텍처
  20. 20. DKOS 아키텍처
  21. 21. DKOS 아키텍처
  22. 22. DKOS 사용현황 • 사용중인 클러스터 : 400개 • 전체 노드 수 : 4000대 • 전체 컨테이너 개수 : 8800개 • 관리인원 : ?
  23. 23. 제공기능
  24. 24. 제공기능 • mesos 클러스터 생성 • Custom agent 추가
  25. 25. 제공기능
  26. 26. 제공기능 • SSL offloading • 클러스터 상태 알람
  27. 27. 제공기능
  28. 28. Mesos agent Service Discovery by Marathon-lb Container Marathon-lb haproxy Marathon Master Mesos agent Container Container Mesos agent Container Container Mesos Master Event subscription 운영 mesos 사용자 mesos
  29. 29. Marathon-lb 현재 이슈 Hypervisor Marathon-lb VM VM VM
  30. 30. 서비스용 아키텍처 물리 LB Marathon lb Marathon lb Marathon lb Mesos agent Mesos agent Mesos agent Mesos agent Mesos agent containercontainer DNS RR Software lb DKOS
  31. 31. DKOS Continuous Deploy Docker Registry github marathon Mesos Tag Push Builder
  32. 32. 모니터링 with KEMI • Mesos 기본 stats은 현 상태만 알 수 있다. • 에이전트 • 시스템 메트릭 • 로드밸런서 • 로드, haproxy response time • 그룹 단위 알람
  33. 33. DKOS 로깅 with KEMI • 용량 : TB • ElasticSearch를 통한 검색 • 1년 보관 • 실시간 Tailing • SQL 쿼리 기반 알람
  34. 34. We are hiring • https://careers.kakao.com/jobs • ccc@kakaocorp.com
  35. 35. Q&A
  36. 36. 감사합니다

×