와탭랩스에서 발표하신 "쿠버네티스 운영환경에서의 모니터링" 자료입니다.

1. Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
2019.06.20
쿠버네티스
운영환경에서의
모니터링
(주)와탭랩스

2. 목
차
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
1. Microservices의 도래
2. 모니터링의 변화
3. Kubernetes Infra Monitoring
4. Microservice Monitoring

3. - 3 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Why microservice?
1.Microservice 의 도래
증가하는 시스템 복잡도
Monolithic Architecture 를 분할 하는 시도

4. - 4 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Why microservice?
1.Microservice 의 도래
증가하는 시스템 복잡도, Monolithic Architecture 를 분할 하는 시도
팀의 역할 분할 및 독자적인 역량 조절 가능
Monolithic Microservices

5. - 5 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Kubernetes
1.Microservice 의 도래
Microservices 의 시도와 더불어 CI 관점에서 Container화 하려는 움직임
Container 들을 Orchestration 해주는 Tools 들의 경쟁
CI / CD
Container
Orchestration

6. - 6 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Why containers?
1.Microservice 의 도래
Infrastructure
Os
Libraries Libraries
DependenciesDependencies
DatabaseWeb server Server Code Orchestration
Compatibility/Dependency
Long setup Time
Differenct Dev/Test/Prod Environments

7. - 7 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Monolithic monitoring
2. Monitoring 으l 관점 변화
커다란 인프라 시스템의 Infra 정보 분석
하나의 서비스에 대한 Service 정보 분석

8. - 8 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Setup Kubernetes Cluster - Bare Metal
1.Microservice 의 도래
Master Nodes Worker Nodes Worker Nodes
docker docker docker
kubeadm kubeadm kubeadm
Initialize
Pod Network
Join to Master Join to Master
1
2
3
4
5

9. - 9 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Kubernetes monitoring
2. Monitoring 으l 관점 변화
Master Nodes
Container
App
Container
App
Container
App
Worker Nodes
Container
App
Container
App
Container
App
Woker Nodes
Container
App
Container
App
Container
App
쿠버네티스 마스터 : Service, POD, 계정, 보안과 관련된 정보 모니터링
호스트(노드) : 호스트의 CPU, MEM, DISK, Network, OS에 대한 모니터링
컨테이너 : 각각의 컨테이너가 사용 가능한 범위의 리소스(CPU, MEM, DISK, NETWORK.. )등의 모니터링
어플리케이션: 컨테이너 안에서 구동되는 서비스 되는 어플리케이션의APM 이 필요하다.

10. - 10 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
microservice monitoring
2. Monitoring 으l 관점 변화
전체적인 흐름에 대한 연결 관계를 파악해 문제점 부분을 찾아내는 상황 발생
Team, Service 별 서비스와 관련된 지표들의 분석 필요
Master Nodes
Container
App
Container
App
Container
App
Worker Nodes
Container
App
Container
App
Container
App
Woker Nodes
Container
App
Container
App
Container
App

11. - 11 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
실시간 overview 관점
2. Monitoring 으l 관점 변화
Master Nodes Worker Nodes Woker Nodes
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App

12. - 12 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
컨테이너 맵
활성화된 Node 들의 정보와 Node 내에서 서비스 중인 POD 들을 실시간으로 보여주며
CPU 사용량을 기준으로 문제의 Node 와 Container를 구분해 낼 수 있습니다.
관심있는 Node 및 Container를 선택해서 상세 정보를 제공합니다.
3. Kubernetes Monitoring
Node 이름
컨테이너
갯수
Pod
Pod Pod
비활성화된 container
활성화된 container
CPU > 90% CPU > 80%
NODE CPU 사용률
Node, Image, Pod 등의 기준으로 Group 분류 가능
level2 단위로 분류 가능 원하는 정보만 Filter 가능

13. - 13 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
컨테이너 맵 - 기능
이벤트 - 상단에 시간별 이벤트를 확인할 수 있는 타임라인이 있어 최근 시간에 어떤 일이 발생 했는지 확인할 수 있습니다.
노드 및 컨테이너 - 마우스 클릭으로 해당 정보와 관련된 정보를 볼 수 있는 메뉴가 보여져 손쉬운 접근이 가능합니다.
3. Kubernetes Monitoring
실시간 이벤트 확인. 세부정보 확인 가능
노드 관련 메뉴
Container 관련 메뉴와
Pod 관련 메뉴가 분리되어
Container 의 세부 정보를
확인할 수도 있으며
Pod의 집합에 관련된 정보를
확인할 수도 있음.

14. - 14 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
컨테이너 맵 - 이벤트 확인
컨테이너 맵은 실시간 현재의 상황만을 파악하지만 이전 시간대에 어떤일이 발생했는지 확인하기 어려움
상단의 이벤트 타임라인은 현재 및 과거에 발생한 이벤트 들을 Level 별로 나누어 표기되어 한눈에 확인 할 수 있음
이벤트를 클릭하면 해당 시간대에 발생한 이벤트를 순서대로 확인 가능( 휠-확대축소, 시간 이동 가능 )
3. Kubernetes Monitoring

15. - 15 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
성능요약
쿠버네티스의중요 지표들을 표시해 줍니다.
Container, Image, Node, Service들의 갯수를 표시해 주며
시스템이 증가되는 것에 대비하여 문제가 생기는 중요 포인트들을TOP으로 표기해줍니다.
3. Kubernetes Monitoring

16. - 16 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Kubernetes - Master Resource
3. Kubernetes Monitoring
Master Nodes
Container
App
Container
App
Container
App
Worker Nodes Woker Nodes
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App

17. - 17 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
쿠버네티스 마스터
쿠버네티스를관장하는 마스터에서 확인이 가능한 정보들 입니다.
Daemonset, Deployments, Ingress, Node, Pod, Persistent Volumes, Replicaset, Service, Events 등의 정보를 조회 할 수 있습니다.
3. Kubernetes Monitoring
Daemonset
Deployments
Node
Pod
Service

18. - 18 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
쿠버네티스 마스터 구성정보
Deployments, Daemonset… 등의 Cluster 의 정보들의 관계를 토폴로지 뷰를 통해 확인이 가능함
3. Kubernetes Monitoring
Master 에서 설정 가능한 정보들을 토글을 통해 원하는
정보만 관계도를 볼수 있음
설정 정보 확인 가능
연결관계 확인 가능

19. - 19 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Kubernetes - Worker Node Resource
3. Kubernetes Monitoring
Master Nodes
Container
App
Container
App
Container
App
Worker Nodes Woker Nodes
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App

20. - 20 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
노드 목록 - 상세 정보
노드와 관련된 리소스 정보들을 상세히 확인 할 수 있습니다.
노드에 활성화된 컨테이너들의리소스 정보 또한 확인이 가능합니다.
3. Kubernetes Monitoring
Node 선택시에 상세 Resource 확인
Node 안에서 활성화된 Container 들의 Resource

21. - 21 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Kubernetes - Worker Node Resource
3. Kubernetes Monitoring
Master Nodes Worker Nodes Woker Nodes
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App

22. - 22 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
컨테이너 목록
활성화 중인 container 들의 리소스 정보를 확인 할 수 있으며 다중선택을 통해 리소스 비교 및 기간 조회로 상태를 확인 할 수 있습니다.
3. Kubernetes Monitoring

23. - 23 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
컨테이너 카운터
Container에게서 확인 할 수 있는 Resource 들을 chart 로 확인 할 수 있음
기간별로 확인이 가능하며 Container map 에서 Container를 선택해서 확인 할 수 있음
3. Kubernetes Monitoring

24. - 24 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
컨테이너 볼륨
노드와 컨테이너에 연결된 볼륨 정보를 확인할 수 있습니다.
3. Kubernetes Monitoring

25. - 25 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Kubernetes - Application Resource
4. Microservice Monitoring
Master Nodes
Container
App
Container
App
Container
App
Worker Nodes Woker Nodes
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App

26. - 26 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
에이전트 목록
노드 에이전트의 환경 정보 및 설정, 로그들을 확인할 수 있습니다.
서비스 되고 있는 어플리케이션들의정보를 확인 할 수 있습니다.
4. Microservice Monitoring

27. - 27 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
어플리케이션 카운터
선택된 Pod(service) 별로 Resource 정보를 기간별로 조회해 볼 수 있음
TPS, 응답시간, CPU 사용량, 트랜잭션 URL, SQL등의 추세를 서비스 별로 확인 할 수 있음
4. Microservice Monitoring

28. - 28 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
히트맵 트랜잭션
Pod(Service) 별 히트맵을 확인 할 수 있어 Micro service 에서 역할별 서비스를 분할해서 트랜잭션의 분포를 볼 수 있음
관리 영역별로 서비스를 분할 해서 확인 할 수 있으므로 느려진 트랜잭션을 찾는데 시간을 더욱 단축 할 수 있음
4. Microservice Monitoring
X축: 시간 / Y축: 트랜잭션 완료까지의
소요시간
정상 트랜잭션: 청색 계열
에러 트랜잭션: 적색 계열
트랜잭션 밀도가 높을 수록 짙은 색상

29. - 29 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
쿠버네티스 토폴로지 개요
애플리케이션집합 단위에 따른 토폴로지를 제공하여, 규모에 따라 활용가능한 토폴로지 셋을 제공합니다.
프로젝트 범위에서 단위 애플리케이션컨테이너를 중심으로 표현하는 인스턴스 토폴로지, 복수의 애플리케이션컨테이너 간 관계를 표현하는 애플리케이션
토폴로지, 애플리이션 리플리카셋 간 관계 정보를 표현하는 그룹 토폴로지, 멀티 프로젝트용 통합 토폴로지를 제공합니다.
애플리케이션
그룹
(리플리카셋/리플리케이션 컨트롤러)
쿠버네티스 프로젝트
애플리케이션 토폴로지
통합 토폴로지
그룹 토폴로지
4. Microservice Monitoring

30. - 30 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
토폴로지 표현 정보
애플리케이션및 애플리케이션그룹간의 호출 관계, 데이터베이스및 HTTP 아웃바운드 호출 정보를 제공합니다.
토폴로지를 통해 사용자는 전체 애플리케이션간의 호출 관계와 애플리케이션간의 부하량 및 에러 발생 비중을 시각적으로 파악 할 수 있습니다.
애플리케이션
및 그룹
프로젝트, 애플리케이션 그룹, 애플리케이션 , 데이터베이스 , HTTP 호출대상
외부 호스트, 외부 모듈(애플리케이션 호출자)
호출 정보
애플리케이션 및 그룹 간 호출 정보
• 평균 응답시간 - 5초간의 노드 간 트랜잭션 또는 호출 내역의 응답시간
합계를 총 건수로 나눈 정보
• 건수 - 5초간의 노드 간 트랜잭션 또는 호출 내역의 총 건수 (에러 건수를
포함)
• 에러 - 5초간의 노드 간 트랜잭션 또는 호출 내역 중 총 에러 건수
• 액티브TX - 노드 간 트랜잭션 또는 호출 중 현재 진행 상태의 건수
• 패치 시간 - 5초간의 DB 호출 내역의 레코드 취득 시간 총합
• 패치 건수 - 5초간의 DB 호출 내역의 레코드 취득 건수 총합
4. Microservice Monitoring

31. - 31 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
마이크로 서비스 - Distributed Tracing
4. Microservice Monitoring
Master Nodes
Container
App
Container
App
Container
App
Worker Nodes Woker Nodes
Container
App
Container
App
Container
App
Container
App
Container
App
Container
App

32. - 32 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
멀티 서비스 대쉬보드
서비스 별로 각각의 대쉬보드를 통해서 Micro service 안에서 진행되고 있는 상태를 서비스 별로 구분해서 볼 수 있는 대쉬보드입니다.
각 서비스별 현재 상황을 감지할 수 있어 어떤 서비스에서 시간이 더 걸리고 장애가 발생 되는지를 확인 할 수 있습니다.
4. Miroservices Monitoring
애플리케이션애플리케이션
front api
Petbang
프로젝트
front
POD
api
POD

33. - 33 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
마이크로 서비스 - 멀티 프로젝트 트랜잭션 연계 분석
Pod 단위의 분산 애플리케이션 환경에서 트랜잭션의 API 호출 관계를 추적할 수 있습니다.
호출 관계에 있는 하위 트랜잭션의 응답시간도 가시화하여 제공하므로, 지연 구간을 쉽게 특정할 수 있습니다.
4. Miroservices Monitoring
지연 구간 특정
최초 진입점 기준으로 응답시간의 지연을 유발한
애플리케이션을특정

34. - 34 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
서비스 별 대쉬보드
APM 분석 대쉬보드를 Container 별, POD 별 , Node 별 구분을 통해서 데이터 조회가 가능합니다.
서비스 별로 시각화된 차트를 제공하여 서비스 및 시스템의 정확한 현재 상태를 담당자에게 직관적으로 인지 시킬 수 있음
컨테이너, Pod, Node 별 선택으로 관심사에 Focus 하여 정보를 찾을 수 있음
4. Miroservices Monitoring
컨테이너 각각으로 선택
쿠버 노드별로 선택
Pod 별 선택

35. - 35 -
Copyright © 2019 Whatap – Developed by WhaTap Labs Inc.
Important of apm
4. Miroservices Monitoring
Function a Function b Function c
Service a Service a Service a Service a
Monolithic
Microservices
code
Find Delay Code
Nodes Nodes Nodes Nodes Nodes
Low Cost