1.
서비스 모니터링 구현 사례 공유
Realtime Log Monitoring & Analytics Platform – Planet Mon을 지탱하는 기술
허제민, System Software 개발팀, 2016.

2.
1
SK Planet Log 현황 (2016. 8. 18)
• 1일 로그 수집 량
• 30~50 억 건 (3~5 Billion lines)
• Web Access log 10억 건 이상, Application Log 20억 건 이상
• 2~5TB
• 주요 서비스 – Syrup Wallet 10~20억 건, OCB – 1~3억 건
• 수집 대상 서버 수 (agent 설치 서버)
• 전체 서버 7041 대 (일산 843대, 커머스 6198대)
• Log 수집 중인 서버 – 1676 대 (일산 188대, 커머스 1488대)
• 실시간으로 Log를 수집하고 있는 파일 수 – 7370 개
• 적용된 서비스
• OCB, SyrupWallet, SyrupPay, Gifticon, SyrupStore, Syrup Table, Syrup Order, Syrup Style, S
yrup Fashion, Syrup AD, O2O Solution, API Management Platform, FIDO, Search, EventOn
e, 통합쿠폰서비스, OneID, ATMOS, IMPAY, TCloud, TSmartsafe, DMP, PlaceDB, MarketingPl
us…

3.
2
Trend
Modern Log Monitoring & Analytics Platform
• Log 기반 모니터링 - 중앙에서 실시간으로 각 서버의 Log를 수집하고 분석하고 통합 뷰 제공
• Access Log, Application Log, 통합 Log Viewer
• Pattern Alarm, Log Analytics, Visualizations
이미지 출처 - https://dzone.com/articles/getting-started-splunk 이미지 출처 - https://www.sumologic.com/
이미지 출처 - http://www.philipotoole.com/resume/loggly-ui/ 이미지 출처 - https://www.elastic.co/kr/blog/kibana-4-literally

4.
3
Planet Mon (PMon)
SK Planet 전사 서비스 모니터링 플랫폼 https://pmon.skplanet.com/
• Realtime Log Monitoring & Analytics Platform
• Monitoring - Access Log, Application Log, OS System
• Alarm - Pattern Detection, System Metric, Health Check
• Log Viewer - 통합 로그 검색, Tailing

5.
4
Planet Mon 을 지탱하는 기술
Reference Architecture
• ELK (Elasticsearch – Logstash – Kibana)
• www.elastic.co
• Collection
- OS System 정보, Log 파
일
• Preprocessing &Transport
- 데이터를 표준 Format으로 변경하거나
Derived Field 추출과 생성
• Storage & Analytics
- 분산, 확장, 고가용성 보장하는 데이터
저장
- TF-IDF, Aggregation 통계를 동적 생
성
- RESTful API를 통한 QueryDSL 지원
• Visualization
- 시각화를 통한 데이터 분석

6.
5
Planet Mon 을 지탱하는 기술
1. Collection
– 수천대의 서버에서 System Metric과 Log File 데이터를 수집하는 Agent 관리
2. Transport
– Kafka와 Logstash를 활용한 데이터 센터간 안정적인 데이터 전송
3. Log Stream Analytics
– 적정한 기술을 사용한 Log Stream Analytics 서버 개발
– Stream Analytics 결과 기반 실시간 Alarm Detection 서버 개발
4. Storage
– Elasticsearch를 Timeseries DB와 같은 Metric Data 저장소로 사용
– Elasticsearch를 검색 가능한 Log 데이터 통합 저장소로 사용
5. Visualization
– Metric Data기반으로 이미 정의된 다양한 그래프와 Dashboard를 동적으로 생성
– 각 서버의 로그를 통합하여 버벅임 없이 검색할 수 있는 Browser 기반의 Log Viewer

7.
6
Planet Mon 을 지탱하는 기술
1. Collection
– 수천대의 서버에서 System Metric과 Log File 데이터를 수집하는 Agent 관리
LogFileAgent
(CNXLog)
SystemAgent
• Collection
- SystemAgent : System
Metric 정보를 수집하기 위해
collectd 를 관리할 수 있도록
추가 개발
- LogFileAgent : 수집 Log
파일을 감시하기 위해
NXLog에 관리기능과
Kafka 전송 기능을 추가

8.
7
Planet Mon 을 지탱하는 기술
2. Transport
– Kafka와 Logstash를 활용한 데이터 센터간 안정적인 데이터 전송
LogFileAgent
(CNXLog)
SystemAgent
• Collection
- SystemAgent : System
Metric 정보를 수집하기 위해
collectd 를 관리할 수 있도록
추가 개발
- LogFileAgent : 수집 Log
파일을 감시하기 위해
NXLog에 관리기능과
Kafka 전송 기능을 추가
• Transport
- Kafka를 사용하여 센터 내
데이터를 Buffering 하여 제
공
- Logstash를 사용하여 pull
방식으로 데이터를 중앙으
로 전송 하고 최종 데이터를
스토리지에 저장

9.
8
Planet Mon 을 지탱하는 기술
3. Log Stream Analytics
– 적정한 기술을 사용한 Log Stream Analytics 서버 개발
– Stream Analytics 결과 기반 실시간 Alarm Detection 서버 개발
LogFileAgent
(CNXLog)
SystemAgent
ServiceMon
SystemMon
LogMon
AlarmMon
• Collection
- SystemAgent : System
Metric 정보를 수집하기 위해
collectd 를 관리할 수 있도록
추가 개발
- LogFileAgent : 수집 Log
파일을 감시하기 위해
NXLog에 관리기능과
Kafka 전송 기능을 추가
• Transport
- Kafka를 사용하여 센터 내
데이터를 Buffering 하여 제
공
- Logstash를 사용하여 pull
방식으로 데이터를 중앙으
로 전송 하고 최종 데이터를
스토리지에 저장
• Log Stream Analytics
- ServiceMon : access log,
application log 분석
- SystemMon : System Metric
데이터 분석
- AlarmMon : 알람을 전송할지 최종
판단하여 여러 체널로 전송
- LogMon : 원본 Log를 검색이 잘
될 수 있도록 처리 (Multi-Line)

10.
9
Planet Mon 을 지탱하는 기술
4. Storage
– Elasticsearch를 Timeseries DB와 같은 Metric Data 저장소로 사용
– Elasticsearch를 검색 가능한 Log 데이터 통합 저장소로 사용
LogFileAgent
(CNXLog)
SystemAgent
2ndMon
Metric Storage
Indexed Log Storage
ServiceMon
SystemMon
LogMon
AlarmMon
• Storage
- Metric Storage : Time
Series DB 기능으로
Metric 데이터를
aggregation하여 제공
- Indexed Log Storage :
NoSQL 저장소로 원본
Log를 indexing 하여 저장
하고 검색을 제공
• Collection
- SystemAgent : System
Metric 정보를 수집하기 위해
collectd 를 관리할 수 있도록
추가 개발
- LogFileAgent : 수집 Log
파일을 감시하기 위해
NXLog에 관리기능과
Kafka 전송 기능을 추가
• Transport
- Kafka를 사용하여 센터 내
데이터를 Buffering 하여 제
공
- Logstash를 사용하여 pull
방식으로 데이터를 중앙으
로 전송 하고 최종 데이터를
스토리지에 저장
• Log Stream Analytics
- ServiceMon : access log,
application log 분석
- SystemMon : System Metric
데이터 분석
- AlarmMon : 알람을 전송할지 최종
판단하여 여러 체널로 전송
- LogMon : 원본 Log를 검색이 잘
될 수 있도록 처리 (Multi-Line)
- 2ndMon : Batch Job 수행
(service, hourly, daily)

11.
10
LogFileAgent
(CNXLog)
SystemAgent
Planet Mon 을 지탱하는 기술
5. Visualization
– Metric Data기반으로 화려하고 다양한 그래프와 Dashboard를 동적으로 생성
– 각 서버의 로그를 통합하여 버벅임 없이 검색할 수 있는 Browser 기반의 Log Viewer
2ndMon
PlanetMon
Frontend
LogMon
Frontend
Metric Storage
Indexed Log Storage
• Visualization
- PlanetMon Frontend : 서비
스별로 데쉬보드를 확인하고 각
종 알람 설정과 트랜드를 분석 할
수 있도록 제공 함
- LogMon Frontend : 원본 Log
를 통합하여 검색할 수있도록 제
공
• Storage
- Metric Storage : Time
Series DB 기능으로
Metric 데이터를
aggregation하여 제공
- Indexed Log Storage :
NoSQL 저장소로 원본
Log를 indexing 하여 저장
하고 검색을 제공
• Collection
- SystemAgent : System
Metric 정보를 수집하기 위해
collectd 를 관리할 수 있도록
추가 개발
- LogFileAgent : 수집 Log
파일을 감시하기 위해
NXLog에 관리기능과
Kafka 전송 기능을 추가
• Transport
- Kafka를 사용하여 센터 내
데이터를 Buffering 하여 제
공
- Logstash를 사용하여 pull
방식으로 데이터를 중앙으
로 전송 하고 최종 데이터를
스토리지에 저장
ServiceMon
SystemMon
LogMon
AlarmMon
• Log Stream Analytics
- ServiceMon : access log,
application log 분석
- SystemMon : System Metric
데이터 분석
- AlarmMon : 알람을 전송할지 최종
판단하여 여러 체널로 전송
- LogMon : 원본 Log를 검색이 잘
될 수 있도록 처리 (Multi-Line)
- 2ndMon : Batch Job 수행
(service, hourly, daily)

12.
11
PMon Log Stream Analytics
Open Source Solution ?

13.
12
PMon Log Stream Analytics
Open Source Solution ?
요구 사항
• Log Line 별로 기본 통계 추출
- 호스트 단위의 Log Line 에서 특정 값을 찾아서 word count, min, max, sum, avg 하는 수준
- 결과에 대한 실시간 Alarm
• 처리 성능의 수평확장과 안정성이 보장 되어야 함
- Kafka Consumer Cluster
• 운영 편의성
- Kafka Consumer Cluster

14.
13
Planet Mon Log Stream Analytics
적정한 Log Stream Analytics Server 개발
• Opensource 솔루션을 사용하는 것이 맞는 것인가?
• 해결하려는 것에 적절한 가?
• Language, Framework 학습 시간은?
• Production 에서 Service를 제공할 수 있도록 운영 가능한가?
• 자원은 충분 한가?
• 보유 기술 : Kafka Consumer Cluster, Modern Java, Spring Boot
출처 : http://blog.besunny.com/?p=20844
출처 : http://egloos.zum.com/cklist/v/5515377

15.
14
Log Stream Analytics Server
Kafka Consumer Cluster
제공 기능
• Scale-out - Partition의 수만큼 Consumer 수를 늘려가며 병렬로 처리할 수 있다.
• Failover - Consumer가 죽으면 다른쪽 Consumer로 자동으로 보내준다.
• Exactly once - Consumer Group 내 consumer 중 1명에게 1번만 전달 한다.
주의 사항
• Kafka Producer에서 메시지 전송시 순서 보장을 하려면 Message Key 를 동일 하게 지정해서 전송 해야만
한다
• Consumer에 Partition이 할당 되어 전송한다. 누군가 죽거나 추가 되면 그때부터는 다른 Consumer가
Partition을 할당 받게 됨
• Partition 내에는 여러 서버에서 들어온 정보가 혼합 되기때문에 Producer 단위로만 순서가 보장 된다
• 먼저 데이터를 전송했다고 해서 먼저 읽는 것은 아님

16.
15
Log Stream Analytics Server
Modern Java (Java 8 이후)
• Lambda
• x -> f(x)
• Stream 중간에 넣어서 데이터를 가지고 새로운 데이터를 만들면서 처리
• Stream API
• Aggregate operations
• filter, map, limit, reduce, find, match
• sort 후 limit을 사용하여 top 을 구할 수 있음
• [Int, Long, Double]SummaryStatistics
• 숫자형 Stream 에서 바로 min, max, count, sum, average 를 구할 수 있음
• combine 를 사용하여 다른 SummaryStatistics와 쉽게 합칠 수 있음
• 예 - Arrays.asList(9, 10, 3, 4, 7, 3, 4).stream().mapToInt(i -> i*i).distinct().filter(i->i>4) .summaryStatistics()
;
• CompletableFuture
• Lambda와 함께 병렬로 처리할 것 같단하게 수행
• 예 - CompletableFuture<String> future = CompletableFuture.supplyAsync(() ->
longRunningTask(params));

17.
16
Log Stream Analytics Server
Spring Boot
• Actuator
• Http endpoints (Rest API), JMX, remote shell 등을 이용하여구체적인 동작(관리와 모니터링)
으로 변환하는 기능을 말함.
• http://www.slideshare.net/JeminHuh/spring-boot-backend

18.
17
Log Stream Analytics Server
ServiceMon Process
• InputLogLine
• Kafka에서 읽은 데이터를 Host나 Type별로 Line List로 만듬
• KeyTypeExpression
• Derived Field 추출과 동시에 데이터 Type을 지정
• Logstash에서 사용하는 Grok 표기법에서 idea를 얻음
• https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.htm
• KeyTypeExpression 예 : %{id:WORD} [%{logLevel:WORD}] %{date:DATE} %{method:WORD} - %{message:TEXT}
• StatisticsAccumulator
• Derived Field의 Type에 따라 1분단위로 표준 통계 형태로 저장 함
• WORD - value 값 별로 count 함
• TEXT - Statistics 에서는 버리는 거나, Custom 하게 추가로 처리할 Field에 지정 함
• NUMBER - 입력되는 number List 를 수집하고 Aggregation을 통해 통계값을 (min, max, sum, count, avg)을 생성
• DATE – 시간 Format을 인식하여 처리 함
• Output Data
• 1분 단위로 생성된 통계를 활용해 여러가지 최종 Metric Data를 생성 함
• Metric Exporter
• Kafka Producer로 Metric Data를 Type에 지정된 Kafka topic으로 전송
* 로그 데이터 분석 방법 및 장치, 출원 번호 10-2015-0148452
- KeyTypeExpression과 Type별로 표준 통계를 추출하여 데이터를 생성하는 방법에 관한 특허
Input
LogLine
KeyType
Expression
Statistics
Accumulator
Output
DataBuilder
Metric
Exporter

19.
18
Planet Mon Architecture
Kappa Architecture
• http://novoj.github.io/reveal.js/kappa-architecture.html
• Input : Kafka
• Processing : SystemMon, ServiceMon, AlarmMon, LogMon
• Serving : Elasticsearch
• App : PMon Frontend, LMon Frontend

20.
19
기술적 내용이 참 많은데…
PMon 에 관해 참으로 놀랄 만한 개발, 운영 노하우를 보유하였으
나,
그것을 다 설명하기에는 @tech 시간이 너무나 짧다.
- 수천대의 서버에 설치되는 System Metric, Log 수집 Agent 관리 방법
- 데이터 센터간의 안정적인 데이터 전송을 위한 Kafka, Logstash를 활용한 운영 방법
- Timeseries DB 로 사용하는 Elasticsearch 운영 방법
- 일 5TB 로그가 실시간으로 쌓이는 Elasticsearch 운영 방법
- PMon, LogMon Frontend 개발 방법
- Stream Data 처리 이슈 관리
- 정말 너무 많이 들어오면…
- 장애시 데이터를 복구를 할 수 있나?

21.
20
Q & A