[213]monitoringwithscouter 이건희

1. Gunhee Lee
SCOUTER commiter
나만의 성능 모니터링 만들기
APM을 구현하는 기술과
오픈소스 APM Scouter의 고급 활용 기법

2. 이건희 – 그분은 아닙니다.
LG CNS s/W architect
LG CNS APM – TunA 개발리더
OSS APM Scouter Co-founder & commiter
KOSSLab 3기 - 오픈소스프론티어
그래서 구글서 검색 안됨

3. - APM은 어떻게 만들어지나, 구현하는 기술 ?
- Scouter 를 통한 어플리케이션 모니터링
- Scouter 고급활용: 플러그인
Runtime에서 메소드 아규먼트 값 확인하기
- 플러그인을 통해서 나만의 모니터링 시스템 만들기
이야기 할 것

4. ??
CPU 응답시간 처리량
이건 뭐…

5. ??
CPU 응답시간 처리량
이건 뭔가 좀 이상하다…

6. 숫자들
Visualization
-> 성능 메트릭
??

7. 이것들은 결과일 뿐…
??

8. 원인을 모를때 우리는 이런
일들을 하지요…
??

9. RESTART !
??

10. 그럼 왜 ???
원인이 뭐냐!
??

11. Application performance management
성능 메트릭 + 원인을 찾기위한 𝛼
APM 이란?

12. APM
Active Service
응답시간 분포도
(XLog)
Profile

13. 어떻게 성능 정보를 수집하는가?
APM을 구현하는 기술

14. BCI (Byte code instrumentation)
- bytecode에 직접 변경을 가해
소스코드의 수정없이 원하는 기능을
삽입할 수 있는 방법
APM을 구현하는 기술

15. methodA() {
(시작시간); // <- BCI
… 원래 코드 …
(end시간-시작시간) // <- BCI
(출력 or 전송) // <- BCI
}
BCI를 통한 Method의 수행 시간 측정

16. 어렵지 않다.
premain() 만 기억하자!
BCI

17. premain()
- premain()은 main() 전에 수행된다.
- 여기서 transformer를 통해 class 변경
BCI

18. Thread name enhancer
http-bio-7 :
뭔가 모자르다…
uri ??
Start time ?? 특정 parameter?
BCI 예제

19. Thread name enhancer
https://github.com/gunlee01/thread-name-enhancer
BCI 예제

20. Runtime java process 에
Thread name enhancer 등을
attach 할수 있는 CLI 방식의 utility
BCI – Bytescope

21. BCI – Bytescope

22. BCI – Bytescope

23. https://github.com/scouter-project/bytescope
BCI – Bytescope

24. Opensource APM
Scouter Basics

25. 아키텍처는? Agent, Collector, Client
WAS
Java Agent
WEB
application
Host Agent
Scouter
Collector
Server
성능 정보 전송
성증정보 수집
Scouter
Client성능정보
요청
SCOUTER

26. SCOUTER

27. Object
Alert
Active Service
CPU
Visitor
Throughput
Elapsed
Heap
XLOG
Active service Top
Today call count
Active speed

28. Application monitoring with scouter
Logic
Logic
Request
Response

29. Application monitoring with scouter
Active Service

30. Application monitoring with scouter
Active Service

31. Application monitoring with scouter
XLOG

32. Application monitoring with scouter
Profile

33. Scouter In Practice
- Scouter Pulse
- Scouter Plugin

34. Pulse is the platform for building
lightweight agent program
for many types of data
you want to enrich with Scouter.
Whether you’re interested in
system performance metrics.
Scouter PULSE

35. Http 프로토콜을 이용한 성능 카운터 수집 I/F
- 숫자로 이루어진 데이터의 수집
Scouter PULSE

36. SCOUTER
Pulse
http/jsonmetric -> 단 두개의 API

37. - register
Scouter PULSE

38. - counters
Scouter PULSE

39. - Pros
Scouter PULSE
- Cons
Simple한 Agent를 아주 쉽게 제작 가능
Http 사용가능한 Any 언어로~
전용 Protocol에 비해 부하 증가
( TCP/Binary <-> HTTP/JSON )

40. - 활용 예시 #1
Scouter PULSE
Redis / Apache HTTPD / HAProxy 등의
perf stat 정보를 scouter로 전송하여 모니터링
- 활용 예시 #2
주요 Business 데이터를 Scouter로 전송하여 모니터링

41. - https://github.com/scouter-project/scouter-pulse
Scouter PULSE
- https://goo.gl/JbDHj7
- PULSE를 활용한 agent 만들기

42. Scripting Plugin – Java agent
Built-in plugin – Collector Server
Scouter Plugin

43. Scouter Plugin
WAS
Java Agent
WEB
application
Scouter
Collector
Server
Scripting
plugin
Built-in
plugin

44. Scripting plugin
WAS
Java Agent
WEB
application
Scripting
plugin
- http service plugin
http의 요청 시작 & 끝
- http call plugin
http client로 원격 서비스 호출시
- capture plugin
지정한 메소드의 시작 & 끝

45. Agent Plugin을 통한 사용자ID 프로파일
Http service plugin
1. 세션에서 user id 획득
String userId =
$req.getSessionAttribute(“userId”);

46. Java Agent – Http service plugin
2. XLog 항목에 id로 추가
$ctx.login(userId);
Agent Plugin을 통한 사용자ID 프로파일

47. Java Agent – Http service plugin
3. Profile에 사용자 정의 문장 기입
$ctx.profile(“Login ID = ” + userId);
Agent Plugin을 통한 사용자ID 프로파일

48. $ctx.login(userId);
$ctx.profile(“### It’s user defined …” + userId);
Agent Plugin을 통한 사용자ID 프로파일

49. Agent Plugin을 통한 Parameter debugging

50. Agent Plugin을 통한 Parameter debugging
A서비스가 가끔 에러가 발생하거나 느려지는데…
파라미터 확인만 되면 해결할 수 있을 듯…
근데 로깅 불가… 재기동 불가…

51. Agent Plugin을 통한 Parameter debugging
Capture plugin
+ hook_args_patterns
+ redefine class

52. Built-in Plugin (Server plugin)
WAS
Java Agent
WEB
application
Scouter
Collector
Server
Scripting
plugin
Built-in
plugin

53. Scouter-Alert-Telegram
Built-in Plugin (Server plugin)
Scouter-Influxdb
Scouter-Alert-Slack
Scouter-Alert-email

54. Influxdb-plugin
https://github.com/scouter-project/scouter-plugin-server-influxdb
성능 카운터를 Influxdb로 전송

55. Influxdb-plugin
Scouter -> InfluxDB -> Grafana
연동해 보기 참고 url
https://goo.gl/fSd8Dd

56. Influxdb-plugin
Demo
http://demo.scouterapm.com:3000
(scouter/scouter)

57. Built-In Plugin 제작
1. scouter.plugin.server 패키지로 시작
2. Method annotation 명시
3. jar로 만든 후 ./lib 디렉토리에 넣는다.
* Dependency
- scouter.common
- scouter.server

58. Built-In Plugin 제작

59. Built-In Plugin 제작
Guide 문서
https://github.com/scouter-
project/scouter/blob/master/scouter.document/main/Plugin-Guide.md

60. Plugin
Service
(Back)
Scouter
Agent
Service
(Back)
Scouter
Agent
Service
(Front)
Scouter
Agent
Service
(Back)
Scouter
Agent
<Http Service Plugin>
1) Req.에서 테넌트ID 식별
-- 프로파일링
<Http Call Plugin>
2) Http Call 헤더에
테넌트 ID 추가
<Http Service Plugin>
3) Http 헤더에서
테넌트 ID 식별
-- 프로파일에 반영
Scouter
Collector
성능정보수집
Apache
Kafka
Legacy
분석계
<Collector Plugin>
4) 테넌트 ID를 포함한
프로파일을 Kafka로 전달
S
t
O
r
m InfluxDB
RDB
Hbase
Legacy
Dashboard
Plugin 활용사례

61. Application 모니터링
문제의 원인으로 접근
Scouter 확장 - Plugin
- debugging, 사용자정의 프로파일
- 다른 오픈소스와 결합, 확장
정리해 보자 !

62. 그리고..
Plugin을 활용하여
Centralized logging / monitoring
물론 Application의 수정 없이…
SCOUTER의 확장

63. 만들고 싶은 것 …
kafka-plugin
elasticsearch-Plugin (xlog, counter)

64. 만들고 싶은 것 …
Redis agent
Kafka agent
Cassandra agent
Nodejs agent
…

65. SCOUTER가 하고 싶은 것
오픈 소스 중심의 통합 모니터링
node.js(w/ express.js)
Apache HTTPD
Redis / memcached
NoSQL(Mongo DB, Cassandra…)
Opensource RDB (Maria, Cubrid…)
Client side monitoring(script error, dom rendering)
…

66. 쉬운것 부터…
다양한 형태의 Contribution을 기다립니다~
매뉴얼
Plugin
간단한 Agent

67. SCOUTER에 기여하기
Github
https://github.com/scouter-project/scouter
Facebook 사용자 모임
https://www.facebook.com/groups/scouterapm

68. 감사합니다
gunlee01@gmail.com