[D2]thread dump 분석기법과 사례

1. Thread

2. dump

3. 분석기법과 사례
구 태 진
2015-05-22

4. 2
대외비
목차
1. 개요
2. 스레드덤프
3. 트러블 슈팅 사례
4. 맺음말

5. 3
대외비
개요
- 통신 기술 발달 및 접근 기기 다양화로 웹서비스의 접근량 증가

6. 4
대외비
개요
- 리소스 사용 극대화는 핵심 경쟁력

7. 5
대외비
개요
Multithreaded

8. Programming
(이론 +

9. 실전 검증)

10. 6
대외비
Multithreaded

11. Programming
개요

12. 7
대외비
개요
Multithread

13. Programming

14. 8
대외비
개요
멀티 스레드 관련 지식을 쌓고 싶은 분은 아래 책들을.

17. 9
대외비
개요
멀티 스레드 관련 지식을 쌓고 싶은 분은 아래 책들을.

20. 10
대외비
개요
멀티 스레드 개발을 하지 않고 있다면?

21. 11
대외비
개요
이미 나 말고 다 멀티스레드 …⋯…⋯
• 내가 사용하고 있는 프레임워크에서 문제
가 발생한다면?
• 내가 사용하고 있는 WAS에서 문제가 발
생한다면?
• 내가 사용하는 라이브러리에서 문제가 발
생한다면?

22. 12
대외비
개요
Thread

23. Dump

24. 13
대외비
스레드덤프
• 분석 방법

25. 14
대외비
스레드덤프
• 스레드 덤프 생성
On

26. Unix

27. :

28. kill -3

29. [PID]
On

30. Window :

31. Ctrl

32. +

33. Break
공통 :

34. jstack [PID]
생성할 땐 반드시 3

35. ~

36. 4장을 연속으로..

37.
문제 상황을 오랫동안 지켜 볼 수 있다면 텀을 두고 생성 하는 것도 좋습니다.

39. 15
대외비
스레드덤프
• 스레드 덤프의 정보

40. 16
대외비
스레드덤프 - 스레드이름
• Thread에 목적에 맞는 이름을 부여하자
- 스레드 이름을 지정하지 않는 경우
Thread-(Number)

41.
- DefaultThreadFactory를 이용하는 경우
pool-(Number)-thread-(Number)

42. 17
대외비
스레드덤프 - 스레드이름
• Thread 객체 이용시
- setName()

43. 메소드 이용하여 설정
(Thread-0

44. - SeverSocket-Handler

45. 127.0.0.1

46. -

47. 127.0.0.1)

48. 18
대외비
스레드덤프 - 스레드이름
• Thread Pool

49. 이용시
- 스레드마다 특징을 가지지 않을 경우
(pool-0-thread-0

50. - SeverSocket-Handler(0))
ThreadFactory를 구현
- FixedThreadPool 이용시
(pool-0-thread-0

51. - SeverSocket-Handler(0/20))

52. 19
대외비
스레드덤프 - 스레드이름
• Thread Pool

53. 이용시
- 스레드마다 특징을 가질 경우
(pool-0-thread-0

54. - SeverSocket-Handler(0)

55. 127.0.0.1

56. -

57. 127.0.0.1)
ThreadFactory에서 Thread할당시 Runnable로 Thread명 변경

58. 20
대외비
스레드덤프 - 스레드아이디
• tid (Java-level

59. thread

60. ID)
- this

61. ID

62. is

63. simply

64. a

65. auto-incrementing

66. long,

67. starting

68. from

69. 1.
• nid (Native

70. thread

71. ID)
- This

72. ID

73. is

74. highly

75. platform

76. dependent.
- On

77. Windows,

78. it's

79. simply

80. the

81. OS-level

82. thread

83. ID

84. within

85. a

86. process.
- On

87. Linux,

88. it's

89. the

90. pid of

91. the

92. thread

93. (which

94. in

95. turn

96. is

97. a

98. light-weight

99.
process).
- On

100. Solaris,

101. it's

102. the

103. thread

104. as

105. returned

106. by thr_self()
- On

107. Mac

108. OS

109. X, it

110. is

111. said

112. to

113. be the

114. native

115. pthread_t value.

116. 21
대외비
스레드덤프 - 스레드 아이디
• 스레드 아이디는 모두 16진수 (

117. 16진수 -

118. 10진수)
- On

119. Window

120. :

121. 계산기를 이용
- On

122. Unix

123. : 쉘명령 이용
10진수 -

124. 16진수 (echo

125. obase=16;10039

126. |

127. bc - 2737)
16진수 -

128. 10진수 (echo

129. $((0x2737))

130. - 10039)

131. 22
대외비
스레드덤프 - 스레드아이디
• tid를 이용하여 정보획득
- ThreadMXBean을 이용하여 ThreadInfo 정보 획득 가능
- JMX

132. 혹은 Rest

133. API등록으로 정보 획득을 가능하게 할 경우 문제 분석에 용이
(tid와 threadId가 다른 경우도 존재하기 때문에 Name으로 찾는 것이 좋음)

137. 23
대외비
스레드덤프 - 스레드아이디
• tid를 이용하여 정보획득
- ThreadMXBean을 이용하여 ThreadInfo 정보 획득 가능
- JMX

138. 혹은 Rest

139. API등록으로 정보 획득을 가능하게 할 경우 문제 분석에 용이
(tid와 threadId가 다른경우도 존재하기 때문에 Name으로 찾는 것도 방법)

143. 24
대외비
스레드덤프 - 스레드아이디
• nid를 이용하여 정보획득
- On

144. Linux

145. :

146. ps ­–mo,

147. ps ­–Elf

148. 이용

149. 25
대외비
스레드덤프 - 상태
• 스레드 상태

150. 26
대외비
스레드덤프 - 상태 (BLOCKED)
• synchronied

151. 27
대외비
스레드덤프 - 상태 (BLOCKED)
• synchronied

152. 28
대외비
스레드덤프 - 상태 (BLOCKED)

153. 29
대외비
스레드덤프 - 상태 (BLOCKED)

154. 30
대외비
스레드덤프 - 상태 (BLOCKED) - DEADLOCK
• synchronied

155. 31
대외비
스레드덤프 - 상태 (BLOCKED) - DEADLOCK
• synchronied

156. 32
대외비
스레드덤프 - 상태 (BLOCKED) - DEADLOCK

157. 33
대외비
스레드덤프 - 상태 (BLOCKED) - DEADLOCK

158. 34
대외비
스레드덤프 - 상태 (WAIT)
• wait
- wait

159. 메소드 실행 시 가지고 있던 모니터를 다 반환
- wait하는 객체를 notify를 하는 코드를 찾아야 한다.

161. 35
대외비
스레드덤프 - 상태 (WAIT)
• wait

162. ­– notify를 이용한 스레드 덤프 예제

163. 36
대외비
스레드덤프 - 상태 (WAIT)

164. 37
대외비
스레드덤프 - 상태 (WAIT)

165. 38
대외비
스레드덤프 - 상태 (WAIT)

166. 39
대외비
스레드덤프 - 상태 (RUNNABLE)

167. 40
대외비
스레드덤프 - 상태 (RUNNABLE)

168. 41
대외비
트러블 슈팅 사례 - #1
1. 장애현상
CPU

169. 사용 및 CPU

170. 로드가 점차적으로 늘어남

171. 42
대외비
트러블 슈팅 사례 - #1
2.

172. 재시작후 스레드 덤프를 주기적으로 생성
- 최초
- CPU

173. 사용률이 높아지는 시점
- CPU

174. 사용률이 30%

175. 이상 올라간 시점

176. 43
대외비
트러블 슈팅 사례 - #1
3.

177. 장애 원인 확인
- 리소스 정리 부분에 예외가 발생할 경우 스레드 Leak발생 확인

178. 44
대외비
트러블 슈팅 사례 - #2
1. 장애 현상
요청이 증가하는 경우 장애가 발생하지는 않지만
응답시간이 눈에 뛰게 느려지는 현상을 경험하게 됨

179. 45
대외비
트러블 슈팅 사례 - #2
2.

180. 스레드 덤프 생성 후 TDA로 분석
스레드 덤프 생성후 BLOCKED상태이거나 WAIT

181. 상태가 많은 스레드가 있는지 확인
1005개의 스레드가 Wait

182. 상태인 것을 확인

183. 46
대외비
트러블 슈팅 사례 - #2
3.

184. 스택트레이스 확인
log4j.Logger에서 Lock을 잡고 있는 것 확인 가능

185. 47
대외비
트러블 슈팅 사례 - #2
4.

186. log4j

187. 설정 확인
5.

188. log4j

189. 도큐먼트 확인

190. 48
대외비
트러블 슈팅 사례 - #3
1. 장애 현상
요청이 증가한 매우 간헐적으로 CPU가 100%로 폭증함.

191.
이후 요청 량이 줄어들어도 CPU

192. 사용량은 줄어들지 않음
재시작후 정상으로 돌아옴

193. 49
대외비
트러블 슈팅 사례 - #3
2.

194. CPU를 많이 사용하는 스레드 확인
ps -mo 명령어를 통하여 cpu를 많이 사용하는 lwp(light

195. weight

196. process)

197. 획득

198. 50
대외비
트러블 슈팅 사례 - #3
3.

199. 16진수로 변경된 Thread

200. Id를 이용하여 스레드 덤프 검색
4.

201. 장애 원인 확인
commons-beanutils의 BEANUTILS-318
(https://issues.apache.org/jira/browse/BEANUTILS-318)버그
WeakHashMap이 동시 접근함

202. 51
대외비
맺음말
스레드 덤프 분석툴
l TDA

203. (https://java.net/projects/tda)
l SAMURAI

204. (http://samuraism.jp/samurai/en/index.html)
※

205. 단,

206. 덤프 분석을 알고 있는 상태로 툴을 사용할 경우 매우 유용하지만,

207. 그렇지 않을
경우 분석이 어렵다는 것은 똑같다.

210. 52
대외비
맺음말
• 사실 스레드 덤프 분석은 코드를 아는 사람이 유리합니다.
• 자주 사용되는 멀티스레드 패턴을 알고 있다면 더욱 좋습니다.

211.
• 문제가 없더라도 가끔 떠보면 좋은 정보를 획득할 수도 있습니다.

213. 53
대외비
이미지 참고
• http://www.upsidelearning.com/blog/index.php/tag/elearning-in-a-multi-
device-world/
• http://www.appliedmaterials.com/nanochip/nanochip-fab-
solutions/december-2013/cover-story-fabs-in-the-internet-of-things-era
• http://en.wikipedia.org/wiki/Amdahl's_law
• http://www.anandtech.com/show/7603/mac-pro-review-late-2013/2
• http://www.ni.com/white-paper/14035/ko/

214. 54
대외비
QA