1. FFmpeg을

2. 이용한
Android

3. 동영상

4. 플레이어

5. 개발
NHN
동영상서비스개발2팀
김대웅
12년 5월 26일 토요일

6. 목차
Android에서의

7. Multimedia
FFmpeg
FFmpeg

9. Android
FFmpeg을

10. 이용한

11. Android

12. 동영상

13. Player
Shader를

14. 사용한

15. 고성능(?)

16. Player
마무리
12년 5월 26일 토요일

17. Android에서의

18. Multimedia
Android
Mobile

19. OS,

20. Library,

21. Application

22. Framework

23. 등을

24. 포함하는

25.
Application

26. Stack
Application

27. 개발은

28. Java로,

29. 성능을

30. 요하는

31. 작업은

32. native로
Android에서의

33. Multimedia
대부분의

34. 작업은

35. native에서

36. 이루어짐

37.
Framework:

38. OpenCore,

39. Stagefright
12년 5월 26일 토요일

40. Android에서의

41. Multimedia
Codec
순수

42. Multimedia

43. data는

44. 완전

45. 크다!

46. 압축이

47. 필요하다!
HOw?

48. Codec을

49. 이용해서
Audio

50. Codec:

51. MP3,

52. Vorbis,

53. 등
Video

54. Codec:

55. MPEG-4

56. AVC(H.264),

57. WMV9,

58. 등
12년 5월 26일 토요일

59. Android에서의

60. Multimedia
Container

61. (Digital

62. Container

63. Format)
압축된

64. Multimedia

65. data
압축된

66. data
meta

67. data
구조화된

68. 저장

69. 방식이

70. 필요:

71. .mp4,

72. .wmv

73. 등
12년 5월 26일 토요일

74. Android에서의

75. Multimedia
Decoding
압축된

76. Data
원본

77. Data
Meta

78. Data
Encoding
Muxing
실제

79. File
Demuxing
12년 5월 26일 토요일

80. FFmpeg
Open

81. Source

82. Multimedia

83. Framework
Cross-Platform
Encoding/Decoding,

84. Muxing/Demuxing,

85. Transcoding,

86. 등
libavcodec,

87. libavformat,

88. libavutil,

89. libpostproc,

90.
libswscale,

91. libavfilter,

92. libswresample
12년 5월 26일 토요일

93. FFmpeg
FFmpeg을

94. 이용한

95. Multimedia

96. 재생
12년 5월 26일 토요일

97. FFmpeg

99. Android
FFmpeg은

100. C로

101. 작성된

102. 코드
어떻게

103. build하지?

104. NDK

105. (Native

106. Development

107. Kit)
Android

108. Platform을

109. 이용하기

110. 위한

111. header

112. file,

113. library
Native

114. platform으로

115. compile하기

116. 위한

117. cross-tollchains
Android

118. App.은

119. Java로

120. 개발
어떻게

121. FFmpeg하고

122. 연결하지?

123. JNI

124. (Java

125. Native

126. Interface)
12년 5월 26일 토요일

127. FFmpeg

129. Android
Player

130. 개발에는

131. 어떤

132. 기능

133. 들이

134. 더

135. 필요하지?
Data

136. Queuing,

137. Stream

138. syncing,

139. Rendering,

140. 등
뭘

141. 참고하지?

142. ffplay
FFmpeg을

143. 이용하여

144. Multimedia

145. Player를

146. 구현해

147. 놓은

148. 일종의

149.
reference

150. source
그럼

151. 끝?!

152. NO
12년 5월 26일 토요일

153. FFmpeg을

154. 이용한

155. 동영상

156. Player
ffplay를

157. 이용할

158. 때의

159. 문제점
C로

160. 작성된

161. 코드
rendering을

162. 위해

163. SDL

164. (Simple

165. DirectMedia

166. Layer)를

167. 사용
12년 5월 26일 토요일

168. FFmpeg을

169. 이용한

170. 동영상

171. Player
Android의

172. Audio

173. Rendering
AudioTrack
12년 5월 26일 토요일

174. FFmpeg을

175. 이용한

176. 동영상

177. Player
Android의

178. Audio

179. Rendering
public void startAudioDecoding(int sampleRate, int channels) {
AudioTrack
int audioFormat = AudioFormat.ENCODING_PCM_16BIT;
int channelConfig = (channels 1) ?
AudioFormat.CHANNEL_OUT_STEREO : AudioFormat.CHANNEL_OUT_MONO;
int bufferSize = AudioTrack.getMinBufferSize(sampleRate, channelConfig, audioFormat);
mAudioTrack = new AudioTrack(AudioManager.STREAM_MUSIC,
sampleRate, channelConfig, audioFormat, bufferSize,
AudioTrack.MODE_STREAM);
mBuffer = new byte[bufferSize];
mAudioThread = new Thread() {
@Override
public void run() {
nativeDecodeAudioStream();
Log.i(TAG, [startAudioDecoding] done);
}
};
mAudioThread.start();
}
12년 5월 26일 토요일

180. FFmpeg을

181. 이용한

182. 동영상

183. Player
Android의

184. Audio

185. Rendering
public void addAudioData(byte[] buffer) {
AudioTrack
mAudioTrack.write(mBuffer, 0, buffer.length);
if (mAudioTrack.getPlayState() != AudioTrack.PLAYSTATE_PLAYING) {
mAudioTrack.play();
}
}
12년 5월 26일 토요일

186. FFmpeg을

187. 이용한

188. 동영상

189. Player
Android의

190. Video

191. Rendering
GLSurfaceView
12년 5월 26일 토요일

192. FFmpeg을

193. 이용한

194. 동영상

195. Player
Android의

196. Video

197. Rendering
// Decode a frame
GLSurfaceView
avcodec_decode_video2(is-video_st-codec, frame, got_picture, pkt);
// Render a frame
opengl_copyData(vp-picture.data, vp-picture.linesize[0], vp-width, vp-height);
// Convert color space (from YUV420 to RGB565)
sws_scale(is-img_convert_ctx, src_frame-data, src_frame-linesize, 0, vp-height,
pict.data, pict.linesize);
void opengl_copyData(void *data, int linesize, int width, int height) {
gFrameData[0] = ((uint8_t **)data)[0];
gFrameData[1] = ((uint8_t **)data)[1];
gFrameData[2] = ((uint8_t **)data)[2];
render();
}
12년 5월 26일 토요일

198. FFmpeg을

199. 이용한

200. 동영상

201. Player
Android의

202. Video

203. Rendering
GLSurfaceView
12년 5월 26일 토요일

204. FFmpeg을

205. 이용한

206. 동영상

207. Player
Android의

208. Video

209. Rendering
static void bindTextures() {
GLSurfaceView
glBindTexture(GL_TEXTURE_2D, gFrameTexture[0]);
glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, gFrameLinesize, gFrameHeight, GL_LUMINANCE,
GL_UNSIGNED_BYTE, gFrameData[0]);
glBindTexture(GL_TEXTURE_2D, gFrameTexture[1]);
glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, gFrameHalfLinesize, gFrameHalfHeight,
GL_LUMINANCE, GL_UNSIGNED_BYTE, gFrameData[1]);
glBindTexture(GL_TEXTURE_2D, gFrameTexture[2]);
glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, gFrameHalfLinesize, gFrameHalfHeight,
GL_LUMINANCE, GL_UNSIGNED_BYTE, gFrameData[2]);
}
12년 5월 26일 토요일

210. FFmpeg을

211. 이용한

212. 동영상

213. Player
Android의

214. Video

215. Rendering
GLSurfaceView
12년 5월 26일 토요일

216. FFmpeg을

217. 이용한

218. 동영상

219. Player
Android

220. 동영상

221. Player
12년 5월 26일 토요일

222. Shader를

223. 사용한

224. 고성능(?)

225. Player
색공간이

226. 뭐지??
pixel을

227. 이용해

228. 색을

229. 표현하는

230. 방식:

231. YUV,

232. RGB,

233. YCbCr

234. 등
FFmpeg의

235. 결과

236. 물인

237. pixel

238. data는

239. YUV,

240. Android에서

241. 사용하는

242.
pixel

243. data는

244. RGB
변환을

245. 위해서는

246. 상당한

247. 시간이

248. 소요
예)

249. 1초

250. 영상,

251. 640

252. x

253. 480

254. x

255. 24

256. =

257. 307,200

258. x

259. 24

260. =

261. 7,372,800
12년 5월 26일 토요일

262. Shader를

263. 사용한

264. 고성능(?)

265. Player
FFmpeg을

266. 이용한

267. 색공간

268. 변환은

269. 어떻게?
libswscale:

270. CPU만

271. 사용,

272. 너무

273. 느리다...
12년 5월 26일 토요일

274. Shader를

275. 사용한

276. 고성능(?)

277. Player
더

278. 좋은

279. 방법은?

280. Fragment

281. Shader
GPU를

282. 이용해

283. pixel의

284. 색상이나

285. 속성을

286. 변경,

287. 딱

288. 맞다!
12년 5월 26일 토요일

289. Shader를

290. 사용한

291. 고성능(?)

292. Player
static const char fragmentShaderSource[] =
더

293. 좋은

294. 방법은?

295. Fragment

296. Shader
uniform sampler2D sampler0;n
uniform sampler2D sampler1;n
uniform sampler2D sampler2;n
GPU를

297. 이용해

298. pixel의

299. 색상이나

300. 속성을

301. 변경,

302. 딱

303. 맞다!
varying highp vec2 _texcoord;n
void main()n
{n
highp float y = texture2D(sampler0, _texcoord).r;n
highp float u = texture2D(sampler1, _texcoord).r;n
highp float v = texture2D(sampler2, _texcoord).r;n
n
y = 1.1643 * (y - 0.0625);n
u = u - 0.5;n
v = v - 0.5;n
n
highp float r = y + 1.5958 * v;n
highp float g = y - 0.39173 * u - 0.81290 * v;n
highp float b = y + 2.017 * u;n
n
gl_FragColor = vec4(r, g, b, 1.0);n
}n;
12년 5월 26일 토요일

304. Shader를

305. 사용한

306. 고성능(?)

307. Player
더

308. 좋은

309. 방법은?

310. Fragment

311. Shader
GPU를

312. 이용해

313. pixel의

314. 색상이나

315. 속성을

316. 변경,

317. 딱

318. 맞다!
12년 5월 26일 토요일

319. Shader를

320. 사용한

321. 고성능(?)

322. Player
더

323. 좋은

324. 방법은?

325. Fragment

326. Shader
static void setTexturesWithShader() {
//glEnable(GL_TEXTURE_2D); GPU를

327. 이용해

328. pixel의

329. 색상이나

330. 속성을

331. 변경,

332. 딱

333. 맞다!
glActiveTexture(GL_TEXTURE0);
glUniform1i(gShaderVariables.sampler0, 0);
glBindTexture(GL_TEXTURE_2D, gFrameTexture[0]);
glActiveTexture(GL_TEXTURE1);
glUniform1i(gShaderVariables.sampler1, 1);
glBindTexture(GL_TEXTURE_2D, gFrameTexture[1]);
glActiveTexture(GL_TEXTURE2);
glUniform1i(gShaderVariables.sampler2, 2);
glBindTexture(GL_TEXTURE_2D, gFrameTexture[2]);
}
12년 5월 26일 토요일

334. Shader를

335. 사용한

336. 고성능(?)

337. Player
더

338. 좋은

339. 방법은?

340. Fragment

341. Shader
GPU를

342. 이용해

343. pixel의

344. 색상이나

345. 속성을

346. 변경,

347. 딱

348. 맞다!
12년 5월 26일 토요일

349. 마무리
Android는

350. 동영상

351. 잘

352. 돌아가는데

353. 왜

354. 이걸

355. 개발해야

356. 할까?
서비스의

357. 질

358. (파편화)
FFmpeg을

359. 이용한

360. 다양한

361. 가능성
12년 5월 26일 토요일

362. 마무리
Android는

363. 동영상

364. 잘

365. 돌아가는데

366. 왜

367. 이걸

368. 개발해야

369. 할까?
서비스의

370. 질

371. (파편화)
FFmpeg을

372. 이용한

373. 다양한

374. 가능성
고맙습니다.
12년 5월 26일 토요일