2016.6.15 테헤란로 커피클럽 가우디오디오랩 발표자료입니다.

1. 오디오 키드의 짧은 회상과
가상현실 오디오
2016. 6. 15.
오 현 오
GAUDIO LAB, inc.

2. History of AUDIO

3. SOUND for VR GAUDIO LAB
History of AUDIO
3
20111877 1948 1982 19911962
MP3

4. SOUND for VR GAUDIO LAB
History of AUDIO Coding
4
Waveform
Coding
Perceptual
Coding
Parametric
Coding
Hybrid(?)
Coding
1988 1998 2008
MPEG

5. SOUND for VR GAUDIO LAB
“듣기”의 진화
5
LP Cassette CD MP3
Analog Digital
“찾아 듣기”
(특활)
Audio-only
Convergence
고
정
이
동
“흘려 듣기”
(일상)

6. SOUND for VR GAUDIO LAB
VR is HOT
6
Facebook acqr. Oculus VR, $2B
(Mar. 25, 2014)
Samsung collabo. Oculus
(May 31, 2014)
Sony, Project Morpheus
(Mar. 18, 2014)
Google, Cardboard VR
(June 25, 2014)
Samsung Galaxy VR (Oculus + Note 4)
(Sep. 3, 2014)
Crescent Bay (Headphones)
(Sep. 20, 2014)
Microsoft HoloLens
(Jan. 21, 2015)
HTC – Valve, Revive (SteamVR)
(Mar. 1, 2015)
LG – plastic cardboard
(Feb. 10, 2015)
Apple acqr. Metaio
(May 28, 2015)
2014 2015
Google invst. Magic Leap
(Oct. 21, 2014)
Nokia OZO
(Nov 30, 2015)
2016
Oculus-Gear VR $99
(Nov 24, 2015)
Oculus Rift Commercial
launch (Mar ?, 2016)
Sony Playstation VR comm.
launch
(Jun ?, 2016)

7. SOUND for VR GAUDIO LAB 7
Immersion into VR is a perception of being physically present
in a non-physical world.
Immersive Technology refers to technology that blurs the
line between the physical world and digital or simulated world,
thereby creating a sense of immersion.
by wikipedia

8. SOUND for VR GAUDIO LAB 8
SOUND IS HALF THE EXPERIENCE
소리는 우리 경험의 절반입니다
가상현실(VR)이라는 ‘경험’ 컨텐츠에서 소리는 더욱 중요합니다
GAUDIO는 바로 그 소리에 대한 해결책을 제시합니다

9. SOUND for VR GAUDIO LAB
Sometimes more than half
9

10. SOUND for VR GAUDIO LAB 10
VR IS NEXT BIG THING

11. SOUND for VR GAUDIO LAB 11
VR 산업의 성장을 예상하고 글로벌 투자 업계도 활발하게 활동하고 있음
Q1'12 Q2'12 Q3'12 Q4'12 Q1'13 Q2'13 Q3'13 Q4'13 Q1'14 Q2'14 Q3'14 Q4'14 Q1'15 Q2'15 Q3'15 Q4'15
Deals
Amount ($M)
238
171
127121
623
55
17
76
177
2437
55
9
231626
43
36
16
31
13
15
10
14
12
99
7
4
6655 6 6
4
7
9 9
12
14
10
15
13
31
16
36
43
AR/VR Investment Activity
Q1’12 - Q4’15
SOURCE: CB Insights, Literature search
BIGGEST
Deals
$ 100M
$ 35.5M$ 38M
$ 2B $ 1.42B
$ 56M
11

12. SOUND for VR GAUDIO LAB 12
PROBLEM & SOLUTION
Head Turn
“BEING THERE”
기존 3D 오디오 시스템(Dolby, DTS 등의 입체음향 시스템)으로 VR 컨텐츠 재생 시

13. SOUND for VR GAUDIO LAB 13
“BEING THERE”
Software only
• 모든 기종의 HMD에서 사용 가능
• 모든 기종의 헤드폰/이어폰에서 사용 가능
HRTF
(Head Related Transfer Function)
GAUDIO VR AUDIO Technologies
음원의 도달경로(HRTF)를 Software로 실시간 연산
PROBLEM & SOLUTION

14. SOUND for VR GAUDIO LAB 14
How it works?
음원
(Sound source)
음원과 User의 위치를 실시간으로 연산1
양쪽 귀에 적합한 주파수의 신호를
HRTF(Head Related Transfer Function)를
활용하여 실시간으로 연산
- 이를 Binaural Rendering 이라고 칭함
2
청각을 통해 주변 환경을 인식하는
데는 다양한 요소가 활용되며…
양쪽 귀에 소리가 전달되는 시간의 차이
양쪽 귀에 전달된 소리의 Volume 차이
벽, 바닥, 물체 등을 맞고 반사되는 진동
얼굴과 몸통을 맞고 반사되는 진동
귓바퀴에 반사되어 들어오는 진동
…
GAUDIO는 이러한 요소들을 실시간으로 연산하여
양쪽 귀 각각에 적합한 주파수의 신호를 전달함

15. SOUND for VR GAUDIO LAB 15
GAUDIO는 이 분야에서 세계 최고의 기술력을 보유하고 있습니다.
• MPEG-H 중 3D AUDIO Binaural Rendering 분야 국제 표준
기술로 채택
- 글로벌 대기업들과의 경쟁을 제치고 채택
• MPEG-H 란?
- 2011-2015년 제정한 실감 컨텐츠(UHD 영상, 3D 오디오)를 전송
하고 재현하는 최신의 미디어 국제 표준
- 3D 오디오를 헤드폰으로 재현하는 기술을 표준으로 포함
• MPEG 이란?
- 국제 표준화 기구 (ISO/IEC) 산하 비디오/오디오 관련 전문가 그룹
- 업계 주요 전문가들이 모여 (오디오 분야 ~30명) 여러 기술 중 가장
좋은 기술을 ‘표준 기술’로 채택
- 가장 유명한 표준 기술로 MP3가 있음
세계 최고의 Binaural Rendering 기술
이 기술에서 출발하여 VR 시장 진출
(쑥쓰럽지만, 사실.)

16. SOUND for VR GAUDIO LAB 16
Why SOUND is more important in VR ?
기존 미디어 VR
TV 화면은
작은 창 너머 다른 세계
창 너머 전해오는 소리
5감이 모두 그 곳에 가는
“BEING THERE” 경험
그 곳에 있는 소리
“…I think we’re moving into a dangerous medium with virtual reality… The only reason I say it is dangerous is because it gives the viewer a lot
of latitude not to take direction from the storytellers but make their own choices of where to look…” - Steven Spielberg (May 2016)
User는 본인이 원하는 곳을 보기 때문에
“소리”는 제작자의 의도를 이끄는 주요 미디어
1. 소리의 방향성과 공간감이 중요한 VR
기존 미디어 VR
2. 청각적 몰입감이 중요한 VR
제작자가 의도한 화면과
소리 한방향에서 제공

17. SOUND for VR GAUDIO LAB 17
Sound actually… is all around you
AR
VR + Microphone
Home Speakers
Sound everywhere with minimum install

18. SOUND and Binaural

19. SOUND for VR GAUDIO LAB
What means BINAURAL?
19
Widely used to mean “headphone virtualization”
Having or relating to two ears

20. SOUND for VR GAUDIO LAB
Sound Localization
• Low frequency sounds (below 1kHz)
‣ Interaural Time Difference (ITD)
‣ = Interaural Phase Difference
‣ due to the difference between two ears
• High frequency sounds (above 4kHz)
‣ Interaural Level Difference
‣ due to head size (called “head shadowing”)
20

21. SOUND for VR GAUDIO LAB
Head & Outer Ear (Pinna)
Spectral Cues
21
we are trained bit by bit

22. SOUND for VR GAUDIO LAB
HRTF
HRTF: Head-Related Transfer Function
HRIR: Head-Related Impulse Response
22

23. SOUND for VR GAUDIO LAB
HRTF Measurement
23

24. SOUND for VR GAUDIO LAB
Binaural Processing
24
Sound Source
(Wave)
RIR HRTF
Human
Perception
Binaural Recording
Binaural Rendering

25. SOUND for VR GAUDIO LAB
Binaural Recording
Capture immersive sound there
25

26. SOUND for VR GAUDIO LAB
Binaural Rendering
• Synthesize immersive sound here
26
*
hL(t)
hR(t)
*
HRTF
Database
mono

27. SOUND for VR GAUDIO LAB
Recording vs. Rendering
27
Binaural Recording Binaural Rendering
OOOOO Immersive OOOO
OO Interactive OOOOO
O Personalization OOOO
Vs.

28. Thank You
www.gaudion.co | info@gaudion.co | +82-2-552-0110 | MARU 180, 180, Yeoksam-ro, Gangnam-gu, Seoul, 06248, South Korea