2010년 LG전자 HCI 관련 부서 디자이너들을 대상으로 진행한 세미나 입니다.

1. Stereoscopic 기술
2010. 08. 22
정 재 훈

2. 2
Outline
 혼동되는 현업 용어들
• 3D vs. Stereoscopic vs. 2D ?
• Augmented Reality , Augmented Virtuality, Mixed Reality, Virtual Reality 의 차이는 ?
• Haptic vs. Haptics , Tactile vs Haptics , Vibrotactile vs. tactile
 Stereoscopic
• Stereoscopy 원리
• Human factor of Stereoscopic
• 입체영상 디스플레이의 종류별 원리와 기술

3. 2D vs 3D
 일반적으로 사용하는 3D 의 유래 : 3D View, 3D Rendering 으로 부터 시작된 것으로 추정 .
 똑같은 2D 사진을 보고 왜 어떤 것은 3D 라고 할까요 ?
• 경험적인 이유 . [ 3D Game , VRML ] 3D 렌더링된 오브젝트의 특징
• 위와 같은 3D 렌더링 오브젝트 가 있는 3D 게임에서는 시점이 변경될 수 있다 . 그래서 3D 라고 생각 .
 카메라의 위치를 이동 할수 있는 것 그게 3D View 입니다 .
 3D Rendering 에 대해서는 뒤에서 배우도록 하겠습니다 .
3
Which one is 3D ?
3D View 보기
3D 렌더링 된 2D 사진 카메라로 찍은 2D 사진

4. 2D Graphics Pipeline
 스케치북에 그려진 그림을 Orthogonal 하게 사진기로 찍는 형태 .
 2 축 Scaling, Rotation , Translation , Skew , Shear 등의 2D Transformation 가능
4

5. 3D Graphics Pipline , Transformation
5
2D Rendering pipelineViewing transformation
Projection transformation
Viewport Transformation
Normalized Device cordinate to image cordinate

6. Stereoscopic
 Stereoscopy 의 정의 : Depth 를 사람이 느끼게 하는 영상정보를 생성 또는 저장하는 기술
 3D 와 Stereoscopy 가 헷갈리는 이유는 ?
 3D Display 를 3D 로 축약하여 Stereoscopy 와 혼동하여 사용 .
 3D Displays, Stereoscopic images, Stereoscopic displays 등이 올바른 표현
6

7. The Range of Mixed Reality
 Augmented Reality : a live direct or indirect view of a physical real-world environment whose
elements areaugmented by virtual computer-generated imagery
 Augmented Virtuality : Real world objects into virtual worlds
 Virtual Reality : Computer-simulated environments that can simulate places in the real world as well
as in imaginary worlds.
7
 What is MR(Mixed Reality) ?

8. Haptic : ‘Touch’ 와 밀접한 관련이 있다 .Haptic : ‘Touch’ 와 밀접한 관련이 있다 .
 그리스어 “ Haptesthai” 에서 유래되었음 .
 ‘Tactile’ 과 ‘ Kinesthetic” 감각 두 가지를 모두 일컬음 . (Tactile Sense + Kinesthetic Sense)
+
Kinesthetic sense
( 운동감 )
Tactile sense
( 촉감 )
Haptics – 학제적인 새로운 학문 .Haptics – 학제적인 새로운 학문 .
 human haptic sensory 와 human motor characteristics 에 대한 이해관련 된 학문
 가상 , 원거리 환경을 촉감을 통해 인터랙션할 수 있는 컴퓨터제어 햅틱 시스템을 개발하는 학문
Haptic vs. Haptics ?

9. Haptic vs. Tactile vs VibrotactileHaptic vs. Tactile vs Vibrotactile
 Haptic Information : Tactile + Kinesthetic information
 Tactile Information : Spatial Tactile Information , Temporal Tactile Information
 Vibrotactile Information : Tactile ⊃ Vibrotactile , Tactile Information 중 진동에 관한 부분만을 의미
Tactile Rendering vs. Vibrotactile Rendering
Example of Interfaces
E le c t r ic a l
C o n n e c tio n
P h a s e 1 ( + )
E le c t r ic a l
C o n n e c tio n
P h a s e 2 ( + )
G N D
P h a s e 1
G N D
P h a s e 2
E P A M F ilm
O u tp u t
D is c
F r a m e
Z
DhON (Down)OFF (Up)
Haptic Interface Tactile Interface
Vibrotactile interface
Electroactive Polymer Artificial
Muscle

10. Haptics 연구 분야
Haptics Research
Human Haptics
Machine Haptics
Computer Haptics
Device Design
Sensor Communication
Kinematics …
Kinesthetic Devices
CyberForce ( Exoskeleton type) ..
Haptic Glove ..
Tactile Devices (Texture , Temperature, Vibrotactile.. )
Immersion Vibetonz
BMW iDrive, Haptic Mouse ..
Tactile and Kinesthetic Devices
Surgery simulator
6Dof Phantom ..
Neurophysiology
Human Perception
Psychophysical Experiments
Usability …
Computer Graphics
Collision Detection
Haptic Rendering Algorithm
Psychophysical Experiments
Fechner’s 3 Methods
Decision Model …
Applied Human Perception / Psychophysics
Perceptual characterization
Usability test
Multimodal Integration , Haptic illusion
Usability
Graphics , Collision Detection
3D Model (Voxel Rendering,PBR, IBR..)
Physics Simulation ( Elastic , Deformation..)
Haptic Rendering
Various Force Rendering Algorithm (Volume ,
Implicit, Texture, Friction..)
Temperature, Vibrotactile Rendering Algorithm.
Objective Performance
- Effectiveness
- Few errors
- Learnability …
Affective Satisfaction
- Subjective Satisfaction
- Preference …
Human Haptics
- Psychophysics
- Physiology
- Applied Human Perception

11. Psychopysics - 정신물리학 .Psychopysics - 정신물리학 .
 사람의 피부가 인지할 수 있는 가장 작은 단위의 자극은 ? 또 구분 가능한 자극간의 차이는 ?
 Physical Stimulus intensity 증가에 따라 Perceived stimulus magnitude 를 어떻게 받아들이느냐 ?
( 상관 관계를 측정하는 학문 [ex) Sound intensity ≠ loudness ] )
Neurophysiology – 신경 생리학Neurophysiology – 신경 생리학
 tactile stimuli 를 받아 들이는 기관은 ?
 stimuli 에 대한 정보를 어떤 과정을 통해 뇌로 전달하는가 ?
 뇌의 어떤 부분이 자극을 처리하는가 ?
∴ 두가지 학문이 모두 ‘ Haptic perception’ 을 연구하는데 사용 되어 진다 .
자극
뇌
감정
신경생리학 : 뇌의 어떤 부분이 자극을
처리하고 어떤 기관을 거쳐 전달되는가
를 연구 .
정신물리학 : 자극의 크기를 측정하는데 방해되
는 Bias 인 감정 ( 판단 ) 을 배제하고 사람이 인지
하는 크기를 측정한다 . 따라서 , 사람간의 큰 차이
가 발생하지 않는다 .
‘Psychophysics’ + ‘Neurophysiology’

12. Stereoscopy 원리
 입체영상의 원리
• 단안요인
• Motion Parallax
• 관찰자가 대상을 보면서 움직이면 가까운 대상은 먼 대상보다
더 많이 눈의 망막 상에서 옮겨지는데 이를 운동 시차 (Motion
Parallax) 라함
• 기차를 타고 가다 보면 먼 산은 자기를 따라오고 가까운 나무는
빠르게 뒤로 가는 것처럼 보이는 것 ( 먼곳의 물체는 느리게 ,
가까운 곳은 빠르게 )
• Linear Perspective
• 도로 , 철로와 같은 평행선이 멀어질 수록 하나의 소실
점 (Single vanishing point) 으로 수렴
• 3D Rendering 에서 Perspective Projection 을 이용 .
• 양안요인
• 양안 시차에 의한 입체감 ( 두눈의 평균 거리 6.5cm )
(binocular Disparity)
• 폭주 거리의 차이 (Divergence Distance)
• 깊이감
• 나이가 들수록 깊이감 인지력 저하
• 전체인구의 4% 는 깊이감 인지 못함 . ( 유전 )
12

13. Human factor of Stereoscopic
13
심리학적 요인
생리학적 요인
색조 ( 진출색 - 후퇴색 )
적색은 가깝게 , 청색은 멀게 느껴짐 .

14. Human factor of Stereoscopic
 폭주 (Convergence) – 어떤 대상을 바라볼 때 , 양쪽 눈의 시선이 대상을 향해 모이는 것
• 사람은 사물을 바라 볼때 거리에 따라 폭주각이 일정하도록 안구근육을 조절하여 자동 조절함으로서 입체감을
느낀다 . 폭주와 초점 조절은 함께 작용함 .
 양안시차 (binocular disparity) – 양쪽 눈의 망막에 생기는 상의 차이
• 가장 입체감을 느끼는데 큰 요인이며 두상의 차이를 뇌에서 융합하여 깊이감을 인지 .
14
그림 1. Retinal disparity 그림 2. Convergence angles
α - β = ( δ1 - δ2 )
그림 3.
Screen parallax
그림 3. Screen parallax
screen parallax p = | Pleft – Pright|

15. Human factor of Stereoscopic - 시각피로
 Convergence
• 우리가 어떤 사물을 바라볼 때 두눈의 시선은 한점으로 수렴
• 피사체의 거리에 따라 폭주간은 변함 . 멀수록 각도는 작아짐 .
 피로의 원인
• 실제환경 : 폭주거리와 초점거리가 동일
• 스테레오 영상 : 입체효과를 위해 초점거리와 폭주거리가 다름
• 특히 동영상의 경우 입체감 표현을 위해 폭주거리가 변하게 됨 .
15
실제 입체영상

16. Human factor of Stereoscopic - 시각피로
 입체영상의 지각 기본개념
• Parallax 시차
• Convergence 폭주 , Divergence 발산
• Disparity , Breaking Frame
16
Accommodataion < Convergence
Accommodataion = Convergence
Accommodataion > Convergence

17. Seeing Stereo Picture without H/W
17
 Parallel-viewing
• 눈에 힘을 풀고 먼산 바라 보듯이 흐리멍텅하게
• 상이 벌어지는 느낌
 Cross-viewing
• 눈근육을 조여서 상을 좌우로 밀어내는 느낌
 사람마다 수월한게 각각 다름
 초점 맞추기 , 사시 개선등에 효과 있음 . ( Vision Therapy)

18. Wiggle Stereoscopy
 Wiggle Stereoscopy , PikuPiKu
• No H/W required
• Gif Animation , Flash , Java Applet 등으로 쉽게 구현 가능
• 쉽다 . [Crossed – eyed / Parallel –viewing 같이 훈련이 필요없음 ]
• 한쪽 눈으로도 깊이감을 전달 할 수 있음 ( 장애인 )
• 떨림이 심해서 디테일한 감상이 힘듬 , 디스플레이기기에서만 볼 수 있음 18
PikuPiku - 여러장 Wiggle Stereoscopy – 2 장

19. Stereoscopic Display 종류
19

20. Anaglyph filter ( 색차 방식 )
20
장점
- 기존 장비 그대로 사용가능 ( 일반 TV 에서도 가능 )
- 해상도
단점
- 타기술 대비 입체 효과 낮음
- 색감이 정확하지 않음
- 밝기 문제 어두움 .
- 크로스 토크가 심함 .
Channel
R : 0
G : 0~255
B : 0 ~ 255
Channel
R : 0 ~ 255
G : 0
B : 0
Left Image Right Image

21. Polarized filter
21
장점
- 크로스토크 문제 거의 발생 없음 ., 깜빡임 없음 . 안정적
- 시야각 고정이 필요 .( 원형 필터의 경우 꽤 가동범위 있음 )
단점
- 해상도 절반 (TV 의 경우 )
- 편광필터로 인해 주사선 같은 라인이 가로로 보임 . - 스크린의 경우 두개의 프
로젝터 , 특수 스크린 ( 실버스크린 ) 비쌈 !
- 편광 필터 밝기 떨어짐
※ 크로스토크 : LCD 의 잔상으로 인해 발생하지만 일
반 잔상과는 구분된다 . 잔상 중에서도 반대쪽 눈의 프레
임에 보이는 영상이 남아 있는 것 .

22. Time-split display ( 시분할 방식 )
22
장점
- 기존 LCD 나 프로젝터가 고성능이면 그대로 사용가능
- 해상도 저하 없음
단점
- 플리커링 ( 깜박임 ), 동기화 문제 , 크로스토크
- 밝기 저하
- 셔터글래스 충전
최근 3DTV 는 크로스 토크
를 줄이기 위해 블랙프레임
을 좌우 전환할 때 집어 넣는
다 . 이로 인해 120frame 을
구현해야 되므로 패널이
240hz.

23. 국내 3D 영화관 비교
23
Dolby3D
-색주파수 분할 방식 색 주파수의 높고 낮음으로 좌우 영상 구
분 .
- 편광방식의 업그레이드 버전
- 특수 컬러 필터렌즈 필요 . ( 셔터글래스 보다 고가 )
- 입체효과는 우수 Master Image (Real D) 도 유사

24. Autosteroscopy - Parallax Barrier
24
 1903 년 미국의 F.E.Ives 가 제안
• Barrier mask 를 두어 적당한 위치에서 정확하게 분리해서 볼 수 있게 함 .
• 개구의 위치 , 슬릿의 폭 , 장벽의 깊이 등에 따라 화상의 폭이 변한다 .
• 또한 빛이 차단 됨으로 밝기에 문제가 생김 .
• 해상도 절반 ( 왼쪽 , 오른쪽 눈을 위해 픽셀을 나눠 씀 )
• 슬림화 문제 .

25. Autostereoscopy - Lenticular
25
 Parallax barrier 방식과 유사
• 반원통의 투명한 플라스틱 원통형 렌즈를 배열한 렌티큘러 판을 이용 .
• 렌즈폭은 픽셀폭으로 결정 좌우 2 픽셀이 들어가도록 만듬
• 밝기 문제를 parallax barrier 에 비해 어느정도 해결
• 해상도 절반 .

26. Autostereoscopy – 3M Vikuiti 3d film
26
 Sequential + Lenticular
• 해상도 떨어지지 않음
• 2D / 3D 변환이 쉬움
• 각도 맞추기 쉬움 .
• 밝기 문제 없음 .

27. Autostereoscopy – Integral Imaging
 렌즈어레이를 이용하여 영상픽업 , 디스플레이 단계를 거친다
 픽업과정 : 3D 물체를 여러방향에서 바라본 서로 다른 영상들을 렌즈 어레이를 이용 영상저장
 디스플레이과정 : 기초영상을 렌즈어레이를 통하여 광파로서 재생하는 원리
 1908 년 제안 . CCD, 평면디스플레이 및 광학 기술 발달로 다시금 주목 .
27

28. Volumeteric Display
28
- 회전하는 반구형의 반투명한 screen
- 회전하는 나선이 원통형의 덮개를 지나가면서 , laser pulse 가 display medium 에 display 된다 .
- 회전속도가 1200RPM 정도로 매우 빠르기 때문에 screen 이 보이지 않게 된다 .
- laser beam 이 회전하는 표면에 충돌하면서 voxel(volume pixel) 이라고 하는 가시광선 영역의 점을 발생시킨다 .
- display 내에서 발생한 voxel 의 공간적인 분포는 이 회전하는 나선과 laser beam 의 순간적인 교차점에 의해서 결정된다 .
볼륨메트릭 (Volumetric) : 2 차원 절단면의 화상을 빠르게 이동시켜 눈
의 잔상현상을 이용하여 공간에 상을 재생하는 방식

29. Volumeteric Display
 회전 거울 방식
29

30. Hologram
 홀로그래피란 빛의 회절과 간섭 현상을 이용하여 빛의 진폭 정보뿐만 아니라 위상 정보까지 기록 및 재생을 하는 방
식으로써 이를 이용한 디스플레이는 완전한 깊이 정보와 높은 해상도를 가지는 3D 디스플레이 방식이다 .
30
홀로그래피 원리 : 물체에서 오는 빔 [ 반사 , 회절 하는 빛
( 물체파 = 영상정보 )] 과 Reference 빔이 만드는 간섭무늬
를 감광재료에 기록하고 다시 Reference 빔을 감광스크린에
투사하여 3D 영상을 실제로 만들게 된다 .
사진 : 빛의 세기 변화량을 감광 재료 ( 필름 ) 에 기록 .
홀로그래피 : 빛의 세기 , 파동 ( 위상 ) 기록 . 3 차원 상 재현

31. Stereoscopic Trend
31
Simulated 3D view from 2d photo 3D Converting iPhone Application
Youtube in 3D AR Toolkit in Stereoscopic

32. Stereoscopic Trend
32
3D Head tracking with Stereoscopic Stereo Camera Depth extraction

33. References
 정재훈 , 이화정 - VC TDR 일잘법 노트 (Haptic 기술개발 )
 Webpage Vision3D - http://www.vision3d.com
 3M Autostereoscopic Display using 3M’s 3D Filem PPT
 N. A. Dodgson, “Autostereoscopic 3D displays,”The IEEE Computer Society, Vol. 38, pp. 31-36, 2005.
 S. Schkolne, H. Ishii, P. Schroder, “Immersive Design of DNA Molecules with a Tangible Interface,”California
Technology,2005.
 국내 AR 업체 : Zenitum
 History of AR : Site Link
33