텍스트 버전 https://sites.google.com/site/heavenlydesigner/lecture/archi-eco

1. 현실 공간과 가상 공간, 그 경계면의 스토리텔링
2015.11.10 -홍익대학교아키에코비엔날레/뉴미디어아티스트신기헌

2. 1. 현실과 가상, 그리고 뉴미디어

3. 1-1. 가상 공간 속의 가상 공간
4차원입체공간(테서랙트,Tesseract)표현하고자제작된현실속3차원공간
4차원의가상적속성을물리적인세트를통해표현하여직접촬영
영화 인터스텔라 (2014)
http://goo.gl/wl0w59

4. 1-1. 가상 공간 속의 가상 공간
미국화가에드워드호퍼가남긴13개의그림속스토리를모티브로한영화
카메라에담긴영상이그림처럼보이게하기위해왜곡된형태의세트를제작
영화 셜리에 관한 모든 것 (2013)
http://goo.gl/EUCdQs

5. 1-1. 가상 공간 속의 가상 공간
연극을위해자신이살아온공간과사람들을그대로재현하는세트를제작
리허설이현실이되고,세트장안에또다른세트장이,배우를연기하는배우가생겨나는순환적구조
영화 시네도키, 뉴욕 (2007)

6. 1-1. 가상 공간 속의 가상 공간
모든삶이24시간생중계된다는사실을자신만모르고있었던주인공
만들어지고조작된가상의사회로서의세트
“오늘하루다시못만날지모르니하루치인사를미리해두죠
Good Morning, Good Afternoon, Good Evening”
영화트루먼쇼(1998)

7. 1-1. 가상 공간 속의 가상 공간
영화관이라는현실의공간에서경험하는
영화 속 가상의공간
카메라, 프로젝터, 스크린의기본 구성 요소

8. Box by Bot & Dolly
1-2. 현실 공간 속의 가상 공간
카메라,프로젝터,스크린의완벽한제어를통해우리의인식속에생겨나는새로운가상의공간
뉴미디어는움직이며변화하는,현실공간의구성요소 http://goo.gl/9mJFNE

9. 현실세계의카메라6개와가상세계의카메라64개가만들어내는영상
가상의현실과증강된현실에대한정의가쉽지않은새로운경험 http://goo.gl/uRpav4
Cold Stares - Nosaj Thing
1-2. 현실 공간 속의 가상 공간

10. 2. 현실과 가상의 인식

11. 절대적 지표를 통한 인식
동일한것에대한고정적인반응
다수사람들의인식의과정을그대로수용
2-1. 현실과가상 인식의과정

12. 주관적 지표을 통한 인식
동일한것에대한유동적인반응
자신의경험과사고를바탕으로인식
2-1. 현실과가상 인식의과정

13. 가상과 현실의 인식 전환
절대적지표를통한인식이깨어지는순간
주관적지표를통한인식이확신으로바뀌는순간
2-1. 현실과가상 인식의과정

14. 그것이 현실인지, 가상인지가
더 이상 중요하지 않게 되는 순간
2-1. 현실과가상 인식의과정

15. 가상공간속의행동이현실공간에서의물리적반응으로연결
Hermes × Tokujin Yoshioka
http://goo.gl/6Cw1E
2-1. 현실과가상 인식의과정

16. 현실공간에서의사물의움직임이가상공간의이미지와분리
Horizont Kinetic Sculpture
http://goo.gl/4C7s
2-1. 현실과가상 인식의과정

17. http://goo.gl/VxQVQ센서에의해가상공간속사물이현실공간의물리적속성과연결
Still Life
2-1. 현실과가상 인식의과정

18. 현실공간에삽입되는가상의태양과하늘
CoeLux
http://www.coelux.com
2-1. 현실과가상 인식의과정

19. 현실공간에삽입되는가상의태양과하늘
CoeLux
http://www.coelux.com
2-1. 현실과가상 인식의과정

20. 2-2. 현실과가상 인식의방향
현실과가상의인식 전환이
이루어지는공간
영화, 연극, 게임, 방송,
테마파크 등의 스토리텔링

21. 2-2. 현실과가상 인식의방향
영화감상전후의현실공간에서의일련의경험들
영화관에서의 스토리텔링 경험

22. 2-2. 현실과가상 인식의방향
영화감상전후의현실공간에서의일련의경험들
영화관에서의 스토리텔링 경험
탐색 예매 티켓 음식 영화 리뷰

23. 영화속으로의몰입
IMAX, 3D, 4D, ScreenX, SoundX 등
2-2. 현실과가상 인식의방향
영화밖으로의확장
Sweetbox, Movie All Night, Drive M,
Open M, Cine de Chef, Boutique M 등
보다몰입감있는영화감상을위한확장된경험 영화를감상하는동시에즐길수있는확장된경험

24. 영화관의스크린속컨텐츠가관람객들의손에쥐어진태블릿과실시간으로연동
메인스크린과세컨드스크린사이에놓여지는공간과사람을인식
The Little Mermaid Second Screen Live
2-2. 현실과가상 인식의방향
https://goo.gl/3brlQa

25. 트랜스 미디어 스토리텔링의
일부로서의 현실 공간
2-2. 현실과가상 인식의방향

26. 3. 스토리텔링의 언어
'스펙트럼'

27. 가상현실이가상이었던시대 가상현실이현실이된 시대
그사이의10년이라는시간
.
.
.
일상과일탈,현실과가상의경계면으로부터
시작된뉴미디어에대한관심
3-1. 나만의스토리텔링

28. 3-1. 나만의스토리텔링
본질적인질문들로부터
시작되는나만의스토리텔링
무엇이현실이고무엇이가상인가
현실과가상은경계면은어떻게인지되는가
뉴미디어는그경계를어떻게변화시키는가

29. (건축+디자인+사용자경험+마케팅+교육+사회혁신)x뉴미디어
3-1. 나만의스토리텔링
트랜스미디어로서의현실공간기반의스토리텔링
스토리텔링을통해현실과가상에대한인식을전환

30. 현실의
일상의
익숙한
단방향의
고정된
아날로그의
가상의
일탈의
낯선
양방향의
변화하는
디지털의등...
3-3. 스토리텔링의언어 - 스펙트럼
본질을이해하기위한방법은스펙트럼양끝의경계를인식하는것
스펙트럼의중간영역은모두자유로운스토리텔링의영역

31. 3-4. 스펙트럼의경계
특정시간,특정장소에서만생성되는디지털세계로의연결통로
물리적인조형물의그림자가일시적으로QRCode를생성
Emart Sunny Sale Campaign - 3D Shadow QR Code
http://goo.gl/ApTXI

32. • 낮12시가되면햇빛과그림자에의해QR코드가생성
• 생성된QR코드를통해할인쿠폰을획득하며이마트의스마트폰앱을경험
솔루션
• 0과1,흰색과검정색의신호로텍스트를일시적으로생성하는디지털의알고리즘
• 21x21개의블럭이아날로그적으로움직이며QR코드의디지털알고리즘을상징화
• 조형물은빠르게분해하고이동할수있도록설계
컨셉
• 직장인의점심시간,식사를위해나서는길에써니세일캠페인을발견
• 스마트폰을통해QR코드를스캔하면이마트앱으로연결되어할인쿠폰을획득
• 이마트앱을통해제품을구매하면집앞까지구매한제품이배송
시나리오
Emart Sunny Sale Campaign - 3D Shadow QR Code
3-4. 스펙트럼의경계

33. 3-4. 스펙트럼의경계
매장내LED조명과의가시광통신으로구현된인도어네비게이션
가시광통신중심의다양한시나리오의서비스나컨텐츠로의발전가능성
Emart Sale Navigation - Lighting Coupon
http://goo.gl/kQAH5

34. • 최초의접근방법-NFC,Wi-Fi기반의인도어네비게이션
• 2010년라이팅페어을통해처음알게된가시광통신으로의솔루션변경
• 매장내에LED조명과카트를그대로활용하며LED조명확산을위한파급력을가지도록
솔루션
• 라이팅쿠폰(LightingCoupon)-독립적인ID를가진'LEDTag'로기능하는LED조명
• 매장내내비게이션을통해추천및할인상품에대한다양한정보를실시간적으로전달
컨셉
• 스마트폰상의애플리케이션을실행하면해당매장의내비게이션맵을표시
• 카트와LED조명간의데이터통신을통해실시간으로현재위치와방향을전달
• 할인상품이표시된위치에도착하면'라이팅쿠폰'이발급되어스마트폰에전달
• 발급된쿠폰은상품구매시바코드인식을통해할인혜택이적용
시나리오
Emart Sale Navigation - Lighting Coupon
3-4. 스펙트럼의경계

35. 표현의한계, 인식의한계를
발견하기위한 방법
스펙트럼의양쪽경계를
경험해보는것
3-4. 스펙트럼의경계

36. 상상(Imagination)과공학(Engineering)의합성어인이매지니어링(Imagineering)
전체1,100여명의인재들이140여가지영역에서미래적상상을현실화 http://goo.gl/alPnyA
Disney Imagineering
3-5. 스펙트럼의압축

37. 상상(Imagination)과공학(Engineering)의합성어인이매지니어링(Imagineering)
전체1,100여명의인재들이140여가지영역에서미래적상상을현실화 http://goo.gl/alPnyA
Disney Imagineering
3-5. 스펙트럼의압축
Show Mechanical Engineer
Show Software Developer
Creative Technology Studio Programmer
BIM Technologies Manager
Robotics Engineers
.
.
.
등의다양한역할

38. 스펙트럼의 압축
3-5. 스펙트럼의압축
융합,통섭,협업에대한나만의정의

39. 4. 스토리텔링을 위한 뉴미디어

40. 스크린을경계로흑백에서컬러,2D에서3D로의전환
스크린속가상공간과영화관이라는현실공간사이의전형성을파괴
Mickey Mouse - Get a Horse!
4-1. 현실 공간과 가상 공간, 그 경계면의스토리텔링
http://goo.gl/Fho2gz

41. 4-1. 현실 공간과 가상 공간, 그 경계면의스토리텔링
스크린으로부터날아와공연장뒤쪽의벽에부딪히는캐릭터연출
스크린속가상공간과영화관이라는현실공간사이의전형성을파괴
Mickey’s Philharmagic
http://goo.gl/FdMMxr

42. 4-2. 스토리텔링를위한 뉴미디어
익숙한현실공간의속성을낯선것으로변화시킴
채워져있는공간을비워내고비어있는공간을채움
고정된시간과환경을자유롭게변형하며현장성을부여
현실공간과가상공간의경계면을새롭게정의

43. 현실공간으로인식되는야외전광판에서펼쳐지는초현실적인스토리텔링
Hand from Above by Chris O'Shea
http://goo.gl/iIjYBB
4-2. 스토리텔링를위한 뉴미디어

44. 그림자라는익숙한물리적현상의메타포가전달하는스토리텔링
Parade - Dancing Shadow Sculptures
4-2. 스토리텔링를위한 뉴미디어

45. 영상에의해변화하는공간가운데원테이크로촬영된뮤직비디오
Sweater - Willow
http://goo.gl/FAhh6
4-2. 스토리텔링를위한 뉴미디어

46. 관심 집중 해제 반응 수용
4-2. 스토리텔링를위한 뉴미디어
단일경험내에서스펙트럼양쪽경계를동시에인식시킴으로써극적인느낌을강화
두가지속성의경계가모호할수록 담겨있는메시지에대한수용이강화

47. 상수
(Constant)
변수
(Variable)
4-3. 뉴미디어의공식
고정적인(Fixed) 상수에서가변적인(Flexible, Mobile) 변수로
가상의,일탈의,낯선,양방향의,변화하는,디지털의등의속성으로

48. 뉴미디어를통해구성되는스토리텔링의알고리즘'f()'
상수 (Constant)
변수 (Variable)
y=a, y=b, y=c
y=f(x), x={a, b, c}
:
:
4-3. 뉴미디어의공식
센서를통해현실공간으로부터얻어지는데이터'x'
컴퓨터의알고리즘에의해얻어지는데이터'x'
컴퓨터에의해생성되는무작위의(Random)데이터'x'

49. 상수 (Constant)
변수 (Variable)
y=a, y=b, y=c
y=f(x), x={a, b, c}
:
:
4-3. 뉴미디어의공식
f( )에어떤 x가 채워지느냐에따라 다양한결과의y가 생성

50. 4-4. 촉매로서의뉴미디어
비행기의이륙시간데이터를활용해제작한브리티시항공의인터렉티브캠페인
British Airways - #Lookup in Piccadilly Circus
http://goo.gl/dH6YE3

51. 4-4. 촉매로서의뉴미디어
비행기의이륙시간데이터를활용해제작한인터렉티브캠페인
British Airways - #Lookup in Piccadilly Circus
고정된
익숙한
변화하는
낯선
일상적인대형스크린광고 가상의컨텐츠가현실
공간과연결되는경험
기존의경험요소 새로운경험요소뉴미디어

52. 4-4. 촉매로서의뉴미디어
실시간탑승데이터를활용한기차여행에대한새로운시나리오
The Journey by BERG & Dentsu London
http://goo.gl/Edqjc

53. 4-4. 촉매로서의뉴미디어
실시간탑승데이터를활용한기차여행에대한새로운시나리오
The Journey by BERG & Dentsu London
일상의
고정시점의
일탈의
실시간의
일상적인무인발권기의
발권경험
티켓속스토리가현실
공간과연결되는경험
기존의경험요소 새로운경험요소뉴미디어

54. 4-4. 촉매로서의뉴미디어
도시여러지점에설치된디스플레이를활용한프랑스철도청의캠페인
Europe. It's Just Next Door - SNCF
http://goo.gl/H097YI

55. 4-4. 촉매로서의뉴미디어
스크린을통해현실공간의다수지점을연결한캠페인
Europe. It's Just Next Door - SNCF
현실의
단방향의
가상의
양방향의
문을열면그안에무언가가
보여질것이라는막연한기대
멀리떨어진공간의사람들과
실시간으로연결되는경험
기존의경험요소 새로운경험요소뉴미디어

56. 5. 아날로그와 디지털

57. 5-1. 아날로그와디지털의순환
Dot Scan Point
Point Print Dot

58. Google Street View Hyperlapse
5-1. 아날로그와디지털의순환
http://goo.gl/pgRYm
현실공간→이미지→웹브라우저→이미지→비디오→프로젝션→현실공간
아날로그와디지털을순환하며새로운속성의현실공간으로변환

59. 5-2. 아날로그와디지털의구성 요소
더 높은 차원으로 확장되기 이전의
구성 요소인 '점'

60. 5-2. 아날로그와디지털의구성 요소
Point
(in Coordinate System)
Dot Pixel
현실세계에서눈으로볼수있는아날로그적인Atom
매체와도료에의해형태와색상등을가지는구조체

61. 가상공간내에서약속된대로정의되는디지털적인Bit
2차원에서3차원,4차원으로의확장가능
5-2. 아날로그와디지털의구성 요소
Point
(in Coordinate System)
Dot Pixel

62. 현실공간으로부터3차원의Point를스캔
수많은Point의집합으로서의Point Cloud 데이터
Google Project Tango
http://goo.gl/QdMjxH
5-2. 아날로그와디지털의구성 요소

63. 5-2. 아날로그와디지털의구성 요소
PointDot
가상공간에서의
Pixel
현실공간에서의
Pixel
Voxel
디지털상의개념적인면적을차지하는색상정보의배열

64. 현실공간의Photon으로부터Pixel을스캔
모든방향으로부터이미지와포커스를데이터화
Lytro Immerge
http://www.lytro.com/immerge
5-2. 아날로그와디지털의구성 요소

65. 5-2. 아날로그와디지털의구성 요소
PointDot
가상공간에서의
Pixel
현실공간에서의
Pixel
Voxel
패널,프로젝터등의하드웨어가가지는RGB 소자로부터의빛
m나 inch 대신PPI(Pixels per inch)와같은단위가중요

66. 반투명의스크린을중심으로양쪽공간에서펼쳐지는스토리텔링
스크린에프로젝션되는영상을통해변화하는공간설정
Le mouvement de l'air
http://goo.gl/xgx8Lu
5-2. 아날로그와디지털의구성 요소

67. 3차원공간에서이동하는LED 픽셀모듈
픽셀배열의변화에따라실시간으로변화하는스크린의크기와해상도
Flyfire by MIT SENSEable City Lab
http://senseable.mit.edu/flyfire
5-2. 아날로그와디지털의구성 요소

68. 5-2. 아날로그와디지털의구성 요소
PointDot
가상공간에서의
Pixel
현실공간에서의
Pixel
Voxel
Dot와같이현실공간에서의물리적부피를가지는Point

69. Point Cloud 데이터에현실공간의속성을실시간으로적용
Unnamed Soundsculpture
http://goo.gl/hgln7
5-2. 아날로그와디지털의구성 요소

70. 빛의프로젝션을통해Point Cloud 데이터를현실공간의사물로전환
CLIP(Continuous Liquid Interface Production) 방식을통해기존방식의100배속도로프린팅
Carbon3D - Light + Oxygen 3D Printing
http://carbon3d.com
5-2. 아날로그와디지털의구성 요소

71. 5-3. 또 다른 아날로그와디지털의순환
Space Scan Voxel
Voxel Print Space
뉴미디어의발전에따라아날로그와디지털은일부속성을공유하며순환
뉴미디어의해상도극대화는아날로그와디지털의구분을어렵게만들것

72. 6. 가상 공간과 스토리텔링

73. 디지털에 의한 가상 공간
6-1. 디지털에 의한 가상 공간
디지털의표면이만들어내는가상공간과현실공간의이음매가사라진공간
스크린과모터,엑츄에이터,센서,스피커등을통해디지털의표면을생성
데이터의실시간적인연동을위한온라인/오프라인네트워크
.
.
.

74. 현실의3차원공간과완벽하게겹쳐지는가상의3차원공간
신체의행동에대한가상적인피드백을통해인지적분리를상쇄
Mediating Mediums - The Digital 3D (Greg Tran, 2011)
http://goo.gl/9SFhc
6-1. 디지털에 의한 가상 공간

75. 6-1. 디지털에 의한 가상 공간
가상공간위에현실공간을
재현한데이터
Mirror
World
Virtual
World
Augmented
World
현실공간과분리되는
디지털적인가상공간
현실공간위에중첩되는
디지털적인가상공간

76. 거대한지구에서부터실내공간까지현실공간을그대로재현한가상공간을탐색 http://goo.gl/1fiJlD
6-2. Mirror World
Google Liquid Galaxy
가상공간위에현실공간을재현한데이터

77. 현실의시간과연동되어움직이는3D지도위의건축물 http://goo.gl/P9dCmz
6-2. Mirror World
Apple Maps - Real time London Eye / Big Ben
가상공간위에현실공간을재현한데이터

78. HMD(Head Mounted Display)가전달하는시각과청각에다양한촉각이더해지는환경
Oculus Rift + 4D Effect + Haptic Feedback
http://goo.gl/rxA9mm
6-3. Virtual World
현실공간으로부터완벽하게분리되는가상공간으로의몰입

79. 한정된현실공간에서더높은몰입감을가지고가상공간을경험하기위한인터페이스
Virtuix Omni - Grand Theft Auto V
http://goo.gl/5sKhfa
6-3. Virtual World
현실공간으로부터완벽하게분리되는가상공간으로의몰입

80. Near-Eye Light Field Displays를기반으로현실세계위에중첩되는증강현실
Magic Leap
6-4. Augmented World
현실공간위에중첩되는디지털적인가상공간

81. 현실공간에서포케몬을획득하는위치기반의증강현실게임
과거Ingress를개발한Niantic Labs와Nindendo의협업으로개발진행중
Pokemon GO
6-4. Augmented World
현실공간위에중첩되는디지털적인가상공간

82. 현실공간과가상공간의신체가동일시되는미래사회에대한디스토피아적상상
영화매트릭스(1999),게이머(2009),써로게이트(2009)
6-5. 인터페이스로서의현실 공간

83. IT 전시회의키노트에서증강현실을통해구현된증강현실
증강현실을위한마커의역할을담당하는현실공간의구성
Intel CES Keynote - Leviathan
http://goo.gl/A4YCrN
6-5. 인터페이스로서의현실 공간

84. http://goo.gl/oztxCo
6-5. 인터페이스로서의현실 공간
HMD와실시간모션캡쳐시스템을통해구현된가상현실테마파크(2016년개장목표)
20mx20m크기의공간7개에비,바람,진동등의4D이펙트
구조와물리적인충돌의반작용에대한기능만남겨지는공간
The Void

85. 6-5. 인터페이스로서의현실 공간
기존의공간 언어는어떻게 변화될것인가?
가상 공간의 스토리텔링을위한
현실 공간의인터페이스로서의기능은
앞으로점점 더 중요해질것

86. 강의를 마무리하며

87. 강의를마무리하며
A Pattern Language
Christopher Alexander

88. http://sites.google.com/site/heavenlydesigner/lecture/archi-eco
heavenlydesigner.com
heavenlydesigner@gmail.com
medium.com/heavenlydesigner-kiheon-shin