Intermedia Mobility R&D Ideation Note I

Zer01ne Creator Project  
 
Ideation Note
Park Seungsoon 
 
2018.04.30

본 문서는 철저히 주관적인 해석과 상상에 따라 전개 되었기에
제시하는 내용에 있어 오류나 비약이 존재할 수 있으며,
또한 이미 많이 언급되어 전혀 새롭지 않을 수 있음을 말씀 드립니다.
문제 되는 내용이 있을 경우,
phonicspark@gmail.com으로 연락 부탁드립니다.

개인 프로젝트의 출발점
환경소리(Environmental Sound)

4년 전부터 매일같이 집 주변 건물을 허물고 짓는 일들이 반복되면서
공사 과정에서의 소음으로 인해 스트레스가 증가하였다.
이에 따라 한동안 짜증과 우울한 감정이 계속 반복되어
자연스레 도시/자연의 환경적 소리에 관심을 두기 시작했다.

실제로 도시의 소음으로 인해 점차 청력이 손실되고 있으며,
소음공해로 인한 각종 질병들이 등장하고 있다.

불쾌지수 증가, 수면 장애, 청력 장애 등
이미지 출처: https://goo.gl/tvmVUj

이는 단순히 인간 뿐만 아니라 도시에 살아가는 다른 생명체에게도 영향을 준다.
일례로, 도시의 새는 자연의 새보다 평균 2-30dB 정도 소리를 크게 내며
도시의 소음으로 인해 새들간 커뮤니케이션 방식도 바뀌었다고 한다.

어쩌면 미세먼지 뿐만 아니라 미세소음으로 뒤덮여 있을지도

또 하나의 관심 주제
 
 
인공 신경망(Artificial Neural Network)
이미지 출처: https://goo.gl/97LrTT

2016년, 아마 대부분의 사람들이 그러할듯, 이세돌과 알파고의 세기의 대결을 보면서
나 또한 ‘인공지능’, ‘딥러닝’이라는 새로운 분야를 접하게 되었고,
기존에 고민하고 있던 ‘환경소리’는 이러한 새로운 기술과 어떻게 작용할 수 있는지 궁금했다.

MIR(Music Information Retrieval: 음악정보분석) 및 SIR(Sound Information Retrieval: 소리정보분석)분야에서
음성인식의 정확도 뿐만 아니라 청각 장애인을 위한 청각의 시각화, 시각 장애인을 위한 시각의 청각화 등,
문화, 기술, 산업 등 다양한 영역에서 환경소리 데이터셋 구축 및 연구가 활발히 진행 중이다.

음악 분야에서는 이탈리아 미래주의 예술가 Ruigi Russolo의 1910년대 소음주의 선언을 시작으로
녹음/편집 기술의 발전과 더불어 John Cage, Pierre Schaffer, Murray Schafer, Barry Traux 등
환경소리를 음악의 재료로 활용하고자 했던 음악가들은 끊임없이 새로운 음악 작법을 고안하고 제안하였다.

2017년 심층신경망 알고리즘 개발자 이종필과의 협업을 통해 심층신경망의 멀티모달 커넥션을 기반으로
풍경의 이미지를 분석하여 이에 상응하는 환경 소리를 연동하는 연구 및 작품 <NEUROSCAPE> 연작을 선보였고,
이를 통해 환경소리와 인공신경망 알고리즘 연계 및 다양한 분야로 확대 가능성을 발견하였다.
참고링크: www.neuroscape.ai

또한 2018년 2월 무대미술가 신승렬 작가와의 협업을 통해
무대와 음악/사운드가 중심이 되는 설치극장(Installation Theatre)
<시적극장(Poetic Theater)>을 발표 하였다.

초입방체(Tesseract)의 비가시적 청각 공간을 구축하여
10채널 스피커 시스템에 일상의 소리 기억 입자를 약 2,000개 가량 배열하였고,
관객은 무대공간을 돌아다니며 각자의 경험, 기억, 학습, 현재의 감정 등을 기반으로
일상적 소리 입자들이 머리 속에서 각기 다른 모습으로 투영되는 구조를 설정하였다.

오스트리아 예술가 Bernhard Leitner의 <Headscape> 작품 이미지처럼
인간의 머리 속에는 커다란 독립적인 풍경을 그려낼 수 있는 행성이 존재한다고 생각하였고,
능동적으로 사유하고 자신만의 고유의 리듬을 회복할 수록 더 뚜렷한 풍경이 그려질 것이라고 생각했다.

이러한 개인적인 고민 또는 경험과
환경소리, 인공 신경망의 연구/작업 주제 등이
제로원 크리에이터 프로젝트에서 어떻게 발현될 수 있을지를 고민했다.

Zer01ne Creator Opencall에서 제안한 
 
Big Data & Smart City / Interior Design / EV
총 3개의 주제는 개별적으로 모두 흥미롭게 다가왔다.

첫째, Big data / Smart City 프로젝트 중 가장 호기심이 생겼던 부분은
‘HMG에서 환경소리 데이터셋 구축에 어느정도 관심있는지’였다.
Big data

음성 인식 분야에서 사람의 목소리를 인식하는데 있어
외부 환경의 소리 잡음으로인해 정확도가 떨어져,
이를 해결하기 위해 환경 소리를 역으로 ‘마스킹’한다.
Big data

이러한 소리 분리 방식을 이용한다면,
곳곳의 소리를 라이더를 통해 녹음하고
기존 차에서 발생하는 자동차 소리 데이터를 마스킹하여
입체적인 ‘3D Sound Map’을 만들 수 있지 않을까 생각하였다.
Big data

둘째, 인테리어 디자인 팀의 프리젠테이션은 개인적으로 매우 인상적이었다.
특히 ‘공간, 시간, 이동, 연결’ 그리고 ‘A.I’라는 키워드는
나의 주요 고민 지점들과 매우 밀접하게 맞닿아 있었다.
인테리어 디자인

자연스레 여기에 ‘환경소리’라는 요소가 어떻게 적용될 수 있을지 고민하였으며,
주변의 소리들로 인해 반응하는 유동적 오브젝트를 상상하다가,
문득 ‘유체역학’과 ‘소리’의 연관성을 떠올리기도 했다.

인간의 몸에 물이 70%이상 차지하고 있다는 건,
외부의 자극에 따라 함께 진동 가능하다는 것인데,

그렇다면
빛의 파동, 소리의 파동 <=> 물의 파동
‘심금을 울리는 소리’라는 말은
어쩌면, 소리에 따라 마음이란 호수에
실제로 아름다운 파장이 일어나는 것은 아닐까?
혹은 공진주파수(resonance).

또한, 아주 오래전부터 어렴풋이 상상만 해오던
‘Sound Chair’라는 키워드가 문득 떠올랐고,
어떻게 협업 모델을 만들어 볼 수 있을지 고민하기 시작했다.

마지막으로 상품개발팀의 프리젠테이션에선 역시 A.I 음성비서에 대해 호기심이 들었다.
하지만 개인적으로 현재 다수의 A.I 스피커는 학습된/훈련된 몇 개의 대표 카테고리 내에서
사람이 일방적으로 명령한 것이 작동하는 것이지, 진정한 의미의 A.I는 아니라고 생각했다.
상품개발

Natural Language Processing(자연어처리) 알고리즘은
아직 개선/해결해야 할 문제가 많은 만큼,
조금 더 천천히, 신중하게 고민해야 할 분야라는 생각을 했다.
상품개발

보통 차를 소유한 이들은 자신의 차를 ‘애마(愛馬)’라고 부르며
기계에게 일종의 생명을 불어 넣어 자신과의 관계를 형성한다.
상품개발

만약 자동차가 자신이 보고 들은 것들을 기억하고 학습한다면,
더 나아가 이러한 것들을 나에게 공유하고 정말 가까운 관계로 이어진다면
나는 그 차(馬)를 사랑(愛)할 수 있게 되지 않을까?
상품개발

문득, 돌고래에게 인간의 언어를 가르치기 위한 실험에서
수컷 돌고래 피터가 연구원 로바트와 두 달 가까이 생활을 하다
그녀가 떠나자 얼마 되지 않아 세상을 떠났다는 기사가 떠올랐다.
https://goo.gl/7PdEKv
상품개발

지난 남양 연구소 답사에서 짧은 시간이었지만 매우 많은 것을 느끼고 경험하였다.
개인적으로 재능은 없지만 항상 ‘산업디자인’ ‘제품디자인’에 흥미를 두고 있었는데
실제 전문가들의 작품을 눈으로 직접 보는 것만으로도 여러 상상적 이미지들이 떠올랐다.

당시 아래와 같은 몇 개의 고민들이 계속 머리 속에 맴돌던 때이기도 했다.
“VR 디바이스의 몰입도는 좋은데, 꼭 기기를 착용해야만 할까?”
“나의 속도와 너의 속도는 결국 상대적인 것 아닐까?”
“자동차가 수집할 수 있는 데이터는 무엇이 있을까?”
“양자컴퓨터는 어느정도 속도/용량을 커버할 수 있을까?”
“누구나 할 수 있는 생각 말고, 내 경험에 근간한 다른 접근방법은 무엇이 있을까?” 등.

돌아오는 버스 안에서는 또 다른 생각들이 떠올랐다.
운전석 창문에는 늘 그렇듯 도로위의 일반적인 풍경이 펼쳐져 있었다.
이따금 창문에 빗방울이 맺히기도 했다.

각 좌석의 창문에는 김이 서려있어서 바깥의 모습을 볼 수 없었기에
스마트폰을 꺼내어 작은 화면에 집중하다가
다시 운전석 창문 밖 풍경을 멍하니 보기를 반복했다.

잠이 들기도 했다.
이런 행위들이 몇 차례 반복되자 버스 안의 나는
마치 가상 공간에 존재하는듯한 느낌이 들었고,
문득 이런 생각을 했다.

만약,  
 
자동차 자체가 하나의 커다란 VR/AR Device라면 어떨까?

앞서 들었던 ‘코쿠닝’이라는 개념이 계속 머리 속에 맴돌았고,
차창 밖으로 보여지는 풍경이 AR화 될 수도 있지만,
자율주행의 시대에서는 차단된 가상 공간도 될 수 있겠다는 생각을 했다.

우리는 이미 비행기를 통해
자율주행 공간 내 체험 가능한 것들을
대부분 경험해 보았다.

음식을 먹고,
누군가와 대화를 나누고,

책을 읽거나,
음악을 듣거나,
영화를 보거나,

누군가는 잠을 자기도 하고,
누군가는 일을 하기도 한다.

비행기와 달리 자율주행 자동차는 실제 도시/자연 등의 지면을 이동한다.
그렇다면 어떤 점이 기내 환경과 다를 수 있을까?

영화 <Lucy>에서 주인공 스칼렛 요한슨은
두뇌의 99%를 활용할 수 있게 되자
뉴욕의 한 복판으로 순간이동 한다.
https://youtu.be/z31gzqUnXZY

이 장면에서 눈 앞에 보이던 지금의 뉴욕의 거리는
한 순간 과거의 모습으로 시뮬레이션 되고,
걸어다니는 사람들은 실시간으로 당시의 모습(캐릭터)로 변화한다.
#모션트래킹 연구
https://youtu.be/z31gzqUnXZY

우선 도로 주행의 모든 기록들이 대용량 데이터로 저장 가능하다면
이를 기반으로 한 분석 및 학습은 물론,
영화 <Lucy>와 같이 시뮬레이션이 가능하지 않을까?

이미 Computer Uision의 Image Recognition 알고리즘은 풍경 이미지에서 
 
각 요소들이 무엇인지를 파악할 수 있으며,
최근에는 관련 환경 소리를 해당 오브젝트에서 발생하는 것도 가능한 것으로 알려져 있다.

또한 기존 연산처리 속도를 훨씬 뛰어넘는 Computer Vision을 통해 
 
실시간으로 도로 위의 자동차, 사람, 주변 경관, 건물 등의 3D 정보를 tracking 한다면 
실시간 시뮬레이션도 가능하다는 얘기일까?
NVIDIA의 비전은 무엇일까?

Google Map은 앞으로 이러한 기술들과 어떻게 연결될 수 있을까?

이미 우리는 <Pokemon Go>를 통해
실제 물리적 공간과 증강형 콘텐츠가 연결된
최적의 사례를 경험 또는 목격하였다.

만약 그 물리적 공간마저
사용자가 직접 Customizing 할 수 있다면
어떤 모습을 상상할 수 있을까?

Google은 최근 Android와 Unity 환경에서
물리적 공간을 나만의 가상 공간으로 꾸밀 수 있는
‘Google Map API for Android and Unity’을 선보인바 있다.
https://youtu.be/PaCJPQkTG34

이와 더불어 최근 미국의 게임 디자이너 Will Wright는
지난 3월, 개발 중인 신작 <Proxi>를 Unity와 협업 중이라고 하며
‘Proxi Art Challenge’ 공모를 진행 중이기도 하다.
참고로 그의 대표작으로는 <Simcity>, <Sims>, <Spore> 등이 있다.
https://youtu.be/phfpooto8iY

우리는 Simcity를 통해 나만의 도시를 꾸미는 것을 경험해보았고,

Sims를 통해 Second Life를 디자인 해 본 경험도 있다.

Will Wright는 한 단계 더 나아가
우리의 경험과 기억의 행성을 만들고
그 것이 연결되는 것을 상상하였다.

집, 가족, 우정, 공포, 사랑, 여행 등
보편적인 단어임에도, 우리의 머리 속에선
각기 다른 모습의 기억을 간직하고 있다

우리는 각자의 만들어 놓은 기억의 방을 찾아가
그 공간에 머무르며 자유롭게 유영할 수 있다.

그 모습은 마치 우리 뇌 속의
뉴런(Neuron)과 시냅스(Synapse) 구조와 같다.

다시 돌아와,
데이터 수집, 실시간 시뮬레이션, 기억의 연결 등
모든 기술적 제약이 0에 가까워지면
어떤 것을 더 상상할 수 있을까?

차원을 벗어나고 싶은 욕망
1D -> 2D -> 3D -> 4D

혹시 ‘시간 여행’을 경험해볼 수 있지 않을까?

물론 실제 벌어지는 일은 아니겠지만, 만약 진짜처럼 느낀다면
어느정도 과거로의 시간여행, 미래로의 시간여행을 체험할 수 있는 게 아닐까?

‘VR은 미래 자동차를 위한 축소판이 아닐까?
결국, 증강/가상현실의 연구는 미래 자동차를 위한 게 아닐까?’

잠깐, 그러면 지금 이건 그냥 자동차가 아니잖아?

문득, 게임화(Gamification)란 단어가 떠올랐다.
게임화(영어: Gamification 게이미피케이션)는 소비자 대상 웹이나 모바일 사이트 등 게임이 아닌 애플리케이션에 애플
리케이션 사용을 권장하기 위해 게임 플레이 기법을 적용하는 것을 뜻한다. 이와 같은 게임을 펀웨어(funware)라고 부르
기도 한다. 게임화를 이용해 사용자가 애플리케이션에서 바라는 행동을 하도록 유도하기도 한다. 게임화는 기술을 좀 더
재미있어 보이게 하거나, 게임을 하려는 인간의 심리적인 경향을 이용해 특정한 행동을 조장하는 방식으로 동작한다. 이런
기법을 통해 사람들이 평소에 재미없게 느끼는 잡일, 예를 들어 설문 조사, 쇼핑, 웹사이트 읽기 등을 하도록 유도한다.

어쩌면 미래의 차는 최고의 통신수단, 게임공간이자 극장,
다시 말해, 가장 비싸지만 가장 몰입감이 뛰어난 엔터테인먼트 공간이지 않을까?
우리의 일상 자체가 Customization & Gamification 될 수 있지 않을까?

이러한 파편적으로 떠오르는 생각들을 조합해보면
빅데이터, 인테리어 디자인, 상품개발이라는 3개의 주제는
내재적으로 공명하여 하나의 맥을 공유하고 있는 게 아닐까 하는 생각을 했다.

또한 <Pokemon Go>을 통한 Local Business 활성화를 상기해보면
스마트시티 뿐만 아니라 낙후된 지역의 개발(건설)을
Gamification과 연계하여 여러 아이디어를 도출할 수 있지 않을까?

‘자동차’라는 개념의 재정의
Redefinition: Car

Immersive Entertainment(or Intermedia) Mobility

for
Game Device

for
Personalized Theater

for
Communication Device

주행모드와 비주행 모드의 구분,
VR/AR/MR 등 외부 풍경과 연결/차단의 구분에 따라
실제 도로주행과 연계된 게임 또는 영상 콘텐츠,
화상커뮤니케이션 모드, 풍경 해설 등
다양한 설정들이 가능할 것이라고 생각한다.

데스크탑, 모바일, 태블릿 그리고 스마트카의 발전은
결국 기존 OS, UX, UI 발전의 흐름과 이어질 수 있겠다는 생각을 했다.

나는 이러한 종합적인 고민들을 기존 작업의 ‘초입방체(Tesseract)’구조로 생각해보았고,
그 안에서 어떠한 것들을 더 상상해 볼 수 있는지 알아보기 위하여
개인프로젝트로 ‘(가제) 인터미디어 큐브’를 제작 및 실험하고자 한다.

이를 위해 관련 개념 및 기술, 이미지 등을 리서치 하였다. (정리중)

이러한 리서치를 조합하여 2m³의 알루미늄 프레임으로 연결된 큐브를 설치,
13개의 멀티채널 스피커와 4개의 빔프로젝터를 각 면에 투사하여 입체 공간을 구축하고자 한다.
가운데에는 회전 의자와, 최소 2개 이상의 A.I. 스피커를 배치하여 다양한 실험 및 작품 개발을 하고자 한다.
이어지는 두 개의 이미지는 대략적인 큐브의 구조와, 이를 바탕으로 3D 모델링이다.

이렇게 구축한 입체 큐브 속에서
데이터는 어떻게 접근할 수 있을까?
어떤 인테리어를 떠올릴 수 있을까?
AI는 어떻게 활용 가능할까?

이미 Agnes Hegedüs는 1997년 
 
<Theater Museum VR>이라는 작품을 선보인 바 있다.
해당 작품의 연구를 통해 근본적인 질문 및 개념을 더 찾아볼 예정이다.

우선 드론을 통해 최대한 다양한 풍경영상을 수집한다.
기존 드론 촬영 영상에 ‘환경 소리’가 함께 녹음될 수 없었던 한계점은

지난 해 완성한 <NEUROSCAPE> 알고리즘을 이용하여
풍경 이미지/영상과 적합한 환경 소리를 연동 가능할 것이다.

인테리어 디자인 팀과의 협업의 경우,
지금까지 Ideation 과정에서 언급한 다양한 사례 및 개념을
함께 단계적으로 공유하며 협업 가능한 지점을 모색하고자 하며,

앞서 언급했던 외부의 ‘환경 소리에 반응하는 유체’라는 주제를 가지고
구축한 인스톨레이션 큐브에서 몇 가지 실험을 진행할 예정이며

‘Sound Chair’ 또한 마찬가지로
큐브 내에서의 영상/소리 등에 따라
어떻게 접근할 수 있는지 더 탐구하고자 한다.

마지막으로, 큐브 내에는 최소 2개의 A.I. 스피커를 설치하여
어떠한 영역까지 해당 기기를 커스터마이징 할 수 있는지 알아보고자 한다.

이 과정에서 자연어 처리(NLP), 딥러닝
그리고 음성 변환/합성 등과 관련한 연구자와 협업하여

현존하지 않는 인물의 생전 인터뷰 영상에서 추출한 목소리를 학습시킨 후

A.I 스피커를 이용해 그들의 목소리로 재구성된
일종의 ‘(가제)Voice Room’을 구상 중이며,
몇 가지 상황을 연출하여 짧은 길이의 작품을 만들고자 한다.

향후 계획으로는,
큐브 실제 구축 및 영상/사운드/알고리즘 등의 기술 테스트
인테리어 디자인 팀과 커뮤니케이션 통한 2차 Ideation 및 Research
아트웍 컨셉 및 프로토타입 버전 제작 및 공유
3차 Ideation 및 Research
…
등의 단계로 협업 지점을 지속적으로 찾아나가고자 한다.
* 빅데이터/스마트시티, 상품개발 AI의 경우 추후 진행 과정에서 협업 관련 논의를 확장하고자 하며,  
현 단계에서는 주로 개인 프로젝트 단위에서의 상상적 실험들을 위주로 진행하고자 한다.

실제 풍경 영상 및 3D
시뮬레이션 영상 투사 
 
#드론촬영 #Google
Map #Unity #VR/AR
환경소리 데이터 기반 인공
적 사운드스케이프 디자인
 
#환경소리데이터 #AI
Sound Chair, 환경소
리 반응 유체 운동 등
 
#인테리어디자인 #환
경소리데이터
AI Voice Room
 
#음성합성/변환 #딥러닝

2차 Ideation에서 다룰 몇 가지 핵심 개념
#이상 #GAN(Generative Adversarial Network) #퍼지이론 등

미래로달아나서과거를본다, 과거로달아나서미래를보는가, 미래로달아
나는것은과거로달아나는것과동일한것도아니고미래로달아나는것이과거
로달아나는것이다. 확대하는우주를우려하는자여, 과거에살으라, 빛보다
도빠르게미래로달아나라.
1931. 9. 12.
이상
선에관한각서 5
아트웍 컨셉 및 프로토타입 버전 제작 및 공유

영화 <Lucy>의 마지막 장면 中

HYUND.AI
내 눈에만 이렇게 보이는 건 아니겠지?

Intermedia Mobility R&D Ideation Note I

More Related Content

What's hot

Similar to Intermedia Mobility R&D Ideation Note I

Intermedia Mobility R&D Ideation Note I