Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

VR AR 미래전략 2016

VR AR UVR AH 현황과 미래전략
Ubiquitous Virtual Reality Augmented Reality
Augmented Human Strategy

  • Be the first to comment

VR AR 미래전략 2016

  1. 1. Woontack Woo (禹雲澤) AHRC/UVR Lab. GSCT, KAIST 국가미래전략토론회 (June 24, 2016) 2012-2016©Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
  2. 2. VR with Hands
  3. 3. VR with SLAM
  4. 4. Social VR by Facebook
  5. 5. MS Hololens Review
  6. 6. Magic Leap [A New Morning]
  7. 7. Meta 2 Review
  8. 8. What is VR/AR? 리얼 인듯, 리얼 아닌, 리얼 같은~
  9. 9. 기술정의 VR(out there): puts people in a computer-generated world VR: 컴퓨터로 만든 가상 공간이나 콘텐츠를 감각(시,청,촉,후,미 등)을 통해 몰입감 느끼며 상호작용 AR(here & now): Puts virtual content in a physical world VR을 현실에서 몰입감 느끼며 상호작용
  10. 10. 가상증강현실의 현황 개별적이고 산발적으로 진행되고 있는 IoT, Big Data, AI, Robot 등의 연구를 사용자 중심으로 통합적으로 연계 활용 할 수 있는 기술로 주목 VR/AR의 부상과 투자 확대로 신시장에 대한 기대 가상증강현실의 미래 VR/AR의 일상화, 가상과 현실의 공존 새로운 형태의 경험기반 사회경제 활동 컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결 합하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망 새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작 업/협업 효율성 증대, 응용 범위 확대
  11. 11. 가상증강현실 핵심기술 실감 콘텐츠 저작 및 증강기술 실감 콘텐츠 기반의 지능적 상호작용 과 협업 시공간 초월한 시청촉감 등 오감 통한 실감 경험 위치기반의 콘텐츠 소비와 경험 공유 And many more… 가상증강현실의 파급효과 및 대응: 핵심기술 확보 및 인력 양성 신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하 여 4차 산업혁명에 선제적 대응 및 신산업 창출 사회 문제 대응 부작용 대응: 탈현실화, 소외, 중독 등 부작용 가능성
  12. 12. Milgram's Reality-Virtuality Continuum [94] Azuma's definition on AR [97] combines real and virtual is interactive in real time is registered in real 3D world R. Azuma, A Survey of Augmented Reality, Presence, Vol.6, No.4, Aug. 1997, pp. 355‐385. P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual Displays, IEICE Trans. on I&S, E77‐D(12), pp. 1321‐1329, 1994.
  13. 13. "Virtuality is a bridge from reality to our imagination" - Chris Stapleton VR vs. AR? Mobile VR that will bring VR to the masses – Amir Rubin (CEO at Sixense) AR is not ready. VR will come first in 2016 – Robert Scoble AR needs to be experienced not explained – Tipatat Chennavasin AR will be used every day all the time in the future VR will be a once in a while thing – Steve Mann AWE 2015: AR vs. VR = Mediality vs. Imaginality The people making money don't care about this debate, though!" VR is the gateway to AR (for next few years)!” – Mark Billinghurst wwoo@uvr
  14. 14. Is VR/AR Hype? (Google Trend) VR vs. AR G. Google Glass (Apr. 2012) Facebook-Oculus $2B (Mar. 2014) Google Cardboard (May 2014) Samsung Gear VR (Sep. 2014) Google-Magic Leap, $0.54B (Oct. 2014) MS Hololens (Jan. 2015) B. Sony Morpheus (Feb. 2015) HTC Vive VR (Mar. 2015) MINI (Apr. 2015) Apple-Metaio (May 2015) Google Jump with Go-pro (May 2015) A. VR in E3 show (Jun. 2015) Intel-Recon (Jun. 2015) Samsung $99 HMD (Sep. 2015)
  15. 15. VR was Hot in 1990s! VR is Hot Again! Zuckerberg’s 3 predictions for what SNS will look like in 10 years 1. There will be (a lot) more people on the Internet. 2. We’ll be more likely to message people through photos or SMS than the old web interface. 3. The future of computing is AR/VR: distraction-free, heads-up communication, etc.
  16. 16. AR/VR Industries with Smart Glasses Magic Leap (Google, Alibaba, Qualcomm, Warner Bro., etc.) PTC (IoT) + Vuforia Microsoft HoloLens Apple + Metaio (+ D. Bowman) Intel (RealSense) + Recon Meta, HP (Aurasma) Facebook + Oculus Rift Samsung Gear VR + FOVE LG 360VR w/ G5 (VR w/ G3) Sony PlayStation VR (Morpheus) Google VR (+P. Debevec)
  17. 17. VR/AR, It’s Here Right Now! Revenue by 2020 Digi-capital: $120B (90B/30B) vs. BBC Research: $105.2B Revenue by 2025 Goldman Sachs Research: $80B (~ desktop PC market)  HW[$45B] vs. SW[$35B, VR:AR= $26B:$7B] 2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
  18. 18. AR/VR, It’s Here Right Now! AR/VR could hit $120B (90B/30B) revenue by 2020 2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
  19. 19. AR/VR, It’s Here Right Now! AR/VR could hit $120B (90B/30B) revenue by 2020 2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
  20. 20. Make People Pay Whenever They Use!
  21. 21. What are Smart Glasses? Wearable displays for JIT information or VR/AR content Types of Display & Smart Glass Screen or Environment
  22. 22. Why Glasses? Mobile vs. wearable ?
  23. 23. iOptik - a Glimpse into the Future Could this be the future of augmented reality glasses?
  24. 24. 대상기술 범위 가상/증강현실 실현을 위한 현실세계 인지 및 가상화: 현실세계를 가상세계로 변환하기 위한 기술. 관심객체(Object)를 포함 한 현실세계를 스캐닝하여 공간적 정보와 오감 속성을 컴퓨터가 인식 하고 활용할 수 있는 형태로 모델링하는 기술 스토리기반 실감콘텐츠 저작: 오감을 통합적으로 모방하여 현실 수준의 사실성이 높은 복제나 모델 링인 된 가상세계를 스토리에 따른 체험이 가능한 콘텐츠 저작 기술 실감 증강, 상호작용 및 협업: 증강된 가상세계 또는 관심객체와 사용자의 음성, 제스쳐 등 직접적 상 호작용 또는 사용자의 묵시적 의도, 감정, 환경 등의 상황에 대응한 간 접적 상호작용 그리고 다수 사용자 간의 협업이 가능하도록 하는 기술 3D 지도기반 가상증강현실 체험 및 경험공유: 다양한 방식의 시공간을 초월한 체험 및 경험 공유를 지원하는 가상증 강현실 관리 및 3D 지도기반 서비스 플랫폼 기술
  25. 25. How does AR work? Get video from camera Recognize Object of Interest Estimate position and orientation of the camera Render the augmented scene Process the interaction Update the status
  26. 26. Objects Recognition & Tracking Detection & Recognition of objects/point of interest Tracking: Continually locating the users viewpoint Position (x,y,z), Orientation (r,p,y) Registration: Positioning virtual object w.r.t. real world Tracking Technologies Active: Mechanical, Magnetic, Ultrasonic, GPS, WiFi, cell location Passive Inertial sensors (compass, accelerometer, gyro) Computer Vision: Marker vs. Natural feature Hybrid Tracking Combined sensors (eg Vision + Inertial) 2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
  27. 27. Augmentation Real-time deformable object rendering Real-time realistic Shadow & Shading Optical-see-through HMD display 2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
  28. 28. Interaction, Collaboration and UI Hand-based Interaction/collaboration for Ego-centric AR Multimodal interaction and collaboration Organic & Empathy UI
  29. 29. Context-awareness and AR Agent Context-awareness and Visualization Quantified-self for Augmented Human Social agent for Quality of Social Life
  30. 30. Telepresence “Being There without Really Being There (or Then)” Education & training, corporate communication Reach a wider audience Reduce travel costs 2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
  31. 31. User Experience for AH Platform UX for AH Look (Affordance) Feel (Sensibility/ Aesthetics) Use (Usability) /AR
  32. 32. Modified MAR Reference Model* External  Services User profile  (Experience,  Knowledge,  Behavior) Simulator  (Event, Space) Renderer MAR Execution Engine Contextualized PoIs Personal Device Display User  Interface MAR Scene (Events, Targets, …) Environment (or  wearable) Sensors  for Real World  Capturer Internet of Thing  (IoT) Sensors Sensors GPS Compass Gyro sensor Personal Device  Embedded Camera Media  Assets MAR Content Virtual Object Physical  World Open API Physical World User User Input User Command Enhanced Experience MAR  Visualization Recognition Data Context Analyzer  PoI Analyzer User Localization View Point Setting PoI Analyzing Context Processor Context Integration Context Inference Context Management Recognized PoIs User Context Sensor Data  PoI Recognition Data MAR  Anchor Prope rties MAR Ontology MAR Entity MAR Entity Info.
  33. 33. 5W1H-based MAR Entity, Anchor, Content 5W1H Metadata Schema who MAR Contents.Essential.Who when MAR Contents.Essential.When where MAR Contents.Essential.Where what MAR Contents.Essential.What, MAR Contents.{Type, Reference, MAR Anchor.ID}, VO.{Type, String, Data File}, Media Asset.{Type, Data File} how MAR Contents.Essential.How Anchor MAR Entity: Metadata 1 3 MAR Conte nt: Metadat a 5W1H Metadata Schema who MAR Anchor.Essential.Who when MAR Anchor.Essential.When where MAR Anchor.{Essential.Where, PoI Coordinate, Contents Coordinate, Coordinate Type} what MAR Anchor.{Essential.What, MAR Entity.URI, MAR Contents.ID} how MAR Anchor.{Essential.How, Scale, Interaction, Animation, Accessibility} MAR Anchor: Metadata 2 Anchor MAR  Entity Virtual  Contents Anchor 5W1H Metadata Schema who {PoI, Recognition Data, MAR Entity Information}.Essential.Who when {PoI, Recognition Data, MAR Entity Information}.Essential.When, MAR Entity Information.{Begin Time, End Time} where {PoI, Recognition Data, MAR Entity Information}.Essential.Where, PoI.{Location, Front Direction}, Recognition Data.{PoI 3D Position, GPS Location}, MAR Entity Information.{Location} what {PoI, Recognition Data, MAR Entity Information}.Essential.What, PoI.{Recognition Data.ID, MAR Entity.URI}, Recognition Data.{Data Set ID, Sub‐Data Set ID, Current Sub Data, Candidate Sub Data}, MAR Entity.{URI, Label, MAR Entity Information.ID, PoI.ID, MAR Anchor.ID, Property.URI}, MAR Entity Information.{Type, Description}, Property.{URI, Label}, Literal Value.{Type, Value} how {PoI, Recognition Data, MAR Entity Information}.Essential.How, Recognition Data.{Scale}, MAR Entity Information.{Condition state} PoI MAR Entity Information Related MAR  Entity Property
  34. 34. 연계 활용 기술 스마트 I/O: 착용형, 부착형, 이식형 등 IoT, 빅데이터, AI, 네트웍, 등 드론, 로봇, 자율 주행, 등 신산업 창출 응용분야 교육 엔터테인먼트 의료 제조 국방 커머스 관광, 전시, 공연, 문화유산
  35. 35. Holistic Layers of Physical Spaces/Places . . . . . . Real/Physical Virtual/Cyber Information/ Knowledge SPACE TIME Layers Social/wisidom
  36. 36. 2D Picture Tracking (K.Kim) 3D Vase Tracking (Y. Park) 3D Vase Tracking (Y. Park) Tracking (W. Baek) Tracking MO (W.Back) Multiple object Tracking (Y.Park)
  37. 37. ISMAR2008 ISMAR 2009 VC2010 3D objects Tracking, ISMAR2008 (K.Kim) Motion Blur in 3D tracking, ISMAR2009 (Y. Park) Scalable Tracking, VC 2010 (KKim) ISMAR2010 ISMAR 2011 ICAT2011 Modeling & Tracking, ISMAR2010 (KKim) Depth-assisted Tracking, ISMAR2011 (Y.Park) Depth-assisted Detection, ICAT2011 (W.Lee)
  38. 38. What I have Worked… since 2001
  39. 39. AiRSculpt: A Wearable AR 3D Sculpting Sung-A Jang, Hyung-il Kim, Woontack Woo, Graham Wakefield, “AiRSculpt: A Wearable Augmented Reality 3D Sculpting System,” HCII 2014, Vol.8530, pp.130-141, Jun. 2014
  40. 40. Hand Gesture Tracking in Trans Spaces Ours HSKL FORTH Y.Jang, S-T.Noh, H.J.Chang, T-K.Kim, W.Woo, "3D Finger CAPE: Clicking Action and Position Estimation under Self- Occlusions in Egocentric Viewpoint," IEEE TVCG, vol. 21, no. 4, 2015. (presented in IEEE VR 2015).
  41. 41. Collaboration in Trans Spaces Ours HSKL FORTH S-T. Noh, H-S. Yeo, W. Woo, “An HMD-based Mixed Reality Framework for Avatar-Mediated Remote Collaboration Using Bare-Hand Interaction”, ICAT-EGVE 2015, under review
  42. 42. Smartwatch-assisted AR Interaction Hyung-il Kim, Woontack Woo, “Smartwatch-assisted Robust 6-DOF Hand Tracker for Object Manipulation in HMD-based Augmented Reality,” IEEE Symposium on 3D User Interfaces (3DUI) 2016, Mar. 2016
  43. 43. SWOT of AR/VR in Korea SWOT STRENGTH Global companies (Samsung , LG, etc.) Quality of HW products WEAKNESS Ill-prepared: few experts Weak CPND eco-system Loose collaboration OPPORTUNITIES Big investment Reasonable HW/SW price Growing potential markets 증강휴먼 공동연구센터 AHRC Global Open Research Initiative:  Industries support ‘open R&D for CPND eco-system’  KAIST educates 100 experts for 5 years  AHRC provides open R&D opportunities for experts THREATS Too high expectation HW-driven: few proven acce ptance Social appearance
  44. 44. CPND for VR/AR UX Content Platform Network Devices AR- UX Content Platform Network Device The Economist 201604 • • Open Compute Project ( Facebook, Intel, Apple, Microsoft, Rackspace, Cisco, Juniper Networks, Goldman Sachs, Fidelity, Lenovo, Bank of America, etc.
  45. 45. Content is King : more than P-N-D Immersive AR/VR content authoring Context is Queen VR/AR-based o2o with IoT/IoE Cloud-based storage/processing Smart with Open Linked Data User is God Natural UI for AR & Augmented Human In-situ user participation Emphasis on UX and social acceptance AR & AH Eco- system Device: wearable Network: internet of everything Open PlatformContent: in-situ mashup Service: context- aware o2o UX-driven: User participation
  46. 46. 일몰형 (10년) AR 공동연구소 설립 및 운영 국제적 경쟁력과 리더십을 갖춘 거점 공동연구소: VR/AR분야의 국내외 연구역량을 결집하고 핵심 기술확보와 특허 선점 기존 출연연과 상호보완적 협력과 경쟁을 통해 연구 역량 확대. 국내외 산학연 연계의 허브 및 산업화 확산: 전임연구원과 참여 기관의 파견이나 중단기 방문 연구 인력은 5:5로 유지하고, 공동연구 수행. 일몰 후 파견 기관으로의 복귀, 창업, 취업 등을 통해 축적된 기술을 확 산하고 산업화 고급 연구인력 양성 및 유지: 참여 대학에 가상증강현실 프로그램 신설을 통해 체계적 인력을 양성 하고, 연구소 인력에게도 학위 과정의 기회를 부여. 대학원생에게는 공동연구 참여를 통한 연구역량 강화
  47. 47. AR 공동연구소의 두마리 토끼: 산업화와 삶의 질 산업화와 지속 가능한 CPND 생태계 핵심 기술: 콘텐츠(몰입감, 상호작용, UI, UX 공유) & PND 사용시 안정성 (멀미 등) 검증 과몰입, 중독, 가상과 현실의 혼동으로 인한 사회적 문제 (사회적 고립 /소외, 리셋/리플리 증후군 등) 예방 신산업: 교육, 오락, 의료, 제조, 국방, 커머스, 관광, 전시, 공연, 등 삶의 질 향상 위한 사회적 도전과제 (Social Agenda Project) HRHR: Impact Investing to Social Problems 건강: 고령친화, 장애극복, (원격) 의료서비스, 예방 안전: 범죄, 재난재해, 보안, 개인정보, 경제: 고용, 양극화, 인구 구조의 변화 교육/사회/문화: 개인 맞춤형 교육, 협력, 사회통합, 문화유산 기타: 공공행정, 환경 (기후, 자원, 생태계), 교통 (운송, 물류)
  48. 48. AR 공동연구소의 목표 및 로드맵 VR/AR 분야 생태계 활성화 및 2025년 세계시장 10% 점유 범부처 협력: VR/AR 분야 CPND 생태계 구축 지원 VR/AR/AH 핵심기술 및 저작/체험 플랫폼 확보 [1단계] VR/AR/AH CPND 핵심기술 확보 (~’19)  핵심기술 확보: 실감 콘텐츠 저작, 상호작용/협력/공유, UI/UX, AH P. 등  VR/AR기반 사용자 인지/지식/경험 증강, 육체적/지적/사회적 능력확장  CPND 표준화, UX-driven BM 개발, 서비스 기반 구축, 실증 등  지속적 사용을 위한 안정성(멀미 등) 검증 및 확보  부작용 (과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화 등) 대응  ‘산업화’와 공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응 [2단계] 가상증강현실 통합 운영 플랫폼 (~’22) [3단계] IoT-Big Data-AI-로봇 연계 증강휴먼 플랫폼 (~’26) * Facebook의 10년(2016-25) Roadmap: AR-VR-AI의 통합 플랫폼
  49. 49. Future Human in UVR era? AR: extended space-time How to extend human’s physical, intellectual, social abilities? … After Singularity? (by Ray Kurzweil)
  50. 50. From HC Interaction to HC Integration Augmenting Human Intellect w/ computing Conceptual framework & Mouse [‘63 D. Engelbart] AR for augmenting human physically Quantified Self, Tracking Person Life logging using data from Personal Behavior as well as IoE [‘07 Gary Wolf, Kevin Kelly] Small Data but Big ‘Challenge & Opportunity’
  51. 51. From AR to Augmented Human [Woo] To improve human’s ‘Intellectual, Physical, Social’ abilities How to achieve AH? Augmented Perception, Intelligence, Experience P: Enhancing 5+ Sensation and perception I: Offering wisdom with QS, LOD, and IoE/IoT E: Improving sociality with social agent
  52. 52. How does AH Platform work? Get video from camera Recognize Object of Interest Estimate position and orientation of the camera Render the augmented scene Process the interaction Update the status •Context-aware & Visualization •Quantified Self for AH Platform •Social Agent for Quality of Social Life
  53. 53. Applications of Quantified Self Personal AR Guardian (healthcare, life coach/guard, etc.) Sustainable self-management with game-like competition Personal black-box for protecting self from criminal
  54. 54. From Quantified Self to Quality of Social Life: 사회적 관계 형성: Human-to-Human Social Networking 경험의 공유와 공감: Empathy 타인 가치의 존중과 협상: Negotiation 추천과 결정: Deliberative decision-making Family Friends Groups Communities Companies Countries … Trusted Organization Personalized Augmentation UX Sharing Sensing and Monitoring Context- aware Negotiation Quantified Self
  55. 55. 가상증강현실의 현황과 미래 개별적으로 진행중인 IoT, Big Data, AI, Robot 등의 연구를 사용 자 중심으로 통합적으로 연계 활용할 수 있는 기술로 주목 VR/AR의 일상화: 가상과 현실의 공존 새로운 형태의 경험기반 사회경제 활동 컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결합 하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망 새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작업/ 협업 효율성 증대, 응용 범위 확대 대응: 일몰형 AR 공동연구소: VR/AR/AH CPND 핵심기술 확보 및 인력 양성 부작용: 멀미, 과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화, etc. 신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하여 CPND 전 분야의 신산업 창출 공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응
  56. 56. “The future is already here. It is just not uniformly distributed” by William Gibson (SF writer) More Information Woontack Woo, Ph.D. FB @wtwoo 11th ISUVR 2016 @Aug. 1-5, 2016