Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

數位學習新風貌- 從 VR 到 AR

301 views

Published on

1.VR、AR概念與關鍵技術
2.VR/AR 學習理論基礎
3.醫療數位學習應用VR/AR相關實例
4.數位學習過去、現在、與科技未來反思

Published in: Education
  • Be the first to comment

  • Be the first to like this

數位學習新風貌- 從 VR 到 AR

  1. 1. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 數位學習新風貌-從VR到AR 黃國樑 VR X AR
  2. 2. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 2 2016最火紅的科技話題? Review 繼智慧型手機之後,下一個將顛覆這世界的科技 HoloLens CardBoard 2016 VR 元年 新體驗的開端
  3. 3. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 ㄟ,這詞一點都不新穎… 幾波曇花一現後,因關鍵技術突破 價格不再高不可攀 近來將在不同領域急速發展
  4. 4. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 4 Outline VR、AR概念與關鍵技術 VR/AR 學習理論基礎 醫療數位學習應用VR/AR相關實例 數位學習過去、現在、與科技未來反思
  5. 5. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 5
  6. 6. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 6
  7. 7. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 7 VR (Virtual Reality) ? 透過電腦多媒體技術,創造出 一個模擬的 3D 環境 藉顯示裝置 (VR 眼鏡) ,讓使 用者感官彷彿「身歷其境」, 進入一個完全虛擬的 3D 世界 在沉浸(immersion)體驗裡面 藉由控制器,即時在這個虛擬 的環境下穿梭或互動!
  8. 8. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 8
  9. 9. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 9 基本的VR體驗包括? 視 覺 X 聽 覺 X 互 動 交織出虛擬感官世界 觸覺、體感、嗅覺、味覺… 虛擬環境即時回應 頭部轉動、眼球 轉動、手勢… X 虛擬環境
  10. 10. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 10 關鍵技術 處理器  高效率處理頭部運動的演算  準確追蹤頭部的動作 顯⽰示器  當使⽤用者的頭部快速晃動時,可在不到一毫秒切換顏⾊,沒有殘影 數位影像技術  電腦影像處理,抵消凸透鏡放⼤時,視⾓角範圍造成畫⾯扭曲
  11. 11. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 11 VR設備重大革新,可達到三件事 全視角的虛擬畫面  360度全景情境,解析度達2K以上;視野範圍95度以上 虛擬世界和現實世界幾乎同步  虛擬世界,能幾乎不遲延,<20毫秒(ms),同步相對應的視角  顯示器刷新速度 >60Hz 操控系統  符合使用者經驗,控制虛擬畫面 Now
  12. 12. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 12 市場估計  2016 VR 需求開始起飛  2018年前,VR裝置市場出貨量2,500萬台  2020年VR產值將達700億美元
  13. 13. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 13 為何看到的是立體空間 因雙眼約6cm視差(binocular parallax),相同景物會導致左右 眼感知到景物距離與深度不同 據此慣性,透過電腦成像技術,對左右眼提供不同視角畫面, 讓使用者的大腦誤判,感受到立體空間
  14. 14. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 14 • 裝置裡面有兩個畫面分別對應左右 眼,兩個畫面的內容相同但角度略 有差異,來模擬人眼的視差 • 搭配環繞感明確的音源與耳機 • 看到的、聽到的都是來自虛擬環境 的感官刺激,好像真的置身其中 讓您大飽眼福
  15. 15. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 16 VR 發 展 演 進 1935-1961 萌芽階段 •科幻小說《皮革馬利翁的眼鏡》中的描述 (Pygmalion’s Spectacles) 1962-1993 研發應用 •虛擬環境建模 •機械、光學、觸覺回饋 1994-2015 推陳出新 •立體聲、互動行為 •系統整合、顯示技術 2016~迄今 全面爆發 •技術逐漸成熟 •價格不再高不可攀
  16. 16. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 17 VR系統觀 VR世界 顯示互動層 系統軟體層 運算渲染層 顯示器、手柄控制器 位置追蹤、動作捕捉 力回饋系統… 驅動程式、OS、 開發工具、軟體 應用 電腦 CPU GPU …
  17. 17. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 18 感測 頭部轉動 傳輸 給處理器 運算出對應的 畫面聲音變化 若不夠快會產 生時間差,導 致頭暈 撥出 畫面與聲音 過程5 傳輸 給螢幕
  18. 18. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 19 進一步模糊 虛擬 與 真實界線 要達到 VR 的效果  必須提供視覺、聽覺、互動、以及其他 感官的模擬元素  做得越好,越「以假亂真」,更容易 「信以為真」 「信以為真」的感覺稱做 「沉浸式體驗」  越優秀的 VR ,其提供的「沉浸式體驗」 更佳
  19. 19. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 20 如何建置VR 活動 空間 一個適合 VR 裝置 使用的空間 VR 裝置 頭戴式顯示器 控制器 感測器 後端 平台 高階CPU 高階GPU 虛擬 內容 對應的數位 虛擬內容
  20. 20. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 21 VR感官裝置 圖片來源:HTC Vive 用戶手冊 多半透過頭戴式的 VR 顯示器 播放各種 3D 擬真場景
  21. 21. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 22 現今 電腦版 VR裝置的三大巨頭
  22. 22. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 23 Sensor Wireless Controller Lighthouse Base Station HMD 建立結界; 發出雷射光 束以為空間 定位 偵測相對位置 Camera 可開啟外界實景 影像,為日後的 AR 應用而設計 控制器,有板機 與觸控面板 系統組成
  23. 23. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 24
  24. 24. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 25
  25. 25. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 26 HTC Vive
  26. 26. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 27
  27. 27. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 28 Oculus Rift
  28. 28. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 29 PlayStation VR 矇眼?
  29. 29. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 30 電腦版 VR 裝置的比較 產品名稱 HTC Vive Oculus Rift PlayStation VR 平台 PC PC PS4 顯示性能 2160x1200 110度視角 90fps 2160x1200 110度視角 1920x1080 100度視角 偵測能力範圍 5公尺平方 雷射光束 1.5 x 3.4公尺 紅外線 1.9 x 2.4公尺 紅外線 售價 799美元 599美元 399美元 體驗評分 4.5 3.9 4
  30. 30. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 31 控制器  目前主流是採用手持控制器,例如 HTC Vive、Oculus Rift、PlayStation VR 都屬於此類型  手持控制器除了內建各種體感元件, 來判斷使用者的動作,還有按鍵進行 輔助  下一步,將手套控制器,可以更細膩 的手部動作,更直覺精確地在虛擬世 界中完成各種需求 配合光學捕捉系統和數據手套(data glove)使 用的頭戴式顯示器
  31. 31. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 32 虛擬內容 主要來源 3D CG軟體製作 全景攝影機拍攝  360度無死角影片
  32. 32. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 33 VR內容平台 產品 開發商 支援設備 主要內容 Oculus Store Oculus Platform Oculus Oculus Rift、三星 Gear VR 全景影片、全景圖片、 VR遊戲 Steam Steam VR Valve HTC Vive、Oculus Rift、 三星 Gear VR 3D影片、360度全景影 片、VR遊戲 Google Cardboard Google Play Google 類Cardboard 3D影片、360度全景影 片、VR遊戲
  33. 33. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 34 360度全景攝影 Google 與 GoPro 合作發展 的全景攝影機
  34. 34. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 35 720度全景影片 水平360度 + 垂直360度 構成 : 由多台相機同時拍攝 或 藉由全景相機拍攝所 利物浦大教堂全景圖片
  35. 35. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 36 虛擬實境影片 FB正式支援,VR進入社 群網站 360度無死角影片 全景影片 360度攝影機
  36. 36. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 37
  37. 37. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 38 手機板VR頭盔 Samsung Gear VR • 由三星電⼦子與 Facebook⼦子公司Oculus VR共同開發的產品 • 內建三軸加速器、陀螺儀、 距離感測器與磁⼒力感測器
  38. 38. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 39
  39. 39. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 40 超平價 手機板VR頭盔 • 去 Google Play 安裝 CardBoard 軟體,同時也可以找一些支援的 應用程式或是遊戲 Google CardBoard
  40. 40. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 41 VR 虛擬實境的視覺與聽覺體驗
  41. 41. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 42 VR 3I特性 互動 沉浸 想像 與虛擬物件物互動 被環境包圍, 身歷其境感 主動探索環境資 訊,產生新想法 Interactivity Immersion Imagination
  42. 42. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 43 產業化發展現況 • 一般商用市場的 VR 虛擬實境應用才正要起步  VR的應用領域包括 • 航空、娛樂、軍事、教育、醫療、工業、訓練、心理學、科學研 究等等。
  43. 43. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 44 士兵佩戴VR眼鏡進行傘降作戰訓練
  44. 44. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑
  45. 45. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 46 擴增實境 (Augmented Reality, AR) 結合「真實世界」與「虛擬世界」 的技術  將「虛擬資訊」擴增到「真實環境」中  不是要取代現實空間 在現實空間中添加虛擬物件  藉由攝影機的辨識技術與電腦程式的結合,當設 定好的圖片出現在鏡頭裡面,就會出現對應的虛 擬物件 技術的應用  已廣泛運用在手機或平板等移動式裝置上
  46. 46. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 47 運作原理 真實世界中的場 景與物體,藉由 攝影機拍攝現實 環境 傳輸 給處理器 回傳到電腦中 融合虛擬物件, 並產生出複合 式的擴增實境 影像 藉此讓使用者 可以看到真實 世界的場景以 及虛擬世界的 物件 傳輸 給螢幕 過程5
  47. 47. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 48 AR 應用實例-導航 駕駛人不必低頭看螢幕 提供延伸資 訊,又不干 擾實境下的 任務
  48. 48. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 49 AR 應用實例 透過營幕等輔助裝置的呈現,看到虛 擬和真實世界的結合狀態 惟虛擬的內容和互動仍止於虛擬之中
  49. 49. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 50
  50. 50. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 51
  51. 51. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 52
  52. 52. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 53 Google Glass • 一款配有光學頭戴式顯示器(OHMD)的可穿戴式電腦,由Google開發, 其目標是希望能製造出供給大眾消費市場的普適計算裝置 • Google眼鏡以免手持、與智慧型手機類似的方式顯示各種資訊 • 穿戴者透過自然語言語音指令與網際網路服務聯繫溝通
  53. 53. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 54 希臘雅典古安哥拉的中柱廊 AR展示前與後
  54. 54. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 55 圖為 Nokia Live View 地圖或導航軟體也很常 用到 AR 技術,將地點 的標示與真實畫面做結 合
  55. 55. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑
  56. 56. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 57 混合實境 (Mixed Reality, MR)? 建立出一個虛實整合的新環 境 使用者可以透過半透明的顯示器看到 真實的世界 現實中的物件能夠與數位世界物件共 存 符合一般視覺認知的虛擬影像 能即時的與虛擬物件產生互動
  57. 57. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 58 MR裝置 HoloLens • 四個攝影機鏡頭,用以捕捉周邊環境深度的變化 • 上下左右皆達120度 • 無線,內含CPU、GPU、耳機 • 免拿控制器,徒手手勢
  58. 58. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 59 • 四個攝影機鏡頭,用以捕捉周邊環境深度的變化
  59. 59. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 60 作業特色 • 攝影機 + 顯示 + 聲音 + 感測 + 運算 全部 All in one • 不受空間範圍限制,不需控制器 • 在使用者視網膜投影即時生成虛擬 物件 • 創造沉浸式體驗、全像互動體驗 HoloLens
  60. 60. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 61
  61. 61. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 62 VR 總結 VR、AR 以及 MR 虛擬實境 全虛擬 實景+3D虛擬資訊 實景+3D虛擬物件+互動 接近現實的虛擬環境 獲得逼真空間感 沉浸式的體驗 將虛擬元素藉由投影或是攝 影機的,將虛擬與現實元素 疊合,提共豐富資訊,增加 感官體驗 將虛擬與現實世界進行更多的 結合、串聯並且可與3D虛擬 物件互動 CV/AI演算 > 顯示 > 通訊顯示 > CV/AI演算 > 通訊 CV/AI演算 > 顯示 > 通訊 AR 擴增實境 MR 混合實境
  62. 62. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 63 VR/AR 不是單一技術 電腦 圖學 圖像 顯示 感測 技術 多媒 體 智慧 介面 AI 網路 傳輸 語音 綜合了人機互動內容、方式和效果的三種革新
  63. 63. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + VR/AR 學習理論基礎
  64. 64. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 65 教學訊息與媒體關係 Teacher SMEs Learner 教學媒體 KO KO KO KO 教學方式 KO = Knowledge Object 學習物件最小組成單位
  65. 65. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 66 真實學習(authentic learning) 真實學習的理論根基源於建構主義(Driscoll, 1994; Savery & Duffy, 2001) 核心觀點之一為「理解存在於周圍世界的互動中」 (Savery & Duffy, 2001) 認為,知識或技術的深刻理解在於個人和環境的互動中
  66. 66. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 67 真實學習的三個特點(Maina,2004) 模擬現實環境任務 在有意義的情境中的學習 以學習者為中心
  67. 67. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 68 Edgar Dale 經驗金字塔 口語 符號 視覺符號 圖像或聲音 影片、觀摩示範 角色模擬演練 直接有目的性之經驗 抽象 真體 (Dale, 1946)經驗感受較高 經驗感受較低
  68. 68. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 69 與過去媒體利基點 提供文字、照片或影片無法傳遞的沉俓體驗與經驗感 受及互動感 VR/AR是HCI(人機互動)新途徑 360度沒死角
  69. 69. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 71 文字 Media 已成熟發展 幾千年 照片 已成熟發展 百餘年 影片 已成熟發展 數十年 AR VR 即將進入 成熟發展 好的使用者體驗?
  70. 70. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 72
  71. 71. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 73 VR/AR 醫療數位學習應用 輔助醫生/護士工作  即時提供病情及衛教資訊,讓醫病之間溝通更有效,提高診斷病情能力 復健治療  根據復健動作,即時為病患提供復健認知、動作等引導,輔助康復 醫學知識  認知型學習內容,提供更豐富、活潑有趣學習體驗,提高學習動機  講課交由VR/AR,讓學生自主學習;老師只負責引導與討論 臨床訓練  對精密手術進行多次模擬練習,藉此降低不可逆的失誤可能性
  72. 72. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 74 人體解剖學,學生能夠清楚了解到人體的構造
  73. 73. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 75 呈現的『器官』動起來,讓學生更加瞭解這些器官是如何運作的 相較於使用「大體老師」學習,器官已經是沒有運行的狀態
  74. 74. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 76 Case Western Reserve University(凱斯西儲大學) 現 在與 Microsoft 合作將VR應用於醫學中教育中…
  75. 75. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 77 教學現場 策略的轉變 不是教導「學習什麼」,而是教導「如 何學習」、 「如何運用」 不是「主導」,而是「引導」 不是「限制」,而是「創造、開放」
  76. 76. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 78 教學形式發展趨勢 溝通表達 即時化 使用介面 視覺圖形化 學習方式 行動化 學習環境 虛實合一化
  77. 77. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 79 擴增智慧 的時代 未來 The age of augmented intelligence AI 無人 駕駛 機器 人 穿戴 科技 嵌入 運算 …
  78. 78. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 81 搭上全球趨勢,而不是盲目跟風 元年是,內容 非 硬體,利用 VR說故事的開端 VR/AR需面臨三大關卡 價格 內容設備
  79. 79. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑 + 82 借鏡 與 反思 2016是VR元年 過去是硬體技術的突破 接下來,如何利用VR/AR說「更生動」故事, 增加故事的面向與主題深度才是關鍵 Contents is king 回到過去e-learning系統癥結 當平台已搭起了,內容才是真正王道
  80. 80. 2016年第三屆台灣醫療數位學習研討會 | 台灣醫療數位學習學會 | 黃國樑

×