SlideShare a Scribd company logo
1 of 76
學  校 :國  防  大  學 系  所 :資 訊 科 學 系 指導教授 :王 順 吉 老 師 報  告  人 :李  正  豪 報告時間 : 100 年 05 月 09 日
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
研究動機 National Defense University - Department of Computer Science. 08/16/11 没有 Marker? 那為什麼要使用無標記呢 ?
研究動機 ,[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11 ,[object Object],[object Object],[object Object]
研究目的 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
大綱 ,[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
數位學習起源 08/16/11 National Defense University - Department of Computer Science.
數位教材種類 08/16/11 National Defense University - Department of Computer Science.
數位學習的新趨勢 圖片摘錄自 : http://www.i-tlog.com/lemonadeplease/entry/2010 數位學 習 科技趨勢分析 08/16/11 National Defense University - Department of Computer Science.
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
何謂擴增實境 在 1994 年 Milgram 將真實 場景與 虛擬 實境 之間的變化程度, 提出了「真實 - 虛擬連續性 (reality–virtuality Continuum) 」 理 論 ,為擴增實境與虛擬實境做了有所區別。 圖片摘錄自: Michael Haller el. ,“ Emerging Technologies of Augmented Reality : Interfaces and Design” , Idea Group Publishing , U.S.A , 2007 08/16/11 National Defense University - Department of Computer Science.
擴增實境基礎架構 ,[object Object],圖片參考自:  Oliver Bimber. and Ramesh Raskar., Spatial A ugmented Reality Merging Real and Virtual W orlds, Wellesley, Massachusetts, U.S.A ,A K P eters, Ltd ,Chap.1, pp. 1-7, 2005 08/16/11 National Defense University - Department of Computer Science. User Application Interaction devices and techniques Presentation Authoring Tracking and Registration Display Techniques Rendering
擴增實境 運作步驟 08/16/11 National Defense University - Department of Computer Science. 載入 追蹤辨識 定位疊加 顯示
擴增實境之類別 標記 (Marker) 08/16/11 National Defense University - Department of Computer Science. 無標記 (Markerless)
擴增實境技術在數位學習之應用 ,[object Object],08/16/11 National Defense University - Department of Computer Science.
擴增實境技術在數位學習之應用 ,[object Object],08/16/11 National Defense University - Department of Computer Science.
擴增實境技術在數位學習之應用 ,[object Object],08/16/11 National Defense University - Department of Computer Science.
小結 ,[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science. 那無標記技術要如何實現呢? User Application Interaction devices and techniques Presentation Authoring Tracking and Registration Display Techniques Rendering
大綱 ,[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
現有開發平台分析 08/16/11 National Defense University - Department of Computer Science. ARToolKit D’Fusion Unifeye Design
影響追蹤辨識因素分析 08/16/11 National Defense University - Department of Computer Science.
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science. 載入 追蹤辨識 定位疊加 顯示
物件追蹤 ,[object Object],08/16/11 National Defense University - Department of Computer Science. 操作無標記擴增實境時要有那些基本需求?
物件追蹤 -- 特徵 追蹤 --I ,[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
物件追蹤 -- 特徵 追蹤 --I ,[object Object],08/16/11 National Defense University - Department of Computer Science. (a) 為 SIFT 所擷取特徵點表示圖,影像解析度為 262 * 461 ,特徵點計 612 個。 (b) 為 SURF 所擷取特徵點表示圖,影像解析度為 262 * 461 ,特徵點計 509 個。 ,[object Object]
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science. 載入 追蹤辨識 定位疊加 顯示
SIFT ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
SIFT National Defense University - Department of Computer Science. 08/16/11
特徵點位置最佳化 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11 (x,y-1) (x-1,y) (x,y) (x+1,y) (x,y+1)
特徵點描述 National Defense University - Department of Computer Science. 08/16/11
特徵點描述 ,[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
SURF ,[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
SIFT 與 SURF 差異 National Defense University - Department of Computer Science. 08/16/11 項目 SIFT SURF 特徵點 擷取 運用 不同尺度 的 差異高斯金字塔 。 運用 積分圖像 及 改變 Hessian  偵測 子 的遮罩大小 ,來 改變影像的 尺度空間。 特徵點 方向 先計算特徵點 週邊像素梯度強度 後,在 運用直方圖確認其主要方向 。 以 特徵點為圓心 ,取半徑為 6σ 的圓形,在 以 60 度扇形視窗 統計 Haar 的一階導數值 (dx 與 dy) , 最大加總值的掃描角度 作為其特徵的主要方向。 特徵點 描述 以特徵點為中心,取 8 * 8 的窗口。然後在每 4 * 4 的區域中,計算 8 個方向的特徵點,計有 2 * 2 * 8=32 維的 SIFT 特徵向量,建議將原窗口改為 16 * 16 的,故 原 32 維的 SIFT 特徵向量,會變為 4 * 4 * 8= 128 維的 SIFT 特徵向量。 以 特徵點為中心 取 20 σ 大小的正方形區域 ,並 以 每 5 σ 為 子區域 ,共 16 個子區域 。 在 子區域 中進行以邊長為 2 σ 大小 , 計算 Haar 一階導數值 (dx 與 dy) ,每個子區域內共計算 25 次 , 組 成 4 個加總值表示向量 ,此 16 個子區域的特徵向量形成描述該特徵點的 4 * 4 * 4= 64 維度的特徵描述子。 (x,y-1) (x-1,y) (x,y) (x+1,y) (x,y+1)
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science. 載入 追蹤辨識 定位疊加 顯示
移動物件偵測 ,[object Object],08/16/11 National Defense University - Department of Computer Science.
移動物件偵測—光流法 08/16/11 National Defense University - Department of Computer Science. 光流法 (Optical Flow Method) 的原理,簡單 的說 ,光流法就是 藉由偵測光線強弱的變化來進行偵測移動物件。
移動物件偵測—時序差異法 08/16/11 National Defense University - Department of Computer Science. 影像 K-1 影像 K 物件變動位置 差異影像 時序差異法 (Temporal Differencing )的原理, 簡單 的說 利用連續 2 幅 至 3 幅的影像做 1 對 1 的像素相減 , 若 兩者差異不為零則為 移動 物件。
移動物件偵測—背景相減法 National Defense University - Department of Computer Science. 08/16/11 背景相減法 (Background Subtraction) 的原理 : 1. 運用幾秒的連續影像建立初步背景 2. 在以目前影像與背景影像比較, 3. 符合條件為背景,反之為 移動 物件。
小結 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
金字塔 L-K 光流法 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science. 載入 追蹤辨識 定位疊加 顯示
座標轉換 08/16/11 National Defense University - Department of Computer Science. 其中 K 為相機校正矩陣公式 : C x 與 C y 分別代表 x 與 y 上的偏移量 。 f x 與 f y 分別代表 x 與 y 含比例參數的座標點 。 物理意義上的像素也不一定是矩形, s 則代表 X 軸與 Y 軸的歪斜參數。 轉換公式: Q 為世界座標系統三維座標點,而世界座標系統三維座標點與相機座標系統相對三維座標點的關係,可由位移轉換 t 與旋轉轉換 R 來表示。   公式中:
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
影響追蹤辨識因素分析 ,[object Object],08/16/11 National Defense University - Department of Computer Science.
物件複雜度 08/16/11 National Defense University - Department of Computer Science.
追蹤物移動速度 08/16/11 National Defense University - Department of Computer Science.
小結 ,[object Object],08/16/11 National Defense University - Department of Computer Science.
無標記擴增實境視覺追蹤技術 08/16/11 National Defense University - Department of Computer Science. 原始 視訊 灰階 視訊
物件偵測 ,[object Object],08/16/11 National Defense University - Department of Computer Science.
擷取物件特徵點 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11 (a) 為 SIFT 所擷取特徵點表示圖,影像解析度為 640 * 480 ,特徵點計 3,370 個。 (b) 為 SURF 所擷取特徵點表示圖,影像解析度為 640 * 480 ,特徵點計 454 個。
物件追蹤 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
擷取移動區域特徵點 ,[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
定位顯像 ,[object Object],08/16/11 National Defense University - Department of Computer Science. ,[object Object]
疊加 3D 物件 National Defense University - Department of Computer Science. 08/16/11
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
實驗環境 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
實驗結果 National Defense University - Department of Computer Science. 08/16/11
實驗 1 -- 物件複雜度分析 ,[object Object],[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
實驗 1 -- 物件複雜度分析 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
實驗 2 -- SIFT 與 SURF 追蹤物件效能分析 ,[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
實驗 2 -- SIFT 與 SURF 追蹤物件效能分析 ,[object Object],National Defense University - Department of Computer Science. 08/16/11 物件 SIFT SURF 特徵點 比值 (F r) 平均匹配 特徵點 成功匹配張數 平均匹配時間 (s) 特徵點 比值 (F r) 平均匹配 特徵點 成功匹配張數 平均匹配時間 (s) 物件 2 0.1907 4.38 315 2.371 0.0834 5.81 401 1.050 物件 12 0.2960 17.17 520 2.335 0.1601 10.46 508 1.081 物件 17 0.3900 12.12 245 2.648 0.1652 7.51 272 1.028 物件 22 0.3370 30.29 540 2.771 0.2044 24.32 540 1.302 物件 7 1.2896 31.62 540 2.519 0.2982 11.21 478 1.222 物件 27 0.5067 51.46 540 2.581 0.4214 24.89 538 1.150 物件 30 0.8290 96.51 540 2.699 0.3904 44.28 540 1.212
[object Object],[object Object],[object Object],實驗 2 -- SIFT 與 SURF 追蹤物件效能分析 National Defense University - Department of Computer Science. 08/16/11
實驗 2— 影片 National Defense University - Department of Computer Science. 08/16/11
實驗 3 -- SURF 搭配 區域追蹤效能 分析 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11 物件 SURF 全幅影像比對 平均匹配時間 (s) SURF 搭配「區域追蹤」 平均匹配時間 (s) 物件 2 1.050 0.894 物件 12 1.081 0.579 物件 17 1.028 0.804 物件 22 1.302 0.666 物件 7 1.222 0.761 物件 27 1.150 0.575 物件 30 1.212 0.670
實驗 3 -- SURF 搭配 區域追蹤效能 分析 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
大綱 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],08/16/11 National Defense University - Department of Computer Science.
結論 ,[object Object],[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
未來研究方向 ,[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
未來研究方向 ,[object Object],[object Object],[object Object],National Defense University - Department of Computer Science. 08/16/11
報 告 完 畢 謝 謝 聆 聽 08/16/11 National Defense University - Department of Computer Science.

More Related Content

What's hot

宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台
宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台
宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台Celia Hsu
 
宜昇科技簡介_無縫投影拼接電視牆系統
宜昇科技簡介_無縫投影拼接電視牆系統宜昇科技簡介_無縫投影拼接電視牆系統
宜昇科技簡介_無縫投影拼接電視牆系統Celia Hsu
 
手勢以及身體骨架辨識
手勢以及身體骨架辨識手勢以及身體骨架辨識
手勢以及身體骨架辨識CHENHuiMei
 
2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章
2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章
2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章CHENHuiMei
 
Extended reality the end of distance -XR technologies applications at museum
Extended reality the end of distance -XR technologies applications at museumExtended reality the end of distance -XR technologies applications at museum
Extended reality the end of distance -XR technologies applications at museumFAUST CHOU
 
YOLO V1 論文導讀
YOLO V1 論文導讀YOLO V1 論文導讀
YOLO V1 論文導讀Ko Ko
 
AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校
AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校
AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校CHENHuiMei
 
擴增實境發展與就業趨勢
擴增實境發展與就業趨勢擴增實境發展與就業趨勢
擴增實境發展與就業趨勢Hui-Ming Hsieh
 

What's hot (9)

宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台
宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台
宜昇科技簡介_ 沉浸式虛擬實境(VR)研發展示平台
 
宜昇科技簡介_無縫投影拼接電視牆系統
宜昇科技簡介_無縫投影拼接電視牆系統宜昇科技簡介_無縫投影拼接電視牆系統
宜昇科技簡介_無縫投影拼接電視牆系統
 
手勢以及身體骨架辨識
手勢以及身體骨架辨識手勢以及身體骨架辨識
手勢以及身體骨架辨識
 
2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章
2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章
2018AOI論壇_深度學習在電腦視覺應用上的疑問_中央大學曾定章
 
Extended reality the end of distance -XR technologies applications at museum
Extended reality the end of distance -XR technologies applications at museumExtended reality the end of distance -XR technologies applications at museum
Extended reality the end of distance -XR technologies applications at museum
 
YOLO V1 論文導讀
YOLO V1 論文導讀YOLO V1 論文導讀
YOLO V1 論文導讀
 
AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校
AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校
AOI智慧升級─AI訓練師在地養成計畫_台灣人工智慧學校
 
擴增實境發展與就業趨勢
擴增實境發展與就業趨勢擴增實境發展與就業趨勢
擴增實境發展與就業趨勢
 
AR20220314.pptx
AR20220314.pptxAR20220314.pptx
AR20220314.pptx
 

Viewers also liked

讓消費者[哇]的創意作法 Ar擴增實境行銷運用_inspiredigital
讓消費者[哇]的創意作法  Ar擴增實境行銷運用_inspiredigital讓消費者[哇]的創意作法  Ar擴增實境行銷運用_inspiredigital
讓消費者[哇]的創意作法 Ar擴增實境行銷運用_inspiredigitalinspire digital
 
[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...
[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...
[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...Pei-Hsuan (Ike) Tsai
 
MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)
MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)
MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)npinto
 
Augmented reality for architectural visualisation
Augmented reality for architectural visualisation Augmented reality for architectural visualisation
Augmented reality for architectural visualisation Gulnaz Aksenova
 
Virtual Reality (VR) Continuum - AMP New Ventures
Virtual Reality (VR) Continuum - AMP New VenturesVirtual Reality (VR) Continuum - AMP New Ventures
Virtual Reality (VR) Continuum - AMP New VenturesAMP New Ventures
 
Introduction to Optical See-Through HMDs in AR
Introduction to Optical See-Through HMDs in ARIntroduction to Optical See-Through HMDs in AR
Introduction to Optical See-Through HMDs in ARYuta Itoh
 
งานนำเสนอ1
งานนำเสนอ1งานนำเสนอ1
งานนำเสนอ1cattyloverose
 
Media kit buzzworks new
Media kit buzzworks  newMedia kit buzzworks  new
Media kit buzzworks newIrwan Setiawan
 
Open im vol16_lt_cnomiya_next_thing
Open im vol16_lt_cnomiya_next_thingOpen im vol16_lt_cnomiya_next_thing
Open im vol16_lt_cnomiya_next_thingNTTDATA INTRAMART
 
Gandhi Heritage Portal ... A March towards preserving heritage
Gandhi Heritage Portal ... A March towards preserving heritageGandhi Heritage Portal ... A March towards preserving heritage
Gandhi Heritage Portal ... A March towards preserving heritageDr. Viratkumar Kothari
 
Mirsis Mastool Yönetim Beyanı Süreç Yönetimi
Mirsis Mastool Yönetim Beyanı Süreç YönetimiMirsis Mastool Yönetim Beyanı Süreç Yönetimi
Mirsis Mastool Yönetim Beyanı Süreç YönetimiMirsis Bilgi Teknolojileri
 
Callstandards
CallstandardsCallstandards
Callstandardsspcall
 

Viewers also liked (20)

讓消費者[哇]的創意作法 Ar擴增實境行銷運用_inspiredigital
讓消費者[哇]的創意作法  Ar擴增實境行銷運用_inspiredigital讓消費者[哇]的創意作法  Ar擴增實境行銷運用_inspiredigital
讓消費者[哇]的創意作法 Ar擴增實境行銷運用_inspiredigital
 
[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...
[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...
[Paper Presentation] FoveAR: Combining an Optically See-Through Near-Eye Disp...
 
MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)
MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)
MIT 6.870 - Template Matching and Histograms (Nicolas Pinto, MIT)
 
Augmented reality for architectural visualisation
Augmented reality for architectural visualisation Augmented reality for architectural visualisation
Augmented reality for architectural visualisation
 
Virtual Reality (VR) Continuum - AMP New Ventures
Virtual Reality (VR) Continuum - AMP New VenturesVirtual Reality (VR) Continuum - AMP New Ventures
Virtual Reality (VR) Continuum - AMP New Ventures
 
Biosyncing
BiosyncingBiosyncing
Biosyncing
 
Introduction to Optical See-Through HMDs in AR
Introduction to Optical See-Through HMDs in ARIntroduction to Optical See-Through HMDs in AR
Introduction to Optical See-Through HMDs in AR
 
Final 3
Final 3Final 3
Final 3
 
งานนำเสนอ1
งานนำเสนอ1งานนำเสนอ1
งานนำเสนอ1
 
Dom_Towarowy_Toruń_PDT
Dom_Towarowy_Toruń_PDTDom_Towarowy_Toruń_PDT
Dom_Towarowy_Toruń_PDT
 
Media kit buzzworks new
Media kit buzzworks  newMedia kit buzzworks  new
Media kit buzzworks new
 
Award-Winning Web Design
Award-Winning Web DesignAward-Winning Web Design
Award-Winning Web Design
 
Open im vol16_lt_cnomiya_next_thing
Open im vol16_lt_cnomiya_next_thingOpen im vol16_lt_cnomiya_next_thing
Open im vol16_lt_cnomiya_next_thing
 
Gandhi Heritage Portal ... A March towards preserving heritage
Gandhi Heritage Portal ... A March towards preserving heritageGandhi Heritage Portal ... A March towards preserving heritage
Gandhi Heritage Portal ... A March towards preserving heritage
 
Mirsis Mastool Yönetim Beyanı Süreç Yönetimi
Mirsis Mastool Yönetim Beyanı Süreç YönetimiMirsis Mastool Yönetim Beyanı Süreç Yönetimi
Mirsis Mastool Yönetim Beyanı Süreç Yönetimi
 
In kor we Trust
In kor we TrustIn kor we Trust
In kor we Trust
 
XTR
XTRXTR
XTR
 
Mirsis Corporate Overview
Mirsis Corporate OverviewMirsis Corporate Overview
Mirsis Corporate Overview
 
Photoessay
PhotoessayPhotoessay
Photoessay
 
Callstandards
CallstandardsCallstandards
Callstandards
 

Similar to 運用擴增實境技術建立數位學習環境

論文導讀02_神經網路(智慧交通)
論文導讀02_神經網路(智慧交通)論文導讀02_神經網路(智慧交通)
論文導讀02_神經網路(智慧交通)Fuzhou University
 
Metadata 0504002 02_020
Metadata 0504002 02_020Metadata 0504002 02_020
Metadata 0504002 02_020jbcinvest
 
初探深度學習技術與應用
初探深度學習技術與應用初探深度學習技術與應用
初探深度學習技術與應用Fuzhou University
 
基于Mspf的实时监控多目标跟踪算法研究
基于Mspf的实时监控多目标跟踪算法研究基于Mspf的实时监控多目标跟踪算法研究
基于Mspf的实时监控多目标跟踪算法研究s2007s
 
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙Zih-Ming Yang
 
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙Zih-Ming Yang
 
基于视频的疲劳驾驶检测系统
基于视频的疲劳驾驶检测系统基于视频的疲劳驾驶检测系统
基于视频的疲劳驾驶检测系统Ruofei Du
 
Chapter01 1 cg_new
Chapter01 1 cg_newChapter01 1 cg_new
Chapter01 1 cg_newZheng Li
 
网络及服务系统介绍
网络及服务系统介绍网络及服务系统介绍
网络及服务系统介绍Chunwang Li
 
大范围环境下移动机器人
大范围环境下移动机器人大范围环境下移动机器人
大范围环境下移动机器人toukaigi
 
2020/12 交通大學_資料視覺化與我們的生活|彭其捷
2020/12 交通大學_資料視覺化與我們的生活|彭其捷2020/12 交通大學_資料視覺化與我們的生活|彭其捷
2020/12 交通大學_資料視覺化與我們的生活|彭其捷彭其捷 Jack
 
1000 1832(2007)03-0032-05
1000 1832(2007)03-0032-051000 1832(2007)03-0032-05
1000 1832(2007)03-0032-05axiuluo
 
環境監控的應用
環境監控的應用環境監控的應用
環境監控的應用艾鍗科技
 
从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计mysqlops
 
2016-12-15 NewSQL資料庫在IoT的應用 - iServDB
2016-12-15 NewSQL資料庫在IoT的應用 - iServDB2016-12-15 NewSQL資料庫在IoT的應用 - iServDB
2016-12-15 NewSQL資料庫在IoT的應用 - iServDBJosé Lin
 
200813基於色彩空間之軟性平面顯示器色彩均勻度分析
200813基於色彩空間之軟性平面顯示器色彩均勻度分析200813基於色彩空間之軟性平面顯示器色彩均勻度分析
200813基於色彩空間之軟性平面顯示器色彩均勻度分析CHENHuiMei
 
論文導讀01_k個最近鄰居(行動定位)
論文導讀01_k個最近鄰居(行動定位)論文導讀01_k個最近鄰居(行動定位)
論文導讀01_k個最近鄰居(行動定位)Fuzhou University
 

Similar to 運用擴增實境技術建立數位學習環境 (18)

論文導讀02_神經網路(智慧交通)
論文導讀02_神經網路(智慧交通)論文導讀02_神經網路(智慧交通)
論文導讀02_神經網路(智慧交通)
 
Metadata 0504002 02_020
Metadata 0504002 02_020Metadata 0504002 02_020
Metadata 0504002 02_020
 
初探深度學習技術與應用
初探深度學習技術與應用初探深度學習技術與應用
初探深度學習技術與應用
 
基于Mspf的实时监控多目标跟踪算法研究
基于Mspf的实时监控多目标跟踪算法研究基于Mspf的实时监控多目标跟踪算法研究
基于Mspf的实时监控多目标跟踪算法研究
 
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
 
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
10.以wsn模組設計節能應用模組與智慧功率回報開關之研製 郭政謙
 
20110329 工科系簡介
20110329 工科系簡介20110329 工科系簡介
20110329 工科系簡介
 
基于视频的疲劳驾驶检测系统
基于视频的疲劳驾驶检测系统基于视频的疲劳驾驶检测系统
基于视频的疲劳驾驶检测系统
 
Chapter01 1 cg_new
Chapter01 1 cg_newChapter01 1 cg_new
Chapter01 1 cg_new
 
网络及服务系统介绍
网络及服务系统介绍网络及服务系统介绍
网络及服务系统介绍
 
大范围环境下移动机器人
大范围环境下移动机器人大范围环境下移动机器人
大范围环境下移动机器人
 
2020/12 交通大學_資料視覺化與我們的生活|彭其捷
2020/12 交通大學_資料視覺化與我們的生活|彭其捷2020/12 交通大學_資料視覺化與我們的生活|彭其捷
2020/12 交通大學_資料視覺化與我們的生活|彭其捷
 
1000 1832(2007)03-0032-05
1000 1832(2007)03-0032-051000 1832(2007)03-0032-05
1000 1832(2007)03-0032-05
 
環境監控的應用
環境監控的應用環境監控的應用
環境監控的應用
 
从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计从运维系统的开发谈安全架构设计
从运维系统的开发谈安全架构设计
 
2016-12-15 NewSQL資料庫在IoT的應用 - iServDB
2016-12-15 NewSQL資料庫在IoT的應用 - iServDB2016-12-15 NewSQL資料庫在IoT的應用 - iServDB
2016-12-15 NewSQL資料庫在IoT的應用 - iServDB
 
200813基於色彩空間之軟性平面顯示器色彩均勻度分析
200813基於色彩空間之軟性平面顯示器色彩均勻度分析200813基於色彩空間之軟性平面顯示器色彩均勻度分析
200813基於色彩空間之軟性平面顯示器色彩均勻度分析
 
論文導讀01_k個最近鄰居(行動定位)
論文導讀01_k個最近鄰居(行動定位)論文導讀01_k個最近鄰居(行動定位)
論文導讀01_k個最近鄰居(行動定位)
 

運用擴增實境技術建立數位學習環境

  • 1. 學  校 :國 防 大 學 系  所 :資 訊 科 學 系 指導教授 :王 順 吉 老 師 報 告 人 :李 正 豪 報告時間 : 100 年 05 月 09 日
  • 2.
  • 3. 研究動機 National Defense University - Department of Computer Science. 08/16/11 没有 Marker? 那為什麼要使用無標記呢 ?
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9. 數位學習起源 08/16/11 National Defense University - Department of Computer Science.
  • 10. 數位教材種類 08/16/11 National Defense University - Department of Computer Science.
  • 11. 數位學習的新趨勢 圖片摘錄自 : http://www.i-tlog.com/lemonadeplease/entry/2010 數位學 習 科技趨勢分析 08/16/11 National Defense University - Department of Computer Science.
  • 12.
  • 13. 何謂擴增實境 在 1994 年 Milgram 將真實 場景與 虛擬 實境 之間的變化程度, 提出了「真實 - 虛擬連續性 (reality–virtuality Continuum) 」 理 論 ,為擴增實境與虛擬實境做了有所區別。 圖片摘錄自: Michael Haller el. ,“ Emerging Technologies of Augmented Reality : Interfaces and Design” , Idea Group Publishing , U.S.A , 2007 08/16/11 National Defense University - Department of Computer Science.
  • 14.
  • 15. 擴增實境 運作步驟 08/16/11 National Defense University - Department of Computer Science. 載入 追蹤辨識 定位疊加 顯示
  • 16. 擴增實境之類別 標記 (Marker) 08/16/11 National Defense University - Department of Computer Science. 無標記 (Markerless)
  • 17.
  • 18.
  • 19.
  • 20.
  • 21.
  • 22. 現有開發平台分析 08/16/11 National Defense University - Department of Computer Science. ARToolKit D’Fusion Unifeye Design
  • 23. 影響追蹤辨識因素分析 08/16/11 National Defense University - Department of Computer Science.
  • 24.
  • 25.
  • 26.
  • 27.
  • 28.
  • 29.
  • 30. SIFT National Defense University - Department of Computer Science. 08/16/11
  • 31.
  • 32.
  • 33.
  • 34.
  • 35. 特徵點描述 National Defense University - Department of Computer Science. 08/16/11
  • 36.
  • 37.
  • 38. SIFT 與 SURF 差異 National Defense University - Department of Computer Science. 08/16/11 項目 SIFT SURF 特徵點 擷取 運用 不同尺度 的 差異高斯金字塔 。 運用 積分圖像 及 改變 Hessian 偵測 子 的遮罩大小 ,來 改變影像的 尺度空間。 特徵點 方向 先計算特徵點 週邊像素梯度強度 後,在 運用直方圖確認其主要方向 。 以 特徵點為圓心 ,取半徑為 6σ 的圓形,在 以 60 度扇形視窗 統計 Haar 的一階導數值 (dx 與 dy) , 最大加總值的掃描角度 作為其特徵的主要方向。 特徵點 描述 以特徵點為中心,取 8 * 8 的窗口。然後在每 4 * 4 的區域中,計算 8 個方向的特徵點,計有 2 * 2 * 8=32 維的 SIFT 特徵向量,建議將原窗口改為 16 * 16 的,故 原 32 維的 SIFT 特徵向量,會變為 4 * 4 * 8= 128 維的 SIFT 特徵向量。 以 特徵點為中心 取 20 σ 大小的正方形區域 ,並 以 每 5 σ 為 子區域 ,共 16 個子區域 。 在 子區域 中進行以邊長為 2 σ 大小 , 計算 Haar 一階導數值 (dx 與 dy) ,每個子區域內共計算 25 次 , 組 成 4 個加總值表示向量 ,此 16 個子區域的特徵向量形成描述該特徵點的 4 * 4 * 4= 64 維度的特徵描述子。 (x,y-1) (x-1,y) (x,y) (x+1,y) (x,y+1)
  • 39.
  • 40.
  • 41. 移動物件偵測—光流法 08/16/11 National Defense University - Department of Computer Science. 光流法 (Optical Flow Method) 的原理,簡單 的說 ,光流法就是 藉由偵測光線強弱的變化來進行偵測移動物件。
  • 42. 移動物件偵測—時序差異法 08/16/11 National Defense University - Department of Computer Science. 影像 K-1 影像 K 物件變動位置 差異影像 時序差異法 (Temporal Differencing )的原理, 簡單 的說 利用連續 2 幅 至 3 幅的影像做 1 對 1 的像素相減 , 若 兩者差異不為零則為 移動 物件。
  • 43. 移動物件偵測—背景相減法 National Defense University - Department of Computer Science. 08/16/11 背景相減法 (Background Subtraction) 的原理 : 1. 運用幾秒的連續影像建立初步背景 2. 在以目前影像與背景影像比較, 3. 符合條件為背景,反之為 移動 物件。
  • 44.
  • 45.
  • 46.
  • 47. 座標轉換 08/16/11 National Defense University - Department of Computer Science. 其中 K 為相機校正矩陣公式 : C x 與 C y 分別代表 x 與 y 上的偏移量 。 f x 與 f y 分別代表 x 與 y 含比例參數的座標點 。 物理意義上的像素也不一定是矩形, s 則代表 X 軸與 Y 軸的歪斜參數。 轉換公式: Q 為世界座標系統三維座標點,而世界座標系統三維座標點與相機座標系統相對三維座標點的關係,可由位移轉換 t 與旋轉轉換 R 來表示。 公式中:
  • 48.
  • 49.
  • 50.
  • 51. 物件複雜度 08/16/11 National Defense University - Department of Computer Science.
  • 52. 追蹤物移動速度 08/16/11 National Defense University - Department of Computer Science.
  • 53.
  • 54. 無標記擴增實境視覺追蹤技術 08/16/11 National Defense University - Department of Computer Science. 原始 視訊 灰階 視訊
  • 55.
  • 56.
  • 57.
  • 58.
  • 59.
  • 60. 疊加 3D 物件 National Defense University - Department of Computer Science. 08/16/11
  • 61.
  • 62.
  • 63. 實驗結果 National Defense University - Department of Computer Science. 08/16/11
  • 64.
  • 65.
  • 66.
  • 67.
  • 68.
  • 69. 實驗 2— 影片 National Defense University - Department of Computer Science. 08/16/11
  • 70.
  • 71.
  • 72.
  • 73.
  • 74.
  • 75.
  • 76. 報 告 完 畢 謝 謝 聆 聽 08/16/11 National Defense University - Department of Computer Science.

Editor's Notes

  1. 這段影片有關於擴增實境運用在數位學習教材上,影片中…… 隨著擴增實境技術日趨成熟,為了製作更活潑的數位教材或建立更有效率的數位學習環境,運用擴增實境技術建立數位學習環境之應用與日俱增。目前相關應用 大部分均侷限在有標記 (marker) 擴增實境技術,但 無標記 (markerless) 擴增實境技術 使用上更具彈性 ,不必受限於標記的使用,應用層面更廣。 因為學習者在操作系統時,才可以隨心所欲的移動辨識的物件,增加系統的實用性。
  2. 本文 主要目的是在於提出如何運用擴增實境的技術製作數位教材及建立數位學習環境,並 對現有運用在「無標記擴增實境數位學習系統」追蹤技術的限制因素來進行分析,進而 提出能追蹤各式物件技術及降低物件移動速度對物件追蹤之影響。
  3. 本章首先對數位學習介紹,接著介紹何謂擴增實境,然後介紹現行無標記擴增實境追蹤技術分析與影響無標記追蹤技術的因素,最後對物件偵測與追蹤相關技術進行介紹。
  4. 本節首先介紹數位學習緣起,接著說明數位教材在數位學習的重要性及其分類,最後介紹未來影響數位學習及教材的技術。
  5. 根據 資策會 在「數位學習最佳指引 - 數位學習概論」書中所提 到, 「數位學習 (e-Learning) 」最早係由一位美國數位學習大師 Jay Cross 於 1999 年率先提出 , 其後 美國訓練與發展協會 及 網路科技公司思科 分別 提出相關定義 如下: 數位學習與傳統學習的差異: 然 數位學習與傳統課堂教學的環境並不相同,傳統課堂教學 是 以授課老師口頭講授為主,教材為輔 , 數位學習則以教材為主,由學習者主動學習,故數位學習的教材製作設計,就相對顯的相當重要 , 吳 聲毅 學者 在「數位學習觀念與實作」書中 ,依教材呈現的方式不同, 將數位學習教材區分為下列 5 類:
  6. 而 在 2010 年美國新媒體聯盟 (The NEW MEDIA CONSORTIUM) 和主動學習教育機構 (EDUCASE Learning Initiative) 提出 在 未來五年 影響 數位學習科技發展 6 項技術預測 網頁式教材 這類教材是我們一般最為常見的數位教材,其將傳統課堂上的教材以網頁方式呈現,並加入多媒體(如動畫、圖片、 Flash 等)   演講式教材 這類教材主要是以投影片的呈現為主,在播放投影片時,可以同步錄製解說視訊或音訊 。   模擬式教材 這類教材主要是錄製電腦螢幕的畫面為主,輔以相關書寫或繪畫工具,將螢幕當成一個黑板進行教學,製作也非常簡單。   視訊式教材 這類教材主要是透過攝影機(如 DV 、 Web Cam 等)錄製教材,且經過視訊編輯軟體,將相關素材加以整合、加入旁白字幕等。   電子書教材 這類教材主將各式資料或圖書數位化,並可透過電腦、 PDA 、手機或電子書閱讀機來供人閱讀 。
  7. 而 在 2010 年美國新媒體聯盟 (The NEW MEDIA CONSORTIUM) 和主動學習教育機構 (EDUCASE Learning Initiative) 提出 在 未來五年 影響 數位學習科技發展 6 項技術預測 , 如下圖: 文章中指出 因 「行動運算」可以提供人們隨心所欲在任何地方上網,而「擴增實境」可以學習者有身歷其境的感受,逹到快速且有效的學習。 所以在數位學習結合擴增實境可說是未來的趨勢。接下來介紹擴增實境,由於這個部份前一位同學,已經介紹許多,所以學生僅做摘要介紹。
  8. 接下來介紹擴增實境,由於這個部份前一位同學,已經介紹許多,所以學生僅做摘要介紹。
  9. 在 1994 年 Milgram 將真實 場景與 虛擬 實境 之間的變化程度,提出了「真實 - 虛擬連續性 (reality–virtuality Continuum) 」 理 論, 為擴增實境與虛擬實境做了有所區別 。
  10. 由於擴增實境是真實環境與 3D 虛擬物件結合,故 最底層技術為「影像處理」領域的「追蹤及辨識 (Tracking and Registration) 」 負責辨識物件及追蹤物件位置 ,「電腦圖學」領域的「 3D 物件顯示技術 (Display Techniques) 」和「渲染 (Rendering) 」 負責將 3D 虛擬物件繪製整合圖形於物件相對位置上。 第二層由「人機互動控制 (Interaction devices and techniques) 」、「展示 (Presentation) 」 及「創作 (Authoring) 」所組成, 負責使用者與擴增實境互動部份,如人機操作介面、擴增實境的劇本創作等,而現今虛擬實境的研究大多已經邁向此階段。 第三層為「應用層 (Application) 」,透過擴增實境相關技術,有效的將結果呈現在使用者面前, 第四層為「使用者 (User) 」。
  11. 擴增實境技術基本運作可分為四大步驟 。 1. 首先從攝影機輸入影像 ( 載入 ) ; 2. 接著擷取特定物件或標記,並分析圖標的角度及位置 ( 追蹤辨識 ) ; 3. 再來是載入及疊加 3D 物件 ( 定位疊加 ) ; 4. 最後將 3D 影像顯示於螢幕上 ( 顯示 ) 。
  12. 前一位同學有提及擴增實境分為 「有標記」 及 「無標記」 等二類 。 而 有標記代表,必須經由特定標記、圖樣供系統辨識及定位,而其標記的圖樣如圖 所示。 無標記代表,不須為特定標記、圖樣來辨識及定位, 由 使用者喜好自行設計圖樣或使用真實物件來進行辨識及定位。
  13. 2009 年德國 斯圖加特大學 (Universit Stuttgart) Andre´ Buchau 等人 [14] 運用擴增實境可視化特性,將人眼無法看見的電磁場模擬出來,這樣的技術運用在電磁學教學上,可以使得學生輕鬆瞭解其特性及物理現象,如圖 2.10 所示。
  14. 在 2005 年紐西蘭坎特伯 雷 大學 Trond Nilsen 及 Julian Looser 等人 [15] , 運用 Marker 設計出可 2 人以上同時操作使用的擴增實境坦克大戰遊戲,這項技術若引進至軍方,運用在爾後軍中的戰術教學部份,相信更可提昇學習者的學習興趣。
  15. 最後 在 2009 年美國哥倫比亞大學的 Steve Henderson 和 Steve Feiner 與美國海軍陸戰隊配合 [16] , 將擴增實境的技術運用在維修裝甲運兵車 , 繁複的維修作業中,透過擴增實境技術的幫助,使用者可以藉由頭戴顯示器 (HMD) 快速獲知維修機器時所需的資訊,逹到快速維修節省時間、人力的目的。 擴增實境的技術運用在軍事裝備維修上,除可以有效降低人員訓練時間及成本外,另外亦可迅速指引維修人員進行裝備檢修。
  16. 從前擴增實境基礎架構所述, 最底層技術為「影像處理」領域的「追蹤及辨識 (Tracking and Registration) 」 ,所以接下來將對相關的追蹤技術進行說明。
  17. 本節將對現有無標記擴增實境開發平台進行介紹,接著對影響追蹤技術因素進行分析。
  18. 由於現今 擴增實境大多數的開發平台均有支援「有標記」,而支援「無標記」的開發平台不多,以下僅對無標記的開發平台來進行介紹: ARToolKit :在無標記的時候,辨識影像時依然需要傳統標記當作辨識參考。 D’Fusion : 受到物件本身的複雜度有有所限制, 複雜度越高追蹤、辨識效果越好 。 Unifeye :運用侷限於故事書圖本製作。
  19. 接下來我們在介紹物件追蹤與偵測相關技術
  20. 擴增實境運作步驟原理的四大步驟,「載入」、「追蹤辨識」、「定位疊加」及「顯示」,其中追蹤辨識部份,主要運用「移動物偵測」相關方法將物件從影像中分離出來,進一步在運用「物件追蹤」 、「物件特徵擷取」 相關方法進行持續追蹤,而「定位疊加」部份將運用「 座標轉換 」方法取得物件所在位置之座標,最後才將虛擬物件疊加在追蹤物件的座標位置上。
  21. 在講追蹤之前我們要先思考一下, 操作擴增實境時要有那些基本需求? 為了增加系統的實用性,在實際 運用中 所以 物件會隨著不同的需求 ,讓物件 旋轉、尺度縮放及仿射變化等等 。 另 外 要如何 控制 3D 虛擬物件方向性。 在有標記環境中,經由標記的特殊設計方式,可以控制 3D 虛擬物件方向性,而在無標記的環境中物件本身的方向性,則需自行定義 。
  22. 局部性特徵 內的不變特徵
  23. 接下來快速介紹對 SIFT 與 SURF
  24. X 點為周圍 26 個點中的最大值或最小值 ( 上一層 9 個鄰近點、同一層 8 個鄰近點與下一層 9 個鄰近點 ) ,則該點即判定為特徵 興趣 點
  25. 有關這個 SIFT 及 SURF 性能的差異後續會為各位委員介紹
  26. 擴增實境運作步驟原理的四大步驟,「載入」、「追蹤辨識」、「定位疊加」及「顯示」,其中追蹤辨識部份,主要運用「移動物偵測」相關方法將物件從影像中分離出來,進一步在運用「物件追蹤」 、「物件特徵擷取」 相關方法進行持續追蹤,而「定位疊加」部份將運用「 座標轉換 」方法取得物件所在位置之座標,最後才將虛擬物件疊加在追蹤物件的座標位置上。
  27. 移動物偵測為我們進行移動物件偵測中的首要步驟,其主要作用為將移動物件 ,換句話說是對輸入影像進行前處理,以利我們進行接下來移動物件偵測的流程,然根據運動偵測技術的不同,常見的移動物件偵測追蹤方法有三類,分別是光流法 (Optical Flow Method) 、時序差異法 (Temporal Differencing) 與背景相減法 (Background Subtraction)[19] 。
  28. 光流法 (Optical Flow Method) 係運用連續影像中,圖像像素的亮度變化,來找出影像中的光流場 (Optical Flow Field) ,再藉由光流場來估計移動物體的運動向量後進行特徵匹配,簡單來說,光流法就是藉由偵測光線強弱的變化來進行偵測移動物件。
  29. 時序差異法( Temporal Differencing )的原理,就是利用連續二幅或三幅的影像做一對一的像素相減,若是兩者差異不為零,則為前景物件。 缺點是在於 無法取得完整的前景物件。
  30. 背景相減法 (Background Subtraction) 的原理,係先行運用幾秒的連續影像來建立初步背景,背景建立完成後,在以目前影像與背景影像比較,符合背景條件的則判定為背景,反之判定為前景既為 移動 物件 ,但由於其因在判定時完全參照背景影像,故在動態場景光線或背景改變時易形成誤判;另外其優點在於運算快速,且可擷取到完整的前景物件。
  31. 從上述 3 種方法中, 背景相減法需先行運用一段時間影像建立背景,所以前置準備作業較長 。 時序差異法 問題 在於無法擷取完整的前景物件 。 其中「金字塔 L-K 光流法」可以僅對部分區域光流場進行分析計算,計算上相對更顯快速簡單, 再搭配其他特徵點尋找的方法 ( 如: SIFT 、 SURF 等等 ) ,即可達成物件追蹤辨識 ,適合我們在「無標記擴增實境數位學習系統」上開發出追蹤各式物件技術。
  32. 1. 亮度不變性: 以灰階影像而言,其意義為一物體的亮度不會在相鄰二幅影像中出現巨大的變化。 2. 時間連續性: 假設一物體在即時相鄰二幅影像中移動距離是很微小,然由於實際上在即時環境下 1 秒為 15 至 30 張圖像,故物體在相鄰二幅影像中所移動距離並不會移動過大。 3. 空間一致性: 畫面中相鄰的點屬同一物體平面,則會有相似的移動,在影像內不會距離太遠。 金字塔 L-K 光流法 ,追蹤時先從低解析度的影像開始追蹤,在到追蹤高解析度影像來追蹤,這樣透由計算低解析度的移動矩離來對應回至高解析度的矩離,如此便可來解決其移動離過大的缺點。
  33. 由於在 3D 物件要在螢幕上與現實場景結合,而螢幕上的影像平面為 2D 座標,故必需將 3D 圖形投影成 2D 圖形,並運用一些 3D 效果,讓 2D 圖形看起來有 3D 感覺。轉換公式,而攝影機的參數矩陣計算採用 1997 年 Heikkila 和 Silven 的方法 。
  34. 影像處理領域的追蹤及辨識是擴增實境底層核心技術之一,如 2.3.2 節所述當在進行影像追蹤、辨識及定位時,會受「環境光源」、「辨識圖樣角度」、「影像解析度」、「辨識圖樣材質」等 4 項基礎因素影響,而就本文所提運用「無標記擴增實境數位學習系統」能即時追蹤各式真實物件技術下,考量使用環境大都為室內,且影像解析度基本要求為 640 * 480 ,故受「環境光源」及「影像解析度」影響較為不大,而辨識物件本身複雜度會受「辨識圖樣角度」及「辨識圖樣材質」影響;另移動速度快慢在視覺追蹤中會影響追蹤效能,故本節對「物件複雜度」及「物件移動速度」影響追蹤效果進行說明。
  35. 當在進行影像追蹤 等 4 項基礎因素影響 而就本文所提運用「無標記擴增實境數位學習系統」能即時追蹤各式真實物件技術下,考量使用環境大都為室內,且影像解析度基本要求為 640 * 480 ,故受「環境光源」及「影像解析度」影響較為不大,而辨識物件本身複雜度會受「辨識圖樣角度」及「辨識圖樣材質」影響;另移動速度快慢在視覺追蹤中會影響追蹤效能,故本節對「物件複雜度」及「物件移動速度」影響追蹤效果進行說明。
  36. (a) 為低複雜度物件,以及 SURF 之方法所找到之特徵點, (b) 為高複雜度物件,以及 SURF 之方法所找到之特徵點。
  37. 圖中 (a) 為設定追蹤物件; (b) 及 (c) 以正常速度移動物件時,則都可順利追蹤物件; (d) 為當物件快速移動時,則因移動速度太快,導致追蹤誤判。
  38. 本文預計開發出 運用於 「無標記擴增實境數位學習系統」 中可 追蹤各式物件 ,且 效能高、速度快 追蹤 技術。 研究方法 主要分為三步驟:物件偵測、物件追蹤、設定 3D 物件及定位顯像 首先 運用 物件偵測 方法 ,擷取出移動物件, 接 著運用 物件追蹤 技術 ,持續 追蹤 物件, 最後利用 定位顯像 技術 , 將 座標轉換及疊加 3D 物件於追蹤物件上。 從攝影機獲得影像一般為 RGB 色彩模型,然為逹到快速偵測移動物件,通常將色彩空間轉換為灰階,以降低維度計算,增加運算效率,轉換公式如 下:
  39. 1. 首先對框選物件影像擷取特徵點,並設定 3D 虛擬物件所相對方向。 2. 從 SURF 所獲 64 維特徵點資訊中提取得其在影像中相對座標。 3. 將物件影像特徵點座標,提供給下一流程,進行物件追蹤。 4. 最後框選物件影像特徵點提供給後續流程比對判斷用。
  40. 操作擴增實境時要有那些基本需求? 為了增加系統的實用性,在實際 運用中 所以 物件會隨著不同的需求 ,讓物件 旋轉、尺度縮放、亮度、視角及仿射變化等等 。 另 外 要如何 控制 3D 虛擬物件方向性。 在有標記環境中,經由標記的特殊設計方式,可以控制 3D 虛擬物件方向性,而在無標記的環境中物件本身的方向性,則需自行定義 。
  41. 本流程主要目的為偵測出移動區域,縮小影像匹配區域,節省 比對 匹配時間,而方法將採用 「金字塔 L-K 光流法」 來縮小影像匹配區域 。
  42. 特徵匹配 為使用 SURF 作者於文中 所 使用 R-d tree 運用 RANSAC 演算法去除匹配錯誤特徵點 最後由於後續在座標轉換時,需至少 4 點特徵點計算投影矩陣,故條件限定當特徵點高於 4 點時判定為成功並將相關資訊傳至下一流程,反之,判定為失敗,若連續 5 張失敗則以擷取全螢幕特徵點,在重新進行匹配比對。
  43. 在獲取移動物件在影像中的相對位置後,而螢幕上的影像平面為 2D 座標,需先行將座標轉換,俾利後續 3D 物件的疊加,故其流程分為「座標轉換」及「疊加 3D 物件」等 2 項,
  44. 3D 虛擬物件融入真實環境中, 我們必須將其仿效攝影機擷取影像的原理 來運作, 首先 要令 3D 虛擬物件有三維空間呈現效果,必須 將 3D 物件透過相關的幾何座標轉換轉成可接受座標,再利用投影變換矩陣將其影像轉換成二維影像 , 最後 將 運用視角變化來決定哪些影像 , 將疊加真實環境 上,並 呈現 於在 顯示設備。
  45. 表內物件順序係依 SURF 特徵點比值由小至大排列,特徵點比值 (Fr) 為 4.2.1 節內所計算結果,平均匹配特徵點數,為目標影像與全域影像特徵點成功匹配結果,匹配張數為 540 張影像中匹配成功的結果,而其限制條件在考量後續在座標轉換時,需至少 4 點特徵點計算投影矩陣,故條件限定當特徵點低於 4 點時,就判定為匹配失敗,反之,則判定為成功,平均匹配時間為計算 540 張每張所需時間。
  46. 對匹配影像全域擷取特徵點後,與目標影像特徵點一一比對,然而當匹配區域越小相對匹配時間,可縮短幅度越大,但若縮小影像大小,則所獲得特徵點相對越少不利於後續追蹤匹配,故若配合光流法在獲得移動區域後,可以有效降低匹配區域大小而不是縮小影像大小,應可縮短匹配時間,且並不會減少匹配點,對後續追蹤可更加有利 。 物件本身材質易受光線變化影响,造成物件過暗或過亮,導致擷取特徵點時數量產生變化 其中 SIFT 亮與暗特徵點數量差約 1 倍,而 SURF 特徵點數量差約 4 倍,故物件材質及光線均會影響 SIFT 及 SURF 匹配結果。
  47. 環境時,辨識物件本身複雜度及移動速度會影響追蹤效能,致使真實物件與 3D 虛擬物件無法結合,另使用者在操作時,物件會隨著不同的需求而有所旋轉、尺度縮放、亮度、視角及仿射變化,如何控制 3D 虛擬物件方向性等問題均需一一克服,方能實現「無標記擴增實境」環境。