本研究旨在建立一個無標記的擴增實境實驗平台，以突破現有技術對標記的依賴，進一步拓展擴增實境的應用範圍。文檔涵蓋了擴增實境的基礎概念、技術分析、追蹤方法及實驗結果，並探討了無標記系統的潛在技術發展。研究中對現有擴增實境平台如arstudio的建置進行了詳細分析，並提供未來研究的方向。

1. 學 校：國 防 大 學 系 所：資訊科學系 報告人員：鍾 德 煥 無標記擴增實境實驗平台建置與 追蹤技術驗證

2. 擴增實境之標記應用

3. 大綱 研究動機與目的 文獻探討 現有技術分析 問題描述與研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論 ※ 擴增實境平台 (Augmented Reality Studio, ARStudio)

4. 研究動機 隨著 硬體顯示技術 以及 智慧型手機 的普及，擴增實境之應用得以推廣。 然而 目前 所看到之應用均採用 標記方式 ，所以應用範圍將受到很大之限制。 以便利性來說， 無標記 的應用將會是擴增實境 未來之研究重點 。 影片來源： Metaio 官方網站 是否一定要使用標記呢？

5. 研究目的 因為擴增實境所涵蓋之相關技術 非常廣泛。 既有之擴增實境開發平台之架構 著重在 標記 之應用 無法自行 替換 追蹤 方法。 本研究 主要目的 提供 無標記 擴增實境實驗平台 。 驗證 視覺追蹤 技術 。 圖片摘錄自： Engineering Navi

6. 大綱 研究動機與目的 文獻探討 擴增實境介紹 基礎概念介紹 應用技術介紹 現有技術分析 問題描述與研究目的 擴增實境平台建置 實驗結果與分析 結論

7. 文獻探討 - 擴增實境簡介 何謂擴增實境 擴增實境 (Augmented Reality, AR) ，是一種即時運算攝影機影像的位置與角度，並在 真實影像 中 加入 虛擬物件 的一種技術。 此種技術之目的在於將 虛擬物件 融入 真實環境 之中。 擴增實境起源 1965 年 伊凡 · 蘇澤蘭 (Ivan Sutherland) 提出終極顯示器 (Ultimate Display) 的構想，並在 1968 年建立了第一個虛擬實境與擴增實境的 頭戴顯示系統 。 1990 年代初「 擴增實境 」這個名詞才被 波音公司 的幾個科學家正式提出。 擴增實境的應用 可應用在教育、醫學、遊戲、軍事、維修、商業等各種領域中。

8. 文獻探討 - 擴增實境的定義 在 1994 年 Paul Milgram 等人，提出了「真實 - 虛擬連續性 (Reality–Virtuality Continuum) 」的理論，他們將真實環境和虛擬環境分別作為連續性的兩端。 位於 兩邊端點之間 的被稱為「 混合實境 (Mixed Reality) 」。 靠近 真實環境 的是 擴增實境 (Augmented Reality) 靠近 虛擬環境 的是 擴增虛境 (Augmented Virtuality) 。 圖片摘錄自： Michael Haller el. ，“ Emerging Technologies of Augmented Reality : Interfaces and Design” ， Idea Group Publishing ， U.S.A ， 2007

9. 文獻探討 - 擴增實境的明確定義 1997 年 Azuma 為 擴增實境 下了一個更 明確的定義 ，它必須同時擁有下面三個特性： 結合 真實 與 虛擬 (Combines real and virtual) 、 即時 性的 互動 (Interactive in real time) 、 資訊的呈現必需在 三度空間 內 (Registered in 3-D) 。

10. 文獻回顧 - 擴增實境的基礎架構 在 2005 年 Oliver Bimber 提出了擴增實境的基礎架構，如下圖： 圖片參考自： Oliver Bimber. and Ramesh Raskar., Spatial A ugmented Reality Merging Real and Virtual W orlds, Wellesley, Massachusetts, U.S.A ,A K P eters, Ltd ,Chap.1, pp. 1-7, 2005 User Application Interaction Devices and Techniques Presentation Authoring Tracking and Registration Display Technology Rendering 影像處理 領域的「 追蹤與定位 」 計算機圖學 領域的「顯示技術與 3D 物件顯示技術」

11. 文獻探討 - 基礎運作原理

12. 文獻探討 - 追蹤物件的分類 (1/2) 物件的追蹤與辨識在擴增實境領域可分為 標記 (Marker) 無標記 (Markerless) 何謂標記？ 標記 是一個可以被可靠參考 (Trusted Reference) 的圖形標記，並稱之為基準標記 (Fiducial Marker) ； 標記之擴增實境系統 ，必須經由 特定標記、圖樣 供系統 辨識及定位 。 ARTag 標記應用 ARToolKit 標記 圖片摘錄自： ARTag 官方網站 圖片摘錄自： ARToolKit 開發套件

13. 文獻回顧 - 追蹤物件的分類 (2/2) 無標記 系統代表擴增實境系統，不須為特定標記、圖樣來辨識及定位，使用者可 自行設計圖樣 或使用 真實物件 來進行辨識及定位。 擴增實境 擴增實境 無標記系統 標記系統 Unifeye 應用於書籍之無標記追蹤 ARToolKit Professional 之無標記應用 圖片摘錄自： ARToolWorks 官方網站 圖片摘錄自： Unifeye SDK 圖片摘錄自： ARToolWorks 官方網站 目前的擴增實境 無標記 之應用是 有所限制 何謂無標記？

14. 文獻探討 - 擴增實境的呈現 Vallino(1998) 將擴增實境之影像呈現方式概分為三類： 一般顯示器之顯示 (Monitor-based augmented reality display) 。 頭戴式之影視顯示 (Video see-through augmented reality display) 。 頭戴式之光學投射顯示 (Optical see-through augmented reality display) 。 目前尚未普及的顯示系統 利用全息圖 (Hologram) 概念將影像直接出現在空氣裡面。 圖片摘錄自： Lumus 官方網站 第一部星際大戰中的場景 圖片來源： Star Wars 日立的 Transpost 系統 圖片來源：日立官方網站 N-3D 立體顯示器 圖片來源： aircord 官方網站 Heliodisplay 空氣投影 圖片來源： io2technology 官網 華盛頓大學研究團隊所開發的隱形眼鏡鏡頭 圖片來源：華盛頓大學

15. 文獻 探討 - 一般之顯示器顯示型

16. 文獻回顧 - 擴增實境應用 (1/5) 華盛頓大學人機介面科技實驗室 (Human Interface Technology Laboratory) 的 魔法書 應用。 魔法書的應用情況 圖片摘錄自： Billinghurst, M., Kato, H. and Poupyrev, I., “The MagicBook: A Transitional AR Interface,” Computers & Graphics, Vol. 25, Issue 5, pp. 745-753, 2001.

17. 文獻探討 - 擴增實境應用 (2/5) 擴增化學與傳統 BSM 模型之教學比較 太陽與地球之運轉 地科與化學 教學應用 Brett E. Shelton(2002) 則提出將其應用在地球與太陽的運作教學。 Kristina Bötschi(2007) 將擴增化學 (Augmented Chemistry, AC) 應用於有機化學的教學上。

18. 文獻探討 - 擴增實境應用 (3/5) Fischer 等人 (2004) 提出採用現有的 IGS(Image Guided Surgery) 醫學設備，應用於 醫學手術 。 寶馬汽車 (BMW) 便在 汽車維修 上應用擴增實境的技術。 透過擴增實境顯示 MRI 掃瞄的心室模型

19. 文獻探討 - 擴增實境應用 (4/5) 2001 年 Vlahakis 等人提出應用於 古蹟重建 。 2005 年黃春融提出將其應用於 博物館 來顯示展示之文物資訊。 在原址（左圖）疊加古蹟原貌後之情況（右圖） 虛擬博物館系統

20. 文獻探討 - 擴增實境應用 (5/5) Sony 虛擬寵物遊戲 EyePet™

21. 大綱 研究動機與目的 文獻探討 擴增實境介紹 基礎概念介紹 應用技術介紹 現有開發技術分析 問題描述與研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論

22. 文獻探討 - 座標系統 在 3D 圖形處理中將會使用 多種 座標系統 ，它們在各自的場合中有其獨特的地方，透過它們之間的 轉換 ，可以簡化圖形程式之開發。 世界座標 系統 (World Coordinate System) 。 物體座標 系統 (Object Coordinate System) 。 觀察座標 系統 (Observe Coordinate System) 。 設備座標 系統 (Device Coordinates, DC) 與 正規化設備 座標系 (Normalized Device Coordinates, NDC) 。 螢幕座標 系統 (Screen Coordinate System) 。 物體與物體座標系統 世界座標系與物體座標系統 物件與觀察者座標系統

23. 文獻探討 - 投影原理 常用之投影方法 正交投影 (Orthographic Projection) 。 透視投影 (Perspective Projection) 。 投影問題 透視投射示意圖 正交投影射示意圖

24. 文獻探討 - 攝影機模型 針孔攝影機模型 (Pinhole Camera Model) ，其為一透視投影 (Perspective Projective ) 的成像方式。 在真實空間下的三維座標皆以 世界座標 系統來表示， 而非以相機座標 系統 (Camera Coordinate) ，所以在這之間還有一個座標轉換的動作，在二個座標系統之間的關係，可用 旋轉 (Rotation) 與 位移 (Translation) 來轉換 。 攝影機模型之轉換需要一些參數設定 內部參數 (Intrinsic Parameter) 外部參數 (Extrinsic Parameter) 針孔模型。 針孔攝影機模型之投影關係圖 世界座標系統 Q 與攝影機座標系統 Qc 之轉換圖。

25. 文獻探討 – 標記座標系統 圖片來源： ARToolKit 官方網站 圖片修改自： Engineering Navi

26. 大綱 研究動機與目的 研究動機 研究目的 文獻探討 擴增實境介紹 基礎概念介紹 應用技術介紹 現有開發技術分析 問題描述與研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論

27. 文獻探討 – 標記追蹤系統 無標記該如何追蹤？

28. 文獻探討 – 視覺追蹤方法 物件追蹤之前，首先必須能夠區分影像中的前景與背景，根據運動偵測技術的不同，常見的 移動 物體 偵測 追蹤方法有三類： 背景相減法 (Background Subtraction) 。 時序差異法 (Temporal Differencing) 。 光流法 (Optical Flow Method) 。 2004 年， Weiming Hu 等人將 物件追蹤 (Object Tracking) 的技術概分成四類 區域式追蹤 (Region-Based Tracking) 主動式輪廓追蹤 (Active Contour-Based Tracking) 特徵追蹤 (Feature-Based Tracking) 模型追蹤 (Model-Based Tracking)

29. 文獻探討 – 單應性投影幾何 單應性 (Homography ) 為一種線性轉換的矩陣，在原影像以及新影像的轉換過程中， 共包含了三種轉換 投影轉換 (Projective Transformation) 仿射轉換 (Affine Transformation) 相似轉換 (Similarity Transformation) 。 兩張影像中的 對應點 會存在某種投影幾何關係 由它們之間的關係，可以定義出一個 3×3 的非奇異矩陣 H ，稱為 Homography matrix 。 使其滿足 x‘=Hx （ x 與 x’ 是兩張影像上的對應點）。

30. 大綱 研究動機與目的 文獻探討 現有開發技術分析 開發平台簡介 採用函式庫簡介 問題描述與研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論

31. 現有技術分析 - 現有技術介紹 ARToolkit 電腦視覺追蹤函式庫，其屬於 OpenSource ARToolKit Professional Edition ARToolKit 商業化 的版本。 它的 NFT(Natural Features Tracking) 擴展套件提供對 自然紋理表面特徵 的追蹤技術，可讓研究人員開發出 無標記 之擴增實境應用。 ARToolKit NFT 套件對於辨識之影像 依然 需要 傳統標記 當作辨識參考 。 ARToolKit Plus ARToolKit 之延伸，功能性加強。 可用在開發行動裝置之平台上。 其辨識標記原理來自於 ARTag 之靈感。 ARTag 其著重在 標記的辨識率 及處理上，且採用既定的標記函式庫。 其採用 C 當作開發平台的語言。

32. 現有技術分析 - 現有技術介紹 Goblin XNA 架構在 ARTag 之上的開發平台，其結合了 ARTag 的辨識技術與 XNA 的電腦圖學技術。 採用 C# 當作開發平台的語言 Unifeye Metaio 公司的商業產品，目前最新的開發界面，有支援標記與 無標記技術 。 採用 C# 當作開發平台的語言。 Vizard 使用 Python 語言來當作開發語言。 底層採用 ARToolKit Professional 函式庫。 D’Fusion 支援標記與 無標記技術 。採用特殊的內部腳本語言 (Scripting Language) 。 DART 建立在 Macromedia Director 上。

33. 現有技術分析 - 現有技術整理

34. 大綱 研究動機與目的 文獻探討 現有開發技術分析 開發平台簡介 採用函式庫簡介 問題描述與研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論

35. 現有技術分析 – 採用 函式庫分析 ARToolKit 是計算機視覺追蹤函式庫，允許建立擴增實境應用程序將虛擬影像疊加在真實世界中。 OpenGL 是用來建立三維圖形的程式介面，其為三維繪圖與模型之開放函式庫。 OpenCV 的全稱是 Open Source Computer Vision Library ，是一個跨平台的計算機視覺函式庫。 OpenGL ARToolKit OpenCV 開發擴增實境 需要哪些函式庫？ 為何要結合 OpenCV ？ OpenCV 包含圖形處理和視覺演算法等許多函式庫，比如色彩空間轉換、輪廓尋找和追蹤技術（ CamShift 、 OpticalFlow 、 SIFT 、 SURF ）等。 對於學術研究來說．這些函式是否需要自行撰寫？

36. 現有技術分析 – ARToolKit 函式庫 擴增實境應用程式 ARToolKit API DSVL 函式庫 Direct Show 檔案系統 ARToolKit 函式庫 OpenGL 函式庫 VMRL 3D 模組 硬體驅動程式 3D 虛擬物件 顯示設備 攝影機 命令 事件

37. 現有技術分析 – OpenCV 函式庫 OpenCV 應用程式介面 OpenCV 應用程式 CV 圖形處理和 視覺演算法 Aux 輔助函式庫 ML 電腦學習及 統計分類器 FFmpeg FFmpeg 函式庫支援 VS 視訊監控 硬體驅動程式 視訊或影像檔案 顯示設備 攝影機 命令 事件 HighGUI 高階使用者介面 和視訊輸入輸出 CxCORE 基本結構、演算 法和繪圖函式

38. 現有技術分析 – OpenGL 函式庫 GLUT (The OpenGL Utility Toolkit) OpenGL Mac OS / Linux / Windows 作業系統 應用程式 Windows 原生使用者介面 AGL XGL WGL GLU 硬體顯示設備 Standard Win GUI WGL 命令 事件 命令 事件 ARToolKit

39. 大綱 研究動機與目的 文獻探討 現有技術分析 問題描述與研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論

40. 問題描述與研究目的 問題描述 目前開發平台不足之處 著重在 標記物件 之追蹤。 對於 無標記之支援有限 。 且 無法替換 識別追蹤方法。 研究目的 本文提出模組化設計之 無標記 擴增實境實驗平台。 提供各種視覺 追蹤與辨識 方法之驗證 。 該如何實現？

41. 大綱 研究動機與目的 文獻探討 問題描述與研究目的 擴增實境平台 ARStudio 建置 擴增實境開發平台選定 擴增實境模組分析與規劃 使用者操作視窗與基礎模組設計 無標記視覺追蹤模組設計 實驗結果與分析 結論

42. 研究方法 – 平台選定 ARToolKit 擴增實境研究 平台尋找與評估 開放式架構 平台選定 提供 整合模式 提供 原始碼 否 是 否 否 是

43. 大綱 研究動機與目的 文獻探討 問題描述與研究目的 擴增實境平台 ARStudio 建置 擴增實境開發平台選定 擴增實境模組分析與規劃 使用者操作視窗與基礎模組設計 無標記視覺追蹤模組設計 目前成果 結論

44. 平台建置 – ARToolKit 套件分析 ARToolKit 擴增實境套件之優缺 優點 支援標記之追蹤與識別 使用 GLUT 達成跨平台目的 缺點 不支援無標記之應用 無法支援多台攝影機設備 不支援 OpenCV 影像處理函式庫 GLUT 很難與既有視窗介面結合 為何要建立擴增實境實驗平台 ARToolKit 結合 OpenCV 會遇到哪些問題？

45. 平台建置 - ARToolKit 與 OpenCV 的影像擷取整合 攝影機 OpenGL ARToolkit OpenCV DSVideoLib OpenGL 攝影機 DirectShow 影像處理 視覺追蹤 Read/Write Video stream 影像繪製 攝影機 標記偵測 ARToolKit 與 OpenCV 的影像擷取整合 如何轉換 影像格式 是否一致 BGRA

46. 平台建置 - 影像格式轉換的程式碼片段 static void mainLoop(void) { ARUint8 *dataPtr; IplImage * pstImage = NULL; … /* grab a video frame */ if( (dataPtr = (ARUint8 *) arVideoGetImage ()) == NULL ) { arUtilSleep(2); return; } pstImage= Convert (dataPtr, nWidth, nHeight); … } IplImage * Convert(ARUint8 *pbyImage, int nWidth, int nHeight) { IplImage * pstImage; pstImage = cvCreateImageHeader(cvSize(nWidth, nHeight), IPL_DEPTH_8U, 4); pstImage->imageData =(char *) pbyImage; return pstImage; }

47. 平台建置 - 各應用程式的顯示架構 GLUT (The OpenGL Utility Toolkit) OpenGL OpenCV Mac OS / Linux / Windows ARToolKit AR Studio OpenCV GUI AR Studio Render AGL XGL WGL GLU Graphic Hardware Standard Win GUI WGL

48. 平台建置 - 視訊串流與基礎架構的對應 從 DirectShow 來看，其可分為 Source Filter Transform Filter Rendering Filter 從 Oliver Bimber 提出擴增實境的基礎架構 Tracking and Registration Display Technology Rendering 影像擷取 視覺追蹤 影像繪製 影像擷取 格式轉換 視覺追蹤 影像繪製 影像錄製 User Application Interaction Devices and Techniques Presentation Authoring Tracking and Registration Display Technology Rendering 影像擷取 進行影像處理 影像繪製 追蹤與定位 影像繪製

49. 平台建置 - 本文開發環境架構 視覺追蹤 模組化設計有何優勢？ 函式庫 擴增實境應用程式 擴增實境開發平台之 SDK 影像擷取 影像繪製 視覺追蹤 模組元件管理 影像處理 追蹤定位 OpenGL ARToolKit OpenCV 影像轉換 擴增實境 幾何處理 影像錄製

50. 平台建置 – 本文 開發平台運作架構 影像繪圖模組 OpenCV ARToolkit OpenGL 攝影機 argDrawMode2D argDispImage argDrawMode3D argDraw3dCamera 影像擷取模組 圖形使用者界面 (GUI) 2D 繪圖 影像轉換模組 視覺追蹤模組 3D 繪圖 三維物件 DSVL 無標記追蹤 R/W Camera

51. 大綱 研究動機與目的 文獻探討 問題描述與研究目的 擴增實境平台 ARStudio 建置 擴增實境開發平台選定 擴增實境模組分析與規劃 使用者操作視窗與基礎模組設計 無標記視覺追蹤模組設計 實驗結果與分析 結論

52. 平台建置 - 視窗設計 平台操作介面模組列舉 平台操作介面 人性化操作 自行決定採用之攝影機 透過影像分流，同時使用不同方法進行驗證 為何要採用視窗設計

53. 大綱 研究動機與目的 文獻探討 問題描述 研究目的 擴增實境平台 ARStudio 建置 擴增實境開發平台選定 擴增實境模組分析與規劃 使用者操作視窗與基礎模組設計 無標記視覺追蹤模組設計 實驗結果與分析 結論

54. 平台建置 - 視覺追蹤模組設計 影像繪製 如何實現追蹤方法？ 來源影像 影像轉換 影像繪製 為何採用 SURF ？ 為何要結合區域追蹤？ SURF(Speeded Up Robust Features) 局部性 SURF 特徵追蹤結合 區域追蹤 視覺追蹤 應用方法 方法一 (Normal) 方法二 (Tracking) 方法三 (Markerless) 視覺追蹤模組

55. 平台建置 – 區域追蹤概念 第 n 幅影像 第 n+1 幅影像

56. 平台建置 - 物件追蹤流程

57. 大綱 研究動機與目的 文獻探討 問題描述 研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論

58. 目前成果 – 標記偵測

59. 目前成果 – 標記偵測（影片）

60. 目前成果 – 無標記偵測

61. 目前成果 – 多物件偵測

62. 目前成果 – 多物件偵測（影片）

63. 大綱 研究動機與目的 文獻探討 現有技術分析 問題描述與研究目的 擴增實境平台 ARStudio 建置 實驗結果與分析 結論

64. 結論 - 貢獻 此實驗平台模組化具有以下優勢： 提供 各個模組之設計方法 ，讓擴增實境實驗平台之功能不斷成長。 研究人員依據 不同研究需求 添加各種模組 。 允許不同追蹤技術方法 同時存在 並 驗證追蹤效果 。 視覺追蹤研究人員著重在擴增實境視覺追蹤方法上。

65. 結論 - 未來研究方向 ARStudio 未完善之處 目前只支援單一視窗顯示三維影像。 提供之追蹤模組效能並未最佳化。 擴增實境之研究議題 兩個 虛擬物件 之 遮蔽與互動 。 虛擬 物件與 真實 物件之 遮蔽問題 。 真實物件與虛擬物件 碰撞 之回饋。 同一物件不同角度之識別。 識別追蹤研究領域 不同複雜度之物件。 更快速之識別追蹤技術。

66. 報告完畢