• Like
無標記擴增實境實驗平台建置與追蹤技術驗證
Upcoming SlideShare
Loading in...5
×

無標記擴增實境實驗平台建置與追蹤技術驗證

  • 3,632 views
Uploaded on

無標記擴增實境實驗平台建置與追蹤技術驗證 …

無標記擴增實境實驗平台建置與追蹤技術驗證 PPT

  擴增實境技術是在真實視訊影像中加入虛擬物件,並透過追蹤與定位技術,可以與人們產生良好之互動效果。在視覺追蹤應用領域裡,可分為標記與無標記兩類應用。標記識別技術較為成熟,目前擴增實境開發平台以採用標記識別為主;至於無標記則侷限在特定方法之識別追蹤應用領域,例如樂高玩具利用包裝盒上之印刷圖片當作辨識物件。面對無標記擴增實境之應用日趨重要,且必須因應不同物件採用不同特徵之識別追蹤方法來達成無標記擴增實境之應用。而目前擴增實境平台並不提供模組化方式來替換識別追蹤方法,因此本文提出無標記擴增實境實驗平台,以現有擴增實境套件ARtoolKit為基礎,整合OpenCV與OpenGL函式庫,並採用模組化方式來設計視覺追蹤方法,做為驗證無標記擴增實境識別追蹤方法之平台,且透過視窗操作選擇不同視覺追蹤模組來呈現各式追蹤方法,以利分析驗證追蹤效能。

關鍵字:擴增實境,無標記,虛擬實境,視覺追蹤,特徵追蹤,自然特徵

ARStudio@國防大學

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
3,632
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
114
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • 樂高 (LEGO) 採用擴增實境之技術,只需要在特殊展示螢幕前,讓展示器辨識到該包裝盒上之商品圖標資訊,就可以在該顯示器看到該款玩具的三維立體動畫展示,讓消費者迅速瞭解並感受此款玩具的特性。 另外,被人津津樂道的魔法書 (MagicBook) 應用,讓閱讀不再是那樣枯燥與呆板,配合三維立體即時互動之呈現方式,會使得書本變的更加生動有趣。 例如中華黃頁的「 hiPage 搜 go! 」,將厚厚黃頁電話簿上的百萬筆店家資料都放到程式中做定位搜尋,其點位資料包含大中小型企業、旅遊景點、便利商店、加油站、餐廳、診所、民宿、巷弄內的鎖匙店、機車行…等等。
  • 簡而言之,標記方式需要特別準備標記圖卡來當作操作物件,而無標記則不需要。就應用層面來看, 無標記的應用 將會是擴增實境 未來之研究重點 。 目前既有擴增實境之開發函式庫或開發平台,主要目的為提供擴增實境之應用開發,無法提供 無標記 擴增實境 技術研究方法之驗證。 擴增實境所涵蓋之影像技術 非常廣泛 ,若沒有一個整合開發環境,將 無法驗證 無標記擴增實境技術 之各種方法。 無標記 的應用將會是擴增實境未來之研究重點。 目前既有擴增實境之開發函式庫,無法提供 無標記 擴增實境 技術研究方法之驗證。 擴增實境所涵蓋之影像技術 非常廣泛 ,若沒有一個整合開發環境,將 無法驗證 無標記擴增實境技術 之各種方法。
  • 擴增實境起源 1965 年 伊凡 · 蘇澤蘭 (Ivan Sutherland) 提出終極顯示器 (Ultimate Display) 的構想,並在 1968 年建立了第一個虛擬實境與擴增實境的 頭戴顯示系統 。 而在 1970 與 80 年代,美國空軍阿姆斯壯實驗室、航太總署艾密斯研究中心也開始投入研究,直到 1990 年代初「 擴增實境 」這個名詞才被 波音公司 的幾個科學家正式提出。 何謂擴增實境 擴增實境 (Augmented Reality, AR) ,是一種即時運算攝影機影像的位置與角度,並在 真實影像 中 加入 虛擬物件 的一種技術。 此種技術之目的在於將 虛擬物件 融入 真實環境 之中。 擴增實境的應用 可應用在教育、醫學、遊戲、軍事、維修、商業等各種領域中。
  • 在 1994 年 Paul Milgram 等人,提出了「真實 - 虛擬連續性 (Reality–Virtuality Continuum) 」的理論,他們將真實環境和虛擬環境分別作為連續性的兩端。 位於 兩邊端點之間 的被稱為「 混合實境 (Mixed Reality) 」。 靠近 真實 環境 的是 擴增實境 (Augmented Reality) 靠近 虛擬 環境 的是 擴增虛境 (Augmented Virtuality) 。
  • 從攝影機讀取標記或無標記物件之影像。 分析標記或無標記物件之角度、位置,進行位置及姿態的估算。 載入 3D 虛擬物件,並進行疊加作業。 將 3D 影像依據分析演算的結果,呈現在顯示器上。
  • 物件的追蹤與辨識在擴增實境領域可分為 標記 (Marker) 無標記 (Markerless) 何謂標記? 標記 是一個可以被可靠參考 (Trusted Reference) 的圖形標記,並稱之為基準標記 (Fiducial Marker) ; 標記之擴增實境系統 ,必須經由 特定標記、圖樣 供系統 辨識及定位 。 ARToolKit 標記設計 在黑色正方形中間包含一個白色正方形,可參考套件所附之 blankPatt.gif 圖檔。 白色正方形內之圖案採用黑色、白色或彩色來設計。 白色正方形內之細部圖案最好為非對稱設計。
  • 何謂無標記? 無標記 系統代表擴增實境系統,不須為特定標記、圖樣來辨識及定位,使用者可 自行設計圖樣 或使用 真實物件 來進行辨識及定位。 換句話說,無標記系統採用 自然特徵追蹤 (Nature Feature Tracking) 。
  • 這是一種最簡型式的擴增實境系統,除了桌上型顯示器之外,還有一些 手持式顯示 (Handheld Display) ,比如智慧型手機和 PDA 就是現在非常常見到的行動顯示器
  • 魔法書是華盛頓大學之人機介面科技實驗室 (Human Interface Technology Laboratory) 所進行之研究計畫,它是使用手持式之擴增實境顯示 (Hand held display, HHD) 方式,將虛擬物件與真實的書整合呈現 2001 年
  • Kristina Bötschi(2007) 在有機化學的教學上,就針對採用擴增化學 (Augmented Chemistry, AC) 這一套有形的使用者介面傳統 BSM 模型 (Ball-and-Stick Model, BSM) 這兩種教學方式做一比較 左上方之圖示為使用背投影方式呈現擴增化學使用介面之畫面;右上方圖示為使用右手操作來旋轉立方體,而在標記上方可看到分子結構; 左下方圖示為傳統 BSM 模型的教學設備;右下方圖示為傳統 BSM 模型實際組合的分子結構。 在 2002 年 Shelton 等人 [13] 將其應用在地球與太陽之運作教學上,如圖 2.23 所示,左圖為使用者配戴頭戴顯示器操作畫面;右圖為使用者觀看頭戴顯示器之顯示畫面。這些教學方式可以讓學生有身歷其境的感覺,可以有效的提升學生學習興趣。 Brett E. Shelton(2002) 則提出將其應用在地球與太陽的運作教學
  • 2001 年 Vlahakis 等人提出將已經 毀損的古蹟 建築透過擴增實境之技術,在 原址疊加 古蹟原來 的面貌 。 2005 年黃春融提出利用電腦視覺技術來 輔導參觀者 與 展場之間的互動 ,提升參觀者對展場的融入感與互動性;在博物館的應用中,利用 擴增實境 之技術來顯示文物資訊以增加參觀者的 融入感 。
  • 日本 Sony 在 2009 年秋季推出適合全家大小一道同樂的 虛擬寵物 遊戲『 EyePet™ 』,透過 PlayStation®Eye 攝影機搭配擴增實境技術,將 EyePet 融入真實環境中,讓玩家以臥房或客廳為舞台,與俏皮 EyePet 進行深度互動。
  • 在 3D 圖形處理中將會使用多種座標系統,它們在各自的場合中有其獨特的地方,透過它們之間的轉換,可以簡化圖形程式之開發。 世界座標 系 (World Coordinate) 。 物體座標 系 (Object Coordinate System) 。 觀察座標 系。 設備座標 系 (Device Coordinates, DC) 與正規化設備座標系 (Normalized Device Coordinates, NDC) 。 螢幕座標 系。
  • 在很久以來藝術家與建築師都試圖在解決如何用二維方法表示三維物體或場景這樣的一個問題,而其所面臨的問題在現今圖形學的設計者也同樣面臨相同問題。 正交投影 (Orthographic Projection) 是一系列用於顯示三維物體的輪廓、細節或精確測量結果的變換方法。 透視投影 的定義更為複雜。可以將其理解為透過攝影機取景器對於被投影物體進行觀察。攝影機的位置、朝向和視野都將影響投影變換的結果。
  • 1999 年由加藤弘一 (Kato) 等人提出基準追蹤系統應用於 ARToolKit 中。 其透過座標轉換將標記座標轉換成攝影機座標。 依據門檻值取得標記的矩形的四條線段。 偵測標記內之圖案並找到具體的對應識別 ID 。 將標記位置透過向量矩陣轉換算出 3D 虛擬物件之位置。 載入圖標識別碼對應之 3D 虛擬物件。 在標記位置上繪製虛擬物件。
  • 物件追蹤之前,首先必須能夠區分影像中的前景與背景,根據運動偵測技術的不同,常見的移動物體偵測追蹤方法有三類: 背景相減法 (Background Subtraction) 。 先用一段時間建立一個初步的背景模型。然後,使用目前的圖像中減去背景圖片來偵測移動像素。 時序差異法 (Temporal Differencing) 。 時序相減法最大的優點是不必預先產生背景影像,其基本運作方式是將連續影像中的前後兩個畫格直接相減後得到差異強度影像。 光流法 (Optical Flow Method) 。 光流法就是指偵測光線強弱改變之演算法,也就是以影像梯度為匹配或追蹤基礎之演算法 。 首先是利用物件追蹤 (Object Tracking) 的技術來追蹤動態物體,一旦我們追蹤到物體,就可以做進一步的動作分析。 2004 年, Weiming Hu 等人將物體追蹤的方法可概分成四類 區域式追蹤 (Region-Based Tracking) 假設影像變動的區域即為目標物之位置, 藉由偵測這些變動區域之位置來追蹤目標物。 主動式輪廓追蹤 (Active Contour-Based Tracking) 主動式輪廓追蹤其方法是使用輪廓線 (Contour) 來描述移動的物體,並利用輪廓線之改變來進行追蹤,如 Paragios et al.[24] 就利用這樣的方法來進行移動物件偵測。 特徵追蹤 (Feature-Based Tracking) 特徵追蹤是利用物體的特徵來進行追蹤,首先針對要追蹤的物體擷取特徵,比如重心、色彩、面積、線段與頂點等特徵點。 模型追蹤 (Model-Based Tracking) 模型追蹤的方法將會提供較精細與準確的判斷,因此需要良好的物體結構模型,可加入物體本身之運動特性。 如果只單靠一種追蹤技術可能會因為外在環境之影響,導致萃取之資訊與實際情況有所不同,比如在追蹤過程中找不到相似之處,或者因為交錯之遮蔽影響,結果導致被遮蔽物之部分資訊遺失,所以目前有相關研究 結合多種追蹤技術 ,來確保其追蹤系統運作正常。
  • CV :圖形處理和視覺演算法 ML :電腦學習及統計分類器 HighGUI :高階使用者介面和視訊輸入輸出 CxCORE :基本結構、演算法和繪圖函式 Aux :輔助函式庫 FFmpeg : FFmpeg 函式庫支援 VS :視訊監控
  • 既有開發平台均著重在 標記物件 之追蹤,對於 無標記 之 應用有限 。 目前既有擴增實境之開發函式庫或開發平台,主要目的為提供 擴增實境 之 應用開發 , 無法提供 無標記 擴增實境 技術研究方法之驗證。 開發套件大都為整合函式庫,難以針對 視覺追蹤 部分進行 快速 替換 。
  • Unifeye 採用 C# 語言當作開發平台,其擁有良好之 Vizprep 視窗操作介面提供應用開發人員;不過其只提供特定之無標記應用領域之運用,雖然將追蹤模組採用動態連結函式庫 (Dynamic Link Library, DLL) 方式設計,不過只提供利用其追蹤技術與其系統整合,並無可擴展之無標記開發模組設計。另外商業版本之 ARToolKit Professional 也發展出許多套件,而 NFT 套件裡採用 Cutting Edge 的自然特徵追蹤方式來實現無標記之應用;若想在 ARToolKit Professional 上擴展無標記應用,則必須對其與 NFT 套件間之溝通架構有所瞭解。 NFT 套件之訴求為提供 ARToolKit Professional 無標記之應用,而非提供無標記追蹤與辨識模組之設計,在無相關文獻提供參考下,很難利用 NFT 架構來實現無標記擴增實境之辨識與追蹤。
  • 從擴增實境的原理中可知擴增實境視覺追蹤之運作流程分成下面幾類 影像擷取。 標記識別、位置及姿態之估算。 3D 物件之繪製這幾個部分。 模組分析與規劃也將依據這些特性將其分類,並且參考既有應用系統架構及相關協定。 擴增實境視覺追蹤之運作流程分成 影像擷取 、 標記識別 、 位置及姿態之估算以及三維物件之繪製 四部分
  • 影像擷取:影像來源可以是從單張影像、串流影像或者從檔案中取得,當然這部分取決於開發環境提供多少種 Source Filter ,在這採用 DSVL 函式庫,若有額外需求,再行撰寫其它 Source Filter 。 影像轉換:用來做為影像格式轉換,雖然可以將這一部份整合到 DSVL 這一個 Source Filter 中,然而這樣將會改變整個開放的 DSVL 函式庫,為了避免此種情況,所以將其獨立出一個區塊。 視覺追蹤:這部分為無標記視覺追蹤模組,提供影像研究人員快速替換成自己的影像追蹤模組部分,因為目前的 ARToolKit 不提供無標記的辨識與追蹤,所以要應用在無標記的領域,這部分就必須自行撰寫。 影像繪製:可視覺化系統,除了呈現真實環境影像,並在影像的定位座標上疊加虛擬物件。
  • 一張影像往往比千言萬語還有用,所以應用軟體如果能夠適時的使用影像來呈現必要之結果,往往比文字描述來的有效。 以往過去許多研究都使用一個觀察視窗呈現最終之結果,對於非研究人員很難得知處理前後之差異,故本文希望採用多個分割視窗來呈現不同效果之影像。 透過動態方式取得各個視訊追蹤模組之能力,並將其在樹狀結構中描述: 第一階層依據視訊來源特性做類別區分; 第二階層為影像擷取裝置或檔案名稱,名稱由裝置或檔案提供; 第三階層為影像擷取模組之模組名稱,名稱由模組提供; 第四階層為視訊追蹤模組之名稱,名稱由模組提供; 第五階層為視訊追蹤模組所提供之能力,每一個視訊追蹤模組最少必須提供一種能力。

Transcript

  • 1. 學  校:國 防 大 學 系  所:資訊科學系 報告人員:鍾 德 煥 無標記擴增實境實驗平台建置與 追蹤技術驗證
  • 2. 擴增實境之標記應用
  • 3. 大綱
    • 研究動機與目的
    • 文獻探討
    • 現有技術分析
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
    ※ 擴增實境平台 (Augmented Reality Studio, ARStudio)
  • 4. 研究動機
    • 隨著 硬體顯示技術 以及 智慧型手機 的普及,擴增實境之應用得以推廣。
    • 然而 目前 所看到之應用均採用 標記方式 ,所以應用範圍將受到很大之限制。
    • 以便利性來說, 無標記 的應用將會是擴增實境 未來之研究重點 。
    影片來源: Metaio 官方網站 是否一定要使用標記呢?
  • 5. 研究目的
    • 因為擴增實境所涵蓋之相關技術 非常廣泛。
    • 既有之擴增實境開發平台之架構
      • 著重在 標記 之應用
      • 無法自行 替換 追蹤 方法。
    • 本研究 主要目的
      • 提供 無標記 擴增實境實驗平台 。
      • 驗證 視覺追蹤 技術 。
    圖片摘錄自: Engineering Navi
  • 6. 大綱
    • 研究動機與目的
    • 文獻探討
      • 擴增實境介紹
      • 基礎概念介紹
      • 應用技術介紹
    • 現有技術分析
    • 問題描述與研究目的
    • 擴增實境平台建置
    • 實驗結果與分析
    • 結論
  • 7. 文獻探討 - 擴增實境簡介
    • 何謂擴增實境
      • 擴增實境 (Augmented Reality, AR) ,是一種即時運算攝影機影像的位置與角度,並在 真實影像 中 加入 虛擬物件 的一種技術。
      • 此種技術之目的在於將 虛擬物件 融入 真實環境 之中。
    • 擴增實境起源
      • 1965 年 伊凡 · 蘇澤蘭 (Ivan Sutherland) 提出終極顯示器 (Ultimate Display) 的構想,並在 1968 年建立了第一個虛擬實境與擴增實境的 頭戴顯示系統 。
      • 1990 年代初「 擴增實境 」這個名詞才被 波音公司 的幾個科學家正式提出。
    • 擴增實境的應用
      • 可應用在教育、醫學、遊戲、軍事、維修、商業等各種領域中。
  • 8. 文獻探討 - 擴增實境的定義
    • 在 1994 年 Paul Milgram 等人,提出了「真實 - 虛擬連續性 (Reality–Virtuality Continuum) 」的理論,他們將真實環境和虛擬環境分別作為連續性的兩端。
    • 位於 兩邊端點之間 的被稱為「 混合實境 (Mixed Reality) 」。
    • 靠近 真實環境 的是 擴增實境 (Augmented Reality)
    • 靠近 虛擬環境 的是 擴增虛境 (Augmented Virtuality) 。
    圖片摘錄自: Michael Haller el. ,“ Emerging Technologies of Augmented Reality : Interfaces and Design” , Idea Group Publishing , U.S.A , 2007
  • 9. 文獻探討 - 擴增實境的明確定義
    • 1997 年 Azuma 為 擴增實境 下了一個更 明確的定義 ,它必須同時擁有下面三個特性:
      • 結合 真實 與 虛擬 (Combines real and virtual) 、
      • 即時 性的 互動 (Interactive in real time) 、
      • 資訊的呈現必需在 三度空間 內 (Registered in 3-D) 。
  • 10. 文獻回顧 - 擴增實境的基礎架構
    • 在 2005 年 Oliver Bimber 提出了擴增實境的基礎架構,如下圖:
    圖片參考自: Oliver Bimber. and Ramesh Raskar., Spatial A ugmented Reality Merging Real and Virtual W orlds, Wellesley, Massachusetts, U.S.A ,A K P eters, Ltd ,Chap.1, pp. 1-7, 2005 User Application Interaction Devices and Techniques Presentation Authoring Tracking and Registration Display Technology Rendering 影像處理 領域的「 追蹤與定位 」 計算機圖學 領域的「顯示技術與 3D 物件顯示技術」
  • 11. 文獻探討 - 基礎運作原理
  • 12. 文獻探討 - 追蹤物件的分類 (1/2)
    • 物件的追蹤與辨識在擴增實境領域可分為
      • 標記 (Marker)
      • 無標記 (Markerless)
    • 何謂標記?
      • 標記 是一個可以被可靠參考 (Trusted Reference) 的圖形標記,並稱之為基準標記 (Fiducial Marker) ; 標記之擴增實境系統 ,必須經由 特定標記、圖樣 供系統 辨識及定位 。
    ARTag 標記應用 ARToolKit 標記 圖片摘錄自: ARTag 官方網站 圖片摘錄自: ARToolKit 開發套件
  • 13. 文獻回顧 - 追蹤物件的分類 (2/2)
    • 無標記 系統代表擴增實境系統,不須為特定標記、圖樣來辨識及定位,使用者可 自行設計圖樣 或使用 真實物件 來進行辨識及定位。
    擴增實境 擴增實境 無標記系統 標記系統 Unifeye 應用於書籍之無標記追蹤 ARToolKit Professional 之無標記應用 圖片摘錄自: ARToolWorks 官方網站 圖片摘錄自: Unifeye SDK 圖片摘錄自: ARToolWorks 官方網站 目前的擴增實境 無標記 之應用是 有所限制 何謂無標記?
  • 14. 文獻探討 - 擴增實境的呈現
    • Vallino(1998) 將擴增實境之影像呈現方式概分為三類:
      • 一般顯示器之顯示 (Monitor-based augmented reality display) 。
      • 頭戴式之影視顯示 (Video see-through augmented reality display) 。
      • 頭戴式之光學投射顯示 (Optical see-through augmented reality display) 。
    • 目前尚未普及的顯示系統
      • 利用全息圖 (Hologram) 概念將影像直接出現在空氣裡面。
    圖片摘錄自: Lumus 官方網站 第一部星際大戰中的場景 圖片來源: Star Wars 日立的 Transpost 系統 圖片來源:日立官方網站 N-3D 立體顯示器 圖片來源: aircord 官方網站 Heliodisplay 空氣投影 圖片來源: io2technology 官網 華盛頓大學研究團隊所開發的隱形眼鏡鏡頭 圖片來源:華盛頓大學
  • 15. 文獻 探討 - 一般之顯示器顯示型
  • 16. 文獻回顧 - 擴增實境應用 (1/5)
    • 華盛頓大學人機介面科技實驗室 (Human Interface Technology Laboratory) 的 魔法書 應用。
    魔法書的應用情況 圖片摘錄自: Billinghurst, M., Kato, H. and Poupyrev, I., “The MagicBook: A Transitional AR Interface,” Computers & Graphics, Vol. 25, Issue 5, pp. 745-753, 2001.
  • 17. 文獻探討 - 擴增實境應用 (2/5) 擴增化學與傳統 BSM 模型之教學比較 太陽與地球之運轉
    • 地科與化學 教學應用
      • Brett E. Shelton(2002) 則提出將其應用在地球與太陽的運作教學。
      • Kristina Bötschi(2007) 將擴增化學 (Augmented Chemistry, AC) 應用於有機化學的教學上。
  • 18. 文獻探討 - 擴增實境應用 (3/5)
    • Fischer 等人 (2004) 提出採用現有的 IGS(Image Guided Surgery) 醫學設備,應用於 醫學手術 。
    • 寶馬汽車 (BMW) 便在 汽車維修 上應用擴增實境的技術。
    透過擴增實境顯示 MRI 掃瞄的心室模型
  • 19. 文獻探討 - 擴增實境應用 (4/5)
    • 2001 年 Vlahakis 等人提出應用於 古蹟重建 。
    • 2005 年黃春融提出將其應用於 博物館 來顯示展示之文物資訊。
    在原址(左圖)疊加古蹟原貌後之情況(右圖) 虛擬博物館系統
  • 20. 文獻探討 - 擴增實境應用 (5/5) Sony 虛擬寵物遊戲 EyePet™
  • 21. 大綱
    • 研究動機與目的
    • 文獻探討
      • 擴增實境介紹
      • 基礎概念介紹
      • 應用技術介紹
      • 現有開發技術分析
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
  • 22. 文獻探討 - 座標系統
    • 在 3D 圖形處理中將會使用 多種 座標系統 ,它們在各自的場合中有其獨特的地方,透過它們之間的 轉換 ,可以簡化圖形程式之開發。
      • 世界座標 系統 (World Coordinate System) 。
      • 物體座標 系統 (Object Coordinate System) 。
      • 觀察座標 系統 (Observe Coordinate System) 。
      • 設備座標 系統 (Device Coordinates, DC) 與 正規化設備 座標系 (Normalized Device Coordinates, NDC) 。
      • 螢幕座標 系統 (Screen Coordinate System) 。
    物體與物體座標系統 世界座標系與物體座標系統 物件與觀察者座標系統
  • 23. 文獻探討 - 投影原理
    • 常用之投影方法
      • 正交投影 (Orthographic Projection) 。
      • 透視投影 (Perspective Projection) 。
    投影問題 透視投射示意圖 正交投影射示意圖
  • 24. 文獻探討 - 攝影機模型
    • 針孔攝影機模型 (Pinhole Camera Model) ,其為一透視投影 (Perspective Projective ) 的成像方式。
      • 在真實空間下的三維座標皆以 世界座標 系統來表示, 而非以相機座標 系統 (Camera Coordinate) ,所以在這之間還有一個座標轉換的動作,在二個座標系統之間的關係,可用 旋轉 (Rotation) 與 位移 (Translation) 來轉換 。
    • 攝影機模型之轉換需要一些參數設定
      • 內部參數 (Intrinsic Parameter)
      • 外部參數 (Extrinsic Parameter)
    針孔模型。 針孔攝影機模型之投影關係圖 世界座標系統 Q 與攝影機座標系統 Qc 之轉換圖。
  • 25. 文獻探討 – 標記座標系統 圖片來源: ARToolKit 官方網站 圖片修改自: Engineering Navi
  • 26. 大綱
    • 研究動機與目的
      • 研究動機
      • 研究目的
    • 文獻探討
      • 擴增實境介紹
      • 基礎概念介紹
      • 應用技術介紹
      • 現有開發技術分析
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
  • 27. 文獻探討 – 標記追蹤系統 無標記該如何追蹤?
  • 28. 文獻探討 – 視覺追蹤方法
    • 物件追蹤之前,首先必須能夠區分影像中的前景與背景,根據運動偵測技術的不同,常見的 移動 物體 偵測 追蹤方法有三類:
      • 背景相減法 (Background Subtraction) 。
      • 時序差異法 (Temporal Differencing) 。
      • 光流法 (Optical Flow Method) 。
    • 2004 年, Weiming Hu 等人將 物件追蹤 (Object Tracking) 的技術概分成四類
      • 區域式追蹤 (Region-Based Tracking)
      • 主動式輪廓追蹤 (Active Contour-Based Tracking)
      • 特徵追蹤 (Feature-Based Tracking)
      • 模型追蹤 (Model-Based Tracking)
  • 29. 文獻探討 – 單應性投影幾何
    • 單應性 (Homography ) 為一種線性轉換的矩陣,在原影像以及新影像的轉換過程中, 共包含了三種轉換
      • 投影轉換 (Projective Transformation)
      • 仿射轉換 (Affine Transformation)
      • 相似轉換
      • (Similarity Transformation) 。
    • 兩張影像中的 對應點 會存在某種投影幾何關係
      • 由它們之間的關係,可以定義出一個 3×3 的非奇異矩陣 H ,稱為 Homography matrix 。
      • 使其滿足 x‘=Hx ( x 與 x’ 是兩張影像上的對應點)。
  • 30. 大綱
    • 研究動機與目的
    • 文獻探討
    • 現有開發技術分析
      • 開發平台簡介
      • 採用函式庫簡介
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
  • 31. 現有技術分析 - 現有技術介紹
    • ARToolkit
      • 電腦視覺追蹤函式庫,其屬於 OpenSource
    • ARToolKit Professional Edition
      • ARToolKit 商業化 的版本。
      • 它的 NFT(Natural Features Tracking) 擴展套件提供對 自然紋理表面特徵 的追蹤技術,可讓研究人員開發出 無標記 之擴增實境應用。
      • ARToolKit NFT 套件對於辨識之影像 依然 需要 傳統標記 當作辨識參考 。
    • ARToolKit Plus
      • ARToolKit 之延伸,功能性加強。
      • 可用在開發行動裝置之平台上。
      • 其辨識標記原理來自於 ARTag 之靈感。
    • ARTag
      • 其著重在 標記的辨識率 及處理上,且採用既定的標記函式庫。
      • 其採用 C 當作開發平台的語言。
  • 32. 現有技術分析 - 現有技術介紹
    • Goblin XNA
      • 架構在 ARTag 之上的開發平台,其結合了 ARTag 的辨識技術與 XNA 的電腦圖學技術。
      • 採用 C# 當作開發平台的語言
    • Unifeye
      • Metaio 公司的商業產品,目前最新的開發界面,有支援標記與 無標記技術 。
      • 採用 C# 當作開發平台的語言。
    • Vizard
      • 使用 Python 語言來當作開發語言。
      • 底層採用 ARToolKit Professional 函式庫。
    • D’Fusion
      • 支援標記與 無標記技術 。採用特殊的內部腳本語言 (Scripting Language) 。
    • DART
      • 建立在 Macromedia Director 上。
  • 33. 現有技術分析 - 現有技術整理
  • 34. 大綱
    • 研究動機與目的
    • 文獻探討
    • 現有開發技術分析
      • 開發平台簡介
      • 採用函式庫簡介
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
  • 35. 現有技術分析 – 採用 函式庫分析
    • ARToolKit 是計算機視覺追蹤函式庫,允許建立擴增實境應用程序將虛擬影像疊加在真實世界中。
    • OpenGL 是用來建立三維圖形的程式介面,其為三維繪圖與模型之開放函式庫。
    • OpenCV 的全稱是 Open Source Computer Vision Library ,是一個跨平台的計算機視覺函式庫。
    OpenGL ARToolKit OpenCV 開發擴增實境 需要哪些函式庫? 為何要結合 OpenCV ? OpenCV 包含圖形處理和視覺演算法等許多函式庫,比如色彩空間轉換、輪廓尋找和追蹤技術( CamShift 、 OpticalFlow 、 SIFT 、 SURF )等。 對於學術研究來說.這些函式是否需要自行撰寫?
  • 36. 現有技術分析 – ARToolKit 函式庫 擴增實境應用程式 ARToolKit API DSVL 函式庫 Direct Show 檔案系統 ARToolKit 函式庫 OpenGL 函式庫 VMRL 3D 模組 硬體驅動程式 3D 虛擬物件 顯示設備 攝影機 命令 事件
  • 37. 現有技術分析 – OpenCV 函式庫 OpenCV 應用程式介面 OpenCV 應用程式 CV 圖形處理和 視覺演算法 Aux 輔助函式庫 ML 電腦學習及 統計分類器 FFmpeg FFmpeg 函式庫支援 VS 視訊監控 硬體驅動程式 視訊或影像檔案 顯示設備 攝影機 命令 事件 HighGUI 高階使用者介面 和視訊輸入輸出 CxCORE 基本結構、演算 法和繪圖函式
  • 38. 現有技術分析 – OpenGL 函式庫 GLUT (The OpenGL Utility Toolkit) OpenGL Mac OS / Linux / Windows 作業系統 應用程式 Windows 原生使用者介面 AGL XGL WGL GLU 硬體顯示設備 Standard Win GUI WGL 命令 事件 命令 事件 ARToolKit
  • 39. 大綱
    • 研究動機與目的
    • 文獻探討
    • 現有技術分析
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
  • 40. 問題描述與研究目的
    • 問題描述
      • 目前開發平台不足之處
        • 著重在 標記物件 之追蹤。
        • 對於 無標記之支援有限 。
        • 且 無法替換 識別追蹤方法。
    • 研究目的
      • 本文提出模組化設計之 無標記 擴增實境實驗平台。
      • 提供各種視覺 追蹤與辨識 方法之驗證 。
    該如何實現?
  • 41. 大綱
    • 研究動機與目的
    • 文獻探討
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
      • 擴增實境開發平台選定
      • 擴增實境模組分析與規劃
      • 使用者操作視窗與基礎模組設計
      • 無標記視覺追蹤模組設計
    • 實驗結果與分析
    • 結論
  • 42. 研究方法 – 平台選定 ARToolKit 擴增實境研究 平台尋找與評估 開放式架構 平台選定 提供 整合模式 提供 原始碼 否 是 否 否 是
  • 43. 大綱
    • 研究動機與目的
    • 文獻探討
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
      • 擴增實境開發平台選定
      • 擴增實境模組分析與規劃
      • 使用者操作視窗與基礎模組設計
      • 無標記視覺追蹤模組設計
    • 目前成果
    • 結論
  • 44. 平台建置 – ARToolKit 套件分析
    • ARToolKit 擴增實境套件之優缺
      • 優點
        • 支援標記之追蹤與識別
        • 使用 GLUT 達成跨平台目的
      • 缺點
        • 不支援無標記之應用
        • 無法支援多台攝影機設備
        • 不支援 OpenCV 影像處理函式庫
        • GLUT 很難與既有視窗介面結合
    為何要建立擴增實境實驗平台 ARToolKit 結合 OpenCV 會遇到哪些問題?
  • 45. 平台建置 - ARToolKit 與 OpenCV 的影像擷取整合 攝影機 OpenGL ARToolkit OpenCV DSVideoLib OpenGL 攝影機 DirectShow 影像處理 視覺追蹤 Read/Write Video stream 影像繪製 攝影機 標記偵測 ARToolKit 與 OpenCV 的影像擷取整合 如何轉換 影像格式 是否一致 BGRA
  • 46. 平台建置 - 影像格式轉換的程式碼片段
    • static void mainLoop(void) { ARUint8 *dataPtr; IplImage * pstImage = NULL; … /* grab a video frame */ if( (dataPtr = (ARUint8 *) arVideoGetImage ()) == NULL ) { arUtilSleep(2); return; } pstImage= Convert (dataPtr, nWidth, nHeight); … }
    • IplImage * Convert(ARUint8 *pbyImage, int nWidth, int nHeight) { IplImage * pstImage;
    • pstImage = cvCreateImageHeader(cvSize(nWidth, nHeight), IPL_DEPTH_8U, 4); pstImage->imageData =(char *) pbyImage; return pstImage; }
  • 47. 平台建置 - 各應用程式的顯示架構 GLUT (The OpenGL Utility Toolkit) OpenGL OpenCV Mac OS / Linux / Windows ARToolKit AR Studio OpenCV GUI AR Studio Render AGL XGL WGL GLU Graphic Hardware Standard Win GUI WGL
  • 48. 平台建置 - 視訊串流與基礎架構的對應
    • 從 DirectShow 來看,其可分為
      • Source Filter
      • Transform Filter
      • Rendering Filter
    • 從 Oliver Bimber 提出擴增實境的基礎架構
      • Tracking and Registration
      • Display Technology
      • Rendering
    影像擷取 視覺追蹤 影像繪製 影像擷取 格式轉換 視覺追蹤 影像繪製 影像錄製 User Application Interaction Devices and Techniques Presentation Authoring Tracking and Registration Display Technology Rendering 影像擷取 進行影像處理 影像繪製 追蹤與定位 影像繪製
  • 49. 平台建置 - 本文開發環境架構 視覺追蹤 模組化設計有何優勢? 函式庫 擴增實境應用程式 擴增實境開發平台之 SDK 影像擷取 影像繪製 視覺追蹤 模組元件管理 影像處理 追蹤定位 OpenGL ARToolKit OpenCV 影像轉換 擴增實境 幾何處理 影像錄製
  • 50. 平台建置 – 本文 開發平台運作架構 影像繪圖模組 OpenCV ARToolkit OpenGL 攝影機 argDrawMode2D argDispImage argDrawMode3D argDraw3dCamera 影像擷取模組 圖形使用者界面 (GUI) 2D 繪圖 影像轉換模組 視覺追蹤模組 3D 繪圖 三維物件 DSVL 無標記追蹤 R/W Camera
  • 51. 大綱
    • 研究動機與目的
    • 文獻探討
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
      • 擴增實境開發平台選定
      • 擴增實境模組分析與規劃
      • 使用者操作視窗與基礎模組設計
      • 無標記視覺追蹤模組設計
    • 實驗結果與分析
    • 結論
  • 52. 平台建置 - 視窗設計 平台操作介面模組列舉 平台操作介面
    • 人性化操作
    • 自行決定採用之攝影機
    • 透過影像分流,同時使用不同方法進行驗證
    為何要採用視窗設計
  • 53. 大綱
    • 研究動機與目的
    • 文獻探討
    • 問題描述
    • 研究目的
    • 擴增實境平台 ARStudio 建置
      • 擴增實境開發平台選定
      • 擴增實境模組分析與規劃
      • 使用者操作視窗與基礎模組設計
      • 無標記視覺追蹤模組設計
    • 實驗結果與分析
    • 結論
  • 54. 平台建置 - 視覺追蹤模組設計 影像繪製 如何實現追蹤方法? 來源影像 影像轉換 影像繪製 為何採用 SURF ? 為何要結合區域追蹤? SURF(Speeded Up Robust Features) 局部性 SURF 特徵追蹤結合 區域追蹤 視覺追蹤 應用方法 方法一 (Normal) 方法二 (Tracking) 方法三 (Markerless) 視覺追蹤模組
  • 55. 平台建置 – 區域追蹤概念 第 n 幅影像 第 n+1 幅影像
  • 56. 平台建置 - 物件追蹤流程
  • 57. 大綱
    • 研究動機與目的
    • 文獻探討
    • 問題描述
    • 研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
  • 58. 目前成果 – 標記偵測
  • 59. 目前成果 – 標記偵測(影片)
  • 60. 目前成果 – 無標記偵測
  • 61. 目前成果 – 多物件偵測
  • 62. 目前成果 – 多物件偵測(影片)
  • 63. 大綱
    • 研究動機與目的
    • 文獻探討
    • 現有技術分析
    • 問題描述與研究目的
    • 擴增實境平台 ARStudio 建置
    • 實驗結果與分析
    • 結論
  • 64. 結論 - 貢獻
    • 此實驗平台模組化具有以下優勢:
      • 提供 各個模組之設計方法 ,讓擴增實境實驗平台之功能不斷成長。
      • 研究人員依據 不同研究需求 添加各種模組 。
      • 允許不同追蹤技術方法 同時存在 並 驗證追蹤效果 。
      • 視覺追蹤研究人員著重在擴增實境視覺追蹤方法上。
  • 65. 結論 - 未來研究方向
    • ARStudio 未完善之處
      • 目前只支援單一視窗顯示三維影像。
      • 提供之追蹤模組效能並未最佳化。
    • 擴增實境之研究議題
      • 兩個 虛擬物件 之 遮蔽與互動 。
      • 虛擬 物件與 真實 物件之 遮蔽問題 。
      • 真實物件與虛擬物件 碰撞 之回饋。
      • 同一物件不同角度之識別。
    • 識別追蹤研究領域
      • 不同複雜度之物件。
      • 更快速之識別追蹤技術。
  • 66. 報告完畢