1. PTAMを15分で
な
ん
と
な
く
理解する
2008-12-07
masayashi@Kansai.AR

2. この発表で喋ること
•PTAMとその付近をなんとなく
理解した気になってもらいます
• 15分で！
• だいたいどういうことをやっているのかが
伝わればおk

3. 自己紹介

4. masayashi です

5. http://www.masayashi.com/

6. よろしくおねがいします

7. それでは本題

8. PTAM？

9. Parallel Tracking And Mapping
PTAM？

10. Parallel Tracking and Mapping for Small AR
Workspaces , Georg Klein and David Murray,
ISMAR 2007.

13. 『攻殻機動隊』『電脳メガネ』どころではない拡張現実感技術の現在
http://www.masayashi.com/2008/01/20/556
はてなブックマーク
975 users
delicious
228 users
livedoorクリップ
51 users

14. PTAMのあれこれ
•著者：Georg Klein
• コンピュータビジョンの研究者
• Oxford大学のポスドク
•出典：ISMAR
• AR分野で最も権威ある国際大会
• 2007年度の大会での Best Paper Award

15. この研究のゴール
•マーカなしでのARシステムを
実用的なレベルに！
もっとスピードを！
もっとロバスト性を！
もっと精度を！

16. ARシステム構築のために
？ ？
？
？
どこに何を出すの？
わかりません＞＜
•現実世界の認識が不可欠

17. ARシステム構築のために
マーカがあれば…
マーカを探すんですね
わかります
•現実世界の認識が不可欠
カメラ入力
マーカ座標計算
CG描画

18. マーカレスAR
•現実世界の認識が不可欠
ほとんどの場合は
特徴点を利用
google：特徴点検出
wikipedia：コーナー検出法
実世界中の特徴を利用

19. マーカレスAR
•現実世界の認識が不可欠
環境を認識するんですね
わかります
実世界中の特徴を利用
動画像中で解析を進めていく

20. 特徴点の追跡
•フレーム間での特徴点の対応付け
特徴点を追跡（トラッキング）する
現在のフレーム画像前のフレーム画像
どれに対応？
フレーム間の特徴点の距離
特徴点周辺の画像の類似度
これらを基準に対応を判断

21. 環境を取り込む
f(i) f(i+1)
f(i+2)
camera
Real Object
3Dマップ空間
特徴点の対応付け
•環境のマップを3D空間上に構築（マッピング）
google：structure from motion

22. 人間すげえ

23. Parallel Tracking and Mapping
•トラッキングとマッピングを並列処理
トラッキングスレッド マッピングスレッド
毎フレーム実行 数十フレームごとに
実行

24. 結果

25. 結果

26. ソースコード公開！
•http://www.robots.ox.ac.uk/ gk/PTAM/
•非商用ライセンス
•実行までは少し手間がかかります
• 先人の報告を参考にすれば（たぶん）大丈夫！
• PTAMで検索！トライ！

27. 応用例@ニコニコ動画
PTAMとHandyARでbulletしてみた
http://www.nicovideo.jp/watch/sm5325562
初音ミクが家の前を歩いてたんだけど…
http://www.nicovideo.jp/watch/sm4788237

28. 実際のところ、どうなの？
• ちょうすごい
• アルゴリズム自体は既存のものがベース
• 単体ではARに生かし切れない（私見）
➡ どこに何を出すべきか、という問題
• 他の技術との組み合わせに期待

29. 今回話さなかったこと
SLAM ／ カメラ位置姿勢推定 ／ FAST特徴点検出器 ／
キーフレームベースでのマッピング ／ エピポーラ探索に
基づくマップへの特徴点登録 ／ バンドル調整 ／ カメラ
パラメータ推定 ／ レンズ歪み補正 ／ モデルベースト
ラッキング ／ 起動時の初期化で行っていること ／ 四段
階層画像による高速化 ／ トラッキング失敗による自己位
置消失からの復帰方法 ／ 具体的な特徴点の対応付けアル
ゴリズム ／ 粗-密の二段階トラッキング ／ etc...
興味のある人は論文を読もう！

30. その後…
• 特徴としてエッジを考慮
• G Klein先生の次回作にご期待ください！

31. まとめ
•マーカレスARでは、特徴点のトラッキング
と環境マップ作成が肝
• PTAMではこれらの処理を並列化
•ソースコード公開でいろいろ遊べるように！
•マーカや他のセンサとの連携にも期待