Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Master Thesis

1,278 views

Published on

my last presentation in graduate school

  • Be the first to comment

Master Thesis

  1. 1. 自然特徴点を利用した MR-PreViz用 位置合わせ手法の研究 リアリティメディア研究室 樋下 航
  2. 2. MR-PreViz PreVisualization + Mixed Reality
  3. 3. 幾何学的整合性と位置合わせ CGの木 位置合わせ失敗 位置合わせ成功
  4. 4. 歴史 MR-PreViz用位置合わせ H17 2 屋内外 自由度 ロータリーエンコーダ H18 6 屋内 自由度 ロータリーエンコーダと超音波式センサの併用 H21 6 屋外 自由度 自然特徴点ランドマークデータベース
  5. 5. ランドマークデータベース を用いたカメラトラッキング ランドマーク Structure-from-Motion
  6. 6. 映画撮影の特性を活かした 効率的なデータベース構築 A 立方体マーカ 本番撮影時と同じようなカメラパス
  7. 7. マーカを映し続けるという 制約 初期フレーム 最終フレーム
  8. 8. マーカの配置は大変! A A A A A A A
  9. 9. 2phase 提案手法 準備段階 MR-PreViz撮影 A F F ランドマーク データベース ランドマーク カメラトラッキング データベースの構築
  10. 10. オフライン ランドマークデータベース構築
  11. 11. 目標 マーカを常に映す必要の ない構築手法へ 短時間という制約の中で
  12. 12. 1 2 マーカの配置 動画像の取得 3 4 ランドマークデータベース構築 マーカの取り払い 4step ワークフロー
  13. 13. ポイント 自然特徴点の3次元位置推定 自然特徴点 1th frame tth frame nth frame カメラ位置   F  A T [t ] X RA 1 ステレオ視 Structure-from-Motion
  14. 14. 動画像の一例 より多彩なカメラワークが可能に
  15. 15. 実験 立命館大学 朱雀キャンパスの駐車場 撮影カメラ Sony DSR-PD170 入力画像 720×480 pixel (プログレッシブ,15fps) 処理用PC Core2 Extreme 2.8GHz,4.0GB RAM
  16. 16. ランドマークデータベース構築実験 • ランドマーク数: 940点 • 再投影誤差の平均: 0.81 pixel • 3次元位置推定処理時間 – 250フレームの動画像 – 合計約187秒 3次元位置が推定済みの特徴点 検出された特徴点(3次元位置は未知)
  17. 17. 登録されたランドマーク ランドマーク 推定されたカメラパス
  18. 18. データベース構築の結果例
  19. 19. オンライン カメラトラッキング
  20. 20. 目標 • リアルタイム処理 • トラッキング破綻からの復帰
  21. 21. カメラ位置姿勢推定 ランドマーク World 特徴点 Camera 変換行列 M4×4 対応づけをいかに行うか
  22. 22. ポイント SIFT特徴量を用いた対応付け 入力画像例 スケール変化 ランドマーク データベース 回転変化 SIFT SIFT 照合 特徴量 特徴量 データベース 構築時の画像 照明変化 高速性と安定性の両立
  23. 23. 処理時間 全体 対応付け r' d ' SIFT SIFTscale  記述 d r’: DB構築時のSIFT記述領域 d’: DB構築時のカメラ間距離 d: トラッキング時のカメラ間距離 高速化前 高速化後 高速化 SIFTの記述領域をカメラと ランドマークの3次元距離から決定
  24. 24. 安定化 破綻フレームの前後でランドマークを SIFT特徴量により対応付ける
  25. 25. トラッキング実験 • 処理時間: 18.05 [ms / frame] • 推定誤差 – 平均位置推定誤差: 19.3 [mm] – 光軸向きの平均推定誤差: 1フレームあたりの処理時間の内訳 0.18 [degree] 各処理 処理時間 [ms] ランドマークの選択 0.21 特徴点検出 15.60 対応付け 1.68 カメラ位置姿勢推定 0.56 合計 18.05
  26. 26. トラッキング実験 破綻からの復帰 60 対応付けに成功したランドマーク 50 40 [個数] 30 20 10 0 0 30 60 90 120 150 180 210 240 270 300 経過時間 [フレーム] ランドマークがない方向へ データベース構築時の 瞬間的にカメラを向けた際の破綻 カメラパスから離れた際の破綻
  27. 27. トラッキングの様子
  28. 28. まとめ ・マーカを常に映さなくてよいランドマーク データベース構築手法 ・実時間かつ安定したカメラトラッキング手法 撮影対象とカメラの移動範囲が事前に特定 できる場合,他のMRシステムにも適用可能 今後の課題 ・自然特徴点を拾えない対象への対処

×