1. ICCV 祭り発表資料 Multimodal Templates for Real-Time Detection of Texture-less Objects in Heavily Cluttered Scenes S. Hinterstoisser, S. Holzer , C. Cagniart, S. Ilic, K. Konolige, N. Navab, V. Lepetit 東京大学 國吉・原田研 博士 2 年 金崎朝子 第 18 回コンピュータビジョン勉強会＠関東

2. 目的： 高速・高精度 のテンプレートマッチング = 従来研究 = Chamfer Matching Hausdorff distance Canny detector 等 [Steger 2002] ・・・ エッジのかわりに輝度勾配を使う 類似度は内積（・） Image pyramids その他、統計学習ベースのもの・・・ 学習、テストともに処理が遅い エッジ画像間の類似度による ノイズ、輝度変化、ブラーに弱い 微小変動に弱い 密にマッチングするので遅い スケールスペースのサンプリングを 気をつけないと重要な構造が失われがち 微小変動不変テンプレート 高速化

3. 重要ポイント３点 色画像からの勾配、距離画像からの法線の両方を使って 性能 UP 微小変動不変テンプレートで 速度 UP 効率的なメモリアクセスで 速度 UP

4. : のリスト 輝度勾配 in カラー画像 法線 in デプス画像 テンプレート : 参照画像 : モダリティ（輝度勾配と法線） : 際立ってる点 輝度勾配テンプレートマッチングと法線テンプレートマッチングを並列に行い、最後に類似度を足してるだけ

5. 輝度勾配 in カラー画像 法線 in デプス画像 テンプレート Normalized gradient map グレースケール 輝度勾配 RGB カラー 輝度勾配 カラー画像

6. 輝度勾配 in カラー画像 法線 in デプス画像 テンプレート デプス画像 法線画像 Stefan 1 三次元座標 視線 デプス 法線： テイラー展開

7. 輝度勾配 in カラー画像 法線 in デプス画像 テンプレート 論文中、 Fig.2 のキャプションの最後 gradients are usually found on the object contour while surface normals are found on the object interior （意訳）テクスチャレスな物体を表現するのに 表面形状の情報（法線）で補おう

8. 重要ポイント３点 色画像からの勾配、距離画像からの法線の両方を使って 性能 UP 微小変動不変テンプレートで 速度 UP 効率的なメモリアクセスで 速度 UP

9. [Steger 2002] の類似度がベース 微小変動不変な類似度 テンプレート テスト画像 点 を中心とする、ある大きさの領域 逆に考えれば・・・ テンプレートの spreading 直観的には・・・ 多重テンプレート

10. DOT とは違う Dominant Orientation Templates (DOT) [S. Hinterstoisser et al., CVPR10] ↑ dominant 直観的イメージ LINE-MOD DOT

11. 重要ポイント３点 色画像からの勾配、距離画像からの法線の両方を使って 性能 UP 微小変動不変テンプレートで 速度 UP 効率的なメモリアクセスで 速度 UP

12. 効率化１： Response Maps を事前に準備 （多重） テンプレート テスト画像 例１： Sim( , ) = max(|cos( - )|, |cos( - )|, |cos( - )|) = |cos( - )| = 1 例２： Sim( , ) = max(|cos( - )|, |cos( - )|, |cos( - )|) = |cos( - )| = 0.7 … Response Map 1 1 1 0 0 1 1 1 0.7 0.7 1 1 1 0.7 0.7 0.7 0.7 0.7 0.7 0.7 0 0.7 0.7 0.7 0 ori ori 0 0 0 0 0 0.7 0.7 0.7 0.7 0.7 0.7 0.7 1 1 1 0.7 0.7 1 1 1 0 0.7 1 1 1

13. 効率化２： Response Maps を linear memory に展開 T プロセッサは cache line を使って同時に複数のデータを読んでいる T ： テンプレートを spreading する幅 ⇒ T ピクセル毎にスライディングウィンドウができる

14. 効率化２： Response Maps を linear memory に展開 Similarity Map

15. 効率化２： Response Maps を linear memory に展開 LINEearizing the memory ＋ multiMODal || LINE-MOD Similarity Map

16. ROC カーブ LINE-MOD と LINE-2D ※ PAMI の。

17. ROC カーブ LINE-MOD と LINE-2D ※ PAMI の。

18. can parse a VGA image with over 3000 templates with about 10 fps on the CPU オクルージョンはやはり問題 類似度が線形に落ちてくのはよいこと

19. 姿勢推定も← New!

20. ソフトウェア Kforge にあるけどまだ不安定？らしい https://kforge.ros.org/project/linemod/ そのうち OpenCV に実装される予定 http://pr.willowgarage.com/wiki/ OpenCVMeetingNotes

21. おわりに（個人的見解） 最強のテンプレートマッチング デプス画像はあまり活躍してない （ LINE-2D も十分すごいしこっちの方が流行りそう） Kinect （ PSDK ）、並列処理で時流に乗ったが 今後はもっと新しいアプローチに期待（？） ソフトウェア https://kforge.ros.org/project/linemod/