2012/12/16 CV勉強会@関東 ECCV2012読み会 発表資料                takmin
紹介する論文   Sparselet Models for Efficient Multiclass Object    Detection       H.O.Song, S.Zickler, T.Althoff, R.Girshick,...
Sparselet Models for Efficient MulticlassObject Detection                 デモ動画
Deformable Part Model (DPM)   物体のモデルをパーツの集合として表現する物体検出    手法       パーツの相対位置は対象によって変化       P. Felzenswalb et al, “Objec...
パーツの中間表現(Sparselet)オブジェクト                                 ・・・・・パーツ                                  ・・・・・Sparselet       基...
DPMの評価関数    Bounding Box            各パーツ形状          パーツ位置の         定数項     の妥当性             n      の妥当性           n 歪み  sc...
DPMの物体検出                      n                          n    score ,     Pi  ( I ,    i )   di ( i )  b   ...
物体の検出                       n                            n   score ,     Pi  ( I ,    i )   di ( i )  b    ...
nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )                                                 ...
nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )                                                 ...
nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )                                                 ...
nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )                                                 ...
nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )                                                 ...
nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )                                                 ...
nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )                                                 ...
Sparseletを用いた物体検出                                nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) ...
Sparseletを用いた物体検出                                nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) ...
Sparseletを用いた物体検出                                nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i ) ...
Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出                               * Pi   aij  * D j           ...
Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出  事前に辞書Dを作成しておく                               * Pi   aij  * ...
Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出  入力画像にSparseletを畳み込み                               * Pi   aij...
Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出  中間表現の線形和から各パーツ                               * Pi   aij  *...
Sparselet辞書の求め方   できるだけ少ないSparseletの組み合わせでパーツを再    構成したい。       再構成誤差が最小とする制約                                 2          ...
パーツの応答の復元   原画像              車輪部分の応答 SVDで復元した応答   Sparslet(20基底)で復元した応答
パーツフィルタの再構成   ランダムに選んだパーツPi (左)をSparselet(中)とSVD    (右)で再構成した結果       Motorbike part 10   Sofa part 25       Aeroplane pa...
中間表現の計算と再構成  * Pi   aij  * D j            K           j 1-   P - - α1 --   P - - α - -   D1 -      ...
中間表現の計算と再構成Deformable Part Model                                    nscore   P0  ( I ,  )   max Pi  ( I ,   ...
Sparseletによるマルチクラス検出                ψ * D                      K                   K  si                 ij ...
Sparseletによるマルチクラス検出                ψ * D                      K                   K  si                 ij ...
Sparseletによるマルチクラス検出                ψ * D                      K                   K  si                 ij ...
Sparseletによるマルチクラス検出                            Nscorerecon    m0     max si      di                  ...
Sparseletによるマルチクラス検出                            Nscorerecon    m0     max si      di                  ...
フィルタ処理の計算量Deformable Part Model                                             h      O Nlh 2      カテゴリが増えると計算量↑Sparselet M...
実装1.       CPU Cascaded Sparselet         カスケード型のDPM[1]にSparseletを適用して実装2.       Vanilla DPM and Sparselets on GPU      ...
フィルターサイズ        Partsフィルタサイズに対してSparseletフィルタのサイズを         小さく設定した場合     フィルタ再構成のコスト:      (hF / hs )(wF / ws )  BR   D...
フィルターサイズ   Sparseletフィルタのサイズを小さく設定した場合の再構    成誤差
実験   Unseenカテゴリに対する実験       データセット           PASCAL VOC 2007           ImageNet           TRECVID       1カテゴリを除いた残りの...
実験   20 PASCAL VOCカテゴリー     Average Precision                         基底の数
実験   9 PASCAL VOCカテゴリー     Average Precision                         基底の数
実験   PASCAL VOCのカテゴリから学習した辞書を用いて、他    のデータセットを認識する。       2011 TRECVID MED Challenge       ImageNetのデータから学習
実験   9 ImageNetカテゴリー     Average Precision                         基底の数
実験  TRECVIDの  キーフレーム  の例 PASCAL VOCの 辞書を用いて実 験を行った結果
実験   速度と性能について比較実験       実装           カスケード型DPM on CPU           オリジナルDPM(Vanilla DPM) on GPU           Sparselets DP...
実験   クラス数と処理速度比較(VGAサイズ)
実験   各パラメータ ( K ,  ) における速度と精度
結論   スパースな中間表現を導入することで       リアルタイムにマルチクラスの物体検出を行うことができた。       効率的に新しいカテゴリを導入できる。   Sparseletによりモデルフィルター間の冗長性を削減し、   ...
Upcoming SlideShare
Loading in...5
×

Sparselet eccv2012

4,166

Published on

2012/12/16 CV勉強会@関東 「ECCV2012読み会」発表資料

Sparselet Models for Efficient Multiclass Object Detection

0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,166
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
39
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide

Sparselet eccv2012

  1. 1. 2012/12/16 CV勉強会@関東 ECCV2012読み会 発表資料 takmin
  2. 2. 紹介する論文 Sparselet Models for Efficient Multiclass Object Detection  H.O.Song, S.Zickler, T.Althoff, R.Girshick, M.Frits, C.Geyer, P.Felzenswalb, and T.Darell  ECCV2012この論文の貢献:Deformable Part Modelのパーツに対して、Sparse Codingを用いて中間的なモデルを生成することで、多クラスの検出を効率化した。
  3. 3. Sparselet Models for Efficient MulticlassObject Detection デモ動画
  4. 4. Deformable Part Model (DPM) 物体のモデルをパーツの集合として表現する物体検出 手法  パーツの相対位置は対象によって変化  P. Felzenswalb et al, “Object Detection with Discriminatively Trained Part Based Models”, PAMI, 32(9), 2010
  5. 5. パーツの中間表現(Sparselet)オブジェクト ・・・・・パーツ ・・・・・Sparselet 基底1 基底2 基底3 ・・・・・
  6. 6. DPMの評価関数 Bounding Box 各パーツ形状 パーツ位置の 定数項 の妥当性 n の妥当性 n 歪み score ,     Pi  ( I ,    i )   di ( i )  b i 0 i 1 Box 各Boxの 歪みのペナ 位置 HOG特徴 ルティ パーツ フィルタ の歪み I    i
  7. 7. DPMの物体検出 n n score ,     Pi  ( I ,    i )   di ( i )  b i 0 i 1ω 各Sliding Windowの位置ωで以下の スコアを求め、高いところを物体の 位置とする。 score( )  max score1 ,,  n   各ルート位置でもっとも最適化された パーツ位置でのスコア
  8. 8. 物体の検出 n n score ,     Pi  ( I ,    i )   di ( i )  b i 0 i 1  n n  score   max   Pi  ( I ,    i )   d i ( i )    i 0 i 1  各パーツは独立なので、それぞれについてスコアを最大化する。 nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  9. 9. nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  10. 10. nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  11. 11. nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  12. 12. nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  13. 13. nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  14. 14. nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  15. 15. nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1
  16. 16. Sparseletを用いた物体検出 nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1  Pi 畳み込み  * Pi
  17. 17. Sparseletを用いた物体検出 nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1  K Pi Pi   aij D j j 1 Sparselet スパースな 係数  * Pi
  18. 18. Sparseletを用いた物体検出 nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1  K Pi Pi   aij D j j 1  K  K  * Pi   *   aij D j    aij  * D j     j 1  j 1
  19. 19. Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出  * Pi   aij  * D j  K j 1
  20. 20. Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出 事前に辞書Dを作成しておく  * Pi   aij  * D j  K D  D1 , D2 ,, DK  j 1
  21. 21. Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出 入力画像にSparseletを畳み込み  * Pi   aij  * D j  K 中間表現を得る j 1
  22. 22. Sparseletを用いた物体検出事前にSparseletとHOG特徴の畳み込みを計算してマルチクラスを高速に検出 中間表現の線形和から各パーツ  * Pi   aij  * D j  K の応答を再構成する。 j 1
  23. 23. Sparselet辞書の求め方 できるだけ少ないSparseletの組み合わせでパーツを再 構成したい。 再構成誤差が最小とする制約 2 N K min  vec( Pi )    ij D j (1)  ij , D j i 1 j 1 2 係数をSparseにする制約subject to αi 0  i  1,, N Dj 1 j  1,, K 2 Orthogonal Matching Pursuit algorithm(OMP)で解く
  24. 24. パーツの応答の復元 原画像 車輪部分の応答 SVDで復元した応答 Sparslet(20基底)で復元した応答
  25. 25. パーツフィルタの再構成 ランダムに選んだパーツPi (左)をSparselet(中)とSVD (右)で再構成した結果 Motorbike part 10 Sofa part 25 Aeroplane part 27 Cat part 34
  26. 26. 中間表現の計算と再構成  * Pi   aij  * D j  K j 1-   P - - α1 --   P - - α - -   D1 - 1 2   2  -   D -     2   AM           -   D --   PN - - α N -     K  Sparse 中間表現 Activation Matrix
  27. 27. 中間表現の計算と再構成Deformable Part Model nscore   P0  ( I ,  )   max Pi  ( I ,    i )  di ( i )   i 1Sparselet Model N scorerecon    m0     max si      di    i 1 (3)  ψ * D      K K si    ij j ij M j   j 1 j 1 aij  0 aij  0
  28. 28. Sparseletによるマルチクラス検出  ψ * D      K K si    ij j ij M j   j 1 j 1 aij  0 aij  0
  29. 29. Sparseletによるマルチクラス検出  ψ * D      K K si    ij j ij M j   j 1 j 1 aij  0 aij  0
  30. 30. Sparseletによるマルチクラス検出  ψ * D      K K si    ij j ij M j   j 1 j 1 aij  0 aij  0
  31. 31. Sparseletによるマルチクラス検出 Nscorerecon    m0     max si      di    i 1
  32. 32. Sparseletによるマルチクラス検出 Nscorerecon    m0     max si      di    i 1
  33. 33. フィルタ処理の計算量Deformable Part Model h  O Nlh 2  カテゴリが増えると計算量↑Sparselet Model  O Klh  N E α i 2  0  h フィルターサイズ l 特徴次元 非ゼロの数の期待値 カテゴリが増えても計算量の上昇は緩やか N パーツの数 lh 2 K 基底の数   DPMと比較した時の スピードアップ率 E αi 0
  34. 34. 実装1. CPU Cascaded Sparselet  カスケード型のDPM[1]にSparseletを適用して実装2. Vanilla DPM and Sparselets on GPU  オリジナルのDPMをGPUへ実装  オリジナルのDPMにSparseletを適用してGPUへ実装[1] P.F.Felzenszwalb et al., “Cascade object detection with deformable part models”,CVPR2010
  35. 35. フィルターサイズ  Partsフィルタサイズに対してSparseletフィルタのサイズを 小さく設定した場合 フィルタ再構成のコスト:  (hF / hs )(wF / ws )  BR DPM Parts wFL0ノルム DPMフィルタ内のSparselet コスト上限 フィルタの上限 フィルタ数 Sparselet フィルタの処理コスト: フィルタ hs ws lK  BP hF コスト上限 hs l 特徴次元 K 基底の数 ws
  36. 36. フィルターサイズ Sparseletフィルタのサイズを小さく設定した場合の再構 成誤差
  37. 37. 実験 Unseenカテゴリに対する実験  データセット  PASCAL VOC 2007  ImageNet  TRECVID  1カテゴリを除いた残りのカテゴリから辞書を作成して、その1 カテゴリを認識
  38. 38. 実験 20 PASCAL VOCカテゴリー Average Precision 基底の数
  39. 39. 実験 9 PASCAL VOCカテゴリー Average Precision 基底の数
  40. 40. 実験 PASCAL VOCのカテゴリから学習した辞書を用いて、他 のデータセットを認識する。  2011 TRECVID MED Challenge  ImageNetのデータから学習
  41. 41. 実験 9 ImageNetカテゴリー Average Precision 基底の数
  42. 42. 実験 TRECVIDの キーフレーム の例 PASCAL VOCの 辞書を用いて実 験を行った結果
  43. 43. 実験 速度と性能について比較実験  実装  カスケード型DPM on CPU  オリジナルDPM(Vanilla DPM) on GPU  Sparselets DPM on GPU  環境  3.1 GHz Intel Core i5 CPU  Nvidia GTX 580 GPU with 512 cores, 772MHz  データセット  PASCAL VOC 2007 20カテゴリ
  44. 44. 実験 クラス数と処理速度比較(VGAサイズ)
  45. 45. 実験 各パラメータ ( K ,  ) における速度と精度
  46. 46. 結論 スパースな中間表現を導入することで  リアルタイムにマルチクラスの物体検出を行うことができた。  効率的に新しいカテゴリを導入できる。 Sparseletによりモデルフィルター間の冗長性を削減し、 他のドメインから新しいカテゴリを生成可能となった。 Sparseletを用いたDeformable Part ModelのGPU実装を 行った。 従来のDeformable Part Modelベースの実装よりも1-2 段階早い実装で、性能もstate-of-the-artに匹敵する結果 を得た。
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×