「コンピュータビジョン最先端ガイド 2」勉強会
第一章 2.3 SIFTの拡張
坪坂 正志
SIFTの拡張
• 2.3.1 PCA-SIFT
– SIFTで検出したキーポイントの勾配情報をPCAを用い低次
元に射影する
– 高速なマッチング、高いマッチング精度
• 2.3.2 GLOH
– Gradient Location and ...
PCA-SIFT
• キーポイントの検出はSIFTと同じ
1. キーポイントのスケールに対応した領域を
41×41の画像にリサンプリングする
2. リサンプリングした画像の水平・垂直方向の勾
配を算出し、39×39×2=3042次元の特徴量を
...
SIFTとの比較
• PCA-SIFTの方が特徴量の次元が低いため高
速にマッチングが行える
• また画像の変化に対してロバスト
特徴量記述[秒] マッチング[秒] マッチング精度[秒]
SIFT 1.59 2.20 43
PCA-SIFT 1...
GLOH [Mikolajczyk and Schmid 2005]
• SIFTをよりロバスト性を高めるように拡張
• キーポイントの検出はSIFTと同じ
• 特徴量の記述が異なる
GLOHのグリッド領域
• キーポイントの周辺を対数極座標に変換
• 半径方向に3分割、角度方向に最近領域を除き
8分割の17のグリッド領域に分割
特徴量の記述
• 各領域に対して16方向の勾配ヒストグラムを求め
16*17=272次元の特徴量を得る
• 272次元の特徴量を主成分分析を行い、128次元に
次元圧縮する
SURF
• Speeded Up Robust Features
• キーポイントとスケールの検出を高速化
• SIFTでは𝜎の異なるDoG(Difference-of-Gaussian)画像を計
算していた
• Hessian-Laplac...
SURFのフロー
1. キーポイントの
位置とスケールの検出
2. キーポイントの
オリエンテーションの決定
回転不変性が
必要
YES
3. キーポイントから
特徴量(64次元ベクトル)の作成
NO(U-SURF)
Hessian-Laplace検出器
• 𝐿 𝑥𝑥(𝐱, 𝜎)は画像𝑰中の点𝐱におけるガウシアン二
次微分
𝜕2
𝜕𝑥2 𝑔(𝜎)の畳み込み結果,他も同様
• 上のヘッセ行列の行列式
を各スケールの画像に対して求め、極大値を検出
𝐇 𝐱, 𝜎 ...
極大値の検出
• SIFTと同じ
[Evans 2009]より
Boxフィルタによる近似
• ガウシアンフィルタと二次微分フィルタをかけた
結果をBoxフィルタによって近似
– Boxフィルタによる出力の値は積分画像を使って高速
に計算可能
• 近似値を𝐷 𝑥𝑥, 𝐷 𝑥𝑦, 𝐷 𝑦𝑦としたとき近似Hess...
積分画像(1/2)
• 指定された矩形領域の輝度の合計を高速に求めたい
• 画像の左上(原点)から画像中のすべての点に対し、その点
を右下とした矩形領域の輝度の合計を計算しておく
– これは画像サイズに比例する計算量でできる
– 前処理として一...
積分画像(2/2)
(0,0)
(0,y)
(x,0)
(x,y)
C
BA
D
• 下のDの部分の領域の輝度値の合計を計算するのはO(1)で
できる
– D = (A + B + C + D) – (A + B) – (A + C) + A
...
サブピクセル推定
• キーポイント𝐱 = (𝑥, 𝑦, 𝜎)に対して、そのサブ
ピクセルを推定
• 𝒙と𝒙のいずれかの要素の差が0.5を超える場
合は候補から除外
𝒙 = −
𝜕2
𝐻−1
𝜕𝒙2
𝜕𝐻
𝜕𝒙
キーポイントのオリエンテーション
• キーポイントを中心とした半径6s (s : スケー
ル)の領域に対して、x,y方向それぞれのHaar-
like(サイズ4s×4s)を計算
– Haar-likeの値はキーポイントを中心としたσ=2sの
ガ...
キーポイントのオリエンテーション
• 大きさ𝜋/3の窓の中にある点を加算して、ノル
ムが最も大きくなるベクトルの方向をキーポイ
ントのオリエンテーションとして採用
[Evans 2009]より
キーポイントのオリエンテーション
• 回転に対する不変性を犠牲にしてよいならば
オリエンテーションを決定する部分はスキップ
してもよい
– 実験によると±15°までの回転に対してはロバ
スト[Bay+ 2008]
Haar-like特徴量
• 2つの領域の輝度差
– (矩形の黒領域の輝度の合計) – (白領域の輝度
の合計)
– これは積分画像を使って高速に計算できる
特徴量記述
• キーポイントを中心に20s×20sの領域を4×4
のグリッド領域に分割する
– 各領域ごとに4次元ベクトルを求め、合計で4 * 4
* 4 = 64次元の特徴ベクトルを得る
キーポイント
オリエンテーション
領域ごとの特徴量
• 各グリッド領域ごとに、Haar-like(2s×2s)を計
算し、輝度勾配を求める
• 𝑣 = (∑𝑑 𝑥, ∑𝑑 𝑦, ∑ 𝑑 𝑥 , ∑ 𝑑 𝑦 )を計算
SIFTとの比較
処理時間[ms] マッチング精度[%]
SIFT 1036 78.1
SURF 354 82.6
U-SURF 255 83.8
• U-SURF,SURF,SIFTの順に高速
• U-SURF,SURF,SIFTの順に精度が...
参考文献
• PCA-SIFT
– [Ke and Sukthankar 2004] Y. Ke and R. Sukthankar. PCA-SIFT : A more
distinctive representation for local...
Upcoming SlideShare
Loading in …5
×

20101023 cvsaisentan tsubosaka

3,807 views
3,651 views

Published on

Published in: Sports
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,807
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
32
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

20101023 cvsaisentan tsubosaka

  1. 1. 「コンピュータビジョン最先端ガイド 2」勉強会 第一章 2.3 SIFTの拡張 坪坂 正志
  2. 2. SIFTの拡張 • 2.3.1 PCA-SIFT – SIFTで検出したキーポイントの勾配情報をPCAを用い低次 元に射影する – 高速なマッチング、高いマッチング精度 • 2.3.2 GLOH – Gradient Location and Orientation Histogram – SIFTの特徴量記述を拡張 – よりロバストな特徴量が得られる • 2.3.3 SURF – Speeded Up Robust Features – キーポイント検出、スケール検出の部分を近似 – 高速に特徴量を記述することができる
  3. 3. PCA-SIFT • キーポイントの検出はSIFTと同じ 1. キーポイントのスケールに対応した領域を 41×41の画像にリサンプリングする 2. リサンプリングした画像の水平・垂直方向の勾 配を算出し、39×39×2=3042次元の特徴量を 得る 3. 3042次元の特徴量をPCAを適用し、36次元に圧 縮する – 射影行列はあらかじめ学習画像を用いて算出して おく
  4. 4. SIFTとの比較 • PCA-SIFTの方が特徴量の次元が低いため高 速にマッチングが行える • また画像の変化に対してロバスト 特徴量記述[秒] マッチング[秒] マッチング精度[秒] SIFT 1.59 2.20 43 PCA-SIFT 1.64 0.58 68
  5. 5. GLOH [Mikolajczyk and Schmid 2005] • SIFTをよりロバスト性を高めるように拡張 • キーポイントの検出はSIFTと同じ • 特徴量の記述が異なる
  6. 6. GLOHのグリッド領域 • キーポイントの周辺を対数極座標に変換 • 半径方向に3分割、角度方向に最近領域を除き 8分割の17のグリッド領域に分割
  7. 7. 特徴量の記述 • 各領域に対して16方向の勾配ヒストグラムを求め 16*17=272次元の特徴量を得る • 272次元の特徴量を主成分分析を行い、128次元に 次元圧縮する
  8. 8. SURF • Speeded Up Robust Features • キーポイントとスケールの検出を高速化 • SIFTでは𝜎の異なるDoG(Difference-of-Gaussian)画像を計 算していた • Hessian-Laplace検出器を近似したBoxフィルタを用いるこ とで高速化
  9. 9. SURFのフロー 1. キーポイントの 位置とスケールの検出 2. キーポイントの オリエンテーションの決定 回転不変性が 必要 YES 3. キーポイントから 特徴量(64次元ベクトル)の作成 NO(U-SURF)
  10. 10. Hessian-Laplace検出器 • 𝐿 𝑥𝑥(𝐱, 𝜎)は画像𝑰中の点𝐱におけるガウシアン二 次微分 𝜕2 𝜕𝑥2 𝑔(𝜎)の畳み込み結果,他も同様 • 上のヘッセ行列の行列式 を各スケールの画像に対して求め、極大値を検出 𝐇 𝐱, 𝜎 = 𝐿 𝑥𝑥(𝐱, 𝜎) 𝐿 𝑥𝑦(𝐱, 𝜎) 𝐿 𝑥𝑦(𝐱, 𝜎) 𝐿 𝑦𝑦(𝐱, 𝜎) Det 𝐇 = 𝐿 𝑥𝑥 𝐱, 𝜎 ⋅ 𝐿 𝑦𝑦 𝐱, 𝜎 − 𝐿 𝑥𝑦 𝐱, 𝜎 2
  11. 11. 極大値の検出 • SIFTと同じ [Evans 2009]より
  12. 12. Boxフィルタによる近似 • ガウシアンフィルタと二次微分フィルタをかけた 結果をBoxフィルタによって近似 – Boxフィルタによる出力の値は積分画像を使って高速 に計算可能 • 近似値を𝐷 𝑥𝑥, 𝐷 𝑥𝑦, 𝐷 𝑦𝑦としたとき近似Hessian- Laplace検出器の出力は以下の式で定義される [Bay+ 2008]より 𝐿 𝑦𝑦 𝐿 𝑥𝑦 𝐷 𝑦𝑦 𝐷 𝑥𝑦 Det 𝐇 𝐚𝐩𝐩𝐫𝐨𝐱 = 𝐷 𝑥𝑥 𝐱, 𝜎 ⋅ 𝐷 𝑦𝑦 𝐱, 𝜎 − (𝐷 𝑥𝑦 𝐱, 𝜎 ⋅ 0.9)2
  13. 13. 積分画像(1/2) • 指定された矩形領域の輝度の合計を高速に求めたい • 画像の左上(原点)から画像中のすべての点に対し、その点 を右下とした矩形領域の輝度の合計を計算しておく – これは画像サイズに比例する計算量でできる – 前処理として一回だけ行えばよい (0,0) (0,y) (x,0) (x,y) ∑輝度値
  14. 14. 積分画像(2/2) (0,0) (0,y) (x,0) (x,y) C BA D • 下のDの部分の領域の輝度値の合計を計算するのはO(1)で できる – D = (A + B + C + D) – (A + B) – (A + C) + A • 領域のサイズによらない
  15. 15. サブピクセル推定 • キーポイント𝐱 = (𝑥, 𝑦, 𝜎)に対して、そのサブ ピクセルを推定 • 𝒙と𝒙のいずれかの要素の差が0.5を超える場 合は候補から除外 𝒙 = − 𝜕2 𝐻−1 𝜕𝒙2 𝜕𝐻 𝜕𝒙
  16. 16. キーポイントのオリエンテーション • キーポイントを中心とした半径6s (s : スケー ル)の領域に対して、x,y方向それぞれのHaar- like(サイズ4s×4s)を計算 – Haar-likeの値はキーポイントを中心としたσ=2sの ガウシアンフィルタを用い重みをかける x,y方向のHaar-like特徴量を ガウス重みづけしてプロット dy dx
  17. 17. キーポイントのオリエンテーション • 大きさ𝜋/3の窓の中にある点を加算して、ノル ムが最も大きくなるベクトルの方向をキーポイ ントのオリエンテーションとして採用 [Evans 2009]より
  18. 18. キーポイントのオリエンテーション • 回転に対する不変性を犠牲にしてよいならば オリエンテーションを決定する部分はスキップ してもよい – 実験によると±15°までの回転に対してはロバ スト[Bay+ 2008]
  19. 19. Haar-like特徴量 • 2つの領域の輝度差 – (矩形の黒領域の輝度の合計) – (白領域の輝度 の合計) – これは積分画像を使って高速に計算できる
  20. 20. 特徴量記述 • キーポイントを中心に20s×20sの領域を4×4 のグリッド領域に分割する – 各領域ごとに4次元ベクトルを求め、合計で4 * 4 * 4 = 64次元の特徴ベクトルを得る キーポイント オリエンテーション
  21. 21. 領域ごとの特徴量 • 各グリッド領域ごとに、Haar-like(2s×2s)を計 算し、輝度勾配を求める • 𝑣 = (∑𝑑 𝑥, ∑𝑑 𝑦, ∑ 𝑑 𝑥 , ∑ 𝑑 𝑦 )を計算
  22. 22. SIFTとの比較 処理時間[ms] マッチング精度[%] SIFT 1036 78.1 SURF 354 82.6 U-SURF 255 83.8 • U-SURF,SURF,SIFTの順に高速 • U-SURF,SURF,SIFTの順に精度が高かった – (藤吉先生コメント) SURFについてはアルゴリズム 的に SURFが高精度である理由はないので別の 実験結果では違う結果が出得る
  23. 23. 参考文献 • PCA-SIFT – [Ke and Sukthankar 2004] Y. Ke and R. Sukthankar. PCA-SIFT : A more distinctive representation for local image descriptors, In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 506—513 • GLOH – [Mikolajczyk and Schmid 2005] K. Mikolajczyk and C. Schmid. A performance evaluation of local descriptors, IEEE Transactions on Pattern Analysis and Machine Intelligence,27,10,pp. 1615--1630 • SURF – [Bay+ 2008] H. Bay, T. Tuytelaars, and L. V. Gool. SURF: speeded up robust features, Computer Vision and Image Understanding(CVIU), 110, 3, pp. 346—359 – [Evans 2009] C. Evans : Notes on the OpenSURF Library, CSTR-09-001, University of Bristol

×