Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Sift特徴量について

18,914 views

Published on

【社内勉強会用】Sift特徴量について
※間違っている部分があるかもしれません

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Sift特徴量について

  1. 1. 2015/3/12 【社内勉強会用】
  2. 2.  SIFT:Scale-Invariant Feature Transform  特徴点の検出と特徴量の記述を行う  特徴 ◦ 拡大縮小に強い ◦ 回転に強い ◦ 照明変化に強い  用例 ◦ 異なる画像間でのマッチング  パノラマ画像の自動作成とか ◦ 一般物体認識
  3. 3.  ざっくり言うと以下の過程をふむ 1.特徴点の検出 1-1.特徴点となる候補点の探索 1-2.候補点の絞り込み 2.特徴量の記述 2-1.各特徴点の勾配を検出 2-2.各特徴点の勾配方向ヒストグラムを計算
  4. 4.  「第1 段階のキーポイント検出では,DoG 処理を 用いてスケールスペースにおける極値探索をする ことで,キーポイントの位置とスケールを決定す る」 (中部大学 藤吉先生 談)
  5. 5.  「スケールスペース」って何? ◦ 2次元(x, y)である画像に、「スケール」という次元 を加えて、3次元で画像を理解してみようという考え
  6. 6.  「スケール」っていう次元は、具体的にどーやっ て追加するのか ↓  画像(x,y)を、ある量σだけ 平滑化した(x,y,σ)を考える  「平滑化」とは、いわゆる “ぼかした”画像にすること スケールσ
  7. 7.  「平滑化」ってどーやるの? ↓ 平滑化の方法自体はいろいろあるけど、SIFTでは 「ガウシアンフィルタ」を使用する ・フィルタの式 𝑓𝑓 𝑥𝑥, 𝑦𝑦 = 1 2𝜋𝜋𝜎𝜎2 exp(− 𝑥𝑥2+𝑦𝑦2 2𝜎𝜎2 ) (3次元目のパラメータがσとなる)
  8. 8.  基本的な考え方 注目画素の周辺要素の画素に、適当な倍率を掛け た値の合計を、フィルタ適用後の値とする (例) (2,2)座標の4で フィルタ計算する時。 6×(-1)+1×(-1)+6×(-1) +5×(-1)+4×( 8)+3×(-1) +2×(-1)+2×(-1)+1×(-1) =6
  9. 9.  ガウシアンフィルタでは、注目要素周りの倍率を 以下の式によって決定する。 ((x,y)は注目画素からの距離) ◦ 𝑓𝑓 𝑥𝑥, 𝑦𝑦 = 1 2𝜋𝜋𝜎𝜎2 exp(− 𝑥𝑥2+𝑦𝑦2 2𝜎𝜎2 ) ◦ 普通は適用に離散化して使うらしい ⇒ ◦ フィルタイメージ これが各要素毎に適用される σ大 σ小
  10. 10.  ガウス窓と計算量 ◦ ガウシアンフィルタは真上から見ると、実質的な適用範 囲は円形になり、それをガウス窓と言ったりする ◦ σが大きくなると、ガウス窓が大きくなり、適用範囲も 大きくなり、計算量も大きくなる  SIFTではこれを回避する ための工夫がされてますが 割愛します・・・ スケールσ
  11. 11.  特徴点の(候補点)探索 ↓  スケール方向の差分画像(DoG画像)において、 極値をとる点を特徴点とする (DoG:Difference-of-Gaussian) DoG画像
  12. 12.  DoG画像における極値の検出 DoG画像 ある点(図中のX)において、 スケールを含めた近傍26点 のいずれよりも大きい(or 小さい) ↓ Xを特徴点(の候補)とする
  13. 13.  なぜ、前述の方法で、「特徴点」が探せるのか ↓ 「特徴点として適した点では、スケールスペースに おいてDoGフィルタの結果が極値を持つ」から・・・ よくわからないけど 差分が極値(最大or最小)となる ⇒変化量が大きい ⇒情報量が多い ってことみたい
  14. 14.  なぜ、拡大・縮小に強いのか ↓ 同じ画像であれば、拡大・縮小しても、 同じ点でDog画像が極値を持つから・・・ なお、そのときのσは、拡大率・縮小率に比例する
  15. 15. この点が極値を示した とき、 DoG画像 2倍した画像でもこの点が極値 を示す. また、その時のガウス窓のサ イズ(σ)も2倍となる :ガウス窓 2倍に拡大
  16. 16.  サブピクセル位置推定 特徴点をピクセル単位(整数単位)じゃなくて、 もっと細かく出す(補正する)  ダメな候補点を除外 ダメな候補点たち ◦ エッジ上の点 ◦ 極値をとりはしたものの、値自体が小さい点
  17. 17.  サブピクセル位置推定 ◦ 候補点の周りでDoG関数をテイラー展開 ◦ 出てきた関数の導関数=0となる点を求めて、それを特 徴点とする ◎要するに、DoG画像の出力値は、(x,y,σ)を変数とする 関数なので、それを特徴点周りで近似してやり、 その近似式の導関数とかを使って、極値をとる点を算出し 直すってことだと思う
  18. 18.  エッジ上の点を除外 ◦ ヘッセ行列とハリスのコーナー検出の原理を用いて、 エッジ上の点を除外  詳細は割愛・・・  DoG出力値が小さいものを除外 ◦ 閾値以下だったら除外 ◦ 閾値は、0.03が良いらしい(値は0~1に正規化済み)
  19. 19.  特徴点の周りで輝度勾配ヒストグラムを作成  方向・強度の計算はHOG特徴量と(ほぼ)同じ  方向は36方向 ◎ポイント 強度は、特徴点のスケールの ガウシアンフィルタで重み付け ↓ ・このスケールのみ強調されるので スケール変化に強くなる ・特徴点に近いほど強調される
  20. 20.  求めたヒストグラムにて、強度が最大値の80%を 超える方向を、この特徴点の方向と定める (複数出てくるときもある)
  21. 21.  特徴点の方向を基準の方向として、再度 輝度勾 配ヒストグラムを作成する(回転に強い)  このとき、対象領域をHOGで言うところの4×4ブ ロックに分割し、各ブロックごとにヒストグラム を作成する  方向は8方向(45度ずつ)とする  4×4×8=128次元の特徴量となる  あと、正規化もする(照明変化に強い)
  22. 22. ⇒ 基準方向に 回転 ⇒ ブロック毎に勾 配(8方向)・ 強度を算出 ⇒ ⇒ ヒストグラ ム作成 (4×4×8 =128次元)
  23. 23.  各画像で抽出した特徴点同士で、総当たり比較う  比較方法はユークリッド距離を使う  dが最も小さい点同士を対応点とする  場合によっては制約をつけたりもする ◦ (例)最小のdと2番目に小さいdを比較して、2倍以上差 がないとダメ
  24. 24.  あらかじめ特徴点を抽出しておいたテンプレート 画像を用意  対象画像とテンプレート画像で対応点探索  対応点の位置・スケール・方向を比較して、最も 近いテンプレート画像を決定する
  25. 25.  位置情報は無視して、画像を特徴量の集合とみな し、Bag-of-Keypointsを使って分類する  Bag-of-KeypointsはBag-of-Wordsの画像版  特徴量の頻度で画像を分類する
  26. 26.  色情報使ってない  SURFはSIFTの特徴点検出処理を軽量化したものら しい(その分精度は落ちる)  SURFはOpenCVにあるらしい
  27. 27.  http://www.hci.iis.u-tokyo.ac.jp/~ysato/class14/supplements/sift_tutorial- Fujiyoshi.pdf  http://www.isl.titech.ac.jp/~nagahashilab/member/longb/iip/LectureNotes/sif t_image.pdf  http://www.kki.yamanashi.ac.jp/~ohbuchi/courses/2013/sm2013/pdf/sm13_lect03 _20131028all.pdf  http://d.hatena.ne.jp/colorcle/20091021/1256138848  http://www.ic.is.tohoku.ac.jp/~swk/lecture/ic2009/kagami_ic20090630.pdf
  28. 28.  以下に、デモようのツール(siftDemoV4)が置い てあったので触ってみた ◦ http://www.cs.ubc.ca/~lowe/keypoints/  使い方 ◦ コマンドプロンプトから実行  入力画像の特徴点をテキストにはく  siftWin32.exe <source.pgm >resultkey.txt  入力画像に特徴点を追記した画像を作成する  siftWin32.exe -display <source.pgm >result.pgm ※画像形式は.pgm限定
  29. 29.  DoG画像のヘッセ行列 H = Dxx Dxy Dxy Dyy を考えた時、その固有値は主曲率に比例する  主曲率:曲面上のある点における最大曲率と最小 曲率(厳密には違うけど雰囲気的にはそんな感じ・・・  二つの主曲率の差が大きい⇒ある方向の変化は大 きいけど、別の方向の変化は小さい⇒エッジの可 能性が高い  Hの固有値の大小=主曲率の大小から、コーナー (エッジじゃない部分)を検出する
  30. 30. 車 顔猫 ↓SIFT特徴量抽出 一つ一つが 128次元のベクトル ⇒⇒⇒ クラスタリング ↓代表ベクトル作成 車 顔猫 各代表ベクトルに最 も近い特徴量の出現 頻度から、それぞれ の画像を表すヒスト グラムを作成
  31. 31.  分類したい画像のSIFT特徴量を抽出 ↓  前述の方法で、各代表ベクトルのヒストグラムを 作成 ↓  学習画像のどのヒストグラムに近いかを判定

×