Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Fisher線形判別分析とFisher Weight Maps

34,060 views

Published on

文献紹介のスライドです。学部4年生〜修士課程くらい向けです。

  • Be the first to comment

Fisher線形判別分析とFisher Weight Maps

  1. 1. Fisher線形判別分析とFisher Weight Maps[0] 「Fisher線形判別分析」,C.M.ビショップ,パターン認識と学習(上),シュプリンガー・ジャパン,2007.[1] Y. Shinohara and N. Otsu,“Facial Expression Recognition Using Fisher Weight Maps,”IEEE International Conference on Automatic Face and GestureRecognition, 2004.[2] T. Harada, H. Nakayama, and Y. Kuniyoshi,“Improving Local Descriptors by Embedding Global and LocalSpatial Information,”European Conference on Computer Vision, 2010.2013/06/19 上智大学 山中高夫
  2. 2. Fisher線形判別分析C.M.ビショップ,パターン認識と学習(上),シュプリンガー・ジャパン,2007.
  3. 3. 線形識別モデル2クラスの識別 多クラスの識別𝑥1𝑥2𝐶2𝐶1𝐶2𝐶1𝐶3𝑥1𝑥2𝑦 𝒙 = 𝒘 𝑇 𝒙 + 𝜔0𝑦 𝒙 ≥ 0 ⇒ 𝒙 ∈ 𝐶1𝑦 𝒙 < 0 ⇒ 𝒙 ∈ 𝐶2𝑦 𝑘 𝒙 = 𝒘 𝑘𝑇𝒙 + 𝜔 𝑘0∀𝑗 ≠ 𝑘, 𝑦 𝑘 𝒙 > 𝑦𝑗 𝒙 ⇒ 𝒙 ∈ 𝐶 𝑘𝒘
  4. 4. 2クラスの線形識別モデル𝑦 𝒙 = 𝒘 𝑇 𝒙𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶2一番簡単な方法(wの決め方)は,各クラスの中心を求め,どちらに近いかを判別する→ 重なり合う部分が多く残る𝒎1 =1𝑁1𝒙 𝑛𝑛∈𝐶1𝐶2𝐶1𝒎2 =1𝑁2𝒙 𝑛𝑛∈𝐶2𝒘決定境界𝑦 𝒙 = 𝒘 𝑇 𝒙 + 𝜔0𝑦 𝒙 ≥ 0 ⇒ 𝒙 ∈ 𝐶1𝑦 𝒙 < 0 ⇒ 𝒙 ∈ 𝐶2
  5. 5. 2クラスのFisher線形判別分析(1)𝑚1𝑚2 Fisher判別分析• クラス間分散とクラス内分散の比を最大にするようなwで射影するクラス間分散𝑺 𝐵&′ = 𝑚2 − 𝑚12&= 𝒎 𝟐 − 𝒎 𝟏𝑻 𝒘𝟐&= 𝒘 𝑻 𝒎 𝟐 − 𝒎 𝟏 𝒎 𝟐 − 𝒎 𝟏𝑻 𝒘&= 𝒘 𝑻 𝑺 𝑩 𝒘クラス内分散𝑺 𝑤′ &= 𝑦𝑛 − 𝑚12𝑛∈𝐶1+ 𝑦𝑛 − 𝑚22𝑛∈𝐶2&= 𝒘 𝑻 𝑺 𝑾 𝒘𝑺 𝑾 = 𝒙 𝒏 − 𝒎 𝒌 𝒙 𝒏 − 𝒎 𝒌𝑻𝑛∈𝐶 𝑘𝑘=1,2𝒎1𝒎2𝒘𝑦 𝒙 = 𝒘 𝑇 𝒙𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶2
  6. 6. 2クラスのFisher線形判別分析(2) Fisher判別分析• クラス間分散とクラス内分散の比を最大にするようなwで射影するクラス間分散/クラス内分散𝐽 𝒘 =𝑺 𝐵′𝑺 𝒘′ =𝒘 𝑻 𝑺 𝑩 𝒘𝒘 𝑻 𝑺 𝑾 𝒘𝑚1𝑚2𝒎1𝒎2𝒘 𝐽 𝒘 が最大となる𝒘を求めるため, 𝐽 𝒘 を𝒘で微分して0とおき,𝒘 𝑻 𝑺 𝑩 𝒘 𝑺 𝑾 𝒘 = 𝒘 𝑻 𝑺 𝑾 𝒘 𝑺 𝑩 𝒘𝑺 𝑩 𝒘&= 𝒎 𝟐 − 𝒎 𝟏 𝒎 𝟐 − 𝒎 𝟏𝑻 𝒘&= 𝑚2 − 𝑚1 𝒎 𝟐 − 𝒎 𝟏スカラースカラー𝒘 ∝ 𝑺 𝑾−1𝒎 𝟐 − 𝒎 𝟏𝑦 𝒙 = 𝒘 𝑇 𝒙𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶2
  7. 7. 多クラスのFisher線形判別分析(1) Fisher判別分析• クラス間分散とクラス内分散の比を最大にするようなwで射影する𝒚 = 𝑾 𝑻 𝒙𝒚 =𝑦1⋮𝑦 𝐷′&&𝑾 = 𝒘1, ⋯ , 𝒘 𝐷′𝑦 𝒙 = 𝒘 𝑇 𝒙𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶22クラスの判別多クラスの判別できる限りクラス分類の情報を保存するような次元の抽出
  8. 8. 多クラスのFisher線形判別分析(2) Fisher判別分析• クラス間分散とクラス内分散の比を最大にするようなwで射影するクラス間分散𝑺 𝐵′= 𝑁𝑘 𝝁 𝑘 − 𝝁 𝝁 𝑘 − 𝝁 𝑇𝐾𝑘=1𝝁 𝑘 =1𝑁𝑘𝒚 𝑛𝑛∈𝐶 𝑘=1𝑁𝑘𝑾 𝑇 𝒙 𝒏𝑛∈𝐶 𝑘= 𝑾 𝑇 𝒎 𝒌𝑚1𝑚2𝒎1𝒎2𝒘𝝁 =1𝑁𝑁𝑘 𝝁 𝑘𝐾𝑘=1=1𝑁𝑁𝑘 𝑾 𝑇 𝒎 𝑘𝐾𝑘=1= 𝑾 𝑇 𝒎𝑺 𝐵′= 𝑾 𝑇 𝑁𝑘 𝒎 𝑘 − 𝒎 𝒎 𝑘 − 𝒎 𝑇𝐾𝑘=1𝑾 = 𝑾 𝑇 𝑺 𝑩 𝑾𝑺 𝑩 = 𝑁𝑘 𝒎 𝑘 − 𝒎 𝒎 𝑘 − 𝒎 𝑇𝐾𝑘=1
  9. 9. 多クラスのFisher線形判別分析(3) Fisher判別分析• クラス間分散とクラス内分散の比を最大にするようなwで射影するクラス内分散𝑺 𝑤′ &= 𝒚 𝑛 − 𝝁 𝑘 𝒚 𝑛 − 𝝁 𝑘𝑇𝑛∈𝐶 𝑘𝐾𝑘=1&= 𝑾 𝑇 𝒙 𝑛 − 𝒎 𝑘 𝒙 𝑛 − 𝒎 𝑘𝑇𝑛∈𝐶 𝑘𝐾𝑘=1𝑾&= 𝑾 𝑇 𝑺 𝑾 𝑾𝑺 𝑾 = 𝒙 𝒏 − 𝒎 𝒌 𝒙 𝒏 − 𝒎 𝒌𝑇𝑛∈𝐶 𝑘𝐾𝑘=1𝑚1𝑚2𝒎1𝒎2𝒘
  10. 10. 多クラスのFisher線形判別分析(4)クラス間分散/クラス内分散の指標値𝐽 𝑾 = 𝑇𝑟 𝑺 𝒘′ −1𝑺 𝐵′= 𝑇𝑟 𝑾 𝑻 𝑺 𝑾 𝑾−1𝑾 𝑻 𝑺 𝑩 𝑾𝐽 𝑾 が最大となる𝑾は,𝑺 𝑾−1𝑺 𝑩の固有ベクトル(大きな固有値D’個に対応する固有ベクトル)で与えられる𝒚 = 𝑾 𝑻 𝒙𝒚 =𝑦1⋮𝑦 𝐷′&&𝑾 = 𝒘1, ⋯ , 𝒘 𝐷′できる限りクラス分類の情報を保存するような次元の抽出
  11. 11. Facial Expression RecognitionUsing Fisher Weight MapsY. Shinohara and N. Otsu,IEEE International Conference on Automatic Faceand Gesture Recognition, 2004.
  12. 12. 背景と目的 顔の表情認識• 局所特徴量ベースの手法• 画像ベクトルベースの手法 局所特徴量ベースの手法例• Gabor wavelet features• Texture features• HLAC (Higher-order Local Auto-Correlation) features 画像ベクトルベースの手法例• Eigenfaces method (Principal Component Analysis: PCA)• Fisherfaces method (Fisher Linear Discriminant Analysis: LDA) 目的• 局所特徴量ベースと画像ベクトルベースの手法を組み合わせた手法を提案 手法• 画像中の各領域の局所特徴量に対する重み付けをFisher Criterion(クラス内・クラス間分散比)に基づいて決定
  13. 13. 画像の表現方法画像の局所特徴行列 (画素数𝑛 ×特徴量の種類数𝑑)𝑯 = 𝒉1, ⋯ , 𝒉 𝑑𝒉 𝑘 = ℎ 𝑘 1 , ⋯ , ℎ 𝑘(𝑛) Tℎ 𝑘 𝑟 : 画素𝑟における𝑘種類目の局所特徴量1 ≤ 𝑘 ≤ 𝑑, 1 ≤ 𝑟 ≤ 𝑛特徴量の重み付け(各画素に対する重み Weight Map)𝒙 = 𝑯 𝑇 𝒘 =ℎ1 1⋮ℎ 𝑑(1)⋯⋯ℎ1(𝑛)⋮ℎ 𝑑(𝑛)𝑤(1)⋮𝑤(𝑛)例)Eigenfaces/Fisherfaces• 局所特徴量の種類数を1とし,ℎ1 𝑟 として画素𝑟の画素値を用いる• 重み𝒘を主成分分析(PCA)で決定 → Eigenfaces• 重み𝒘をFisher線形判別分析(LDA)で決定 → Fisherfaces
  14. 14. Higher-order Local Auto-Correlations画像の局所特徴量(局所自己相関)Higher-order Local Auto-Correlations (HLAC)𝑥 𝑎1, ⋯ , 𝑎 𝑁 = 𝐼 𝑟 𝐼 𝑟 + 𝑎1 ⋯ 𝐼 𝑟 + 𝑎 𝑁 𝑑𝑟𝑥 𝑎1, ⋯ , 𝑎 𝑁 :1枚の画像に対する特徴量, 𝑎1, ⋯ , 𝑎 𝑁 の組みに対して1種類𝐼 𝑟 :画素𝑟における画素値𝑎1, ⋯ , 𝑎 𝑁 :相関を計算するdisplacements𝑁:自己相関の次数HLACの例(𝑁 = 0, 1, 2, 𝑎𝑖を1画素ズレ以内): 35種類𝑥8 = 𝐼 𝑟 2 𝐼 𝑟 + 𝑎1 𝑑𝑟𝑥15 = 𝐼 𝑟 𝐼 𝑟 + 𝑎42 𝑑𝑟𝑥1 = 𝐼 𝑟 𝑑𝑟
  15. 15. HLACの重み付け (Weight Map)(1) HLACの問題点• HLACは全画素で積分をとるので,画像全体が平等の重みで計算される• 顔の表情認識では,目の周辺や口の周辺など認識に重要な部分と,額など認識には不要であろう部分がある HLACの重み付け• 画素毎に異なる重み𝑤(𝑟)で重み付けをして積分する𝑥 𝑘 𝑎1, ⋯ , 𝑎 𝑁 &= 𝑤(𝑟)𝐼 𝑟 𝐼 𝑟 + 𝑎1 ⋯ 𝐼 𝑟 + 𝑎 𝑁 𝑑𝑟&= 𝑤 𝑟 ℎ 𝑘 𝑟 𝑑𝑟ただし,ℎ 𝑘 𝑟 = 𝐼 𝑟 𝐼 𝑟 + 𝑎1 ⋯ 𝐼(𝑟 + 𝑎 𝑁)は画素𝑟の局所特徴量を表す𝑥 𝑘 = 𝒉 𝒌𝑻𝒘𝒉 𝒌 = ℎ 𝑘 1 , ⋯ , ℎ 𝑘 𝑛 T𝒘 = 𝑤(1), ⋯ , 𝑤(𝑛) T
  16. 16. HLACの重み付け (Weight Map)(2)𝑥 𝑘 = 𝒉 𝒌𝑻𝒘𝒉 𝒌 = ℎ 𝑘 1 , ⋯ , ℎ 𝑘 𝑛 T𝒘 = 𝑤(1), ⋯ , 𝑤(𝑛) T1つのHLAC特徴量に対して複数のHLAC特徴量に対して𝒙 = 𝑯 𝑇 𝒘𝑯 =ℎ1(1)⋮ℎ1(𝑛)⋯⋯ℎ 𝑑(1)⋮&ℎ 𝑑(𝑛)𝒘 = 𝑤(1), ⋯ , 𝑤(𝑛) T𝒙 = 𝑥1, ⋯ , 𝑥 𝑑T重み付け方法:Eigen Weight Maps / Fisher Weight Maps
  17. 17. Eigen Weight Maps主成分分析(PCA)で重み付けを決定𝐽 𝒘 &=1𝑁𝒙𝑖 − 𝝁 2𝑁𝑖=1&= 𝒘 𝑇1𝑁𝑯𝑖 − 𝑴 𝑯𝑖 − 𝑴 𝑻𝑁𝑖=1𝒘&= 𝒘 𝑇1𝑁𝒉1′, ⋯ , 𝒉 𝒅′𝒉1′, ⋯ , 𝒉 𝒅′ 𝑻𝑁𝑖=1𝒘&= 𝒘 𝑇1𝑁𝒉1′𝒉1′ 𝑻+ ⋯ + 𝒉 𝒅′𝒉 𝒅′ 𝑇𝑁𝑖=1𝒘&= 𝒘 𝑇1𝑁𝒉𝑖𝑘 − 𝒎 𝑘 𝒉𝑖𝑘 − 𝒎 𝑘𝑇𝑑𝑘=1𝑁𝑖=1𝒘&= 𝒘 𝑇 𝚺 𝐻 𝒘𝑁枚の学習画像𝑯𝑖に対して,𝐽 𝒘 を𝒘 𝑇𝒘 = 1の制約のもとで最大にする𝒘は,以下の固有値問題の最大固有値に対応する固有ベクトルで与えられる𝚺H 𝐰 = 𝜆𝒘
  18. 18. Fisher Weight Maps (1)Fisher線形判別分析(LDA)で重み付けを決定𝑁枚の学習画像𝑯𝑖に対して,クラス間分散/クラス内分散の指標値(Fisher Criterion)𝐽 𝑾 =𝑡𝑟𝚺 𝐁𝑡𝑟𝚺 𝐰𝚺 𝐖 =1𝑁𝒙𝑖 − 𝝁 𝑗 𝒙𝑖 − 𝝁 𝑗𝑻𝑖∈𝜔 𝑗𝐶𝑗=1𝚺 𝐁 =1𝑁𝑁𝒋 𝝁 𝑗 − 𝝁 𝝁 𝑗 − 𝝁𝑻𝐶𝑗=1
  19. 19. Fisher Weight Maps (2)𝑡𝑟𝚺 𝐖 &=1𝑁𝒙𝑖 − 𝝁 𝑗𝑻𝒙𝑖 − 𝝁 𝑗𝑖∈𝜔 𝑗𝐶𝑗=1&= 𝒘 𝑇1𝑁𝑯𝑖 − 𝑴𝒋 𝑯𝑖 − 𝑴𝒋𝑻𝑖∈𝜔 𝑗𝐶𝑗=1𝒘&= 𝒘 𝑇 𝚺 𝑊 𝒘𝑡𝑟𝚺 𝐁 &=1𝑁𝑁𝒋 𝝁 𝑗 − 𝝁𝑻𝝁 𝑗 − 𝝁𝐶𝑗=1&= 𝒘 𝑇1𝑁𝑁𝑗 𝑴𝑖 − 𝑴 𝑴𝑖 − 𝑴 𝑻𝐶𝑗=1𝒘&= 𝒘 𝑇 𝚺 𝐵 𝒘𝐽 𝑾 =𝑡𝑟𝚺 𝐁𝑡𝑟𝚺 𝐰=𝒘 𝑇 𝚺 𝐵 𝒘𝒘 𝑇 𝚺 𝑊 𝒘Fisher Criterionは𝚺 𝑩 𝐰 = 𝜆𝚺 𝑾 𝒘一般固有値問題
  20. 20. Fisher Weight Maps with Dimensionality Reduction (1)𝚺 𝑊, 𝚺 𝐵は画素数𝑛 ×画素数𝑛であり,通常非常に大きい画像数𝑁やクラス数𝐶はそれよりもずっと小さく, 𝚺 𝑊, 𝚺 𝐵は縮退しているそこで,Fisher Weight Mapsを求める前に,𝑯𝑖の次元をPCAにより削減する𝚺H 𝒖 = 𝜆𝒖に対して,大きい方から𝑚個の固有値に対応する固有ベクトルを並べて𝑼 = 𝒖 𝟏, ⋯ , 𝒖 𝒎固有値問題とし,𝑯𝒊𝑻= 𝑯𝒊𝑻𝑼とする
  21. 21. Fisher Weight Maps with Dimensionality Reduction (2)𝑯𝒊 𝑖=1𝑁に対して,Fisher Criterionは,𝐽 𝒗 =𝒗 𝑇 𝑼 𝑻 𝚺 𝐵 𝑼 𝒗𝒗 𝑇 𝑼 𝑇 𝚺 𝑊 𝑼 𝒗𝑼 𝑻𝚺 𝑩 𝑼 𝒗 = 𝜆 𝑼 𝑻𝚺 𝑾 𝑼 𝒗固有値問題に対して,大きい方から𝐶 − 1個の固有値に対応する固有ベクトルを並べると𝑽 = 𝒗 𝟏, ⋯ , 𝒗 𝑪−𝟏となり,𝑾 𝑜𝑝𝑡 = 𝑼𝑽を得る(𝑛 × (𝐶 − 1)の行列)
  22. 22. Fisher Weight Maps with Dimensionality Reduction (3)𝒙(1), ⋯ , 𝒙(𝑐−1) = 𝐇T 𝐖opt𝒙 = 𝑯 𝑇 𝒘1つの𝒘に対して,データ𝑯の重み付けはで与えられるので, (𝐶 − 1)列の𝑾 𝑜𝑝𝑡では 𝑑 × (𝐶 − 1)の特徴量行列を得る𝒙(𝑙): 𝑙番目のFisher Wight Mapで重み付けした𝑑次元の特徴量ベクトル(𝐶 − 1)個の特徴量ベクトルを連結して,𝝃 = 𝒙 1 𝑇, ⋯ , 𝒙 𝐶−1 𝑇 𝑇これが画像を表現する特徴量ベクトルである
  23. 23. 識別画像特徴量ベクトル𝜉&から識別を行うSVMやKernel Fisher Discriminant Analysisなどを利用することもできるが,ここではFisher線形判別分析を用いる𝒚 = 𝐀T 𝝃に対して,Fisher Criterionを最大にする行列𝐀 ∈ 𝑹 𝑑 𝐶−1 × 𝑐−1を求めるある画像が与えられた時,それに対する𝒚を計算し,中心が最も近いクラスに識別する
  24. 24. 笑顔検出実験Fisher Weight Mapでは,笑顔検出に重要な口元や目の周囲などに大きな重みが割り当てられた 96画像(12画像 x2表情 x 4人) 30x30画素,256段階グレースケール 学習データ: 72画像(2表情x3人) テストデータ:残りの24画像 4回繰り返して実験
  25. 25. 表情認識実験 JAFFEデータベース 193画像(9人,7表情) 32x40画素,256段階グレースケール 学習データ: 8人の画像 テストデータ:残りの1人の画像 9回繰り返して実験
  26. 26. Improving Local Descriptors by EmbeddingGlobal and Local Spatial InformationT. Harada, H. Nakayama, and Y. Kuniyoshi,European Conference on Computer Vision, 2010.
  27. 27. 背景と目的 一般物体認識の特徴量• Local spatial information: Self Similarity, Geometric Blur, SIFT• Global spatial information: HOG, GIST, BoW, PHOG, PHOW 目的• 局所特徴量が与えられた時,LocalとGlobalのSpatial Informationをどのように特徴量表現に組み込むと,簡潔で識別性能の高い特徴量が得られるか? 手法• Local Spatial Informationを組み込むために,局所自己相関(Local Auto-Correlation)を利用• Global Spatial Informationを組み込むために,Fisher Weight Mapsを利用• 識別にNaïve Bayes Probabilistic Linear Discriminant Analysisを利用
  28. 28. 提案手法の概要(1)画像を𝑀領域に分割し,各領域から𝐾種類の特徴量ベクトル𝑓を抽出(texture, shape, colorなど)𝒇𝑖(𝑘)= 𝒇𝑖1𝑘 𝑇, ⋯ , 𝒇𝑖𝑀𝑘 𝑇𝑇𝒇𝑖𝑗𝑘∈ 𝑹 𝑑 𝑘: 画像𝑰𝑖の領域𝑗から抽出した𝑘種類目の特徴量ベクトル画像𝑰𝑖に対する特徴量ベクトル𝒇𝑖は, 𝐾種類の特徴量ベクトルを連結して,𝒇𝑖 = 𝒇𝑖1 𝑇, ⋯ , 𝒇𝑖𝐾 𝑇𝑇画像の特徴量ベクトル𝒇𝑖を𝐶クラス 𝜔𝑙 𝑙=1𝐶に分類する問題を考える𝑐 = arg max𝑙𝑃 𝜔𝑙|𝒇𝑖 &⇒ 𝒇𝑖 ∈ 𝜔𝑐
  29. 29. 提案手法の概要(2)ベイズの定理を利用して,事前確率が全てのクラスに対して等しいと仮定すると,各クラス𝜔𝑙&において, 𝐾種類の特徴量ベクトルを独立とすると(Naïve Bayse Approach)𝑐 = arg max𝑙𝑝 𝒇𝑖|𝜔𝑙 &⇒ 𝒇𝑖 ∈ 𝜔𝑐𝑝 𝒇𝑖|𝜔𝑙 &= 𝑝 𝒇𝑖1 𝑇, ⋯ , 𝒇𝑖𝐾 𝑇𝑇|𝜔𝑙&= 𝑝 𝒇𝑖𝑘|𝜔𝑙𝐾𝑘=1ln 𝑝 𝒇𝑖|𝜔𝑙 &= ln 𝑝 𝒇𝑖𝑘|𝜔𝑙𝐾𝑘=1𝑝 𝒇𝑖𝑘|𝜔𝑙 に対してもNaïve Bayse Approachを考えることができるが,その方法では領域間の関係性を無視することになる
  30. 30. 提案手法の概要(3)そこで,領域ごとの特徴量の重み付き線形結合を考える𝒈𝑖𝑘= 𝒇𝑖𝑘 𝑇𝒘 𝑘 = 𝑤1𝑘𝒇𝑖1𝑘+ ⋯ + 𝑤 𝑀𝑘𝒇𝑖𝑀𝑘𝒇𝑖(𝑘)= 𝒇𝑖1𝑘 𝑇, ⋯ , 𝒇𝑖𝑀𝑘 𝑇𝑇𝒘(𝑘) = 𝑤1𝑘, ⋯ , 𝑤 𝑀𝑘𝑇重みベクトル𝒘(𝑘)は複数考えられるので,その数を𝑀′として𝒈𝑖𝑗𝑘= 𝒇𝑖𝑘 𝑇𝒘𝑗𝑘𝒈𝑖𝑘 ′= 𝒈𝑖1𝑘 𝑇, ⋯ , 𝒈𝑖𝑀′𝑘 𝑇 𝑻𝒈𝑖𝑘 ′をPCAで次元圧縮した特徴ベクトルを𝒉𝑖𝑘とすると,識別ルールは,𝑐 = arg max𝑙ln 𝑝 𝒉𝑖𝑘|𝜔𝑙𝐾𝑘=1&⇒ 𝑰𝑖 ∈ 𝜔𝑐
  31. 31. Local Spatial Information各領域から特徴量𝒇𝑖𝑗𝑘の抽出Φ 𝒂𝑗 =1𝑁𝐽𝜙 𝒓𝑖 𝜙 𝒓𝑖 + 𝒂𝑗𝑇𝑖∈𝐽Φ =1𝑁𝐽𝜙 𝒓𝑖𝑖∈𝐽1次の局所自己相関0次の局所自己相関Φ 0 =1𝑁𝐽𝜙 𝒓𝑖 𝜙 𝒓𝑖𝑇𝑖∈𝐽特に領域特徴量𝒇𝑖𝑗𝑘= Φ 𝑇, 𝜂 Φ 0𝑇, 𝜉 Φ 𝒂1𝑇, ⋯ , 𝜉 Φ 𝒂 𝑁 𝑎𝑇 𝐓対称行列なので,右上部分を連結して並べる関数行列の全ての要素を抜き出して連結する関数𝜙 𝒓𝑖 :位置𝒓𝑖における局所特徴量ベクトル対称行列
  32. 32. Global Spatial Information𝒈𝑖𝑗𝑘= 𝒇𝑖𝑘 𝑇𝒘𝑗𝑘領域特徴量𝒇𝑖𝑘に対する重み付けベクトル𝒘𝑗𝑘を求める→ Fisher Weight Mapsを利用教師付き学習データ 𝒇𝑖𝑘, 𝑦𝑖𝑖=1𝑁からFisher Criterionを最大にする重みベクトルを求める𝐽 𝑾 &=𝑡𝑟𝚺 𝐁𝑡𝑟𝚺 𝐰&=𝒘 𝑇 𝚺B 𝐰𝒘 𝑇 𝚺W 𝐰𝚺W =1N𝒇𝑖𝑘− 𝑴𝑙 𝒇𝑖𝑘− 𝑴𝑙𝑇𝑖∈𝜔𝑙𝐶𝑙=1𝚺B =1N𝑛𝑙 𝑴𝑙 − 𝑴 𝑴𝑙 − 𝑴 𝑇𝐶𝑙=1𝚺 𝑩 𝐰 = 𝜆𝚺 𝑾 𝒘一般固有値問題大きい固有値𝑀′ ≤ 𝐶 − 1に対応する固有ベクトルを𝒘𝑗𝑘とする
  33. 33. 識別 (1)𝑐 = arg max𝑙ln 𝑝 𝒉𝑖𝑘|𝜔𝑙𝐾𝑘=1&⇒ 𝑰𝑖 ∈ 𝜔𝑐識別ルール確率密度関数𝑝 𝒉𝑖𝑘|𝜔𝑙 の推定にProbabilistic LinearDiscriminant Analysisを利用学習データ: (𝒙𝑖, 𝑦𝑖)|𝒙𝑖 ∈ 𝑹 𝒅, 𝑦𝑖 ∈ 𝜔1, ⋯ , 𝜔 𝐶𝑖=1𝑁テストデータ: 𝒙t𝒖 = 𝐀−1 𝒙 − 𝒎 &&&(𝐀 ∈ 𝑹 𝑑×𝑑′, 𝒎 ∈ 𝑹 𝑑)潜在変数𝑝 𝒖 𝑡 𝜔𝑗 = 𝑁 𝒖 𝑡|𝑛𝑗 𝜳𝑛𝑗 𝜳 + 𝐼𝒖𝒋, 𝑰 +𝜳𝑛𝑗 𝜳 + 𝐼
  34. 34. 識別 (2)𝒙に対するFisher線形判別分析から𝑺 𝑩 𝐖 = 𝐒 𝑾 𝑾𝚲の固有値を対角成分に持つ行列𝚲及び固有ベクトルを並べた行列𝐖を求める( 𝑺 𝑩,𝐒 𝑾はそれぞれ𝒙に対するクラス間・クラス内共分散行列)𝚲 𝑏 = 𝑾 𝑇𝑺 𝑩 𝐖, 𝚲 𝑤 = 𝑾 𝑇𝑺 𝑾 𝐖𝚲 𝑏, 𝚲 𝑤をそれぞれ𝑺 𝑩,𝐒 𝑾を対角化した対角行列として𝒎&=1𝑁𝒙𝑖𝑁𝑖=1𝐀&= 𝑾−𝑇𝑛𝑛 − 1𝚲w12Ψ&= max 0,𝑛 − 1𝑛𝚲b𝚲w−1𝑛𝒖 = 𝐀−1 𝒙 − 𝒎 &&&(𝐀 ∈ 𝑹 𝑑×𝑑′, 𝒎 ∈ 𝑹 𝑑)𝑝 𝒖 𝑡 𝜔𝑗 = 𝑁 𝒖 𝑡|𝑛𝑗 𝜳𝑛𝑗 𝜳 + 𝐼𝒖𝒋, 𝑰 +𝜳𝑛𝑗 𝜳 + 𝐼潜在変数の確率密度関数
  35. 35. 実験結果(シーン認識)GLC: 局所自己相関として Φ 𝑇, 𝜂 Φ 0𝑇 𝑇を利用(周辺との相関を利用しない)
  36. 36. 実験結果(物体認識)
  37. 37. まとめ• Fisher線形判別分析とFisher Weight Mapsを紹介した• Fisher Weight Mapsは,各領域の最適な重みを求めるのに有用である• 局所自己相関とFisher Weight Mapsを組み合わせた手法は,任意の局所特徴量に適用できるので,広い範囲に応用できそう

×