![Fisher線形判別分析とFisher Weight Maps
[0] 「Fisher線形判別分析」，
C.M.ビショップ，
パターン認識と学習（上），
シュプリンガー・ジャパン，2007.
[1] Y. Shinohara and N. Otsu,
“Facial Expression Recognition Using Fisher Weight Maps,”
IEEE International Conference on Automatic Face and Gesture
Recognition, 2004.
[2] T. Harada, H. Nakayama, and Y. Kuniyoshi,
“Improving Local Descriptors by Embedding Global and Local
Spatial Information,”
European Conference on Computer Vision, 2010.
2013/06/19 上智大学 山中高夫](https://image.slidesharecdn.com/2013labmeetingyamanaka2-130619030159-phpapp02/85/Fisher-Fisher-Weight-Maps-1-320.jpg)
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to Fisher線形判別分析とFisher Weight Maps
Similar to Fisher線形判別分析とFisher Weight Maps (20)
Fisher線形判別分析とFisher Weight Maps
- 1. Fisher線形判別分析とFisher Weight Maps [0] 「Fisher線形判別分析」， C.M.ビショップ， パターン認識と学習（上）， シュプリンガー・ジャパン，2007. [1] Y. Shinohara and N. Otsu, “Facial Expression Recognition Using Fisher Weight Maps,” IEEE International Conference on Automatic Face and Gesture Recognition, 2004. [2] T. Harada, H. Nakayama, and Y. Kuniyoshi, “Improving Local Descriptors by Embedding Global and Local Spatial Information,” European Conference on Computer Vision, 2010. 2013/06/19 上智大学 山中高夫
- 3. 線形識別モデル 2クラスの識別 多クラスの識別 𝑥1 𝑥2 𝐶2 𝐶1 𝐶2 𝐶1 𝐶3 𝑥1 𝑥2 𝑦 𝒙 = 𝒘 𝑇 𝒙 + 𝜔0 𝑦 𝒙 ≥ 0 ⇒ 𝒙 ∈ 𝐶1 𝑦 𝒙 < 0 ⇒ 𝒙 ∈ 𝐶2 𝑦 𝑘 𝒙 = 𝒘 𝑘 𝑇 𝒙 + 𝜔 𝑘0 ∀𝑗 ≠ 𝑘, 𝑦 𝑘 𝒙 > 𝑦𝑗 𝒙 ⇒ 𝒙 ∈ 𝐶 𝑘 𝒘
- 4. 2クラスの線形識別モデル 𝑦 𝒙 = 𝒘 𝑇 𝒙 𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1 𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶2 一番簡単な方法（wの決め方）は，各クラス の中心を求め，どちらに近いかを判別する → 重なり合う部分が多く残る 𝒎1 = 1 𝑁1 𝒙 𝑛 𝑛∈𝐶1 𝐶2 𝐶1 𝒎2 = 1 𝑁2 𝒙 𝑛 𝑛∈𝐶2 𝒘 決定境界 𝑦 𝒙 = 𝒘 𝑇 𝒙 + 𝜔0 𝑦 𝒙 ≥ 0 ⇒ 𝒙 ∈ 𝐶1 𝑦 𝒙 < 0 ⇒ 𝒙 ∈ 𝐶2
- 5. 2クラスのFisher線形判別分析(1) 𝑚1 𝑚2 Fisher判別分析 • クラス間分散とクラス内分散の比を最大にするようなwで射影する クラス間分散 𝑺 𝐵&′ = 𝑚2 − 𝑚1 2 &= 𝒎 𝟐 − 𝒎 𝟏 𝑻 𝒘 𝟐 &= 𝒘 𝑻 𝒎 𝟐 − 𝒎 𝟏 𝒎 𝟐 − 𝒎 𝟏 𝑻 𝒘 &= 𝒘 𝑻 𝑺 𝑩 𝒘 クラス内分散 𝑺 𝑤 ′ &= 𝑦𝑛 − 𝑚1 2 𝑛∈𝐶1 + 𝑦𝑛 − 𝑚2 2 𝑛∈𝐶2 &= 𝒘 𝑻 𝑺 𝑾 𝒘 𝑺 𝑾 = 𝒙 𝒏 − 𝒎 𝒌 𝒙 𝒏 − 𝒎 𝒌 𝑻 𝑛∈𝐶 𝑘𝑘=1,2 𝒎1 𝒎2 𝒘 𝑦 𝒙 = 𝒘 𝑇 𝒙 𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1 𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶2
- 6. 2クラスのFisher線形判別分析(2) Fisher判別分析 • クラス間分散とクラス内分散の比を最大にするようなwで射影する クラス間分散/クラス内分散 𝐽 𝒘 = 𝑺 𝐵 ′ 𝑺 𝒘 ′ = 𝒘 𝑻 𝑺 𝑩 𝒘 𝒘 𝑻 𝑺 𝑾 𝒘 𝑚1 𝑚2 𝒎1 𝒎2 𝒘 𝐽 𝒘 が最大となる𝒘を求める ため， 𝐽 𝒘 を𝒘で微分して0 とおき， 𝒘 𝑻 𝑺 𝑩 𝒘 𝑺 𝑾 𝒘 = 𝒘 𝑻 𝑺 𝑾 𝒘 𝑺 𝑩 𝒘 𝑺 𝑩 𝒘&= 𝒎 𝟐 − 𝒎 𝟏 𝒎 𝟐 − 𝒎 𝟏 𝑻 𝒘 &= 𝑚2 − 𝑚1 𝒎 𝟐 − 𝒎 𝟏 スカラー スカラー 𝒘 ∝ 𝑺 𝑾 −1 𝒎 𝟐 − 𝒎 𝟏 𝑦 𝒙 = 𝒘 𝑇 𝒙 𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1 𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶2
- 7. 多クラスのFisher線形判別分析(1) Fisher判別分析 • クラス間分散とクラス内分散の比を最大にするようなwで射影する 𝒚 = 𝑾 𝑻 𝒙 𝒚 = 𝑦1 ⋮ 𝑦 𝐷′ &&𝑾 = 𝒘1, ⋯ , 𝒘 𝐷′ 𝑦 𝒙 = 𝒘 𝑇 𝒙 𝑦 𝒙 ≥ −𝜔0 ⇒ 𝒙 ∈ 𝐶1 𝑦 𝒙 < −𝜔0⇒ 𝒙 ∈ 𝐶2 2クラスの判別 多クラスの判別 できる限りクラス分類の情報を保存する ような次元の抽出
- 8. 多クラスのFisher線形判別分析(2) Fisher判別分析 • クラス間分散とクラス内分散の比を最大にするようなwで射影する クラス間分散 𝑺 𝐵 ′ = 𝑁𝑘 𝝁 𝑘 − 𝝁 𝝁 𝑘 − 𝝁 𝑇 𝐾 𝑘=1 𝝁 𝑘 = 1 𝑁𝑘 𝒚 𝑛 𝑛∈𝐶 𝑘 = 1 𝑁𝑘 𝑾 𝑇 𝒙 𝒏 𝑛∈𝐶 𝑘 = 𝑾 𝑇 𝒎 𝒌 𝑚1 𝑚2 𝒎1 𝒎2 𝒘 𝝁 = 1 𝑁 𝑁𝑘 𝝁 𝑘 𝐾 𝑘=1 = 1 𝑁 𝑁𝑘 𝑾 𝑇 𝒎 𝑘 𝐾 𝑘=1 = 𝑾 𝑇 𝒎 𝑺 𝐵 ′ = 𝑾 𝑇 𝑁𝑘 𝒎 𝑘 − 𝒎 𝒎 𝑘 − 𝒎 𝑇 𝐾 𝑘=1 𝑾 = 𝑾 𝑇 𝑺 𝑩 𝑾 𝑺 𝑩 = 𝑁𝑘 𝒎 𝑘 − 𝒎 𝒎 𝑘 − 𝒎 𝑇 𝐾 𝑘=1
- 9. 多クラスのFisher線形判別分析(3) Fisher判別分析 • クラス間分散とクラス内分散の比を最大にするようなwで射影する クラス内分散 𝑺 𝑤 ′ &= 𝒚 𝑛 − 𝝁 𝑘 𝒚 𝑛 − 𝝁 𝑘 𝑇 𝑛∈𝐶 𝑘 𝐾 𝑘=1 &= 𝑾 𝑇 𝒙 𝑛 − 𝒎 𝑘 𝒙 𝑛 − 𝒎 𝑘 𝑇 𝑛∈𝐶 𝑘 𝐾 𝑘=1 𝑾 &= 𝑾 𝑇 𝑺 𝑾 𝑾 𝑺 𝑾 = 𝒙 𝒏 − 𝒎 𝒌 𝒙 𝒏 − 𝒎 𝒌 𝑇 𝑛∈𝐶 𝑘 𝐾 𝑘=1 𝑚1 𝑚2 𝒎1 𝒎2 𝒘
- 10. 多クラスのFisher線形判別分析(4) クラス間分散/クラス内分散の指標値 𝐽 𝑾 = 𝑇𝑟 𝑺 𝒘 ′ −1 𝑺 𝐵 ′ = 𝑇𝑟 𝑾 𝑻 𝑺 𝑾 𝑾 −1 𝑾 𝑻 𝑺 𝑩 𝑾 𝐽 𝑾 が最大となる𝑾は，𝑺 𝑾 −1 𝑺 𝑩の固有ベクトル（大きな 固有値D’個に対応する固有ベクトル）で与えられる 𝒚 = 𝑾 𝑻 𝒙 𝒚 = 𝑦1 ⋮ 𝑦 𝐷′ &&𝑾 = 𝒘1, ⋯ , 𝒘 𝐷′ できる限りクラス分類の情報を保存する ような次元の抽出
- 11. Facial Expression Recognition Using Fisher Weight Maps Y. Shinohara and N. Otsu, IEEE International Conference on Automatic Face and Gesture Recognition, 2004.
- 12. 背景と目的 顔の表情認識 • 局所特徴量ベースの手法 • 画像ベクトルベースの手法 局所特徴量ベースの手法例 • Gabor wavelet features • Texture features • HLAC (Higher-order Local Auto-Correlation) features 画像ベクトルベースの手法例 • Eigenfaces method (Principal Component Analysis: PCA) • Fisherfaces method (Fisher Linear Discriminant Analysis: LDA) 目的 • 局所特徴量ベースと画像ベクトルベースの手法を組み合わせた手法を提案 手法 • 画像中の各領域の局所特徴量に対する重み付けをFisher Criterion（クラス 内・クラス間分散比）に基づいて決定
- 13. 画像の表現方法 画像の局所特徴行列 (画素数𝑛 ×特徴量の種類数𝑑) 𝑯 = 𝒉1, ⋯ , 𝒉 𝑑 𝒉 𝑘 = ℎ 𝑘 1 , ⋯ , ℎ 𝑘(𝑛) T ℎ 𝑘 𝑟 : 画素𝑟における𝑘種類目の局所特徴量 1 ≤ 𝑘 ≤ 𝑑, 1 ≤ 𝑟 ≤ 𝑛 特徴量の重み付け（各画素に対する重み Weight Map） 𝒙 = 𝑯 𝑇 𝒘 = ℎ1 1 ⋮ ℎ 𝑑(1) ⋯ ⋯ ℎ1(𝑛) ⋮ ℎ 𝑑(𝑛) 𝑤(1) ⋮ 𝑤(𝑛) 例）Eigenfaces/Fisherfaces • 局所特徴量の種類数を1とし，ℎ1 𝑟 として画素𝑟の画素値を用いる • 重み𝒘を主成分分析(PCA)で決定 → Eigenfaces • 重み𝒘をFisher線形判別分析(LDA)で決定 → Fisherfaces
- 14. Higher-order Local Auto-Correlations 画像の局所特徴量（局所自己相関） Higher-order Local Auto-Correlations (HLAC) 𝑥 𝑎1, ⋯ , 𝑎 𝑁 = 𝐼 𝑟 𝐼 𝑟 + 𝑎1 ⋯ 𝐼 𝑟 + 𝑎 𝑁 𝑑𝑟 𝑥 𝑎1, ⋯ , 𝑎 𝑁 ：1枚の画像に対する特徴量， 𝑎1, ⋯ , 𝑎 𝑁 の組みに対して１種類 𝐼 𝑟 ：画素𝑟における画素値 𝑎1, ⋯ , 𝑎 𝑁 ：相関を計算するdisplacements 𝑁：自己相関の次数 HLACの例（𝑁 = 0, 1, 2, 𝑎𝑖を1画素 ズレ以内）: 35種類 𝑥8 = 𝐼 𝑟 2 𝐼 𝑟 + 𝑎1 𝑑𝑟 𝑥15 = 𝐼 𝑟 𝐼 𝑟 + 𝑎4 2 𝑑𝑟 𝑥1 = 𝐼 𝑟 𝑑𝑟
- 15. HLACの重み付け (Weight Map)(1) HLACの問題点 • HLACは全画素で積分をとるので，画像全体が平等の重みで計算される • 顔の表情認識では，目の周辺や口の周辺など認識に重要な部分と，額など 認識には不要であろう部分がある HLACの重み付け • 画素毎に異なる重み𝑤(𝑟)で重み付けをして積分する 𝑥 𝑘 𝑎1, ⋯ , 𝑎 𝑁 &= 𝑤(𝑟)𝐼 𝑟 𝐼 𝑟 + 𝑎1 ⋯ 𝐼 𝑟 + 𝑎 𝑁 𝑑𝑟 &= 𝑤 𝑟 ℎ 𝑘 𝑟 𝑑𝑟 ただし，ℎ 𝑘 𝑟 = 𝐼 𝑟 𝐼 𝑟 + 𝑎1 ⋯ 𝐼(𝑟 + 𝑎 𝑁)は画素𝑟の局所特徴量を表す 𝑥 𝑘 = 𝒉 𝒌 𝑻 𝒘 𝒉 𝒌 = ℎ 𝑘 1 , ⋯ , ℎ 𝑘 𝑛 T 𝒘 = 𝑤(1), ⋯ , 𝑤(𝑛) T
- 16. HLACの重み付け (Weight Map)(2) 𝑥 𝑘 = 𝒉 𝒌 𝑻 𝒘 𝒉 𝒌 = ℎ 𝑘 1 , ⋯ , ℎ 𝑘 𝑛 T 𝒘 = 𝑤(1), ⋯ , 𝑤(𝑛) T 1つのHLAC特徴量に対して 複数のHLAC特徴量に対して 𝒙 = 𝑯 𝑇 𝒘 𝑯 = ℎ1(1) ⋮ ℎ1(𝑛) ⋯ ⋯ ℎ 𝑑(1) ⋮& ℎ 𝑑(𝑛) 𝒘 = 𝑤(1), ⋯ , 𝑤(𝑛) T 𝒙 = 𝑥1, ⋯ , 𝑥 𝑑 T 重み付け方法：Eigen Weight Maps / Fisher Weight Maps
- 17. Eigen Weight Maps 主成分分析(PCA)で重み付けを決定 𝐽 𝒘 &= 1 𝑁 𝒙𝑖 − 𝝁 2 𝑁 𝑖=1 &= 𝒘 𝑇 1 𝑁 𝑯𝑖 − 𝑴 𝑯𝑖 − 𝑴 𝑻 𝑁 𝑖=1 𝒘 &= 𝒘 𝑇 1 𝑁 𝒉1 ′ , ⋯ , 𝒉 𝒅 ′ 𝒉1 ′ , ⋯ , 𝒉 𝒅 ′ 𝑻 𝑁 𝑖=1 𝒘 &= 𝒘 𝑇 1 𝑁 𝒉1 ′ 𝒉1 ′ 𝑻 + ⋯ + 𝒉 𝒅 ′ 𝒉 𝒅 ′ 𝑇 𝑁 𝑖=1 𝒘 &= 𝒘 𝑇 1 𝑁 𝒉𝑖𝑘 − 𝒎 𝑘 𝒉𝑖𝑘 − 𝒎 𝑘 𝑇 𝑑 𝑘=1 𝑁 𝑖=1 𝒘 &= 𝒘 𝑇 𝚺 𝐻 𝒘 𝑁枚の学習画像𝑯𝑖に対して， 𝐽 𝒘 を𝒘 𝑇 𝒘 = 1の制約の もとで最大にする𝒘は， 以下の固有値問題の最大 固有値に対応する固有ベ クトルで与えられる 𝚺H 𝐰 = 𝜆𝒘
- 18. Fisher Weight Maps (1) Fisher線形判別分析(LDA)で重み付けを決定 𝑁枚の学習画像𝑯𝑖に対して， クラス間分散/クラス内分散の指標値(Fisher Criterion) 𝐽 𝑾 = 𝑡𝑟𝚺 𝐁 𝑡𝑟𝚺 𝐰 𝚺 𝐖 = 1 𝑁 𝒙𝑖 − 𝝁 𝑗 𝒙𝑖 − 𝝁 𝑗 𝑻 𝑖∈𝜔 𝑗 𝐶 𝑗=1 𝚺 𝐁 = 1 𝑁 𝑁𝒋 𝝁 𝑗 − 𝝁 𝝁 𝑗 − 𝝁 𝑻 𝐶 𝑗=1
- 19. Fisher Weight Maps (2) 𝑡𝑟𝚺 𝐖 &= 1 𝑁 𝒙𝑖 − 𝝁 𝑗 𝑻 𝒙𝑖 − 𝝁 𝑗 𝑖∈𝜔 𝑗 𝐶 𝑗=1 &= 𝒘 𝑇 1 𝑁 𝑯𝑖 − 𝑴𝒋 𝑯𝑖 − 𝑴𝒋 𝑻 𝑖∈𝜔 𝑗 𝐶 𝑗=1 𝒘 &= 𝒘 𝑇 𝚺 𝑊 𝒘 𝑡𝑟𝚺 𝐁 &= 1 𝑁 𝑁𝒋 𝝁 𝑗 − 𝝁 𝑻 𝝁 𝑗 − 𝝁 𝐶 𝑗=1 &= 𝒘 𝑇 1 𝑁 𝑁𝑗 𝑴𝑖 − 𝑴 𝑴𝑖 − 𝑴 𝑻 𝐶 𝑗=1 𝒘 &= 𝒘 𝑇 𝚺 𝐵 𝒘 𝐽 𝑾 = 𝑡𝑟𝚺 𝐁 𝑡𝑟𝚺 𝐰 = 𝒘 𝑇 𝚺 𝐵 𝒘 𝒘 𝑇 𝚺 𝑊 𝒘 Fisher Criterionは 𝚺 𝑩 𝐰 = 𝜆𝚺 𝑾 𝒘 一般固有値問題
- 20. Fisher Weight Maps with Dimensionality Reduction (1) 𝚺 𝑊, 𝚺 𝐵は画素数𝑛 ×画素数𝑛であり，通常非常に大きい 画像数𝑁やクラス数𝐶はそれよりもずっと小さく， 𝚺 𝑊, 𝚺 𝐵は 縮退している そこで，Fisher Weight Mapsを求める前に，𝑯𝑖の次元を PCAにより削減する 𝚺H 𝒖 = 𝜆𝒖 に対して，大きい方から𝑚個の固有値に対応する固有ベクト ルを並べて 𝑼 = 𝒖 𝟏, ⋯ , 𝒖 𝒎 固有値問題 とし， 𝑯𝒊 𝑻 = 𝑯𝒊 𝑻 𝑼 とする
- 21. Fisher Weight Maps with Dimensionality Reduction (2) 𝑯𝒊 𝑖=1 𝑁 に対して，Fisher Criterionは， 𝐽 𝒗 = 𝒗 𝑇 𝑼 𝑻 𝚺 𝐵 𝑼 𝒗 𝒗 𝑇 𝑼 𝑇 𝚺 𝑊 𝑼 𝒗 𝑼 𝑻 𝚺 𝑩 𝑼 𝒗 = 𝜆 𝑼 𝑻 𝚺 𝑾 𝑼 𝒗 固有値問題 に対して，大きい方から𝐶 − 1個の固有値に対応する固有ベ クトルを並べると 𝑽 = 𝒗 𝟏, ⋯ , 𝒗 𝑪−𝟏 となり， 𝑾 𝑜𝑝𝑡 = 𝑼𝑽 を得る（𝑛 × (𝐶 − 1)の行列）
- 22. Fisher Weight Maps with Dimensionality Reduction (3) 𝒙(1), ⋯ , 𝒙(𝑐−1) = 𝐇T 𝐖opt 𝒙 = 𝑯 𝑇 𝒘 １つの𝒘に対して，データ𝑯の重み付けは で与えられるので， (𝐶 − 1)列の𝑾 𝑜𝑝𝑡では 𝑑 × (𝐶 − 1)の特徴 量行列を得る 𝒙(𝑙)： 𝑙番目のFisher Wight Mapで重み付けした𝑑次元の特徴量ベクトル (𝐶 − 1)個の特徴量ベクトルを連結して， 𝝃 = 𝒙 1 𝑇 , ⋯ , 𝒙 𝐶−1 𝑇 𝑇 これが画像を表現する特徴量ベクトルである
- 23. 識別 画像特徴量ベクトル𝜉&から識別を行う SVMやKernel Fisher Discriminant Analysisなどを利用す ることもできるが，ここではFisher線形判別分析を用いる 𝒚 = 𝐀T 𝝃 に対して，Fisher Criterionを最大にする行列 𝐀 ∈ 𝑹 𝑑 𝐶−1 × 𝑐−1 を求める ある画像が与えられた時，それに対する𝒚を計算し，中心が 最も近いクラスに識別する
- 24. 笑顔検出実験 Fisher Weight Mapでは，笑顔検出に重要な口元や目の周囲 などに大きな重みが割り当てられた 96画像（12画像 x2表情 x 4人） 30x30画素，256段階グレースケー ル 学習データ： 72画像（2表情x3人） テストデータ：残りの24画像 4回繰り返して実験
- 25. 表情認識実験 JAFFEデータベース 193画像（9人，7表情） 32x40画素，256段階グレースケー ル 学習データ： 8人の画像 テストデータ：残りの1人の画像 9回繰り返して実験
- 26. Improving Local Descriptors by Embedding Global and Local Spatial Information T. Harada, H. Nakayama, and Y. Kuniyoshi, European Conference on Computer Vision, 2010.
- 27. 背景と目的 一般物体認識の特徴量 • Local spatial information: Self Similarity, Geometric Blur, SIFT • Global spatial information: HOG, GIST, BoW, PHOG, PHOW 目的 • 局所特徴量が与えられた時，LocalとGlobalのSpatial Informationをどの ように特徴量表現に組み込むと，簡潔で識別性能の高い特徴量が得られる か？ 手法 • Local Spatial Informationを組み込むために，局所自己相関(Local Auto- Correlation)を利用 • Global Spatial Informationを組み込むために，Fisher Weight Mapsを利 用 • 識別にNaïve Bayes Probabilistic Linear Discriminant Analysisを利用
- 28. 提案手法の概要(1) 画像を𝑀領域に分割し，各領域から𝐾種類の特徴量ベクトル𝑓を 抽出（texture, shape, colorなど） 𝒇𝑖 (𝑘) = 𝒇𝑖1 𝑘 𝑇 , ⋯ , 𝒇𝑖𝑀 𝑘 𝑇 𝑇 𝒇𝑖𝑗 𝑘 ∈ 𝑹 𝑑 𝑘 : 画像𝑰𝑖の領域𝑗から抽出した𝑘種類目の特徴量ベクトル 画像𝑰𝑖に対する特徴量ベクトル𝒇𝑖は， 𝐾種類の特徴量ベクトル を連結して， 𝒇𝑖 = 𝒇𝑖 1 𝑇 , ⋯ , 𝒇𝑖 𝐾 𝑇 𝑇 画像の特徴量ベクトル𝒇𝑖を𝐶クラス 𝜔𝑙 𝑙=1 𝐶 に分類する問題を考 える 𝑐 = arg max 𝑙 𝑃 𝜔𝑙|𝒇𝑖 &⇒ 𝒇𝑖 ∈ 𝜔𝑐
- 29. 提案手法の概要(2) ベイズの定理を利用して，事前確率が全てのクラスに対して等 しいと仮定すると， 各クラス𝜔𝑙&において， 𝐾種類の特徴量ベクトルを独立とすると (Naïve Bayse Approach) 𝑐 = arg max 𝑙 𝑝 𝒇𝑖|𝜔𝑙 &⇒ 𝒇𝑖 ∈ 𝜔𝑐 𝑝 𝒇𝑖|𝜔𝑙 &= 𝑝 𝒇𝑖 1 𝑇 , ⋯ , 𝒇𝑖 𝐾 𝑇 𝑇 |𝜔𝑙 &= 𝑝 𝒇𝑖 𝑘 |𝜔𝑙 𝐾 𝑘=1 ln 𝑝 𝒇𝑖|𝜔𝑙 &= ln 𝑝 𝒇𝑖 𝑘 |𝜔𝑙 𝐾 𝑘=1 𝑝 𝒇𝑖 𝑘 |𝜔𝑙 に対してもNaïve Bayse Approachを考えることができるが，そ の方法では領域間の関係性を無視することになる
- 30. 提案手法の概要(3) そこで，領域ごとの特徴量の重み付き線形結合を考える 𝒈𝑖 𝑘 = 𝒇𝑖 𝑘 𝑇 𝒘 𝑘 = 𝑤1 𝑘 𝒇𝑖1 𝑘 + ⋯ + 𝑤 𝑀 𝑘 𝒇𝑖𝑀 𝑘 𝒇𝑖 (𝑘) = 𝒇𝑖1 𝑘 𝑇 , ⋯ , 𝒇𝑖𝑀 𝑘 𝑇 𝑇 𝒘(𝑘) = 𝑤1 𝑘 , ⋯ , 𝑤 𝑀 𝑘 𝑇 重みベクトル𝒘(𝑘) は複数考えられるので，その数を𝑀′ として 𝒈𝑖𝑗 𝑘 = 𝒇𝑖 𝑘 𝑇 𝒘𝑗 𝑘 𝒈𝑖 𝑘 ′ = 𝒈𝑖1 𝑘 𝑇 , ⋯ , 𝒈𝑖𝑀′ 𝑘 𝑇 𝑻 𝒈𝑖 𝑘 ′ をPCAで次元圧縮した特徴ベクトルを𝒉𝑖 𝑘 とすると，識別 ルールは， 𝑐 = arg max 𝑙 ln 𝑝 𝒉𝑖 𝑘 |𝜔𝑙 𝐾 𝑘=1 &⇒ 𝑰𝑖 ∈ 𝜔𝑐
- 31. Local Spatial Information 各領域から特徴量𝒇𝑖𝑗 𝑘 の抽出 Φ 𝒂𝑗 = 1 𝑁𝐽 𝜙 𝒓𝑖 𝜙 𝒓𝑖 + 𝒂𝑗 𝑇 𝑖∈𝐽 Φ = 1 𝑁𝐽 𝜙 𝒓𝑖 𝑖∈𝐽 1次の局所自己相関 0次の局所自己相関 Φ 0 = 1 𝑁𝐽 𝜙 𝒓𝑖 𝜙 𝒓𝑖 𝑇 𝑖∈𝐽 特に 領域特徴量 𝒇𝑖𝑗 𝑘 = Φ 𝑇, 𝜂 Φ 0 𝑇 , 𝜉 Φ 𝒂1 𝑇 , ⋯ , 𝜉 Φ 𝒂 𝑁 𝑎 𝑇 𝐓 対称行列なので，右上部 分を連結して並べる関数 行列の全ての要素を抜き 出して連結する関数 𝜙 𝒓𝑖 ：位置𝒓𝑖における 局所特徴量ベクトル 対称行列
- 32. Global Spatial Information 𝒈𝑖𝑗 𝑘 = 𝒇𝑖 𝑘 𝑇 𝒘𝑗 𝑘 領域特徴量𝒇𝑖 𝑘 に対する重み付けベクトル𝒘𝑗 𝑘 を求める → Fisher Weight Mapsを利用 教師付き学習データ 𝒇𝑖 𝑘 , 𝑦𝑖 𝑖=1 𝑁 からFisher Criterionを最大に する重みベクトルを求める 𝐽 𝑾 &= 𝑡𝑟𝚺 𝐁 𝑡𝑟𝚺 𝐰 &= 𝒘 𝑇 𝚺B 𝐰 𝒘 𝑇 𝚺W 𝐰 𝚺W = 1 N 𝒇𝑖 𝑘 − 𝑴𝑙 𝒇𝑖 𝑘 − 𝑴𝑙 𝑇 𝑖∈𝜔𝑙 𝐶 𝑙=1 𝚺B = 1 N 𝑛𝑙 𝑴𝑙 − 𝑴 𝑴𝑙 − 𝑴 𝑇 𝐶 𝑙=1 𝚺 𝑩 𝐰 = 𝜆𝚺 𝑾 𝒘一般固有値問題 大きい固有値𝑀′ ≤ 𝐶 − 1に対応する固有ベクトルを𝒘𝑗 𝑘 とする
- 33. 識別 (1) 𝑐 = arg max 𝑙 ln 𝑝 𝒉𝑖 𝑘 |𝜔𝑙 𝐾 𝑘=1 &⇒ 𝑰𝑖 ∈ 𝜔𝑐 識別ルール 確率密度関数𝑝 𝒉𝑖 𝑘 |𝜔𝑙 の推定にProbabilistic Linear Discriminant Analysisを利用 学習データ： (𝒙𝑖, 𝑦𝑖)|𝒙𝑖 ∈ 𝑹 𝒅 , 𝑦𝑖 ∈ 𝜔1, ⋯ , 𝜔 𝐶 𝑖=1 𝑁 テストデータ： 𝒙t 𝒖 = 𝐀−1 𝒙 − 𝒎 &&&(𝐀 ∈ 𝑹 𝑑×𝑑′ , 𝒎 ∈ 𝑹 𝑑) 潜在変数 𝑝 𝒖 𝑡 𝜔𝑗 = 𝑁 𝒖 𝑡| 𝑛𝑗 𝜳 𝑛𝑗 𝜳 + 𝐼 𝒖𝒋, 𝑰 + 𝜳 𝑛𝑗 𝜳 + 𝐼
- 34. 識別 (2) 𝒙に対するFisher線形判別分析から 𝑺 𝑩 𝐖 = 𝐒 𝑾 𝑾𝚲 の固有値を対角成分に持つ行列𝚲及び固有ベクトルを並べた行 列𝐖を求める（ 𝑺 𝑩，𝐒 𝑾はそれぞれ𝒙に対するクラス間・クラ ス内共分散行列） 𝚲 𝑏 = 𝑾 𝑇 𝑺 𝑩 𝐖, 𝚲 𝑤 = 𝑾 𝑇 𝑺 𝑾 𝐖 𝚲 𝑏, 𝚲 𝑤をそれぞれ𝑺 𝑩，𝐒 𝑾を対角化した対角行列として 𝒎&= 1 𝑁 𝒙𝑖 𝑁 𝑖=1 𝐀&= 𝑾−𝑇 𝑛 𝑛 − 1 𝚲w 1 2 Ψ&= max 0, 𝑛 − 1 𝑛 𝚲b 𝚲w − 1 𝑛 𝒖 = 𝐀−1 𝒙 − 𝒎 &&&(𝐀 ∈ 𝑹 𝑑×𝑑′ , 𝒎 ∈ 𝑹 𝑑) 𝑝 𝒖 𝑡 𝜔𝑗 = 𝑁 𝒖 𝑡| 𝑛𝑗 𝜳 𝑛𝑗 𝜳 + 𝐼 𝒖𝒋, 𝑰 + 𝜳 𝑛𝑗 𝜳 + 𝐼 潜在変数の確率密度関数
- 35. 実験結果（シーン認識） GLC: 局所自己相関と して Φ 𝑇, 𝜂 Φ 0 𝑇 𝑇 を 利用（周辺との相関を 利用しない）
- 36. 実験結果（物体認識）
- 37. まとめ • Fisher線形判別分析とFisher Weight Mapsを紹介した • Fisher Weight Mapsは，各領域の最適な重みを求めるのに有 用である • 局所自己相関とFisher Weight Mapsを組み合わせた手法は， 任意の局所特徴量に適用できるので，広い範囲に応用できそ う