Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

顕著性マップの推定手法

8,398 views

Published on

論文紹介です。

Published in: Engineering
  • Be the first to comment

顕著性マップの推定手法

  1. 1. Introduction Saliency Map Models Conclusions 顕著性マップの計算モデル 山中高夫 情報理工学科 上智大学 文献紹介 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  2. 2. Introduction Saliency Map Models Conclusions 文献リスト 文献紹介 [1] Itti, Koch, and Niebur, “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis,” PAMI, vol. 20, no. 11, 1998. [2] Bruce and Tsotsos, “Saliency Based on Information Maximization,” NIPS, 2005. [3] Harel, Koch, and Perona, “Graph-Based Visual Saliency,” NIPS, 2006. [4] Hou and Zhang, “Saliency Detection : A Spectral Residual Approach,” CVPR, 2007. [5] Zhang et al., “SUN: A Bayesian framework for saliency using natural statistics,” Journal of Vision, vol. 8, no. 7, 2008. [6] Garcia-Diaz et al., “Saliency from hierarchical adaptation through decorrelation and variance normalization,” Image and Vision Computing, vol. 30, no. 1, 2012. [7] Riche et al., “RARE2012: A multi-scale rarity-based saliency detection with its comparative statistical analysis,” Signal Processing: Image Communication, vol. 28, no. 6, 2013. [8] Kummerer et al., “Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet,” arXiv, 2014, 1411.1045v1. 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  3. 3. Introduction Saliency Map Models Conclusions 背景と目的 背景 人が画像を見た時に注視が集まりやすい場所 を,画像特徴量から推定する計算モデルが提 案されている。 計算モデルにより推定された注視の観測され る確率を表す画像を顕著性マップと呼ぶ。 このような計算モデルは,画像認識や物体検 出などのコンピュータビジョンの課題におけ る前処理として利用することが期待されて いる。 目的 現在提案されている顕著性マップの計算モデ ルのうち主な手法を紹介する。 画像と注視点 顕著性マップ 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  4. 4. Introduction Saliency Map Models Conclusions 顕著性マップの計算モデル ITTI Model [1] AIM [2] GBVS [3] SpectralResidual [4] SUN [5] AWS [6] RARE2012 [7] DeepGaze [8] adapted from [7] 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  5. 5. Introduction Saliency Map Models Conclusions ITTI Model [Itti, PAMI1998] (1) Architecture 1 Extraction of early visual features 2 Normalization of each visual feature 3 Integration of visual features Early Visual Features Intensity channels: 6 DoG (Difference of Gaussian) images Color channels: 6 DoG images × 2 color channels (RG, BY) Orientation channels: 6 DoG images × 4 orientations (Gabor-filtered images) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  6. 6. Introduction Saliency Map Models Conclusions ITTI Model [Itti, PAMI1998] (2) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  7. 7. Introduction Saliency Map Models Conclusions AIM [Bruce, NIPS2005] (1) AIM: Attention based on Information Maximization 1 様々な画像のパッチから ICA の 基底ベクトルを求める 2 対象画像に対して基底ベクトル に対する係数を求める 3 対象画像の局所領域に対して, 係数の確率密度関数 p(x) をガウ スカーネル密度推定で求め,尤 度 p(X) を計算する(X は中心 パッチに対する全基底ベクトル の係数) 4 −log(p(X)) で定義される自己 情報量から顕著性マップを求 める 周辺パッチに対して珍しい値の場合 は顕著度が高い。周辺と同じような 値の場合は顕著度が低い。 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  8. 8. Introduction Saliency Map Models Conclusions AIM [Bruce, NIPS2005] (2) カーネル密度推定の神経回路モデル i 番目の基底ベクトルに対する中心パッチ (j, k) の尤度 p(Xi) = 1 σ √ 2π ∑ ∀s,t∈Ψ w(s, t)e−(vi,j,k−vi,s,t)2/2σ2 全基底ベクトルの係数に対する尤度 p(X) = ∏ i p(Xi) vi,j,k: 中心パッチ (j, k) の i 番目の基底ベクト ルに対する係数 s, t: 周辺パッチ w(s, t): カーネル密度 推定の重み係数 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  9. 9. Introduction Saliency Map Models Conclusions AIM [Bruce, NIPS2005] (3) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  10. 10. Introduction Saliency Map Models Conclusions GBVS [Harel, NIPS2006] (1) GBVS: Graph-based Visual Saliency 1 チャネルごとの Feature Maps を作成する 2 各画素をノードとする完全有効グラフを作成する 3 下記で計算される重みを遷移確率として平衡に達するまで状態 を遷移させる (Activation Map) w1((i, j), (p, q)) = d((i, j)||(p, q))F(i − p, j − q) d((i, j)||(p, q)) ≜ log M(i, j) M(p, q) , F(a, b) ≜ exp ( − a2 + b2 2σ2 ) 4 下記で計算される重みを遷移確率として平衡に達するまで状態 を遷移させる (Normalization) w2((i, j), (p, q)) = A(p, q)F(i − p, j − q) A(p, q) : Activation Map 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  11. 11. Introduction Saliency Map Models Conclusions GBVS [Harel, NIPS2006] (2) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  12. 12. Introduction Saliency Map Models Conclusions SpectralResidual [Hou, CVPR2007] (1) 自然画像の特徴 多くの自然画像では,周波数ス ペクトルが両対数グラフでほぼ 直線に近似できる 複数画像の対数周波数スペクト ルを平均することによりなだら かな曲線となる 個々の画像に特有の情報は,平 均スペクトルとの差に現れる 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  13. 13. Introduction Saliency Map Models Conclusions SpectralResidual [Hou, CVPR2007] (2) 振幅 A(f ) = abs(F[I(x)]) 位相 P(f ) = angle(F[I(x)]) 対数スペクトル L(f ) = log(A(f )) 残差スペクトル R(f ) = L(f ) − hn(f ) ∗ L(f ) 顕著性マップ S(x) = g(x) ∗ F−1 [exp(R(f ) + jP(f ))]2 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  14. 14. Introduction Saliency Map Models Conclusions SpectralResidual [Hou, CVPR2007] (3) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  15. 15. Introduction Saliency Map Models Conclusions SUN [Zhang, JVision2008] (1) SUN: Saliency Using Natural statistics 画像中の点 z における顕著度を以下の式で定義する sz = p(C = 1|F = fz, L = lz) = p(F = fz, L = lz|C = 1)p(C = 1) p(F = fz, L = lz) C : 顕著であることを表す 2 値確率変数 F : 画像特徴量を表す確率変数 L : 位置を表す確率変数 F と L が独立,かつ C = 1 において条件付き独立であると仮 定すると sz は以下の式に変形できる sz = 1 p(F = fz) p(F = fz|C = 1)p(C = 1|L = lz) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  16. 16. Introduction Saliency Map Models Conclusions SUN [Zhang, JVision2008] (2) 顕著度 sz sz = 1 p(F = fz) p(F = fz|C = 1)p(C = 1|L = lz) 1 p(F=fz) : Bttom-up Saliency(対象物体とは独立) p(F = fz|C = 1): 尤度(対象物体に依存 Top-down Knowledge) p(C = 1|L = lz): 位置の事前確率(対象物体に依存 Top-down Knowledge) 対数をとっても大小関係は変わらないので,顕著度 log sz を考 えると, log sz = − log p(F = fz) + log p(F = fz|C = 1) + log p(C = 1|L = lz) − log p(F = fz): 自己情報量, log p(F = fz|C = 1): 対数尤度, log p(C = 1|L = lz): 位置の事前確率 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  17. 17. Introduction Saliency Map Models Conclusions SUN [Zhang, JVision2008] (3) 任意の物体が対象であり,Top-donw Knowledge を表す項の確 率分布が一様分布と仮定する log sz = − log p(F = fz) + constant 実装方法 2 種類の実装: DoG Filters, ICA Filters フィルタ後の値の確率密度関数を一般化ガウス分布で推定 AIM と異なり,確率密度関数は各画像に対して推定するのでは なく,たくさんの自然画像にフィットする確率密度関数を推定 する。 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  18. 18. Introduction Saliency Map Models Conclusions SUN [Zhang, JVision2008] (4) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  19. 19. Introduction Saliency Map Models Conclusions AWS [GarciaDiaz, IVC2012] (1) AWS: Adaptive Whitening Saliency 1 PCA(主成分分析)でカラーチャネルの白色化 2 複数スケールの log-Gabor フィルタで特徴抽出 3 各チャネルの複数スケール特徴量に対して PCA で白色化 4 全チャネルを統合 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  20. 20. Introduction Saliency Map Models Conclusions AWS [GarciaDiaz, IVC2012] (2) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  21. 21. Introduction Saliency Map Models Conclusions RARE [Riche, SPIC2013] (1) RARE 2012 1 PCA でカラーチャネルを分け, ガボールフィルタで特徴量を抽 出する (Step 1) 2 各チャネルで複数スケールの画 像ピラミッドを作成し,全画素 のヒストグラムで特徴量の確率 密度関数を推定する (Step 2-1) 3 以下の式で表される自己情報量 を求める (Step 2-2) s(Ij) = − log ( 1 S × |Ij| S ∑ i=1 ni ) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  22. 22. Introduction Saliency Map Models Conclusions RARE [Riche, SPIC2013] (2) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  23. 23. Introduction Saliency Map Models Conclusions DeepGaze [Kummerer, arXiv2014] (1) conv 層出力の線形和 s(x, y) = ∑ k wkrk(x, y) ∗ Gσ センターバイアスの考慮 o(x, y) = αc(x, y) + s(x, y) softmax 処理 p(x, y) = exp(o(x, y)) ∑x,y exp(o(x, y)) パラメータ σ, α, wk を学習するための損失 関数 c(σ, α, w) = − 1 N N ∑ i log p(xi, yi) + λ |w|1 |w|2 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  24. 24. Introduction Saliency Map Models Conclusions DeepGaze [Kummerer, arXiv2014] (2) 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  25. 25. Introduction Saliency Map Models Conclusions 精度評価 (1) Figure: The s-AUC scores on MIT300 in MIT Saliency Benchmark 1. 1http://saliency.mit.edu/results_mit300.html 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  26. 26. Introduction Saliency Map Models Conclusions 精度評価 (2) ITTI Model [1] AIM [2] GBVS [3] SpectralResidual [4] SUN [5] AWS [6] RARE2012 [7] DeepGaze [8] adapted from [7] 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map
  27. 27. Introduction Saliency Map Models Conclusions まとめ 現在提案されている顕著性マップの計算モデルのうち主な手法 を紹介した。 新しい手法ほど精度が向上する傾向がある。 DeepLearning が SaliencyMap 推定に活用されはじめている。 今後,さらに精度の高い推定手法の検討とともに,評価方法の 確立や有効な応用例の検討なども必要であろう。 2015/06/19 上智大学 山中高夫 Computational Models for Saliency Map

×