Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Objectnessとその周辺技術

5,795 views

Published on

文献紹介のスライドです。学部4年生〜修士課程1年生くらい向けです。

Published in: Education
  • Be the first to comment

Objectnessとその周辺技術

  1. 1. Objectnessとその周辺技術Objectness[1] B. Alexe, T. Deselaers, and V. Ferrari, “What is an object ?,” in IEEE Conference on Computer Visionand Pattern Recognition, 2010.[2] B. Alexe, T. Deselaers, and V. Ferrari, “Measuring the objectness of image windows,” IEEETransactions on Pattern Analysis and Machine Intelligence, vol. 34, no. 11, pp. 2189–2202, 2012.([1]と同じ提案手法でデータを追加してPAMIに掲載された論文)Saliency[3] L. Itti, C. Koch, and E. Niebur, “A Model of Saliency-Based Visual Attention for Rapid SceneAnalysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 11, pp. 1254–1259, 1998.[4]X. Hou and L. Zhang, “Saliency Detection : A Spectral Residual Approach,” in IEEE Conference onComputer Vision and Pattern Recognition, 2007.Segmentation[5]P. F. Felzenszwalb and D. P. Huttenlocher, “Efficient Graph-Based Image Segmentation,”International Journal of Computer Vision, vol. 59, no. 2, 2004.Fusing Generic Objectness and Visual Saliency[6]K. Chang, T. Liu, H. Chen, and S. Lai, “Fusing Generic Objectness and Visual Saliency for SalientObject Detection,” in International Conference on Computer Vision, 2011.Dec 05, 2012 山中高夫
  2. 2. 背景 画像中の注目領域検出• Saliency(顕著度)[Itti PAMI1998]• Objectness [Alexe CVPR2010, Alexe PAMI2012]Saliency Map [Itti PAMI1998]Objectness[Alexe CVPR2010, Alexe PAMI2012]Green: Ground TruthBlue: Partially coveringground truthRed: Wrong windows
  3. 3. Objectness Objectnessの構成要素(4指標)• Multi-scale Saliency (MS)[Hou CVPR2007]のSaliencyを利用• Color Contrast (CC)• Edge Density (ED)• Superpixels Straddling (SS)[Felzenszwalb IJCV2004]のSegmentationを利用MSCCEDSS
  4. 4. Objectness Objectnessの構成要素(4指標)• Multi-scale Saliency (MS)[Hou CVPR2007]のSaliencyを利用• Color Contrast (CC)• Edge Density (ED)• Superpixels Straddling (SS)[Felzenszwalb IJCV2004]のSegmentationを利用MSCCEDSS
  5. 5. Saliency Detection :A Spectral Residual Approach[Hou CVPR2007] X. Hou and L. Zhang, “Saliency Detection : A SpectralResidual Approach,” in IEEE Conference on Computer Vision and PatternRecognition, 2007.
  6. 6. • 画像のSaliencyを計算する手法が[Itti PAMI1998]で提案されて以来,様々な手法が提案されている• しかし,それらは複雑なモデルを利用しており,計算量が多い• これらの多くの手法では,物体の対象領域に着目し,その特徴をモデル化しているが,様々な対象物体を統一的な枠組みでモデル化することは難しいSaliency Map [Itti PAMI1998]背景
  7. 7. 目的• 対象物体ではなく,背景の特徴に着目し,その背景モデルを利用する• 自然画像の特徴を利用した単純な背景モデルを利用することにより,計算量の少ないSaliencyモデルを提案する自然画像の特徴多くの自然画像では,全方向の平均周波数スペクトルが両対数グラフでほぼ直線に近似できる→ しかし,周波数軸を対数でとると,低周波数の点が不規則になるので,周波数軸は実軸とする
  8. 8. 対数周波数スペクトル表現
  9. 9. 平均周波数スペクトル• 複数画像の対数周波数スペクトルを平均することにより,なだらかな曲線となる• 多くの画像を平均したスペクトルでは局所的な線形性が成り立つ• 個々の画像に特有の情報は,平均スペクトルとの差に現れる。
  10. 10. Spectral Residual• 個々の画像の対数周波数スペクトルL(f)と平均対数周波数スペクトルA(f)の差 Spectral Residual R(f)を,Saliencyとして利用する• ただし,平均対数周波数スペクトルA(f)を,1枚の画像に対する対数周波数スペクトルL(f)に移動平均フィルタhn(f)をかけた波形で近似する𝑅 𝑓 = 𝐿 𝑓 − 𝐴(𝑓)𝐴 𝑓 ≅ ℎ 𝑛 𝑓 ∗ 𝐿(𝑓)畳み込み積分A(F)L(F)
  11. 11. Spectral Residualの計算例L(F)R(F)A(F)
  12. 12. Saliency Map• 求められたSpectral Residual R(f)からSaliency MapS(x)を求めるため,元の画像の位相情報P(f)をそのまま使って逆フーリエ変換する𝑆 𝑥 = 𝑔 𝑥 ∗ 𝐹−1[exp 𝑅 𝑓 exp⁡( 𝑗𝑃 𝑓 )]2振幅情報 位相情報= 𝑔 𝑥 ∗ 𝐹−1[exp 𝑅 𝑓 + 𝑗𝑃 𝑓 ]2Saliency Mapを平滑化するためのガウシアンフィルタ
  13. 13. 計算方法のまとめ𝑆 𝑥 = 𝑔 𝑥 ∗ 𝐹−1[exp 𝑅 𝑓 + 𝑗𝑃 𝑓 ]2𝐴 𝑓 = 𝑎𝑏𝑠(𝐹 𝐼 𝑥 )𝐼(𝑥) 入力画像𝑃 𝑓 = 𝑎𝑛𝑔𝑙𝑒(𝐹 𝐼 𝑥 )振幅(周波数スペクトル)位相𝐿 𝑓 = log⁡( 𝐴 𝑓 )𝑅 𝑓 = 𝐿 𝑓 − ℎ 𝑛 𝑓 ∗ 𝐿(𝑓)対数スペクトル残差スペクトル論文では虚数単位がぬけているので注意
  14. 14. Visual Scaleの選択• 入力画像の解像度(画素数)によりSaliency Mapの結果が異なる• 解像度が高いほど細かい部分を検出し,低いほどおおまかな物体を検出する• 本研究では,経験的に64x64の画像に変換してSaliencyMapを求めると良い結果が得られることがわかった32x32512x512
  15. 15. 定性的な実験結果(1)
  16. 16. 定性的な実験結果(2)
  17. 17. 定量的な実験結果(1) 評価指標• 被験者4人に対して物体のGround Truthを取得k番目の被験者に対する画素xの判定𝑂 𝑘 𝑥 =10for 物体for 非物体𝐻𝑅 = 𝐸 𝑂 𝑘(𝑥) ∙ 𝑆(𝑥)𝑘𝐹𝐴𝑅 = 𝐸 (1 − 𝑂 𝑘(𝑥)) ∙ 𝑆(𝑥)𝑘Hit RateFalse Alarm Rate
  18. 18. 定量的な実験結果(2)
  19. 19. 実験結果の比較input SR Itti Ok
  20. 20. 心理実験に利用されるパターン
  21. 21. Objectness Objectnessの構成要素(4指標)• Multi-scale Saliency (MS)[Hou CVPR2007]のSaliencyを利用• Color Contrast (CC)• Edge Density (ED)• Superpixels Straddling (SS)[Felzenszwalb IJCV2004]のSegmentationを利用MSCCEDSS
  22. 22. Efficient Graph-Based ImageSegmentation[Felzenszwalb IJCV2004] P. F. Felzenszwalb and D. P. Huttenlocher,“Efficient Graph-Based Image Segmentation,” International Journal ofComputer Vision, vol. 59, no. 2, 2004.
  23. 23. 背景と目的 背景• コンピュータビジョンの様々な課題に対して,画像中の画素をグループ分けする手法(Segmentation)が役立つ• 人の視覚における物体の認識でも,物体の知覚的なグループ分けが有効であると考えられている 目的• コンピュータビジョンの様々な課題に対して幅広く役立つSegmentation手法を提案する• 以下の2つの特徴を有する手法を提案する(1) 知覚的に重要なグループ分けを行う(2) 効率的に計算できる
  24. 24. Graph-Based Segmentation𝐺 = (𝑉, 𝐸)無向グラフ𝐺𝑉𝐸頂点の集合エッジの集合𝑣𝑖𝑣𝑗(𝑣𝑖, 𝑣𝑗)Image Segmentationでは画素に対応Image Segmentation → グラフの頂点Vの分割各エッジは重みw(vi, vj)を持つ𝐺グラフ
  25. 25. 提案手法のコンセプト• ある画像のImage Segmentationを考える• その画像中の2つの隣合うSegmentation領域間のDissimilarity(相違度)が,各Segmentation領域内の相違度より大きい時,その2つの領域を異なる領域として扱う• 逆に,Segmentation領域間の相違度が,各Segmentation領域内の相違度より小さい時,その2つの領域を結合する領域C2領域C1𝑣𝑗𝑣𝑖(𝑣𝑖, 𝑣𝑗)
  26. 26. コンセプトの数式モデル領域内の相違度(領域内の隣合う頂点間の重みの最大値)𝐼𝑛𝑡 𝐶 = max𝑒∈𝑀𝑆𝑇(𝐶,𝐸)𝑤(𝑒)領域間の相違度(領域間の隣合う頂点間の重みの最小値)𝐷𝑖𝑓 𝐶1, 𝐶2 = min𝑣 𝑖∈𝐶1,𝑣 𝑗∈𝐶2,(𝑣 𝑖,𝑣 𝑗)∈𝐸𝑤((𝑣𝑖, 𝑣𝑗))領域間の分離𝐷 𝐶1, 𝐶2 =𝑡𝑟𝑢𝑒𝑓𝑎𝑙𝑠𝑒𝐷𝑖𝑓 𝐶1, 𝐶2 > ⁡𝑀𝐼𝑛𝑡(𝐶1, 𝐶2)forotherwiseただし,𝑀𝐼𝑛𝑡 𝐶1, 𝐶2 = min⁡( 𝐼𝑛𝑡 𝐶1 + 𝜏 𝐶1 , 𝐼𝑛𝑡 𝐶2 + 𝜏 𝐶2 )𝜏 𝐶 = 𝑘/ 𝐶 Threshold function
  27. 27. 領域の分離・結合の効率的計算方法入力:G=(V, E) where V n個の頂点,E m本のエッジ出力:Vに対するSegmentation S=(C1, …, Cr)1. m本のエッジEを小さい順に並べる(o1, …, om)2. すべての頂点が個々に領域となっているS0から開始3. ステップ4をq=1, …, mまで繰り返す4. Sq-1からSqを以下のように求める。Sq-1において,vi, vjがそれぞれCiq-1, Cjq-1の領域にあるとする。 Ciq-1 ≠ Cjq-1 かつw(oq)≦MInt(Ciq-1, Cjq-1)の時, Ciq-1とCjq-1を結合してSqとする。それ以外の時,Sq=Sq-1とする。5. S=Smを出力するこのアルゴリズムで求められたSegmentationは前述の特徴を満たす
  28. 28. グリッドグラフに対する実験(実験手法)• グラフの頂点vi∈Vを画像の各画素とする• グラフのエッジEを8近傍の画素の結合とする• エッジの重みを以下のように画素間の輝度差とするI(vi)は画素viにおける輝度を表すが,通常,元画像にガウシアンフィルタをかけて多少スムージングを行う(本研究ではσ=0.8のガウシアンフィルタ)• カラー画像に対しては,各チャネルに対してSegmentationを行い,全チャネルで同じ領域にある画素を一つの領域として出力する𝑤 𝑣𝑖, 𝑣𝑗 = 𝐼 𝑣𝑖 − 𝐼(𝑣𝑗)
  29. 29. グリッドグラフに対する実験(実験結果)
  30. 30. 最近傍グラフに対する実験(実験手法)• グラフの頂点vi∈Vを画像の各画素とする• 各画素(頂点)における特徴量として,(x, y, r, g, b)を用いる• グラフのエッジEを,特徴量空間における近傍の頂点から構成する(本実験では10近傍を使用する)• エッジの重みを特徴量空間におけるユークリッド距離とする𝑤 𝑣𝑖, 𝑣𝑗 = (𝑓𝑖 − 𝑓𝑗)2𝑓∈𝑥,𝑦,𝑟,𝑔,𝑏
  31. 31. 最近傍グラフに対する実験(実験結果)
  32. 32. Objectness Objectnessの構成要素(4指標)• Multi-scale Saliency (MS)[Hou CVPR2007]のSaliencyを利用• Color Contrast (CC)• Edge Density (ED)• Superpixels Straddling (SS)[Felzenszwalb IJCV2004]のSegmentationを利用MSCCEDSS
  33. 33. Fusing Generic Objectness and VisualSaliency for Salient Object Detection[Chang ICCV2011] K. Chang, T. Liu, H. Chen, and S. Lai, “Fusing GenericObjectness and Visual Saliency for Salient Object Detection,” inInternational Conference on Computer Vision, 2011.
  34. 34. 背景と目的 背景• ObjectnessとSaliencyは深く関係しているが,その関係性を双方向に活用した例はない• 例えば,Objectnessを計算するためにSaliencyを利用していたり,Saliencyを計算するためにObjectの情報を活用したりする例があるが,双方向の関係性は考慮されていない 目的• ObjectnessとSaliencyの関係性を双方向に活用する手法を提案する• つまり,Objectnessの情報を活用してSaliencyの精度を向上し,逆にSaliencyの情報を活用してObjectnessの精度を向上する
  35. 35. ObjectnessとSaliencyの双方向改善例(c) S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-Aware Saliency Detection,” CVPR 2010.(d) R. Achanta, et al., “Frequency-tuned Salient Region Detection,” CVPR 2009.(e) B. Alexe, T. Deselaers, and V. Ferrari, “What is an object ?,” CVPR 2010.
  36. 36. ObjectnessとSaliencyの統合モデル従来のSaliencyただしSegmentationによるSuperpixel毎にSaliencyを求める従来のObjectness𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)𝐱 𝑠= [𝑥1𝑠, ⋯ , 𝑥 𝑚𝑠, ⋯ , 𝑥 𝑃𝑠]𝐱 𝑜= [𝑥1𝑜, ⋯ , 𝑥𝑖𝑜, ⋯ , 𝑥 𝑄𝑜]エネルギー関数の最小化
  37. 37. Saliencyに関するエネルギー関数𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)𝐹𝑠 𝐱 𝑠= (𝑝 𝑚𝑠− 𝑥 𝑚𝑠)2𝑚+ 𝜆 𝑠 𝑤 𝑚,𝑛(𝑥 𝑚𝑠− 𝑥 𝑛𝑠)2𝑚,𝑛∈𝜀従来のSaliency 求めたいSaliencyの値隣合うSaliencyの値𝑤 𝑚,𝑛 = exp⁡(−𝜎 𝐯 𝑘 − 𝐯𝑙 ⁡2)⁡(𝑘,𝑙)∈𝐵 𝑚,𝑛Superpixel間の境界画素のRGBベクトルvk, vlが近いときSaliencyも近い値にするSuperpixel間の境界の画素
  38. 38. Objectnessに関するエネルギー関数𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)𝐹𝑜 𝐱 𝑜= 𝜆 𝑜 (𝑝𝑖𝑜− 𝑥𝑖𝑜)2𝑖従来のObjectness求めたいObjectnessの値従来のObjectnessとできる限り近い値にする
  39. 39. SaliencyとObjectnessの相互作用(1)𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)あるObjectness window i に対して,まずObject-level Saliency ciを求めるただし,hi,c, hi, sはそれぞれObjectness window i の中心ヒストグラムと周辺ヒストグラムでり,その差をciとする
  40. 40. SaliencyとObjectnessの相互作用(2)𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)求めたciから,m番目のsuperpixelに対するTop-down saliency τmsを次式で求めるSaliencyとObjectnessの相互作用に対する評価関数を,τmsを用いて次式で定義する求めたいSaliencyの値
  41. 41. 評価関数の最小化𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)以下の(1),(2)を繰り返して,評価関数F(xs, xo)を最小化する。(1)与えられたObjectness xoに対して,F(xs, xo)を最小にするSaliency xsを求める(2)与えられたSaliency xsに対して, F(xs, xo)を最小にするObjectness xoを求める
  42. 42. 評価関数の最小化(1)𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)(1)与えられたObjectness xoに対して,F(xs, xo)を最小にするSaliency xsを求める
  43. 43. 評価関数の最小化(2)𝐹 𝐱 𝑠, 𝐱 𝑜= 𝐹𝑠 𝐱 𝑠+ 𝐹𝑜 𝐱 𝑜+ ∆(𝐱 𝑠, 𝐱 𝑜)(2)与えられたSaliency xsに対して, F(xs, xo)を最小にするObjectness xoを求める1ステップ前のxioで近似上式を最小化するxoをcvx toolboxにより求めるM. Grant and S. Boyd. CVX:Matlab software for disciplined convexprogramming, version 1.21. http://cvxr.com/cvx
  44. 44. 実験結果(評価指標)評価指標:Average Precision (AP)Saliencyが上位i個のSuperpixelsをとったときの正解率全正解の個数Saliency Ground Truth Data(2種類)(1)目の動きを記録し,ガウシアンフィルタで平滑化した画像(2)Superpixel毎に目の動きが通過する割合を記録全正解のSuperpixelに対して,正解率の平均を計算
  45. 45. 実験結果(Saliency 1)
  46. 46. 実験結果(Saliency 2)
  47. 47. 実験結果(Objectness)
  48. 48. Conclusions
  49. 49. まとめ• Objectnessとその周辺技術について紹介した• コンピュータビジョンの課題の多くは,前処理として対象物体の位置を特定する必要がある• Objectness及びその周辺技術は,その前処理手法を提供する汎用的なツールである
  50. 50. [参考] Objectnessにおける4指標の統合 4指標(MS, CC, ED, SS)を統合• 最も直接的な方法:MS, CC, ED, SSの同時確率を求める→ 計算量が多く,実際には困難• Naive Bayes Approach𝑝 𝑜𝑏𝑗⁡ ⁡𝑀𝑆, 𝐶𝐶, 𝐸𝐷, 𝑆𝑆 =𝑝 𝑀𝑆, 𝐶𝐶, 𝐸𝐷, 𝑆𝑆⁡ ⁡𝑜𝑏𝑗) 𝑝(𝑜𝑏𝑗)𝑝(𝑀𝑆, 𝐶𝐶, 𝐸𝐷, 𝑆𝑆)𝑝 𝑜𝑏𝑗⁡ ⁡𝑀𝑆, 𝐶𝐶, 𝐸𝐷, 𝑆𝑆 =𝑝 𝑀𝑆, 𝐶𝐶, 𝐸𝐷, 𝑆𝑆⁡ ⁡𝑜𝑏𝑗) 𝑝(𝑜𝑏𝑗)𝑝(𝑀𝑆, 𝐶𝐶, 𝐸𝐷, 𝑆𝑆)≅𝑝(𝑀𝑆 𝑜𝑏𝑗 𝑝 𝐶𝐶 𝑜𝑏𝑗 𝑝 𝐸𝐷 𝑜𝑏𝑗 𝑝(𝑆𝑆|𝑜𝑏𝑗)𝑝(𝑜𝑏𝑗)𝑝 𝑀𝑆 𝑝 𝐶𝐶 𝑝 𝐸𝐷 𝑝(𝑆𝑆)MS, CC, ED, SSが互いに独立であることを仮定して計算量を低減
  51. 51. [参考] Spectral Residualにおける移動平均フィルタサイズの影響• 移動平均フィルタのサイズは,Saliencyの計算結果にあまり影響を与えない(サイズはそれほど厳密に考えなくても良い)

×