CVIM mean shift-3

7,039 views

Published on

コンピュータビジョン最先端ガイド-2 2章3節

0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
7,039
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
58
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

CVIM mean shift-3

  1. 1. 第二章 3. ミーンシフトの理論 コンピュータ最先端ガイド勉強会 発表者 : 坪坂 正志 m.tsubosaka(at)gmail.com 2011/1/8 コンピュータ最先端ガイド勉強会 1
  2. 2. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 2
  3. 3. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 3
  4. 4. カーネル密度推定とは • ノンパラメトリックな密度関数の推定法 – Parzen windowsとも呼ばれる – ここでいうノンパラメトリックとは特定の分布関数を仮定し ないということ – 逆にデータが正規分布に従うなどの仮定を入れる方法の ことをパラメトリックと呼ぶ [Hastie+2009] The elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd edition)より 2011/1/8 コンピュータ最先端ガイド勉強会 4
  5. 5. カーネル密度推定の式 • データ点の集合 : = * | = 1, … , + • カーネル関数, その幅 • カーネル密度推定による分布関数 1 = (, , ) =1 • データ点を中心とおいた幅hのカーネル関数の和と して表される 2011/1/8 コンピュータ最先端ガイド勉強会 5
  6. 6. 本節で扱うカーネルのタイプについて • 球対称な形のカーネルについて考える • プロファイルと呼ばれる ≥ 0上の有界で区分的に 連続な非負値の関数()を用いて − 2 • , , = ( )の形のカーネルを扱う • カーネル密度推定の式 1 − 2 = ( ) =1 2011/1/8 コンピュータ最先端ガイド勉強会 6
  7. 7. カーネルの例 カーネルの名前 プロファイル関数 正規分布カーネル 1 exp(− ) 2 Epanechnikovカーネル 1 − (0 ≤ ≤ 1) 0 ( 1) フラットカーネル 0 ≤ ≤ 1 0 ( 1) ここで正規化項の部分はミーンシフトの場合は比の形となる ので簡単のため1とおく 2011/1/8 コンピュータ最先端ガイド勉強会 7
  8. 8. カーネル密度関数の勾配 • カーネル密度関数の勾配を求める 1 − 2 = +2 − ′ ( ) =1 • ここで = −′()とおくと 1 − 2 = +2 − ( ) =1 − 2 1 − 2 = × − +2 − 2 =1 2011/1/8 コンピュータ最先端ガイド勉強会 8
  9. 9. カーネル密度関数の勾配 • カーネル密度関数の勾配を求める 1 − 2 = +2 − ′ ( ) =1 • ここで = −′()とおくと 1 − 2 = +2 − ( ) =1 − 2 1 − 2 = × − +2 − 2 =1 ミーンシフトの更新式 2011/1/8 コンピュータ最先端ガイド勉強会 9
  10. 10. カーネル密度関数の勾配 • 整理すると 2 () = 2 () () − • これから 2 = 2 () ミーンシフトのステップ 密度関数の勾配方向 • なお、このようなミーンシフトカーネルGに対応する カーネルKをカーネルGのシャドウカーネルと呼ぶ 2011/1/8 コンピュータ最先端ガイド勉強会 10
  11. 11. ミーンシフトの性質 • ミーンシフトにおける最頻値探索はカーネル密度関 数上の最頻値に収束する – なおミーンシフトで使うカーネルと密度関数推定で使う カーネルは一般には同じではない、ただし正規分布カー ネルにおいては同じ。 • ステップ幅を自動設定する最急降下法とみなすこと もできる – 密度の小さいところではステップ幅が大きく、密度の高い 最頻値に近いところではステップ幅が小さくなる – これにより効率的で振動のない収束が得られることが推 測できる 2011/1/8 コンピュータ最先端ガイド勉強会 11
  12. 12. ミーンシフトの性質 カーネル密度関数 2011/1/8 コンピュータ最先端ガイド勉強会 12
  13. 13. ミーンシフトの性質 カーネル密度関数 2011/1/8 コンピュータ最先端ガイド勉強会 13
  14. 14. ミーンシフトの収束定理 • ミーンシフトの収束性については以下の定理が知ら れている[15,32] ミーンシフトの収束定理[15 Theorem 1] • カーネルKが凸状で単調減尐するプロファイルkを持つ ならば, KをシャドウとするカーネルGを用いたミーンシ フトによる最頻値探索は, Kによる密度関数上の初期 値近傍の最頻値点に必ず収束する。 2011/1/8 コンピュータ最先端ガイド勉強会 14
  15. 15. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 15
  16. 16. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較 (3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 16
  17. 17. カーネル幅推定の重要性 • 例えばミーンシフトを用いたクラスタリングではクラ スタ数を与える必要はなく、データに応じてクラスタ 数が決まる • クラスタ数はカーネルの幅に大きく作用される But… • 適切なカーネル幅を選ぶ必要がある 2011/1/8 コンピュータ最先端ガイド勉強会 17
  18. 18. カーネル幅による影響 • カーネル幅の値により、カーネル密度推定の結果が 大きく変わる – 幅が小さすぎるとすべての点でピークをとるようになる – 幅が大きすぎると単峰の分布となる = 5 = 0.05 = 0.5 2011/1/8 コンピュータ最先端ガイド勉強会 18
  19. 19. カーネル幅の推定手法に関する研究 • 統計的手法[46,49,58,64] – カーネル密度推定の誤差を最小化する – 未知の真の密度関数()とそのカーネル推定 ()の誤 差を何らかの基準 ISE(integrated squared error), MISE(mean ISE), AMISE(asymptotic MISE)で最小化する • ミーンシフトベクトルに基づく手法 – ミーンシフトベクトルの長さを最大化[17] • 高次微分や非等方カーネル幅行列への拡張[37] – SIFT法の基礎である自動スケール決定法とも関係[33] • 安定性を指標とした手法 – クラスタ解析の安定性を最適化[23] – ピークにガウス関数を当てはめ、結果が最も安定となる幅 を採用する手法[11,35,37,38] 2011/1/8 コンピュータ最先端ガイド勉強会 19
  20. 20. 応用利用 • 応用に関する研究 – サンプルデータから求めたカーネル幅を使って、階層的ク ラスタリングに応用している[63] – 安定な画像領域分割アルゴリズムへの応用[65] • 実装に当たって – これらの研究結果はあるが、問題の設定次第で最適化 の定義が違うため、カーネル幅の導出を行う決定的な方 法はない – 問題によってはGUIやシステムの他部位の出力を使った 値決めも考えられる 2011/1/8 コンピュータ最先端ガイド勉強会 20
  21. 21. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 21
  22. 22. ロバスト推定との関係 • データとして{3,4,5,8000}が与えられたとする – 単純に平均をとると2003になる – 8000を外れ値としてみなし、平均は4という方が妥当 – 4の近傍で注目する領域幅が十分に小さければ実際の平 均4を推定できる – カーネル法を適応することにより外れ値(outlier)の影響を 減らせる • また上のデータは最頻値が複数存在する分布から データが生成されているとみなすことができる – このような分布をマルチモーダルな分布と呼ぶ • このようなデータからノイズに頑強に元の分布を求 める手法をロバスト推定と呼ぶ 2011/1/8 コンピュータ最先端ガイド勉強会 22
  23. 23. ロバスト推定との関係 • 最尤推定 – 元の分布のモード位置に対して尤度分布(1 , … , |) の最尤推定はカーネル密度推定関数の最大化と理解で きる • M推定法 – 原点が最小値で単調増加する対象非負関数を用いて、 (| − |)を最小とするようにを最適化 – を適切に選ぶことにより、外れ値に頑強な推定ができる – これは実はカーネル密度関数の符号を逆にしたものと一 致する 2011/1/8 コンピュータ最先端ガイド勉強会 23
  24. 24. ミーンシフト公式の理論的導出 • 前半説明したカーネル密度推定式の微分を元にし た導出の他にも導出がある • 界面関数最適化(variational bound optimization)の 理論に基づくもの[21,50] – 目的関数の二次下界関数の最適化の枠組みを使い、 ミーンシフトとNewton法が同値であることが示せる[21] – 5節で扱う最大事後確率推定への拡張へも使われている 2011/1/8 コンピュータ最先端ガイド勉強会 24
  25. 25. 高速化について • ミーンシフトの計算においてはナイーブに行うと (2 )かかるためコストが大きい(:データ数, : 繰り返し数)ので高速化の手法がいくつか提案さ れている • 高速ガウス変換を応用したもの[68] – カーネル和を高速に求める • EMアルゴリズムとの同値性を利用したもの[4,6] • Half-quadratic最適化の枠組みを使ったもの[71] 2011/1/8 コンピュータ最先端ガイド勉強会 25
  26. 26. 非線形空間への拡張 • ミーンシフトの収束先が球面状に載っているという 制約をつけたいとかを考えたとき、単純に平均をと ると球面に載るとは限らない – データが三次元空間にあるのではなく非線形な二次元空 間状にあると考えるとうまくいく – Riemann多様体への拡張[51-55,59] – 一般的な距離空間への拡張(medoidshift)[47] – 詳しくは5節で触れる 2011/1/8 コンピュータ最先端ガイド勉強会 26

×