SlideShare a Scribd company logo
第二章 3. ミーンシフトの理論


           コンピュータ最先端ガイド勉強会
                発表者 : 坪坂 正志
             m.tsubosaka(at)gmail.com


2011/1/8          コンピュータ最先端ガイド勉強会       1
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   2
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   3
カーネル密度推定とは
• ノンパラメトリックな密度関数の推定法
      – Parzen windowsとも呼ばれる
      – ここでいうノンパラメトリックとは特定の分布関数を仮定し
        ないということ
      – 逆にデータが正規分布に従うなどの仮定を入れる方法の
        ことをパラメトリックと呼ぶ


                                 [Hastie+2009] The elements of
                                 Statistical Learning : Data Mining,
                                 Inference, and Prediction (2nd
                                 edition)より



2011/1/8            コンピュータ最先端ガイド勉強会                                    4
カーネル密度推定の式
• データ点の集合 : ������ = *������������ |������ = 1, … , ������+
• カーネル関数������, その幅������
• カーネル密度推定による分布関数
                  ������
               1
    ������������ ������ = ������     ������(������, ������������ , ������)
             ������������
                   ������=1
• データ点を中心とおいた幅hのカーネル関数の和と
  して表される




2011/1/8           コンピュータ最先端ガイド勉強会        5
本節で扱うカーネルのタイプについて
• 球対称な形のカーネルについて考える
• プロファイルと呼ばれる������ ≥ 0上の有界で区分的に
  連続な非負値の関数������(������)を用いて
                           ������−������������ 2
• ������ ������, ������������ , ������ = ������(             )の形のカーネルを扱う
                             ������
• カーネル密度推定の式
                            ������
                      1               ������ − ������������ 2
           ������������ ������ = ������           ������(             )
                    ������������                 ������
                           ������=1




2011/1/8                   コンピュータ最先端ガイド勉強会            6
カーネルの例

           カーネルの名前                プロファイル関数


       正規分布カーネル                               1
                                    ������������ exp(− ������)
                                              2

    Epanechnikovカーネル            ������������ 1 − ������ (0 ≤ ������ ≤ 1)
                                        0 (������ > 1)

           フラットカーネル                ������������ 0 ≤ ������ ≤ 1
                                       0 (������ > 1)



       ここで正規化項の部分はミーンシフトの場合は比の形となる
       ので簡単のため1とおく



2011/1/8               コンピュータ最先端ガイド勉強会                     7
カーネル密度関数の勾配
• カーネル密度関数の勾配を求める      ������
                     1                     ������ − ������������ 2
   ������������ ������������ ������ = ������+2    ������ − ������������ ������ ′ (             )
                 ������������                         ������
                                       ������=1
• ここで������ ������ = −������′(������)とおくと
                  ������
                             1                             ������ − ������������ 2
           ������������ ������������ ������ = ������+2              ������������ − ������ ������ (             )
                         ������������                                 ������
                                     ������=1
                          ������                                            ������ − ������������ 2
                  1                    ������ − ������������   2           ������ ������        ������
                                                                                      ������������
            =                   ������                      ×                                  − ������
              ������������������+2                    ������                              ������ − ������������ 2
                         ������=1                                     ������ ������       ������




2011/1/8                             コンピュータ最先端ガイド勉強会                                              8
カーネル密度関数の勾配
• カーネル密度関数の勾配を求める      ������
                     1                     ������ − ������������ 2
   ������������ ������������ ������ = ������+2    ������ − ������������ ������ ′ (             )
                 ������������                         ������
                                       ������=1
• ここで������ ������ = −������′(������)とおくと
                  ������
                             1                             ������ − ������������ 2
           ������������ ������������ ������ = ������+2              ������������ − ������ ������ (             )
                         ������������                                 ������
                                     ������=1
                          ������                                            ������ − ������������ 2
                  1                    ������ − ������������   2           ������ ������        ������
                                                                                      ������������
            =                   ������                      ×                                  − ������
              ������������������+2                    ������                              ������ − ������������ 2
                         ������=1                                     ������ ������       ������

                                                          ミーンシフトの更新式


2011/1/8                             コンピュータ最先端ガイド勉強会                                              9
カーネル密度関数の勾配
• 整理すると
                            2
           ������������ ������������ (������) = 2 ������������ (������) ������������ (������) − ������
                           ������
• これから
                             ������2
                ������������ ������ =            ������������ ������������ ������
                          2������������ (������)
ミーンシフトのステップ                                 密度関数の勾配方向

• なお、このようなミーンシフトカーネルGに対応する
  カーネルKをカーネルGのシャドウカーネルと呼ぶ


2011/1/8                 コンピュータ最先端ガイド勉強会                 10
ミーンシフトの性質
• ミーンシフトにおける最頻値探索はカーネル密度関
  数上の最頻値に収束する
      – なおミーンシフトで使うカーネルと密度関数推定で使う
        カーネルは一般には同じではない、ただし正規分布カー
        ネルにおいては同じ。
• ステップ幅を自動設定する最急降下法とみなすこと
  もできる
      – 密度の小さいところではステップ幅が大きく、密度の高い
        最頻値に近いところではステップ幅が小さくなる
      – これにより効率的で振動のない収束が得られることが推
        測できる


2011/1/8       コンピュータ最先端ガイド勉強会      11
ミーンシフトの性質




                             カーネル密度関数




2011/1/8   コンピュータ最先端ガイド勉強会         12
ミーンシフトの性質




                             カーネル密度関数




2011/1/8   コンピュータ最先端ガイド勉強会         13
ミーンシフトの収束定理
• ミーンシフトの収束性については以下の定理が知ら
  れている[15,32]


     ミーンシフトの収束定理[15 Theorem 1]

• カーネルKが凸状で単調減尐するプロファイルkを持つ
  ならば, KをシャドウとするカーネルGを用いたミーンシ
  フトによる最頻値探索は, Kによる密度関数上の初期
  値近傍の最頻値点に必ず収束する。


2011/1/8     コンピュータ最先端ガイド勉強会     14
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   15
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較 (3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   16
カーネル幅推定の重要性
• 例えばミーンシフトを用いたクラスタリングではクラ
  スタ数を与える必要はなく、データに応じてクラスタ
  数が決まる

           • クラスタ数はカーネルの幅に大きく作用される
 But…
           • 適切なカーネル幅を選ぶ必要がある




2011/1/8         コンピュータ最先端ガイド勉強会   17
カーネル幅による影響
• カーネル幅の値により、カーネル密度推定の結果が
  大きく変わる
      – 幅が小さすぎるとすべての点でピークをとるようになる
      – 幅が大きすぎると単峰の分布となる

                                         ������ = 5
           ������ = 0.05       ������ = 0.5




2011/1/8               コンピュータ最先端ガイド勉強会            18
カーネル幅の推定手法に関する研究
• 統計的手法[46,49,58,64]
      – カーネル密度推定の誤差を最小化する
      – 未知の真の密度関数������(������)とそのカーネル推定������ (������)の誤
        差を何らかの基準 ISE(integrated squared error),
        MISE(mean ISE), AMISE(asymptotic MISE)で最小化する
• ミーンシフトベクトルに基づく手法
      – ミーンシフトベクトルの長さを最大化[17]
           • 高次微分や非等方カーネル幅行列への拡張[37]
      – SIFT法の基礎である自動スケール決定法とも関係[33]
• 安定性を指標とした手法
      – クラスタ解析の安定性を最適化[23]
      – ピークにガウス関数を当てはめ、結果が最も安定となる幅
        を採用する手法[11,35,37,38]
2011/1/8             コンピュータ最先端ガイド勉強会                   19
応用利用
• 応用に関する研究
      – サンプルデータから求めたカーネル幅を使って、階層的ク
        ラスタリングに応用している[63]
      – 安定な画像領域分割アルゴリズムへの応用[65]
• 実装に当たって
      – これらの研究結果はあるが、問題の設定次第で最適化
        の定義が違うため、カーネル幅の導出を行う決定的な方
        法はない
      – 問題によってはGUIやシステムの他部位の出力を使った
        値決めも考えられる



2011/1/8       コンピュータ最先端ガイド勉強会       20
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   21
ロバスト推定との関係
• データとして{3,4,5,8000}が与えられたとする
      – 単純に平均をとると2003になる
      – 8000を外れ値としてみなし、平均は4という方が妥当
      – 4の近傍で注目する領域幅が十分に小さければ実際の平
        均4を推定できる
      – カーネル法を適応することにより外れ値(outlier)の影響を
        減らせる
• また上のデータは最頻値が複数存在する分布から
  データが生成されているとみなすことができる
      – このような分布をマルチモーダルな分布と呼ぶ
• このようなデータからノイズに頑強に元の分布を求
  める手法をロバスト推定と呼ぶ

2011/1/8         コンピュータ最先端ガイド勉強会      22
ロバスト推定との関係
• 最尤推定
      – 元の分布のモード位置������に対して尤度分布������(������1 , … , ������������ |������)
        の最尤推定はカーネル密度推定関数の最大化と理解で
        きる
• M推定法
      – 原点が最小値で単調増加する対象非負関数������を用いて、
          ������ ������(|������ − ������������ |)を最小とするように������を最適化
      – ������を適切に選ぶことにより、外れ値に頑強な推定ができる
      – これは実はカーネル密度関数の符号を逆にしたものと一
        致する



2011/1/8            コンピュータ最先端ガイド勉強会              23
ミーンシフト公式の理論的導出
• 前半説明したカーネル密度推定式の微分を元にし
  た導出の他にも導出がある
• 界面関数最適化(variational bound optimization)の
  理論に基づくもの[21,50]
      – 目的関数の二次下界関数の最適化の枠組みを使い、
        ミーンシフトとNewton法が同値であることが示せる[21]
      – 5節で扱う最大事後確率推定への拡張へも使われている




2011/1/8        コンピュータ最先端ガイド勉強会              24
高速化について
• ミーンシフトの計算においてはナイーブに行うと
  ������(������2 ������)かかるためコストが大きい(������:データ数,
  ������ : 繰り返し数)ので高速化の手法がいくつか提案さ
  れている
• 高速ガウス変換を応用したもの[68]
      – カーネル和を高速に求める
• EMアルゴリズムとの同値性を利用したもの[4,6]
• Half-quadratic最適化の枠組みを使ったもの[71]




2011/1/8       コンピュータ最先端ガイド勉強会      25
非線形空間への拡張
• ミーンシフトの収束先が球面状に載っているという
  制約をつけたいとかを考えたとき、単純に平均をと
  ると球面に載るとは限らない
      – データが三次元空間にあるのではなく非線形な二次元空
        間状にあると考えるとうまくいく
      – Riemann多様体への拡張[51-55,59]
      – 一般的な距離空間への拡張(medoidshift)[47]
      – 詳しくは5節で触れる




2011/1/8        コンピュータ最先端ガイド勉強会     26

More Related Content

What's hot

Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向についてLong-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
Plot Hong
 
PandasとSQLとの比較
PandasとSQLとの比較PandasとSQLとの比較
PandasとSQLとの比較
iPride Co., Ltd.
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
 
数理最適化とPython
数理最適化とPython数理最適化とPython
数理最適化とPythonYosuke Onoue
 
指数分布とポアソン分布のいけない関係
指数分布とポアソン分布のいけない関係指数分布とポアソン分布のいけない関係
指数分布とポアソン分布のいけない関係
Nagi Teramo
 
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するSMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
sleepy_yoshi
 
経験ベイズ木(IBIS 2017)
経験ベイズ木(IBIS 2017)経験ベイズ木(IBIS 2017)
経験ベイズ木(IBIS 2017)
Masashi Sekino
 
シンギュラリティを知らずに機械学習を語るな
シンギュラリティを知らずに機械学習を語るなシンギュラリティを知らずに機械学習を語るな
シンギュラリティを知らずに機械学習を語るな
hoxo_m
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
Yusuke Uchida
 
初めてのグラフカット
初めてのグラフカット初めてのグラフカット
初めてのグラフカットTsubasa Hirakawa
 
[DL輪読会]Objects as Points
[DL輪読会]Objects as Points[DL輪読会]Objects as Points
[DL輪読会]Objects as Points
Deep Learning JP
 
ブースティング入門
ブースティング入門ブースティング入門
ブースティング入門
Retrieva inc.
 
【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI
【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI
【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI
ssuser1bf283
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Masaya Kaneko
 
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tipscvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
cvpaper. challenge
 
点群深層学習 Meta-study
点群深層学習 Meta-study点群深層学習 Meta-study
点群深層学習 Meta-study
Naoya Chiba
 
ウェーブレット木の世界
ウェーブレット木の世界ウェーブレット木の世界
ウェーブレット木の世界
Preferred Networks
 
多目的強凸最適化のパレート集合のトポロジー
多目的強凸最適化のパレート集合のトポロジー多目的強凸最適化のパレート集合のトポロジー
多目的強凸最適化のパレート集合のトポロジー
KLab Inc. / Tech
 
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
Deep Learning JP
 

What's hot (20)

Long-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向についてLong-Tailed Classificationの最新動向について
Long-Tailed Classificationの最新動向について
 
PandasとSQLとの比較
PandasとSQLとの比較PandasとSQLとの比較
PandasとSQLとの比較
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
 
数理最適化とPython
数理最適化とPython数理最適化とPython
数理最適化とPython
 
指数分布とポアソン分布のいけない関係
指数分布とポアソン分布のいけない関係指数分布とポアソン分布のいけない関係
指数分布とポアソン分布のいけない関係
 
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するSMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
 
経験ベイズ木(IBIS 2017)
経験ベイズ木(IBIS 2017)経験ベイズ木(IBIS 2017)
経験ベイズ木(IBIS 2017)
 
シンギュラリティを知らずに機械学習を語るな
シンギュラリティを知らずに機械学習を語るなシンギュラリティを知らずに機械学習を語るな
シンギュラリティを知らずに機械学習を語るな
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
 
初めてのグラフカット
初めてのグラフカット初めてのグラフカット
初めてのグラフカット
 
[DL輪読会]Objects as Points
[DL輪読会]Objects as Points[DL輪読会]Objects as Points
[DL輪読会]Objects as Points
 
ブースティング入門
ブースティング入門ブースティング入門
ブースティング入門
 
【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI
【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI
【東工大・鈴木良郎】「画像生成用StyleGANの技術」を「3D形状の生成」に活用!! 新車のボディ形状を生成するAI
 
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
 
cvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tipscvpaper.challenge 研究効率化 Tips
cvpaper.challenge 研究効率化 Tips
 
点群深層学習 Meta-study
点群深層学習 Meta-study点群深層学習 Meta-study
点群深層学習 Meta-study
 
ウェーブレット木の世界
ウェーブレット木の世界ウェーブレット木の世界
ウェーブレット木の世界
 
多目的強凸最適化のパレート集合のトポロジー
多目的強凸最適化のパレート集合のトポロジー多目的強凸最適化のパレート集合のトポロジー
多目的強凸最適化のパレート集合のトポロジー
 
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
[DL輪読会]SoftTriple Loss: Deep Metric Learning Without Triplet Sampling (ICCV2019)
 

Viewers also liked

20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)Yoichi Shirasawa
 
第8回関西CV・PRML勉強会(Meanshift)
第8回関西CV・PRML勉強会(Meanshift)第8回関西CV・PRML勉強会(Meanshift)
第8回関西CV・PRML勉強会(Meanshift)
Yutaka Yamada
 
CVPR2011 Festival PDF
CVPR2011 Festival PDFCVPR2011 Festival PDF
CVPR2011 Festival PDFMasafumi Noda
 
Meanshift Tracking Presentation
Meanshift Tracking PresentationMeanshift Tracking Presentation
Meanshift Tracking Presentation
sandtouch
 
カーネル密度推定を用いた店舗情報の可視化
カーネル密度推定を用いた店舗情報の可視化カーネル密度推定を用いた店舗情報の可視化
カーネル密度推定を用いた店舗情報の可視化
Kanetaka Heshiki
 
Random Forests
Random ForestsRandom Forests
Random Forests
Hironobu Fujiyoshi
 
KantoCV/Selective Search for Object Recognition
KantoCV/Selective Search for Object RecognitionKantoCV/Selective Search for Object Recognition
KantoCV/Selective Search for Object Recognition
belltailjp
 
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor modelWSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
正志 坪坂
 
Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)
Yan Xu
 
20160417dlibによる顔器官検出
20160417dlibによる顔器官検出20160417dlibによる顔器官検出
20160417dlibによる顔器官検出
Takuya Minagawa
 
Feature Selection with R / in JP
Feature Selection with R / in JPFeature Selection with R / in JP
Feature Selection with R / in JP
Sercan Ahi
 
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造Takuya Akiba
 
Active contour segmentation
Active contour segmentationActive contour segmentation
Active contour segmentation
Nishant Jain
 

Viewers also liked (15)

20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
 
第8回関西CV・PRML勉強会(Meanshift)
第8回関西CV・PRML勉強会(Meanshift)第8回関西CV・PRML勉強会(Meanshift)
第8回関西CV・PRML勉強会(Meanshift)
 
CVPR2011 Festival PDF
CVPR2011 Festival PDFCVPR2011 Festival PDF
CVPR2011 Festival PDF
 
CVPR Festival
CVPR FestivalCVPR Festival
CVPR Festival
 
Meanshift Tracking Presentation
Meanshift Tracking PresentationMeanshift Tracking Presentation
Meanshift Tracking Presentation
 
カーネル密度推定を用いた店舗情報の可視化
カーネル密度推定を用いた店舗情報の可視化カーネル密度推定を用いた店舗情報の可視化
カーネル密度推定を用いた店舗情報の可視化
 
Random Forests
Random ForestsRandom Forests
Random Forests
 
KantoCV/Selective Search for Object Recognition
KantoCV/Selective Search for Object RecognitionKantoCV/Selective Search for Object Recognition
KantoCV/Selective Search for Object Recognition
 
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor modelWSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
 
Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)
 
20160417dlibによる顔器官検出
20160417dlibによる顔器官検出20160417dlibによる顔器官検出
20160417dlibによる顔器官検出
 
Random Forestsとその応用
Random Forestsとその応用Random Forestsとその応用
Random Forestsとその応用
 
Feature Selection with R / in JP
Feature Selection with R / in JPFeature Selection with R / in JP
Feature Selection with R / in JP
 
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
 
Active contour segmentation
Active contour segmentationActive contour segmentation
Active contour segmentation
 

Similar to CVIM mean shift-3

Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suharasleepy_yoshi
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suharasleepy_yoshi
 
Icml2011 reading-sage
Icml2011 reading-sageIcml2011 reading-sage
Icml2011 reading-sage
正志 坪坂
 
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
sleepy_yoshi
 
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
hirokazutanaka
 
モンテカルロサンプリング
モンテカルロサンプリングモンテカルロサンプリング
モンテカルロサンプリング
Kosei ABE
 
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
sleepy_yoshi
 
PRML 8.4-8.4.3
PRML 8.4-8.4.3 PRML 8.4-8.4.3
PRML 8.4-8.4.3
KunihiroTakeoka
 
ディープラーニング基礎.pptx
ディープラーニング基礎.pptxディープラーニング基礎.pptx
ディープラーニング基礎.pptx
norimatsu5
 
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
sleepy_yoshi
 
PFDS 5.5 Pairing heap
PFDS 5.5 Pairing heapPFDS 5.5 Pairing heap
PFDS 5.5 Pairing heap
昌平 村山
 
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
sleepy_yoshi
 
Rで実験計画法 前編
Rで実験計画法 前編Rで実験計画法 前編
Rで実験計画法 前編
itoyan110
 
複雑ネットワーク 第4章 古典的なグラフ
複雑ネットワーク 第4章 古典的なグラフ複雑ネットワーク 第4章 古典的なグラフ
複雑ネットワーク 第4章 古典的なグラフ
Shintaro Takemura
 
確率プロット
確率プロット確率プロット
確率プロット
Tomoyuki Tarumi
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化Miyoshi Yuya
 
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
Yukara Ikemiya
 
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3noname409
 
Quantum Support Vector Machine
Quantum Support Vector MachineQuantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
 

Similar to CVIM mean shift-3 (20)

Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
Icml2011 reading-sage
Icml2011 reading-sageIcml2011 reading-sage
Icml2011 reading-sage
 
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
 
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
 
モンテカルロサンプリング
モンテカルロサンプリングモンテカルロサンプリング
モンテカルロサンプリング
 
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
 
PRML 8.4-8.4.3
PRML 8.4-8.4.3 PRML 8.4-8.4.3
PRML 8.4-8.4.3
 
ディープラーニング基礎.pptx
ディープラーニング基礎.pptxディープラーニング基礎.pptx
ディープラーニング基礎.pptx
 
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
 
PFDS 5.5 Pairing heap
PFDS 5.5 Pairing heapPFDS 5.5 Pairing heap
PFDS 5.5 Pairing heap
 
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
 
Rで実験計画法 前編
Rで実験計画法 前編Rで実験計画法 前編
Rで実験計画法 前編
 
複雑ネットワーク 第4章 古典的なグラフ
複雑ネットワーク 第4章 古典的なグラフ複雑ネットワーク 第4章 古典的なグラフ
複雑ネットワーク 第4章 古典的なグラフ
 
確率プロット
確率プロット確率プロット
確率プロット
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
 
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
 
Zetavalue
ZetavalueZetavalue
Zetavalue
 
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3
 
Quantum Support Vector Machine
Quantum Support Vector MachineQuantum Support Vector Machine
Quantum Support Vector Machine
 

More from 正志 坪坂

Recsys2018 unbiased
Recsys2018 unbiasedRecsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
 
WSDM2018Study
WSDM2018StudyWSDM2018Study
WSDM2018Study
正志 坪坂
 
Recsys2016勉強会
Recsys2016勉強会Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
 
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossingKDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
正志 坪坂
 
Deeplearning勉強会20160220
Deeplearning勉強会20160220Deeplearning勉強会20160220
Deeplearning勉強会20160220
正志 坪坂
 
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
正志 坪坂
 
Recsys2015
Recsys2015Recsys2015
Recsys2015
正志 坪坂
 
KDD 2015読み会
KDD 2015読み会KDD 2015読み会
KDD 2015読み会
正志 坪坂
 
Recsys2014 recruit
Recsys2014 recruitRecsys2014 recruit
Recsys2014 recruit
正志 坪坂
 
EMNLP2014_reading
EMNLP2014_readingEMNLP2014_reading
EMNLP2014_reading
正志 坪坂
 
Tokyowebmining ctr-predict
Tokyowebmining ctr-predictTokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
 
KDD2014_study
KDD2014_study KDD2014_study
KDD2014_study
正志 坪坂
 
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計正志 坪坂
 
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMiningContexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining正志 坪坂
 
Introduction to contexual bandit
Introduction to contexual banditIntroduction to contexual bandit
Introduction to contexual bandit正志 坪坂
 
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング正志 坪坂
 
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)正志 坪坂
 
static index pruningについて
static index pruningについてstatic index pruningについて
static index pruningについて正志 坪坂
 
NIPS 2012 読む会
NIPS 2012 読む会NIPS 2012 読む会
NIPS 2012 読む会
正志 坪坂
 

More from 正志 坪坂 (20)

Recsys2018 unbiased
Recsys2018 unbiasedRecsys2018 unbiased
Recsys2018 unbiased
 
WSDM2018Study
WSDM2018StudyWSDM2018Study
WSDM2018Study
 
Recsys2016勉強会
Recsys2016勉強会Recsys2016勉強会
Recsys2016勉強会
 
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossingKDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
 
Deeplearning勉強会20160220
Deeplearning勉強会20160220Deeplearning勉強会20160220
Deeplearning勉強会20160220
 
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
 
Recsys2015
Recsys2015Recsys2015
Recsys2015
 
KDD 2015読み会
KDD 2015読み会KDD 2015読み会
KDD 2015読み会
 
Recsys2014 recruit
Recsys2014 recruitRecsys2014 recruit
Recsys2014 recruit
 
EMNLP2014_reading
EMNLP2014_readingEMNLP2014_reading
EMNLP2014_reading
 
Tokyowebmining ctr-predict
Tokyowebmining ctr-predictTokyowebmining ctr-predict
Tokyowebmining ctr-predict
 
KDD2014_study
KDD2014_study KDD2014_study
KDD2014_study
 
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
 
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMiningContexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
 
Introduction to contexual bandit
Introduction to contexual banditIntroduction to contexual bandit
Introduction to contexual bandit
 
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
 
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
 
Tokyowebmining2012
Tokyowebmining2012Tokyowebmining2012
Tokyowebmining2012
 
static index pruningについて
static index pruningについてstatic index pruningについて
static index pruningについて
 
NIPS 2012 読む会
NIPS 2012 読む会NIPS 2012 読む会
NIPS 2012 読む会
 

CVIM mean shift-3

  • 1. 第二章 3. ミーンシフトの理論 コンピュータ最先端ガイド勉強会 発表者 : 坪坂 正志 m.tsubosaka(at)gmail.com 2011/1/8 コンピュータ最先端ガイド勉強会 1
  • 2. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 2
  • 3. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 3
  • 4. カーネル密度推定とは • ノンパラメトリックな密度関数の推定法 – Parzen windowsとも呼ばれる – ここでいうノンパラメトリックとは特定の分布関数を仮定し ないということ – 逆にデータが正規分布に従うなどの仮定を入れる方法の ことをパラメトリックと呼ぶ [Hastie+2009] The elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd edition)より 2011/1/8 コンピュータ最先端ガイド勉強会 4
  • 5. カーネル密度推定の式 • データ点の集合 : ������ = *������������ |������ = 1, … , ������+ • カーネル関数������, その幅������ • カーネル密度推定による分布関数 ������ 1 ������������ ������ = ������ ������(������, ������������ , ������) ������������ ������=1 • データ点を中心とおいた幅hのカーネル関数の和と して表される 2011/1/8 コンピュータ最先端ガイド勉強会 5
  • 6. 本節で扱うカーネルのタイプについて • 球対称な形のカーネルについて考える • プロファイルと呼ばれる������ ≥ 0上の有界で区分的に 連続な非負値の関数������(������)を用いて ������−������������ 2 • ������ ������, ������������ , ������ = ������( )の形のカーネルを扱う ������ • カーネル密度推定の式 ������ 1 ������ − ������������ 2 ������������ ������ = ������ ������( ) ������������ ������ ������=1 2011/1/8 コンピュータ最先端ガイド勉強会 6
  • 7. カーネルの例 カーネルの名前 プロファイル関数 正規分布カーネル 1 ������������ exp(− ������) 2 Epanechnikovカーネル ������������ 1 − ������ (0 ≤ ������ ≤ 1) 0 (������ > 1) フラットカーネル ������������ 0 ≤ ������ ≤ 1 0 (������ > 1) ここで正規化項の部分はミーンシフトの場合は比の形となる ので簡単のため1とおく 2011/1/8 コンピュータ最先端ガイド勉強会 7
  • 8. カーネル密度関数の勾配 • カーネル密度関数の勾配を求める ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������ − ������������ ������ ′ ( ) ������������ ������ ������=1 • ここで������ ������ = −������′(������)とおくと ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������������ − ������ ������ ( ) ������������ ������ ������=1 ������ ������ − ������������ 2 1 ������ − ������������ 2 ������ ������ ������ ������������ = ������ × − ������ ������������������+2 ������ ������ − ������������ 2 ������=1 ������ ������ ������ 2011/1/8 コンピュータ最先端ガイド勉強会 8
  • 9. カーネル密度関数の勾配 • カーネル密度関数の勾配を求める ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������ − ������������ ������ ′ ( ) ������������ ������ ������=1 • ここで������ ������ = −������′(������)とおくと ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������������ − ������ ������ ( ) ������������ ������ ������=1 ������ ������ − ������������ 2 1 ������ − ������������ 2 ������ ������ ������ ������������ = ������ × − ������ ������������������+2 ������ ������ − ������������ 2 ������=1 ������ ������ ������ ミーンシフトの更新式 2011/1/8 コンピュータ最先端ガイド勉強会 9
  • 10. カーネル密度関数の勾配 • 整理すると 2 ������������ ������������ (������) = 2 ������������ (������) ������������ (������) − ������ ������ • これから ������2 ������������ ������ = ������������ ������������ ������ 2������������ (������) ミーンシフトのステップ 密度関数の勾配方向 • なお、このようなミーンシフトカーネルGに対応する カーネルKをカーネルGのシャドウカーネルと呼ぶ 2011/1/8 コンピュータ最先端ガイド勉強会 10
  • 11. ミーンシフトの性質 • ミーンシフトにおける最頻値探索はカーネル密度関 数上の最頻値に収束する – なおミーンシフトで使うカーネルと密度関数推定で使う カーネルは一般には同じではない、ただし正規分布カー ネルにおいては同じ。 • ステップ幅を自動設定する最急降下法とみなすこと もできる – 密度の小さいところではステップ幅が大きく、密度の高い 最頻値に近いところではステップ幅が小さくなる – これにより効率的で振動のない収束が得られることが推 測できる 2011/1/8 コンピュータ最先端ガイド勉強会 11
  • 12. ミーンシフトの性質 カーネル密度関数 2011/1/8 コンピュータ最先端ガイド勉強会 12
  • 13. ミーンシフトの性質 カーネル密度関数 2011/1/8 コンピュータ最先端ガイド勉強会 13
  • 14. ミーンシフトの収束定理 • ミーンシフトの収束性については以下の定理が知ら れている[15,32] ミーンシフトの収束定理[15 Theorem 1] • カーネルKが凸状で単調減尐するプロファイルkを持つ ならば, KをシャドウとするカーネルGを用いたミーンシ フトによる最頻値探索は, Kによる密度関数上の初期 値近傍の最頻値点に必ず収束する。 2011/1/8 コンピュータ最先端ガイド勉強会 14
  • 15. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 15
  • 16. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較 (3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 16
  • 17. カーネル幅推定の重要性 • 例えばミーンシフトを用いたクラスタリングではクラ スタ数を与える必要はなく、データに応じてクラスタ 数が決まる • クラスタ数はカーネルの幅に大きく作用される But… • 適切なカーネル幅を選ぶ必要がある 2011/1/8 コンピュータ最先端ガイド勉強会 17
  • 18. カーネル幅による影響 • カーネル幅の値により、カーネル密度推定の結果が 大きく変わる – 幅が小さすぎるとすべての点でピークをとるようになる – 幅が大きすぎると単峰の分布となる ������ = 5 ������ = 0.05 ������ = 0.5 2011/1/8 コンピュータ最先端ガイド勉強会 18
  • 19. カーネル幅の推定手法に関する研究 • 統計的手法[46,49,58,64] – カーネル密度推定の誤差を最小化する – 未知の真の密度関数������(������)とそのカーネル推定������ (������)の誤 差を何らかの基準 ISE(integrated squared error), MISE(mean ISE), AMISE(asymptotic MISE)で最小化する • ミーンシフトベクトルに基づく手法 – ミーンシフトベクトルの長さを最大化[17] • 高次微分や非等方カーネル幅行列への拡張[37] – SIFT法の基礎である自動スケール決定法とも関係[33] • 安定性を指標とした手法 – クラスタ解析の安定性を最適化[23] – ピークにガウス関数を当てはめ、結果が最も安定となる幅 を採用する手法[11,35,37,38] 2011/1/8 コンピュータ最先端ガイド勉強会 19
  • 20. 応用利用 • 応用に関する研究 – サンプルデータから求めたカーネル幅を使って、階層的ク ラスタリングに応用している[63] – 安定な画像領域分割アルゴリズムへの応用[65] • 実装に当たって – これらの研究結果はあるが、問題の設定次第で最適化 の定義が違うため、カーネル幅の導出を行う決定的な方 法はない – 問題によってはGUIやシステムの他部位の出力を使った 値決めも考えられる 2011/1/8 コンピュータ最先端ガイド勉強会 20
  • 21. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 21
  • 22. ロバスト推定との関係 • データとして{3,4,5,8000}が与えられたとする – 単純に平均をとると2003になる – 8000を外れ値としてみなし、平均は4という方が妥当 – 4の近傍で注目する領域幅が十分に小さければ実際の平 均4を推定できる – カーネル法を適応することにより外れ値(outlier)の影響を 減らせる • また上のデータは最頻値が複数存在する分布から データが生成されているとみなすことができる – このような分布をマルチモーダルな分布と呼ぶ • このようなデータからノイズに頑強に元の分布を求 める手法をロバスト推定と呼ぶ 2011/1/8 コンピュータ最先端ガイド勉強会 22
  • 23. ロバスト推定との関係 • 最尤推定 – 元の分布のモード位置������に対して尤度分布������(������1 , … , ������������ |������) の最尤推定はカーネル密度推定関数の最大化と理解で きる • M推定法 – 原点が最小値で単調増加する対象非負関数������を用いて、 ������ ������(|������ − ������������ |)を最小とするように������を最適化 – ������を適切に選ぶことにより、外れ値に頑強な推定ができる – これは実はカーネル密度関数の符号を逆にしたものと一 致する 2011/1/8 コンピュータ最先端ガイド勉強会 23
  • 24. ミーンシフト公式の理論的導出 • 前半説明したカーネル密度推定式の微分を元にし た導出の他にも導出がある • 界面関数最適化(variational bound optimization)の 理論に基づくもの[21,50] – 目的関数の二次下界関数の最適化の枠組みを使い、 ミーンシフトとNewton法が同値であることが示せる[21] – 5節で扱う最大事後確率推定への拡張へも使われている 2011/1/8 コンピュータ最先端ガイド勉強会 24
  • 25. 高速化について • ミーンシフトの計算においてはナイーブに行うと ������(������2 ������)かかるためコストが大きい(������:データ数, ������ : 繰り返し数)ので高速化の手法がいくつか提案さ れている • 高速ガウス変換を応用したもの[68] – カーネル和を高速に求める • EMアルゴリズムとの同値性を利用したもの[4,6] • Half-quadratic最適化の枠組みを使ったもの[71] 2011/1/8 コンピュータ最先端ガイド勉強会 25
  • 26. 非線形空間への拡張 • ミーンシフトの収束先が球面状に載っているという 制約をつけたいとかを考えたとき、単純に平均をと ると球面に載るとは限らない – データが三次元空間にあるのではなく非線形な二次元空 間状にあると考えるとうまくいく – Riemann多様体への拡張[51-55,59] – 一般的な距離空間への拡張(medoidshift)[47] – 詳しくは5節で触れる 2011/1/8 コンピュータ最先端ガイド勉強会 26