NIPS2004で発表された Self-turning Spectral Clusteringの論文紹介 Caltech vision groupが発表

1. Motivation
Methods
Evaluation
Conclusion
Self-Tuning Spectral Clustering
(NIPS2004)
パターン認識と機械学習の勉強会 #9
上田 隼也 (筑波大学)
情報数理研究室 修士 1 年
December 24, 2015
1 / 11

2. Motivation
Methods
Evaluation
Conclusion
1 Motivation
2 Methods
3 Evaluation
4 Conclusion
2 / 11

3. Motivation
Methods
Evaluation
Conclusion
概要・著者
概要
• Spectral Clusteirng は非線形のクラスタリングが可能
• グラフ表現行列 (Graph Laplacian) の固有ベクトル空間
でクラスタリングを行う手法
問題点
• 熟練したパラメータチューニングが要求される
• グラフ構築時のガウシアンカーネルに用いられる σ
• fx) exp(
−∥xi−xj∥2
2
σ2 )
• クラスタ数が自動決定されない
貢献
• σ のより良い値の決定方法
• クラスタ数の自動調整方法
3 / 11

4. Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
半教師付き学習
• データ si から sj までの距離を
d(si,sj)
σi
• データ sj から si までの距離を
d(sj,si)
σj
d(si, sj)d(sj, si)
σiσj
=
d(si, sj)2
σiσj
ˆAij = exp(−
d(si, sj)2
σiσj
)
σi = d(si, sK) K は何個目の近傍データを表す。
K = 3 なら σi = d(si, s3) となり、si に 3 番目に近いデータ
の距離を返す。
彼らの実験結果では、K = 7 がベスト
高次元の人工データ・画像データで良好な結果が得られて
いる。
4 / 11

5. Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Local Scalingのイメージ
5 / 11

6. Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
固有値分布からクラスタ数を推定可能か?
ヒューリスティックな手法は存在するが、
理論的な定式化は不可能
6 / 11

7. Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Analyziing the Eigenvectors
固有ベクトルの分布からクラスタ数を推定
グラフラプラシアンは対称行列なので固有ベクトルは直交
している。
まず理想的な L の固有ベクトルの振る舞いを考える。
L はソートされた後で、綺麗なブロック対角行列。
L =


L(1)
0 0
0 . . . 0
0 0 L(C)


7 / 11

8. Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Analyziing the Eigenvectors
固有ベクトルの分布からクラスタ数を推定
グラフラプラシアンは対称行列なので固有ベクトルは直交
している。
ˆX ∈ Rn×C
: C 本の固有ベクトルを横に並べる。
ˆX =


x(1) ⃗0 ⃗0
⃗0 . . . ⃗0
⃗0 ⃗0 x(C)


X = ˆXR
8 / 11

9. Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Analyziing the Eigenvectors
Z ∈ Rn×C
, Z = XR
Mi = maxj Zij
J =
n∑
i=1
C∑
j=1
Z2
ij
M2
i
この目的関数が最小化された際の C が最適なクラスタ数
イメージ: ˆX の非ゼロ要素数が最大化される Z を探す。
9 / 11

10. Motivation
Methods
Evaluation
Conclusion
クラスタ数推定結果
10 / 11

11. Motivation
Methods
Evaluation
Conclusion
結論・貢献
貢献
1 Spectral Clustering のパラメータチューニングには根気
強さと素晴らしいテクニックが必要
2 グラフの新しいパラメータチューニング方法を提案
(Local Scaling)
3 クラスタ数の推定方法を提案 (固有ベクトルを解析)
• 固有ベクトル集合で非零要素が多くなるものを探す
11 / 11