Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Motivation
Methods
Evaluation
Conclusion
Self-Tuning Spectral Clustering
(NIPS2004)
パターン認識と機械学習の勉強会 #9
上田 隼也 (筑波大学)
情報数理研究...
Motivation
Methods
Evaluation
Conclusion
1 Motivation
2 Methods
3 Evaluation
4 Conclusion
2 / 11
Motivation
Methods
Evaluation
Conclusion
概要・著者
概要
• Spectral Clusteirng は非線形のクラスタリングが可能
• グラフ表現行列 (Graph Laplacian) の固有ベクト...
Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
半教師付き学習
• データ si から sj までの距離を
d(si,sj)
σi
•...
Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Local Scalingのイメージ
5 / 11
Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
固有値分布からクラスタ数を推定可能か?
ヒューリスティックな手法は存在するが、
理論的...
Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Analyziing the Eigenvectors
固有ベクトルの分布からクラスタ...
Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Analyziing the Eigenvectors
固有ベクトルの分布からクラスタ...
Motivation
Methods
Evaluation
Conclusion
Local Scaling
Estimate Cluster Number
Analyziing the Eigenvectors
Z ∈ Rn×C
, Z = ...
Motivation
Methods
Evaluation
Conclusion
クラスタ数推定結果
10 / 11
Motivation
Methods
Evaluation
Conclusion
結論・貢献
貢献
1 Spectral Clustering のパラメータチューニングには根気
強さと素晴らしいテクニックが必要
2 グラフの新しいパラメータチュ...
Upcoming SlideShare
Loading in …5
×

Self-turning Spectral Clustering (NIPS2004)

544 views

Published on

NIPS2004で発表された Self-turning Spectral Clusteringの論文紹介
Caltech vision groupが発表

Published in: Science
  • Be the first to comment

  • Be the first to like this

Self-turning Spectral Clustering (NIPS2004)

  1. 1. Motivation Methods Evaluation Conclusion Self-Tuning Spectral Clustering (NIPS2004) パターン認識と機械学習の勉強会 #9 上田 隼也 (筑波大学) 情報数理研究室 修士 1 年 December 24, 2015 1 / 11
  2. 2. Motivation Methods Evaluation Conclusion 1 Motivation 2 Methods 3 Evaluation 4 Conclusion 2 / 11
  3. 3. Motivation Methods Evaluation Conclusion 概要・著者 概要 • Spectral Clusteirng は非線形のクラスタリングが可能 • グラフ表現行列 (Graph Laplacian) の固有ベクトル空間 でクラスタリングを行う手法 問題点 • 熟練したパラメータチューニングが要求される • グラフ構築時のガウシアンカーネルに用いられる σ • fx) exp( −∥xi−xj∥2 2 σ2 ) • クラスタ数が自動決定されない 貢献 • σ のより良い値の決定方法 • クラスタ数の自動調整方法 3 / 11
  4. 4. Motivation Methods Evaluation Conclusion Local Scaling Estimate Cluster Number 半教師付き学習 • データ si から sj までの距離を d(si,sj) σi • データ sj から si までの距離を d(sj,si) σj d(si, sj)d(sj, si) σiσj = d(si, sj)2 σiσj ˆAij = exp(− d(si, sj)2 σiσj ) σi = d(si, sK) K は何個目の近傍データを表す。 K = 3 なら σi = d(si, s3) となり、si に 3 番目に近いデータ の距離を返す。 彼らの実験結果では、K = 7 がベスト 高次元の人工データ・画像データで良好な結果が得られて いる。 4 / 11
  5. 5. Motivation Methods Evaluation Conclusion Local Scaling Estimate Cluster Number Local Scalingのイメージ 5 / 11
  6. 6. Motivation Methods Evaluation Conclusion Local Scaling Estimate Cluster Number 固有値分布からクラスタ数を推定可能か? ヒューリスティックな手法は存在するが、 理論的な定式化は不可能 6 / 11
  7. 7. Motivation Methods Evaluation Conclusion Local Scaling Estimate Cluster Number Analyziing the Eigenvectors 固有ベクトルの分布からクラスタ数を推定 グラフラプラシアンは対称行列なので固有ベクトルは直交 している。 まず理想的な L の固有ベクトルの振る舞いを考える。 L はソートされた後で、綺麗なブロック対角行列。 L =   L(1) 0 0 0 . . . 0 0 0 L(C)   7 / 11
  8. 8. Motivation Methods Evaluation Conclusion Local Scaling Estimate Cluster Number Analyziing the Eigenvectors 固有ベクトルの分布からクラスタ数を推定 グラフラプラシアンは対称行列なので固有ベクトルは直交 している。 ˆX ∈ Rn×C : C 本の固有ベクトルを横に並べる。 ˆX =   x(1) ⃗0 ⃗0 ⃗0 . . . ⃗0 ⃗0 ⃗0 x(C)   X = ˆXR 8 / 11
  9. 9. Motivation Methods Evaluation Conclusion Local Scaling Estimate Cluster Number Analyziing the Eigenvectors Z ∈ Rn×C , Z = XR Mi = maxj Zij J = n∑ i=1 C∑ j=1 Z2 ij M2 i この目的関数が最小化された際の C が最適なクラスタ数 イメージ: ˆX の非ゼロ要素数が最大化される Z を探す。 9 / 11
  10. 10. Motivation Methods Evaluation Conclusion クラスタ数推定結果 10 / 11
  11. 11. Motivation Methods Evaluation Conclusion 結論・貢献 貢献 1 Spectral Clustering のパラメータチューニングには根気 強さと素晴らしいテクニックが必要 2 グラフの新しいパラメータチューニング方法を提案 (Local Scaling) 3 クラスタ数の推定方法を提案 (固有ベクトルを解析) • 固有ベクトル集合で非零要素が多くなるものを探す 11 / 11

×