KDD 2015勉強会_高橋

All Right Reserved. Copyright. (c) Recruit Technologies Co., Ltd
Subspace Clustering
Using Log-determinant Rank
Approximation (KDD2015勉強会)
1
高橋諒

自己紹介
2
名前: 高橋諒
出身: 福井県(大学から大阪)
現在社会人1年目
大学での研究: 心理統計と行動統計
よろしくお願いいたしますm(._.)m
TwitterID: @RyoZ_AXL

どんな内容？
読んだ論文: Subspace Clustering Using Log-determinant
Rank Approximation
著者: Chong Peng, Zhao Kang, Huiqing Li, and Qiang Cheng
内容:
・高次元データを低階数近似してクラスタリング
・低階数近似でlog det functionを利用
・ALMで最適化
3

Introduction
Subspace Clusteringの仮定
高次元データはいくつかの低次元部分空間によって構成
ある部分空間に属する点はその空間に属する他の個体点の
重み付き線形和で表すことができる→self-expressiveness
有名な手法: LRR
LRSC
SSC
4

Related Works
Low Rank Representation (LRR)
A … d×n given data matrix
Aがcleanな場合、A=AXを満たす低階数行列Xを求める
( ||・||*はnuclear normで特異値の和 )
この解はX=VrV’r (ただしA = UrΣrV’r)
5

Related Works
Aがcleanでない場合、次の最適化問題を解く
データがきれいにk個の部分空間に分けることができる場合には
6

Related Works
Sparse Subspace Clustering (SSC)
・Sは大きな誤差(outlier)を補正する疎行列
・Eは残差行列
・diag(X)=0の制約はtrivialな解を避けるため
得られたXを用いてW=|X|+|X’|で
類似度行列を作りスペクトラルクラスタリング
7

Proposed method
Log-determinant Function
nuclear normは大きな特異値が存在する場合にrankの
近似精度が悪くなる
σiが０のときはlog-det function F(X)への寄与は０
σiが0より大きいとき，
8

Proposed method
データ行列Aについて次の仮定を置く
・Bは未知のcleanなデータ行列でB = BXを満たす
・Sは誤差を示す疎行列→outlierへの対応
・Eはガウシアンノイズ
この仮定のもとで目的関数は
9

Proposed method
B = BXの等式制約を緩和する
Augmented Lagrangian Multipliersを用いて，各パラメータに対
して，逐次更新をする→Y = I - Xとして，ALMの形に書き換える
10

Proposed method
11
ランクを小さく outlier補正最小二乗誤差基準
||B-BX||2
(self expressiveness) ALM
ハイパーパラメータ: α, β, γ
推定するパラメータ: X, S, B, Y, Λ, ρ

Optimization
whole ALM Algorithm
0. input α, β, γ, µ, A
1. initialize S0, Y0, Λ0, ρ0, and k=0
2.Update X
3.Update B
4.Update S
5.Update Y
6.Update Λ and ρ
7.repeat 2-6 until convergence or k = kmax
肝となるのはXの更新のみ!!
12

Optimization
Update B
Update S
論文中ではl=1とl=2,1の場合を紹介。l=1のときは
13

Optimization
Update Y
Update Λ and ρ
14

Optimization
Update X
このとき、log-det functionはunitarily invariant
σiに対して微分可能
15

Optimization
Moreau-Yoshida proximity operator
最適なXは次で求められる
16

Optimization
17
証明）

Optimization
σi
Dが０より大きいとき、
少なくともひとつは(0,σi
D)に含まれる解を持つ
σi
Dが０のときは、解は0となる
18

Optimization
whole ALM Algorithm
0. input α, β, γ, µ, A
1. initialize S0, Y0, Λ0, ρ0, and k=0
2.Update X
3.Update B
4.Update S
5.Update Y
6.Update Λ and ρ
7.repeat 2-6 until convergence or k = kmax
19

Subspace Clustering
上の最小化問題から得られたX*を用いてクラスタリング
正規化
φが大きすぎるとクラスタ間分離度は上がるが、クラスタ内分
散も大きくなる
20

Experiments
21
・Face image clusteringへの応用 (Extended Yale B data)
38人 64パターンの画像を48 42ピクセルにしてベクトル化
(1-10, 11-20, 21-30, 31-38)
n {2,3,5,8,10} n {2,3,5,8}
クラスター数をおさえるため

Experiments
22

Experiments
23
α、β、γの値による誤分類率の変化
SCLA1 SCLA2,1

Summary
・基本的にはLRRの考え方と同じ
・nuclear normは単純に特異値を足しただけなので、
階数近似としては微妙→log-det function使おう！
・ハイパーパラメータ多いし、データによっては分類精度がか
なり変わる (Experimentsの部分がちょっと怪しい)
・Clustering and Dimension reductionの最近の流れをつか
むには良い内容だと思う
24

KDD 2015勉強会_高橋

More Related Content

Similar to KDD 2015勉強会_高橋

KDD 2015勉強会_高橋