Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

確率的主成分分析

3,098 views

Published on

PCA勉強会での発表資料

Published in: Science
  • Be the first to comment

確率的主成分分析

  1. 1. 確率的主成分分析 PRML 12.2 2015.08.25 PCA勉強会 Mika Yoshimura
  2. 2. PCA(最小二乗法) xn !xn =Uzn + x →UはJを最小化する固有ベクトル zn =UT (xn − x) The  op'mal  linear  reconstruc'on J = 1 N xn − !xn 2 n=1 N ∑ https://liorpachter.wordpress.com/tag/probabilistic-pca/
  3. 3. 確率的PCA x = y(z;w)+ε潜在変数モデル: →潜在変数zの事前分布+ノイズεの分布から データ空間のxを生成する 等方性の Gaussian noise y(z;w) N(0,σ 2 I) xn 部分空間上の 潜在データ点 x = Wz +µ +ε •  W : D*M行列, 部分空間を張る •  z : M次元の潜在変数 •  μ : D次元ベクトル •  ε : D次元の平均0,共分散σ^2I の ガウス分布に従うノイズ変数
  4. 4. 確率モデルとしてのPCA •  潜在変数zの事前分布と条件付き確率 x = Wz +µ +ε p(z) = (2π)−M /2 exp − 1 2 zT z " # $ % & ' =N(z | 0, I) p(x | z) = (2πσ 2 )−D/2 exp − 1 2σ 2 x −Wz −µ 2" # $ % & ' = N(x |Wz +µ,σ 2 I) p(x) = p(x | z)p(z)dx = (2π)−D/2 C −1/2 exp − 1 2 (x −µ)T C−1 (x −µ) " # $ % & ' ∫ = N(x | µ,C) C =σ 2 I +WWT •  W : D*M行列, 線形部分空間を張る •  z : M次元の潜在変数 •  μ : D次元ベクトル •  ε : D次元の平均0,共分散σ^2I の ガウス分布に従うノイズ変数 → p(x)を求めるには、Cの逆行列が必要 C−1 =σ −2 I −σ −2 WM−1 WT M = WT W +σ 2 I 逆行列の恒等式によると →M*M次元の計算になる!
  5. 5. 事後分布と尤度関数 •  事後分布         •  尤度関数 p(z | x) = p(x | z)p(z) / p(x) p(z | x) = (2π)−M /2 σ −2 M 1/2 exp − 1 2 x − M−1 WT (x −µ){ } T (σ −2 M) x − M−1 WT (x −µ){ } " #$ % &' = N(z | M−1 WT (x −µ),σ 2 M−1 ) L = ln p(xn |W,µ,σ 2 ){ }= − N 2n=1 N ∑ Dln(2π)+ ln C +tr(C−1 S){ } S = 1 N (x −µ)(x −µ)T n=1 N ∑ →xの標本共分散行列 N(z |(I +σ −2 WT W)−1 WT σ −2 I(x −µ),(I +σ −2 WT W)−1 ) = N(z | M−1 WT (x −µ),σ 2 M−1 ) PRML 演習12.8 → M = WT W +σ 2 I C =σ 2 I +WWT
  6. 6. 最尤法を使う µML = 1 N xn n=1 N ∑ ∂L ∂W = N(C−1 SC−1 W −C−1 W) WML =UM (ΛM −σ 2 I)1/2 R ※Tipping and Bishop(1999b) による閉形式の厳密解 Um :D*M行列。共分散行列Sの固有ベクトルの部分集合 Λm:M*M対角行列。固有値λiを要素にもつ R:任意のM*M直交行列。M次元の潜在変数空間の回転行列 尤度関数の最大値は、上記M個の固有ベクトルを固有値の上位M個に属するものに なるように選ぶことで得られる。(その他のすべての停留点は鞍点となる) →Λmは、共分散行列Sの固有値上位λ1,…λm σ 2 ML = 1 D − M λi i=M+1 D ∑ →切り捨てられた次元に関連する分散の平均 SC−1 W = W
  7. 7. 次元削減と再構成 •  PCA •  確率的PCA •  最適化 – 確率的PCAの式では、直交射影が歪む – 再構成式の修正 – 期待値を使わなくても良いらしい !xn =UM zn +µzn =UM T (xn −µ) <z_n> : 事後分布p(z¦x)から求めた期待値 !xn = WML zn +µ !zn = WML T (xn −µ) !xn = WML (WML T WML )−1 !zn +µ !xn = WML (WML T WML )−1 M zn +µ Mixtures of probabilistic principal component analysers , Neural Computation 11(2), pp 443‒482. MIT Press. zn = M−1 WML T (xn −µ) WML = WML (WML T WML )−1 M
  8. 8. ノイズ項の効果 (D=2,M=1) 等方性の Gaussian noise y(z;w) N(0,σ 2 I) xn 部分空間上の 潜在データ点 最尤推定した モデル 主成分空間に 射影された データ点 最小二乗法で得られた直線 (ノイズパラメータあり) 最小二乗法で得られた直線 (ノイズパラメータなし)
  9. 9. EMアルゴリズム •  利点 – 高次元空間では計算量的に有利 – 見通しよく欠損データを扱える •  完全データの対数尤度関数 •  EステップとMステップはいつもの ln p(X, Z | µ,W,σ 2 ) = ln p(xn | zn )+ ln p(zn ){ } n=1 N ∑ Ε p(X, Z | µ,W,σ 2 )" # $ % Wnew σ 2 new
  10. 10. ベイズ的な扱い •  各パラメータの事前分布を与える •  ベイズ的パラメータ推定を適用する •  利点 – 自動次元数選択ができる •  しかし – 厳密なベイズ推定は実行不可能(周辺化無理) – 部分ベイスや変分ベイズで近似的に実行する
  11. 11. 確率的PCAの利点まとめ •  要約すると – EMアルゴリズムが使える – ベイズ的取り扱いの基礎を与える •  何がいいのか – 共分散行列を計算しなくていい(EM) – オンライン化できる(EM) – データ集合内の欠損値を扱える(EM) – 確率的PCAの混合モデルを定式化できる(EM) – 次元数を自動的に見出せる(ベイズ) – などなど

×