Download as PDF, PPTX
![[The Elements of Statistical Learning]Chapter8: Model Inferennce and Averaging](https://cdn.slidesharecdn.com/ss_thumbnails/theelementsofstatisticallearningchapter8modelinferennceandaveraging-181109001318-thumbnail.jpg?width=640&height=640&fit=bounds)
prml_titech_9.0-9.2
- 1. PRML Titech 9.0-9.2 Waseda Univ.Hamada lab. B4 Taikai Takeda Twitter: @bigsea_t
- 2. 担当範囲 9. 混合モデルとEM 9.1 K-meansクラスタリング 9.2混合ガウス分布 9.3 EMアルゴリズムのもう一つの解釈 9.4 一般のEMアルゴリズム 2
- 3.
- 4.
- 5.
- 6. 潜在変数（latent variable） 潜在変数： 観測によって直接得ることができず， ほかの変数から推測することより得る確率変数 隠れ変数（hidden variables）とも 観測変数（observablevariables） 背後に存在する状態などを表す 今回の場合はデータ点の𝑥 𝑛の所属クラスタ𝑟𝑛𝑘 6
- 7.
- 8.
- 9. 歪み尺度(distortion measure) 歪み尺度： 各データ点xと所属するクラスターの中心μの 二乗ユークリッド距離の総和 9 𝐽 = 𝑛𝑘 𝑟𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 2 これを目的関数とし， 最小とするような𝝁, 𝒓を求める
- 10.
- 11.
- 12. K-meansのいろいろ 収束性は保証されている ただし局所解 混合ガウス分布の𝝁の初期化によく用いられる ナイーブに実装すると遅い 各データ点と𝜇とのユークリッド距離を毎回計算す るため 近くのデータ点が同一の部分木に属するデータ構造 距離の三角不等式を利用して不必要な計算を避ける 12
- 13. K-meansのいろいろ Online版 𝜇 𝑘 𝑛𝑒𝑤 = 𝜇𝑘 𝑜𝑙𝑑 + 𝜂 𝑛 𝑥 𝑛 − 𝜇 𝑘 𝑜𝑙𝑑 𝜂: 学習率パラメータ 𝜂は𝑛に対して単調減少 K-medoids 𝐽~ = 𝑛=1 𝑁 𝑘=1 𝐾 𝑟𝑛𝑘 𝜈(𝑥 𝑛, 𝜇 𝑘) ユークリッド距離の二乗の代わりに非類似度𝜈を用 いる 13
- 14.
- 15.
- 16. 混合ガウス分布の概要 混合ガウス分布（Mixtures of Gaussians） 16 𝑝𝒙 = 𝑘=1 𝐾 𝜋 𝑘 𝑁(𝒙; 𝝁 𝑘, Σk) 𝜋 𝑘: 混合係数
- 17. 混合ガウス分布の定式化 潜在変数𝒛の導入 1-of-K符号化 𝑧𝑘 ∈ 0, 1 , 𝑘 𝑧 𝑘 = 1 𝑧 𝑘 = 1のとき，クラスタ𝐶 𝑘に属することを表す 混合係数：𝑝 𝑧 𝑘 = 1 = 𝜋 𝑘 0 ≤ 𝜋 𝑘 ≤ 1, 𝑘 𝜋 𝑘 = 1 別の形： 𝑝 𝒛 = 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 17
- 18. 混合ガウス分布の定式化 条件付き分布 𝑝 𝒙𝑧 𝑘 = 1 = 𝑁 𝒙; 𝝁, Σ 別の形： 𝑝 𝒙 𝒛 = 𝑘=1 𝐾 𝑁 𝒙; 𝝁, Σ 𝑧 𝑘 18
- 19. 混合ガウス分布の定式化 同時分布 𝑝 𝒙, 𝒛= 𝑝 𝒙 𝒛 𝑝(𝒙) = 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 19
- 20. 混合ガウス分布の定式化 周辺分布 𝑝 𝒙 = 𝒛 𝑝𝒛 𝑝(𝒙|𝒛) = 𝒛 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 = 𝑘=1 𝐾 𝜋 𝑘 𝑁(𝒙; 𝝁 𝑘, Σ 𝑘) 元の線形重ね合わせの式に一致 20
- 21. 混合ガウス分布の定式化 負担率𝛾（responsibility） 分布𝑁(𝑥; 𝜇𝑘, Σk)が𝒙を説明する度合い 𝛾 𝒛 = 𝑝 𝒛 𝒙 = 𝑝 𝒙 𝒛 𝑝 𝒛 𝒛 𝑝 𝒙 𝒛 𝑝(𝒛) = 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 𝒛 𝑘=1 𝐾 𝜋 𝑘 𝑧 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑧 𝑘 𝛾 𝑧 𝑘 = 1 = 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 21
- 22. パラメータの推定 分布のパラメータを最尤推定する 分布のパラメータ：𝝁 𝑘,Σk, 𝜋 𝑘 尤度関数𝐿 𝐿 = ln 𝑝(𝑋; 𝝅, 𝝁, 𝚺) = 𝑛=1 𝑁 ln 𝑝(𝒙 𝑛) = 𝑛=1 𝑁 ln 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑘, Σ 𝑘 22
- 23. 平均の最尤推定𝝁 𝑘𝑀𝐿 0 = 𝜕𝐿 𝜕𝝁𝒌 = 𝜕 𝜕𝝁 𝑘 𝑛=1 𝑁 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝜕 𝜕𝜇 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 Σ−1(𝒙 𝑛 − 𝝁 𝑘) = 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 Σ−1 (𝒙 𝑛 − 𝝁 𝒌) パラメータの推定 23 負担率 𝜇 𝑘𝑀𝐿 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘)
- 24. パラメータの推定 0 = 𝜕𝐿 𝜕Σ 𝒌 = 𝜕 𝜕Σ𝑘 𝑛=1 𝑁 ln 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝜕 𝜕Σ 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 = 𝑛=1 𝑁 𝜋 𝑘 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑁 2 Σ−1 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 Σ−1 − Σ−1 = 𝑁 2 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘) Σ−1 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 Σ−1 − Σ−1 24 分散共分散行列の最尤推定ΣkML Σ 𝑘𝑀𝐿 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘)
- 25. パラメータの推定 混合比𝜋 𝑘の推定 L =ln 𝑝(𝑋; 𝝅, 𝝁, Σ) + 𝜆 𝑘=1 𝐾 𝜋 𝑘 − 1 0 = 𝜕𝐿 𝜕𝜋 = 𝑛=1 𝑁 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 𝑗=1 𝐾 𝜋𝑗 𝑁 𝒙; 𝝁 𝑗, Σ𝑗 + 𝜆 両辺に𝜋 𝑘をかけて𝑘について和をとり制約条件を適用 𝜆 = −𝑁 𝜋 𝑘 = 𝑁𝑘 𝑁 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘) 25 𝜋 𝑘 = 𝑁𝑘 𝑁 𝑁𝑘 = 𝑛=1 𝑁 𝛾(𝑧 𝑛𝑘)
- 26. 混合ガウス分布のEMアルゴリズム Expectation-Step 潜在変数の更新：𝛾(𝒛) Maximization-Step 分布のパラメータの更新：𝝁 𝑘, Σk,𝜋 𝑘更新 26 𝛾 𝑧 𝑛𝑘 = 𝜋 𝑘 𝑁 𝒙 𝒏; 𝝁 𝑘, Σ 𝑘 𝑘=1 𝐾 𝜋 𝑘 𝑁 𝒙 𝒏; 𝝁 𝑘, Σ 𝑘 𝜇 𝑘 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 Σ 𝑘 = 1 𝑁𝑘 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘 𝒙 𝑛 − 𝝁 𝑘 𝒙 𝑛 − 𝝁 𝑘 𝑇 𝜋 𝑘= 𝑁𝑘 𝑁 𝑁𝑘 = 𝑛=1 𝑁 𝛾 𝑧 𝑛𝑘
- 27. 混合ガウス分布のいろいろ 尤度の発散 27 分散→0 ⇓ 尤度→∞ 𝑁 𝒙 𝑛;𝒙 𝑛, 𝜎kI = 1 2𝜋 1/2 1 𝜎 𝑘
- 28.