数式を使わずイメージで理解するEMアルゴリズム

37,776 views

Published on

Published in: Education
0 Comments
65 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
37,776
On SlideShare
0
From Embeds
0
Number of Embeds
28,308
Actions
Shares
0
Downloads
243
Comments
0
Likes
65
Embeds 0
No embeds

No notes for slide

数式を使わずイメージで理解するEMアルゴリズム

  1. 1. 数式を使わず イメージで理解する EMアルゴリズム @yag_ays 参考:「パターン認識と機械学習」下巻9章 Machine Learning Advent Calendar 2013
  2. 2. この図は対数尤度関数とパラメータの関係を おおまかにプロットしたものです ln p(X|✓) (PRML 図9.14参考) ✓
  3. 3. 横軸は最適化したいパラメータ 縦軸は最大化したい対数尤度関数の値になっています ln p(X|✓) 対数尤度関数 パラメータ ✓
  4. 4. EMアルゴリズムの目的は対数尤度関数が最大値に なるときのパラメータを求めることです ln p(X|✓) ✓
  5. 5. ただし対数尤度関数を直接最大化することはできません (解析的に求まらない・下図のような形がわからない) ln p(X|✓) ✓
  6. 6. それではEMアルゴリズムで 対数尤度関数を最大化しましょう ln p(X|✓) ✓
  7. 7. まずパラメータの初期値を適当に決めます ln p(X|✓) ✓ ✓
  8. 8. Eステップでは現在のパラメータ値での下界を計算します 青の点線が下界を表しています ln p(X|✓) Eステップ L(q, ✓) ✓ ✓
  9. 9. Mステップで下界を最大化するパラメータを新たに求めます つまり点線の最大値のところにパラメータをずらします ln p(X|✓) Mステップ L(q, ✓) ✓ ✓ 0 ✓
  10. 10. あとは同様にEステップとMステップを繰り返します ln p(X|✓) ✓ ✓ 0 ✓
  11. 11. あとは同様にEステップとMステップを繰り返します ln p(X|✓) Eステップ 0 L(q, ✓ ) ✓ ✓ 0 ✓
  12. 12. あとは同様にEステップとMステップを繰り返します ln p(X|✓) Mステップ 0 L(q, ✓ ) ✓ ✓ 0 ✓ 00 ✓
  13. 13. ある程度パラメータや対数尤度値が収束すれば EMアルゴリズムは終了です ln p(X|✓) ✓ ✓ 0 ✓ 00 ✓
  14. 14. これで対数尤度関数を最大にするパラメータが 求められました! ln p(X|✓) ✓ ✓ 0 ✓ 00 ✓

×