More Related Content
What's hot
What's hot (20)
Viewers also liked
More from Sotetsu KOYAMADA（小山田創哲）
More from Sotetsu KOYAMADA（小山田創哲） (11)
EMアルゴリズム
- 1. EM algorithm 2014.6.26 TN輪講＠ATR 京大情報学M2 小山田 創哲
- 2. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussian mixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 4. Generative model Generative modelとは一言で言えば， のことであり，立てたモデル（のパラメー タ）は観測データから推定される 比較）Discriminative model 観測データを生成するモデル
- 5. Generative modelの例（1） 次のような2次元の観測 x が得られたとき， どのようなモデル を立てるべきか？
- 9. EM algorithm
- 11. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussian mixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 14. 事後分布 観測変数 x は実際に観測データが与えられ るのに対し，隠れ変数 z はデータが与えら れないので，事後分布を考えることになる この事後分布を負担率とよぶ
- 15. 例）Gaussian mixture 2通りの見方が出来る 1. 観測変数 x だけのモデル 2. 観測変数 x と 隠れ変数 z のモデル
- 16. 例）Gaussian mixture 2通りの見方が出来る 1. 観測変数 x だけのモデル まず，1の見方で最尤推定をする その過程でEMアルゴリズムの必要性と EMアルゴリズムと等価なアルゴリズムを 説明する
- 17. Gaussian mixtureの最尤推定 対数尤度を計算して，最大化する log が exp に直接かからない！！
- 18. log が exp に直接かかれば 【復習】単体のガウス分布の最尤推定 閉形式で最尤推定量が求まる！！ 微分して
- 19. log が exp に直接かからないと Gaussian mixtureの最尤推定 微分して =0とおいても 閉じた形で推定量は求まらない EMアルゴリズムが必要
- 24. 最尤推定のアルゴリズム 1. 各パラメータを初期化 2. 現在のパラメータを用いて負担率を計算 3. 現在の負担率を使ってパラメータを更新 4. 対数尤度を計算し，パラメータと対数尤度の値から収 束性を判断する．収束していなければ2へ戻る．
- 25. 実行例 （PRMLより抜粋）
- 26. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussian mixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 29. それでも z は観察できない しかし z は観察できないので，パラメータ を特定の値に固定した事後分布で期待値を 計算する このQを最大にするθを求めることで，尤度 を大きくする 注）本当にQを大きくすることで尤度が大きくなっていることは あとで確認する
- 30. EMアルゴリズム 1. 各パラメータを初期化 2. 【E step】現在のパラメータを用いて事後分布を計算 3. 【Mステップ】Qを計算し，パラメータを更新 4. 対数尤度を計算し，パラメータと対数尤度の値から収 束性を判断する．収束していなければ2へ戻る．
- 32. Qを大きくすれば尤度は増える！
- 33. Gaussian mixture 再び 2通りの見方が出来る 1. 観測変数 x だけのモデル 2. 観測変数 x と 隠れ変数 z のモデル
- 34. Gaussian mixture 再び 2通りの見方が出来る 1. 2. 観測変数 x と 隠れ変数 z のモデル 負担率とパラメータを交互に 最適化したアルゴリズムとEMが 等価であることをみる
- 38. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussian mixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 39. 自由エネルギーを用いた再解釈 n EMアルゴリズムを紹介したが，これを自 由エネルギーを使って再解釈する n これにより，EMアルゴリズムをより深く 理解できると共に，変分ベイズへの橋渡 しとなる 今日覚えて帰るべき唯一の式！ 対数尤度 ＝ F ＋ KL(q || 事後分布)
- 43. 実はEMと等価 【E step】 【M step】 この交互最適化を行うアルゴリズムはEMアルゴリズム と等価である．なぜなら， 【E step】 【M step】 （θ固定）
- 49. 変分ベイズ（少しだけ雰囲気）
- 55. 参考資料