Download as PDF, PPTX
More Related Content
![[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models](https://cdn.slidesharecdn.com/ss_thumbnails/mainslideshare1-190927025239-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets](https://cdn.slidesharecdn.com/ss_thumbnails/20220325okimura-220405024717-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=640&height=640&fit=bounds)
![[The Elements of Statistical Learning]Chapter8: Model Inferennce and Averaging](https://cdn.slidesharecdn.com/ss_thumbnails/theelementsofstatisticallearningchapter8modelinferennceandaveraging-181109001318-thumbnail.jpg?width=640&height=640&fit=bounds)
EMアルゴリズム
- 1.
- 2. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussianmixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 3.
- 4.
- 5. Generative modelの例（1） 次のような2次元の観測 xが得られたとき， どのようなモデル を立てるべきか？
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussianmixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 12.
- 13.
- 14. 事後分布 観測変数 x は実際に観測データが与えられ るのに対し，隠れ変数z はデータが与えら れないので，事後分布を考えることになる この事後分布を負担率とよぶ
- 15. 例）Gaussian mixture 2通りの見方が出来る 1. 観測変数 xだけのモデル 2. 観測変数 x と 隠れ変数 z のモデル
- 16. 例）Gaussian mixture 2通りの見方が出来る 1. 観測変数 xだけのモデル まず，1の見方で最尤推定をする その過程でEMアルゴリズムの必要性と EMアルゴリズムと等価なアルゴリズムを 説明する
- 17. Gaussian mixtureの最尤推定 対数尤度を計算して，最大化する log がexp に直接かからない！！
- 18. log が expに直接かかれば 【復習】単体のガウス分布の最尤推定 閉形式で最尤推定量が求まる！！ 微分して
- 19. log が expに直接かからないと Gaussian mixtureの最尤推定 微分して =0とおいても 閉じた形で推定量は求まらない EMアルゴリズムが必要
- 20.
- 21.
- 22.
- 23.
- 24. 最尤推定のアルゴリズム 1. 各パラメータを初期化 2. 現在のパラメータを用いて負担率を計算 3. 現在の負担率を使ってパラメータを更新 4. 対数尤度を計算し，パラメータと対数尤度の値から収 束性を判断する．収束していなければ2へ戻る．
- 25.
- 26. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussianmixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 27.
- 28.
- 29. それでも z は観察できない しかしz は観察できないので，パラメータ を特定の値に固定した事後分布で期待値を 計算する このQを最大にするθを求めることで，尤度 を大きくする 注）本当にQを大きくすることで尤度が大きくなっていることは あとで確認する
- 30. EMアルゴリズム 1. 各パラメータを初期化 2. 【Estep】現在のパラメータを用いて事後分布を計算 3. 【Mステップ】Qを計算し，パラメータを更新 4. 対数尤度を計算し，パラメータと対数尤度の値から収 束性を判断する．収束していなければ2へ戻る．
- 31.
- 32.
- 33. Gaussian mixture 再び 2通りの見方が出来る 1. 観測変数x だけのモデル 2. 観測変数 x と 隠れ変数 z のモデル
- 34. Gaussian mixture 再び 2通りの見方が出来る 1. 2. 観測変数 x と 隠れ変数 z のモデル 負担率とパラメータを交互に 最適化したアルゴリズムとEMが 等価であることをみる
- 35.
- 36.
- 37.
- 38. Contents 1. Generative model（準備） 2. EMアルゴリズム（メイン） 1. 例）Gaussianmixtureの最尤推定 2. EMアルゴリズムの説明 3. 自由エネルギーを使った再解釈 3. 変分ベイズ（少しだけ）
- 39.
- 40.
- 41.
- 42.
- 43. 実はEMと等価 【E step】 【M step】 この交互最適化を行うアルゴリズムはEMアルゴリズム と等価である．なぜなら， 【Estep】 【M step】 （θ固定）
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.