Prml14 5

2,093 views
1,920 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,093
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
37
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Prml14 5

  1. 1. PRML読書会(最終回) 14.5 条件付き混合モデル 坪坂 正志 Mail: m.tsubosaka@gmail.com Blog : d.hatena.ne.jp/tsubosaka
  2. 2. 発表内容  14.5.1 線形回帰モデルの混合  9.2節の混合モデルを条件付きガウス分布に拡張し たモデル  14.5.2 ロジスティックモデルの混合  4.3節のロジスティック回帰モデルを混合分布に拡 張したモデル  14.5.3 混合エキスパートモデル  混合係数が条件付きで表されるモデル
  3. 3. 混合線形回帰モデル  それぞれが重みパラメータ で支配される個の 線形回帰モデルを考える  目標変数としては一次元の場合に限って考える  複数の出力への拡張(演習14.12)
  4. 4. 分布について  混合分布 (混合係数を とする)  観測集合 : * , +  パラメータ集合 : = , = ,  対数尤度関数 (14.35)
  5. 5. 混合ガウス分布(9章)との比較  混合線形回帰モデル  混合ガウスモデル(一次元の場合)
  6. 6. 推論アルゴリズム  (14.35)式の尤度関数を最大化するためにEMアルゴ リズムを用いる  二値潜在変数の集合 = * +を導入
  7. 7. Eステップ  (|, old )を計算する  各データ点に対するクラスの事後確率すなわち 負担率をもとめる
  8. 8. Mステップ  パラメータをQ関数について最適化  を固定しつつ、パラメータ = , = , を最適化する
  9. 9. , に関する最適化  制約条件 = 1のもとでラグランジュ未定乗 数法を使うと  Q関数からに依存する項のみ取り出すと  について微分して0とおけば
  10. 10. についての最適化  Q関数から に依存する項のみ取り出すと  についての微分を0とおくと
  11. 11. についての最適化(行列表記)  行列表記すると  ここで = diag( )は × の対角行列  について解くと  これは式(4.99)のロジスティック回帰の更新式と 同じ形  またK=1のときに線形回帰の推定式と一致する
  12. 12. データ例  左から初期値、30反復目、50反復目の計算結果  下はデータについての負担率
  13. 13. 問題点  多峰性の分布のため、データが存在しないところ 領域にも大きな確率値をもつことがある  混合係数もの関数とすることにより解決できる  混合密度ネットワーク(5.6節)  階層的混合エキスパートモデル(14.5.3節) この部分
  14. 14. 混合ロジスティック回帰モデル  混合ロジスティック回帰モデル  ロジスティック回帰モデル(4.3)の混合モデルバー ジョン  条件付き分布  尤度関数 (14.46)
  15. 15. 推論アルゴリズム  線形回帰モデルと同様に二値潜在変数 を導入 して、EMアルゴリズムを用いて尤度関数の最大 化を行う  完全データの尤度関数
  16. 16. Eステップ  負担率を計算  14.5.1とほぼ同じ
  17. 17. Mステップ  Q関数に関する最大化  に関する最適化  いつもの式
  18. 18. についての最適化  についての勾配を計算  データ点に重み がついてるだけで、4.3.2の式 (4.91)と同じ形  ロジスティック回帰のときと同様に反復再重み付 け最小二乗(IRLS)アルゴリズムを利用して解くこ とができる
  19. 19. データ例  左は2クラス混合モデル、右は単一のロジス ティック回帰モデル
  20. 20. 混合エキスパートモデル  混合係数それ自身も入力変数の関数としたモデル 入力 エキスパート (|) 入力 エキスパート (|) ゲート関数 出力t () … 入力 エキスパート (|)
  21. 21. ゲート関数  ()は確率値であるため、制約条件として 0 ≤ ≤ 1, = 1を満たす必要がある  これは例えば線形ソフトマックスモデルで表現で きる  モデルパラメータの推論は反復再重み付け最小二 乗法を用いたEMアルゴリズムによりできる (Jordan and Jacobs, 1994)
  22. 22. 階層的混合エキスパートモデル  混合エキスパートモデルを混合分布にしたモデル  混合係数のモデルが線形分類モデル(ex. ソフトマック スモデル)であることにより、フラットな混合分布と は異なるモデルとなっている(演習14.17) 入力 混合エキスパートモデル 入力 混合エキスパートモデル ゲート関数 出力 … 入力 混合エキスパートモデル
  23. 23. 階層的混合エキスパートモデル  EMアルゴリズムにより効率よく最尤推定ができ る  変分推論法によるベイズ的な扱いが与えられてい る(Bishop and Svensen 2003)  決定木の確率的バージョンとみなすことができる  葉ノードに相当する部分がエキスパートで入力に応 じて各エキスパートの寄与率が決まる
  24. 24. (Jordan and Jacobs 1994)の図
  25. 25. 混合密度ネットワークとの比較  階層的混合エキスパートモデル  EMアルゴリズムによる最適化においてMステップの 最適化が凸最適化になる  混合密度ネットワーク  構成要素の密度と混合係数をニューラルネットワー クの隠れユニットで共有できる  入力空間の分割が非線形にもなり得る
  26. 26. Fin

×