1. PRML読書会(最終回)
14.5 条件付き混合モデル
坪坂 正志
Mail: m.tsubosaka@gmail.com
Blog : d.hatena.ne.jp/tsubosaka

2. 発表内容
 14.5.1 線形回帰モデルの混合
 9.2節の混合モデルを条件付きガウス分布に拡張し
たモデル
 14.5.2 ロジスティックモデルの混合
 4.3節のロジスティック回帰モデルを混合分布に拡
張したモデル
 14.5.3 混合エキスパートモデル
 混合係数が条件付きで表されるモデル

3. 混合線形回帰モデル
 それぞれが重みパラメータ で支配される個の
線形回帰モデルを考える
 目標変数としては一次元の場合に限って考える
 複数の出力への拡張(演習14.12)

4. 分布について
 混合分布 (混合係数を とする)
 観測集合 : * , +
 パラメータ集合 : = , = ,
 対数尤度関数
(14.35)

5. 混合ガウス分布(9章)との比較
 混合線形回帰モデル
 混合ガウスモデル(一次元の場合)

6. 推論アルゴリズム
 (14.35)式の尤度関数を最大化するためにEMアルゴ
リズムを用いる
 二値潜在変数の集合 = * +を導入

7. Eステップ
 (|, old )を計算する
 各データ点に対するクラスの事後確率すなわち
負担率をもとめる

8. Mステップ
 パラメータをQ関数について最適化
 を固定しつつ、パラメータ = , =
, を最適化する

9. , に関する最適化
 制約条件 = 1のもとでラグランジュ未定乗
数法を使うと
 Q関数からに依存する項のみ取り出すと
 について微分して0とおけば

10. についての最適化
 Q関数から に依存する項のみ取り出すと
 についての微分を0とおくと

11. についての最適化(行列表記)
 行列表記すると
 ここで = diag( )は × の対角行列
 について解くと
 これは式(4.99)のロジスティック回帰の更新式と
同じ形
 またK=1のときに線形回帰の推定式と一致する

12. データ例
 左から初期値、30反復目、50反復目の計算結果
 下はデータについての負担率

13. 問題点
 多峰性の分布のため、データが存在しないところ
領域にも大きな確率値をもつことがある
 混合係数もの関数とすることにより解決できる
 混合密度ネットワーク(5.6節)
 階層的混合エキスパートモデル(14.5.3節)
この部分

14. 混合ロジスティック回帰モデル
 混合ロジスティック回帰モデル
 ロジスティック回帰モデル(4.3)の混合モデルバー
ジョン
 条件付き分布
 尤度関数
(14.46)

15. 推論アルゴリズム
 線形回帰モデルと同様に二値潜在変数 を導入
して、EMアルゴリズムを用いて尤度関数の最大
化を行う
 完全データの尤度関数

16. Eステップ
 負担率を計算
 14.5.1とほぼ同じ

17. Mステップ
 Q関数に関する最大化
 に関する最適化
 いつもの式

18. についての最適化
 についての勾配を計算
 データ点に重み がついてるだけで、4.3.2の式
(4.91)と同じ形
 ロジスティック回帰のときと同様に反復再重み付
け最小二乗(IRLS)アルゴリズムを利用して解くこ
とができる

19. データ例
 左は2クラス混合モデル、右は単一のロジス
ティック回帰モデル

20. 混合エキスパートモデル
 混合係数それ自身も入力変数の関数としたモデル
入力 エキスパート (|)
入力 エキスパート (|)
ゲート関数
出力t
()
…
入力 エキスパート (|)

21. ゲート関数
 ()は確率値であるため、制約条件として
0 ≤ ≤ 1, = 1を満たす必要がある
 これは例えば線形ソフトマックスモデルで表現で
きる
 モデルパラメータの推論は反復再重み付け最小二
乗法を用いたEMアルゴリズムによりできる
(Jordan and Jacobs, 1994)

22. 階層的混合エキスパートモデル
 混合エキスパートモデルを混合分布にしたモデル
 混合係数のモデルが線形分類モデル(ex. ソフトマック
スモデル)であることにより、フラットな混合分布と
は異なるモデルとなっている(演習14.17)
入力 混合エキスパートモデル
入力 混合エキスパートモデル
ゲート関数 出力
…
入力 混合エキスパートモデル

23. 階層的混合エキスパートモデル
 EMアルゴリズムにより効率よく最尤推定ができ
る
 変分推論法によるベイズ的な扱いが与えられてい
る(Bishop and Svensen 2003)
 決定木の確率的バージョンとみなすことができる
 葉ノードに相当する部分がエキスパートで入力に応
じて各エキスパートの寄与率が決まる

24. (Jordan and Jacobs 1994)の図

25. 混合密度ネットワークとの比較
 階層的混合エキスパートモデル
 EMアルゴリズムによる最適化においてMステップの
最適化が凸最適化になる
 混合密度ネットワーク
 構成要素の密度と混合係数をニューラルネットワー
クの隠れユニットで共有できる
 入力空間の分割が非線形にもなり得る

26. Fin