Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Prml14 5

2,584 views

Published on

  • Be the first to comment

  • Be the first to like this

Prml14 5

  1. 1. PRML読書会(最終回) 14.5 条件付き混合モデル 坪坂 正志 Mail: m.tsubosaka@gmail.com Blog : d.hatena.ne.jp/tsubosaka
  2. 2. 発表内容  14.5.1 線形回帰モデルの混合  9.2節の混合モデルを条件付きガウス分布に拡張し たモデル  14.5.2 ロジスティックモデルの混合  4.3節のロジスティック回帰モデルを混合分布に拡 張したモデル  14.5.3 混合エキスパートモデル  混合係数が条件付きで表されるモデル
  3. 3. 混合線形回帰モデル  それぞれが重みパラメータ������������ で支配される������個の 線形回帰モデルを考える  目標変数としては一次元の場合に限って考える  複数の出力への拡張(演習14.12)
  4. 4. 分布について  混合分布 (混合係数を������������ とする)  観測集合 : *������������ , ������������ +  パラメータ集合 ������: ������ = ������������ , ������ = ������������ , ������  対数尤度関数 (14.35)
  5. 5. 混合ガウス分布(9章)との比較  混合線形回帰モデル  混合ガウスモデル(一次元の場合)
  6. 6. 推論アルゴリズム  (14.35)式の尤度関数を最大化するためにEMアルゴ リズムを用いる  二値潜在変数の集合������ = *������������ +を導入
  7. 7. Eステップ  ������(������|������, ������old )を計算する  各データ点������に対するクラス������の事後確率すなわち 負担率をもとめる
  8. 8. Mステップ  パラメータをQ関数について最適化  ������������������ を固定しつつ、パラメータ������ = ������������ , ������ = ������������ , ������を最適化する
  9. 9. ������������ , ������に関する最適化  制約条件 ������ ������������ = 1のもとでラグランジュ未定乗 数法を使うと  Q関数から������に依存する項のみ取り出すと  ������について微分して0とおけば
  10. 10. ������������ についての最適化  Q関数から������������ に依存する項のみ取り出すと  ������������ についての微分を0とおくと
  11. 11. ������������ についての最適化(行列表記)  行列表記すると  ここで������������ = diag(������������������ )は������ × ������の対角行列  ������������ について解くと  これは式(4.99)のロジスティック回帰の更新式と 同じ形  またK=1のときに線形回帰の推定式と一致する
  12. 12. データ例  左から初期値、30反復目、50反復目の計算結果  下はデータについての負担率
  13. 13. 問題点  多峰性の分布のため、データが存在しないところ 領域にも大きな確率値をもつことがある  混合係数も������の関数とすることにより解決できる  混合密度ネットワーク(5.6節)  階層的混合エキスパートモデル(14.5.3節) この部分
  14. 14. 混合ロジスティック回帰モデル  混合ロジスティック回帰モデル  ロジスティック回帰モデル(4.3)の混合モデルバー ジョン  条件付き分布  尤度関数 (14.46)
  15. 15. 推論アルゴリズム  線形回帰モデルと同様に二値潜在変数������������������ を導入 して、EMアルゴリズムを用いて尤度関数の最大 化を行う  完全データの尤度関数
  16. 16. Eステップ  負担率を計算  14.5.1とほぼ同じ
  17. 17. Mステップ  Q関数に関する最大化  ������������ に関する最適化  いつもの式
  18. 18. ������������ についての最適化  ������������ についての勾配を計算  データ点に重み������������������ がついてるだけで、4.3.2の式 (4.91)と同じ形  ロジスティック回帰のときと同様に反復再重み付 け最小二乗(IRLS)アルゴリズムを利用して解くこ とができる
  19. 19. データ例  左は2クラス混合モデル、右は単一のロジス ティック回帰モデル
  20. 20. 混合エキスパートモデル  混合係数それ自身も入力変数の関数としたモデル 入力������ エキスパート������������ (������|������) 入力������ エキスパート������������ (������|������) ゲート関数 出力t ������(������) … 入力������ エキスパート������������ (������|������)
  21. 21. ゲート関数  ������������ (������)は確率値であるため、制約条件として 0 ≤ ������������ ������ ≤ 1, ������ ������������ ������ = 1を満たす必要がある  これは例えば線形ソフトマックスモデルで表現で きる  モデルパラメータの推論は反復再重み付け最小二 乗法を用いたEMアルゴリズムによりできる (Jordan and Jacobs, 1994)
  22. 22. 階層的混合エキスパートモデル  混合エキスパートモデルを混合分布にしたモデル  混合係数のモデルが線形分類モデル(ex. ソフトマック スモデル)であることにより、フラットな混合分布と は異なるモデルとなっている(演習14.17) 入力 混合エキスパートモデル 入力 混合エキスパートモデル ゲート関数 出力 … 入力 混合エキスパートモデル
  23. 23. 階層的混合エキスパートモデル  EMアルゴリズムにより効率よく最尤推定ができ る  変分推論法によるベイズ的な扱いが与えられてい る(Bishop and Svensen 2003)  決定木の確率的バージョンとみなすことができる  葉ノードに相当する部分がエキスパートで入力に応 じて各エキスパートの寄与率が決まる
  24. 24. (Jordan and Jacobs 1994)の図
  25. 25. 混合密度ネットワークとの比較  階層的混合エキスパートモデル  EMアルゴリズムによる最適化においてMステップの 最適化が凸最適化になる  混合密度ネットワーク  構成要素の密度と混合係数をニューラルネットワー クの隠れユニットで共有できる  入力空間の分割が非線形にもなり得る
  26. 26. Fin

×