Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

パターン認識と機械学習14章 d0912

1,894 views

Published on

Published in: Education
  • Be the first to comment

パターン認識と機械学習14章 d0912

  1. 1. PRML 読書会 14. モデルの結合 [email_address] Yoshinori Kabeya
  2. 2. 目次 <ul><li>14 イントロ:モデル結合とは </li></ul><ul><li>14.1 ベイズモデル平均化 </li></ul><ul><li>14.2 コミッティ </li></ul><ul><li>14.3 ブースティング </li></ul><ul><li>14.4 木構造モデル </li></ul><ul><li>14.5 条件付混合モデル </li></ul>
  3. 3. イントロ:モデル結合とは <ul><li>モデル結合の目的 </li></ul><ul><ul><li>複数のモデルを組み合わせることにより単一のモデルの性能改善を図る </li></ul></ul><ul><li>モデル結合 </li></ul><ul><ul><li>コミッティ (committee) </li></ul></ul><ul><ul><li>ブースティング (boosting) </li></ul></ul><ul><ul><li>決定木 (decision tree) </li></ul></ul><ul><ul><li>混合エキスパートモデル (mixture of experts model) </li></ul></ul>が、私はモデル結合の話ではなく、ベイズモデル平均化の話をします。 ベイズモデル平均化とモデル結合を区別することは重要である !
  4. 4. 14.1 ベイズモデル平均化 <ul><li>ベイズモデル平均化 </li></ul><ul><ul><li>ベイズモデル平均化とはデータ集合全体が単一のモデルから生成されること </li></ul></ul><ul><ul><ul><li>結果として単一のモデルとなりモデル結合とならない </li></ul></ul></ul>データ点の生成原因がどの構成要素であるかを示す 二値の潜在変数 z を含むモデルで同時分布を示すと 観測変数 x についての密度は潜在変数を周辺化することにより求まり 通常のガウス混合分布の例では (9.12) より下記の表記となりモデル結合の一例となる 独立同分布のデータ集合 X={x1,x2,,,xn} の周辺確率は となり、観測されたデータ点 Xn ごとに対応する潜在変数 Zn が存在することがわかる。 (14.2) (14.3) (14.4) (14.5) ① 混合ガウス分布を用いて モデル結合 の説明
  5. 5. 14.1 ベイズモデル平均化 h=1,2,,,,H で番号付されたいくつかの異なるモデルがありその事前分布が p(h) とする するとデータ集合についての周辺分布は下記のようになる ② ベイズモデル平均化の例を説明 (14.6) この場合だとたった一つのモデルがデータ全体の生成を担当している  データ集合のサイズが大きくなれば、不確実性が減少しひとつのモデルに集中するようになる  よってひとつのモデルで予測することになり、モデル結合とならない p(h)
  6. 6. 14.1 ベイズモデル平均化 演習 14.1 モデル p(t|x,zh,θh,h) を考える。 (x: 入力ベクトル、 t: 目標ベクトル ,h: モデルインデックス ,zh: 潜在変数、 θh: パラメータ集合 モデルの事前確率を p(h) とし、訓練集合を X={x1,x2,,,xN},T={t1,t2,,,tN} とする。 潜在変数とモデルインデックスを周辺化した予測分布を書き下し、ベイズモデル平均化と潜在変数を利用することの違いを示せ。 潜在変数とモデルインデックスを周辺化すると・・・ (150) の式は結局事前確率 h に潜在変数、パラメータが依存してしまい、ベイズモデル平均化となる。 (150)
  7. 7. 14.1 ベイズモデル平均化 演習 14.1 (151) となり、データ点 Tn ごとに潜在変数 Zn が存在することがわかる よってこれはベイズモデル平均化ではない ここで潜在変数を陽に書くと・・・

×