2014.01.23 prml勉強会4.2確率的生成モデル

1,389 views

Published on

Published in: Education

2014.01.23 prml勉強会4.2確率的生成モデル

  1. 1. PRML輪読会 第9回 made by C.M.Bishop modified by T.Sakaki PATTERN RECOGNITION AND MACHINE LEARNING CHAPTER4.2 Probabilistic Generative Models
  2. 2. 4.2 確率的生成モデル 目的: る 分類問題:入力ベクトルxをあるクラスCkに振り分け 方針: ・モデル化されたクラスの条件付き確率密度p(x|Ck) ・クラスの事前確率p(Ck) → ベイズの定理を使ってp(Ck|x)を計算 ・事後確率が「入力変数xの線形関数」の ロジスティックシグモイド関数で表される ○入力空間を決定領域に分離 ○決定領域の境界を決定境界(決定面) ○「D次元入力区間に対して,その決定面が D-1次元の超平面で定義される」
  3. 3. 4.2 確率的生成モデル 事前確率 条件付き確率 事後確率 2クラス分 類 とおくと ロジスティックシグモイド 関数
  4. 4. 4.2 確率的生成モデル 演習4.7 ロジックシグモイド関数は対称性を持 つ ロジット関数
  5. 5. 4.2 確率的生成モデル 事前確率 条件付き確率 事後確率 kクラス分 類 とおくと 正規化指数関数 ソフトマックス関数 である場 合 ロジスティックシグモイド 関数の一般化バージョン
  6. 6. 4.2.1 連続値の入力 事前確率 条件付き確率 事後確率 ガウス分布と仮定する場 合 (4. 58) (4. 64) で与えられると き に代入
  7. 7. 4.2.1 連続値の入力 (4.64)を(4.5 8)に代入 (4.57)に代入 xの線形関数
  8. 8. 4.2.1 連続値の入力 条件付き確率密度(2クラ ス) 事後確率p(C1|x) 事後確率p(Ck|x)がxの線形関数で与えられるような面に対応する →決定境界は入力空間で線形になる
  9. 9. 4.2.1 連続値の入力 事前確率 条件付き確率 事後確率 kクラス分 類 (4. 62) (4.6 3)に (4.64)を 代入
  10. 10. 4.2.1 連続値の入力 線形 条件付き確率密度(3クラ 事後確率 ス) 共分散行列が共通であるという仮定を緩和する →決定境界は二次決定境界となる 二次
  11. 11. 4.2.2 最尤解 2クラス分 類 データ ラベル 尤度関数 事前確率
  12. 12. 4.2.2 最尤解 対数尤度の最大化を考える
  13. 13. 4.2.2 最尤解 πについてまとめる πによる微分=0とする を用いると 2クラス分 類 πの最尤推定量はクラスC1 内のデータ個数の割合
  14. 14. 4.2.2 最尤解 μ1、μ2についてまとめる πによる微分=0とする
  15. 15. 4.2.3 離散特徴 2状態離散変数の場合 (4.63)に 代入 入力xiの線形関数
  16. 16. 4.2.3 指数型分布族 条件付き確率 指数型分布族メンバーと仮定 スケーリングパラメータsを導 入 P.110 (2.19 4) P.116 (2.23 6) (2.23 9)
  17. 17. 4.2.3 指数型分布族 2クラス分類 (4. 58) に代入
  18. 18. 4.2.3 指数型分布族 多クラス分類 (4.6 3) に代入 入力xの線形関数

×