• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
2014.01.23 prml勉強会4.2確率的生成モデル
 

2014.01.23 prml勉強会4.2確率的生成モデル

on

  • 277 views

 

Statistics

Views

Total Views
277
Views on SlideShare
277
Embed Views
0

Actions

Likes
2
Downloads
7
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    2014.01.23 prml勉強会4.2確率的生成モデル 2014.01.23 prml勉強会4.2確率的生成モデル Presentation Transcript

    • PRML輪読会 第9回 made by C.M.Bishop modified by T.Sakaki PATTERN RECOGNITION AND MACHINE LEARNING CHAPTER4.2 Probabilistic Generative Models
    • 4.2 確率的生成モデル 目的: る 分類問題:入力ベクトルxをあるクラスCkに振り分け 方針: ・モデル化されたクラスの条件付き確率密度p(x|Ck) ・クラスの事前確率p(Ck) → ベイズの定理を使ってp(Ck|x)を計算 ・事後確率が「入力変数xの線形関数」の ロジスティックシグモイド関数で表される ○入力空間を決定領域に分離 ○決定領域の境界を決定境界(決定面) ○「D次元入力区間に対して,その決定面が D-1次元の超平面で定義される」
    • 4.2 確率的生成モデル 事前確率 条件付き確率 事後確率 2クラス分 類 とおくと ロジスティックシグモイド 関数
    • 4.2 確率的生成モデル 演習4.7 ロジックシグモイド関数は対称性を持 つ ロジット関数
    • 4.2 確率的生成モデル 事前確率 条件付き確率 事後確率 kクラス分 類 とおくと 正規化指数関数 ソフトマックス関数 である場 合 ロジスティックシグモイド 関数の一般化バージョン
    • 4.2.1 連続値の入力 事前確率 条件付き確率 事後確率 ガウス分布と仮定する場 合 (4. 58) (4. 64) で与えられると き に代入
    • 4.2.1 連続値の入力 (4.64)を(4.5 8)に代入 (4.57)に代入 xの線形関数
    • 4.2.1 連続値の入力 条件付き確率密度(2クラ ス) 事後確率p(C1|x) 事後確率p(Ck|x)がxの線形関数で与えられるような面に対応する →決定境界は入力空間で線形になる
    • 4.2.1 連続値の入力 事前確率 条件付き確率 事後確率 kクラス分 類 (4. 62) (4.6 3)に (4.64)を 代入
    • 4.2.1 連続値の入力 線形 条件付き確率密度(3クラ 事後確率 ス) 共分散行列が共通であるという仮定を緩和する →決定境界は二次決定境界となる 二次
    • 4.2.2 最尤解 2クラス分 類 データ ラベル 尤度関数 事前確率
    • 4.2.2 最尤解 対数尤度の最大化を考える
    • 4.2.2 最尤解 πについてまとめる πによる微分=0とする を用いると 2クラス分 類 πの最尤推定量はクラスC1 内のデータ個数の割合
    • 4.2.2 最尤解 μ1、μ2についてまとめる πによる微分=0とする
    • 4.2.3 離散特徴 2状態離散変数の場合 (4.63)に 代入 入力xiの線形関数
    • 4.2.3 指数型分布族 条件付き確率 指数型分布族メンバーと仮定 スケーリングパラメータsを導 入 P.110 (2.19 4) P.116 (2.23 6) (2.23 9)
    • 4.2.3 指数型分布族 2クラス分類 (4. 58) に代入
    • 4.2.3 指数型分布族 多クラス分類 (4.6 3) に代入 入力xの線形関数