Recommended
More Related Content
More from Tomoyuki Hioki
More from Tomoyuki Hioki (11)
Prml1.2.3
- 1. パターン認識と機械学習 (ベイズ理論による統計的予測) 1.2.3 Pattern Recognition and Machine Learning (PRML)
- 2. 第1章 序論 1.1 多項式フィッティング 1.2 確率論 1.2.1 確率密度 1.2.2 期待値と分散 1.2.3 ベイズ確率 1.2.4 ガウス分布 1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング 1.3 モデル選択 1.4 次元の呪い 1.5 決定理論 1.5.1 識別率の最⼩化 1.5.2 期待値損失と最⼩化 1.5.3 棄却オプション 1.5.4 推論と決定 1.5.5 回帰のための損失関数 1.6 情報理論 1.6.1 相対エントロピーと相互情報量 ⽬次
- 3. ベイズ確率 ⇨ 確率の解釈は2種類ある ・頻度主義的…ランダムな事象が繰り返し発⽣する頻度を確率とする ex) サイコロの⽬が1になる確率 𝑃 = 1の⽬が出た数/サイコロを振った数 ・ベイズ主義的…事象の不確実性の度合いを確率とする ex) ⽉が太陽を周る軌道上にある確率 南極に積もった雪が今世紀末に消える確率 不確定性を定量的に表すと,確率の加法・乗法定理に従う 1.2.3 ベイズ確率
- 4. ベイズの定理 ⇨ 多項式フィッティングを例において,𝐰は重み(weight), 𝒟は観測データ 𝒟 = {𝑡1, … , 𝑡 𝑁}) 𝑝 𝐰 𝒟 = 𝑝 𝒟 𝐰 𝑝(𝐰) 𝑝(𝒟) 𝑝 𝐰 𝒟 ：事後確率分布 𝑝 𝒟 𝐰 ：尤度関数 𝑝(𝐰)：事前確率分布 𝑝(𝒟)：事後分布を積分した値を1とするための規格化定数 𝑝 𝒟 = 1 𝑝 𝒟 𝐰 𝑝(𝐰) ⅆ𝐰 1.2.3 ベイズ確率
- 5. 尤度関数 𝑝 𝒟 𝐰 ：尤度関数 𝐰を固定した時に観測されたデータ集合がどれくらい起こりやすいか ⇨ 確率分布ではないため, 𝐰に関する積分は1になるとは限らない 頻度主義では𝐰は最尤推定であり,尤度関数𝑝 𝒟 𝐰 を最⼤にする値である 機械学習では誤差関数 尤度の最⼤化 ⇔ 誤差関数の最⼩化 1.2.3 ベイズ確率
- 7. ベイズ主義的⼿法…事前分布がわからない時 ⇨ 無情報事前分布(2.4.3節で説明)を⽤いる しかし, • 異なるモデルとの⽐較に応⽤できない • 悪い事前分布を選ぶと悪い事後分布になる といった⽋点がある 頻度主義的な考え⽅とあわせると修正できる 交差確認など 1.2.3 ベイズ確率