Recommended
More Related Content
More from Tomoyuki Hioki
More from Tomoyuki Hioki (11)
PRML1.2
- 1. パターン認識と機械学習 (ベイズ理論による統計的予測) 1.2 Pattern Recognition and Machine Learning (PRML)
- 2. 第1章 序論 1.1 多項式フィッティング 1.2 確率論 1.2.1 確率密度 1.2.2 期待値と分散 1.2.3 ベイズ確率 1.2.4 ガウス分布 1.2.5 曲線フィッティング再訪 1.2.6 ベイズ曲線フィッティング 1.3 モデル選択 1.4 次元の呪い 1.5 決定理論 1.5.1 識別率の最小化 1.5.2 期待値損失と最小化 1.5.3 棄却オプション 1.5.4 推論と決定 1.5.5 回帰のための損失関数 1.6 情報理論 1.6.1 相対エントロピーと相互情報量 目次
- 3. 確率変数 ⇨ どのような値となるかが,ある確率法則によって決まる変数 ー 例 ー 1.2 確率論 p(B=r)=0.6 p(B=b)=0.4 このどの箱を選ぶかのBは確率変数であり, p(B)は確率関数
- 4. 加法定理… ー 例 ー 1.2 確率論 （試行回数が十分に大きいことを前提） 青の箱からオレンジを取り出す確率と青の箱から, りんごを取り出す確率を足せば青の箱での選ぶ確率 p(B=b)になる このp(B=b)は他変数についての周辺化（足し合わせ） なので,周辺確率(marginal probability)と呼ぶ
- 8. 事前確率 ⇨ 果物を選ぶ問題を例にする 選んだ果物がわかる前に（結果のデータがないとき）,赤と青の箱を選ぶ確率は で与えられる 1.2 確率論 これは,はじめから定められた各箱を選ぶ確率そのまま ⇨ このような観測するよりも事前に得られる確率値は 事前確率と呼ぶ
- 9. 事後確率 ⇨ 選んだ果物がオレンジだと分かったとき, どの箱から選んだかについて計算するとベイズの定理より 1.2 確率論 このように観測した”F“から計算される確率は事後確率 と呼ぶ 赤い箱ではオレンジの方が多いので,取り出したオレンジ を観測したとき,赤い箱のものである確率が高い ⇨ 結果の確率が,事前確率よりも大きくなる
- 10. 尤度関数 ⇨ 先のスライド(1.1)の多項式曲線フィッティングの例を確率的な見解から考える データを観測する前に,多項式のパラメータWを事前分布p(w)として考え, 観測データD={t1,...tn}を観測したとき, wに関する不確定性を事後分布で評価することが可能になる ⇨p(D|w) … 現在のパラメータ分布wで観測されたDが出る確率を尤度関数と呼ぶ 1.2 確率論
- 11. 最尤推定 … 今までの推定方法はランダムで観測された,(古典的確率)データ集合を用いて, 尤度関数p(D|w)を最大にするwを求めることに相当する ⇨ これを最尤推定と呼ぶ ・欠点 最尤推定には過学習の傾向がある ⇨ 観測されたデータの不確実性を評価できないため, 単純に尤度関数を最大にしていまうことに起因する 例えば,コインを3回投げて全部表が出た場合,古典的な最尤推定を行うと 表が出る確率が100%という推論に至る ⇨ ベイズ的なアプローチで妥当な事前分布を使えば このような極端な結論にならない 1.2 確率論 ベイズ的なアプローチとは？