Downloaded 39 times
![確率の直感的な定義
• どの箱を選ぶかを表す確率変数B={r,b}
• どの果物を選ぶかを表す確率変数F={a,o}
• 確率=(ある事象の生起回数)/(全試行回数)
• ただし無限回試行した時の極限
• P(B=r)=4/10, P(B=b)=6/10
• Pは[0,1]に収まり、総和が1
13年12月25日水曜日](https://image.slidesharecdn.com/chapter1-1-131225090834-phpapp02/85/PRML-1-35-320.jpg)
大阪PRML読書会#1資料
- 1. 1章 読書会#1 資料 twitter: @wrist facebook:hiromasa.ohashi 13年12月25日水曜日
- 2. スライド作成について • • • 図: 著者HPから落としてくる 表: CamScannerというiPhoneアプリで撮影 数式:tex2imgで画像を作成 • 13年12月25日水曜日 osxだとCUI版がある
- 3. まえがき • 追加資料のURL • http://research.microsoft.com/en-us/um/ people/cmbishop/PRML •PRMLに載ってるURLでもリダイレクト されます 13年12月25日水曜日
- 4.
- 5.
- 6.
- 7. 第1章 目次(1) 1. 序論 1.1. 例:多項式フィッティング 1.2.確率論 1.2.1.確率密度 1.2.2.期待値と分散 1.2.3.ベイズ確率 1.2.4.ガウス分布 1.2.5.曲線フィッテイング再訪 1.2.6.ベイズ曲線フィッティング 13年12月25日水曜日
- 8. 第1章 目次(2) 1. 序論 1.3. モデル選択 1.4.次元の呪い 1.5. 決定理論 1.5.1.誤識別率の最小化 1.5.2.期待損失の最小化 1.5.3.棄却オプション 1.5.4.推論と決定 1.5.5.回帰のための損失関数 13年12月25日水曜日
- 9.
- 10.
- 11.
- 12.
- 13. 実際の応用 • 前処理(preprocessing)によって新しい変 数に変換 • 画像の場合は拡大縮小、回転 •特徴抽出(feature extraction)とも 13年12月25日水曜日
- 14. 機械学習の分類 • 教師あり学習(supervised learning) • • • クラスタリング(clustering) 密度推定(densitiy estimation) 視覚化(visualization)=> 射影なども含む 強化学習(reinforcement learning) • 13年12月25日水曜日 出力が連続変数:回帰(regression) 教師なし学習(unsupervised learning) • • • • 出力が離散カテゴリ:クラス分類(classification) 報酬を最大にするような行動を見つける
- 15.
- 16.
- 17.
- 18.
- 19. 誤差関数の最小化 • wで微分して0になる係数を探す • 誤差関数はwに関して2次 •微分すると線形 • ただひとつの解w* • 結果として得られる多項式y(x,w) 13年12月25日水曜日
- 20. 多項式の次数の選び方 • 多項式の次数Mの選択 • モデル比較(modelcomparison)、モデ ル選択(model selection) 13年12月25日水曜日
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28. 最尤推定と過学習 • 最小二乗誤差基準の学習 • • • 最尤推定(maximum likelihood) 過学習は最尤推定において一般的な性質 過学習を避ける方法 • ベイズ的(Bayesian)アプローチが有効 • • 13年12月25日水曜日 有効パラメータ数(number ofeffective parameters)が自 動的にデータサイズに適合 誤差関数への罰則項の追加
- 29.
- 30.
- 31.
- 32. 1.2 確率論(probability theory) •不確実性に対する定量化と操作に関す る一貫した枠組みを与える • パターン認識の中心 13年12月25日水曜日
- 33.
- 34.
- 35. 確率の直感的な定義 • どの箱を選ぶかを表す確率変数B={r,b} • どの果物を選ぶかを表す確率変数F={a,o} •確率=(ある事象の生起回数)/(全試行回数) • ただし無限回試行した時の極限 • P(B=r)=4/10, P(B=b)=6/10 • Pは[0,1]に収まり、総和が1 13年12月25日水曜日
- 36. 確率に関する2つの法則 • • 13年12月25日水曜日 確率の加法定理(sum rule ofprobability) 確率の乗法定理(product rule of probability)
- 37.
- 38. 各種確率 同時確率 (結合確率; joint probability) 周辺確率 (marginalprobability) 加法定理の適用 条件付き確率 (conditional probability) 乗法定理 13年12月25日水曜日
- 39. 確率の基本法則とベイズの定理 • 確率の加法定理と確率の乗法定理 • ベイズの定理(Bayes’theorem) • p(X,Y)=p(Y,X)よりp(Y|X)p(X)=p(X|Y)p(Y) 13年12月25日水曜日