PRMLrevenge 4.4

PRMLrevenge 4.4

• 1.
  PRML 復々習レーン 4.4, 4.4.1 @risuoku 中村直哉
• 2.
  4.4 ラプラス近似 問題 • 確率分布が複雑 ― 必要な計算ができない — ロジスティック回帰の ベイズ的な取扱い （4.5） （モデルはできたのに計算できない・・） 解決策 1. 解析的な近似（10章） 2. 数値的なサンプリング（11章） 今回は、ラプラス近似を利用
• 3.
  ラプラス近似導入
• 4.
  （※続き） ０になる 無視する (4.127) ４．代入して完成 — (4.127)を変形→(4.129) — (4.129)を正規化→(4.130)
• 5.
  注意点など (4.130) • ガウス分布による近似式(4.130)が適切に定義される のは、A>0の場合のみ • Aの値による関数の違い — 上に凸→A>0 — 下に凸→A<0 モードとして使える点
• 6.
  多次元に拡張 • 1次元の場合とほとんどいっしょ • 「勾配」「ヘッセ行列」について、直観的な説明 — 勾配：関数を各変数について偏微分して、ベクトルと して集めたもの（Ｍ次元ベクトル） — ヘッセ行列：重複を許した2変数の組み合わせで関数を 偏微分して、行列として集めたもの（Ｍ×Ｍ行列） (4.134)
• 7.
  ラプラス近似について補足・考 察
• 8.
  モデルの比較とBIC • 正規化係数Zの近似 (4.135) • モデルエビデンス (4.136)
• 9.
  Occam係数 (4.137) (4.137)は、条件を満たせば次のように近似できる (4.139) • Ｎ：データ数、Ｍ：θに含まれるパラメータ数 • ベイズ情報量基準(BIC) or シュワルツ基準
• 10.
  BICの性質 • AICと比較して、BICはモデルの複雑さにより重いペ ナルティを科している • (4.139)の、Ｍが大きくなる（=モデルが複雑になる）ほ ど、モデルエビデンスが小さくなる。AICと比較して、 BICの方が係数部分が大きい（AICは1、BICはlnN/2） • 多くのパラメータが「well-determined」でないた め、ヘッセ行列が非退化であるという仮定が多く の場合妥当でない問題がある • (4.137)を(4.139)のように近似することが妥当でない • ニューラルネットワークの枠組みでは、(4.137)を使って、 もっと精度よくモデルエビデンスを推定できる