PRMLrevenge_3.3

PRMLrevenge_3.3

• 1.
  PRML 復々習レーン 3.3前半 @risuoku 中村直哉
• 2.
  3.3 ベイズ線形回帰 何を問題にしているのか？ • 線形回帰 •最尤推定→過学習！ • モデルの複雑さ （イケてるモデルって何だろう・・） 線形回帰モデルをベイズ的に取り扱う • 過学習を回避 • 訓練データだけからモデルの複雑さを自動的に 決定
• 3.
  ところで、推定するといっ ても、どこから始めればい いんです？？ まずそれっぽいのを決めておい て、データを見ながら修正してい こう。 ということで・・・ • モデルパラメータ（ここでは重みｗ）の事前確率 分布を導入
• 4.
  3.3.1 パラメータの分布 パラメータの事前分布 (3.48) ベイズの定理と(3.10)を使用 (3.49) (3.50) (3.51) • とにかくガウス分布 • 式の意味は？
• 5.
  何故ｗがガウス分布に従うのか？ • exp中のｗが二次形式となるから (3.10) ｗの二次形式
• 6.
  モデルを単純に (3.52) (3.52)の意味は？ (3.50)(3.51)から(3.53)(3.54)が導 ける ところで、この仮定はどこか で見たような・・・？
• 7.
  正則化との関連性 (3.55) その他もろもろ • p(w|t)の対数をとると、正則化項ありの誤差関数 (3.27)と一致 • logp(w)が正則化項に相当 • 「誤差関数(3.27)が小さくなるよう最適化」と「事 後確率分布に基づいてMAP推定」が等価
• 8.
  具体例 • 直線フィッティング • 事後分布を逐次的に更新 準備 データ生成アルゴリズム
• 9.
  事後分布を逐次的に更新 使う式 ① ② パラメータ推定アルゴリズム ※更新式として(3.53)(3.54)を使ってもいい が、これらはバッチ処理用なので注意
• 11.
  パラメータに関する他の形式 (3.56) • ガウス事前分布の一般化 • q=2でガウス事前分布と一致
• 12.
  (3.49)と２章の関連 • (3.49)は、実は２章の話を使って導出可能（と、テ キストに書いてある） • wがガウス分布に従うことが前提
• 13.
  ２章の復習 yの平均がxの線形関数 (2.113) (2.114) (2.115) (2.116) ３章への橋渡し • yをt、xをwと見る • 線形回帰モデルを 上手く（都合良 く）表現 wの線形関数
• 14.
  記号の対応関係 ２章 線形回帰 モデル 式の対応関係 ２章 (2.113) (2.114) (2.116) 線形回帰モデル (3.48) tの尤度. p(t|w)に相 (3.49) 当. ※(2.115)は(3.58)に対応