PRML第3章@京大PRML輪講

第3章線形回帰モデル
@ 京大PRML輪講
システム科学専攻石井研
M2 小山田創哲

目次
1. 線形基底関数モデル
1.  最尤推定と最小二乗法
2.  最小二乗法の幾何学
3.  逐次学習
4.  正則化最小二乗法
5.  出力変数が多次元の場合
2. バイアス-バリアンス分解

回帰
回帰の目標は，xとそれに対応するtの観測
が与えられた時，その観測から新しいxにた
いして対応するtの値を予測することである．
本章では線形モデルによる回帰の手法を学ぶ．
今後扱うモデルの基礎として重要

3.1 線形基底関数モデル

問題設定
n 与えられるデータ
n 目標
新しいに対して
で対応するを予測する．
と

線形モデル
但し，は（非線形な）基底関数
パラメータwについて線形

様々な基底関数
n 多項式基底
n ガウス基底
n シグモイド基底

3.1.1 最尤推定と最小二乗法
確率的モデルを立てる
データの持つ不確実性はtとxの同時分布によって完
全に記述されるが，新しいxに対応するtを予測す
るという目的を考えれば，tのxが与えられた条件
付き分布のモデルを立てるのがここでは自然．

最尤推定（尤度最大化）
対数尤度を計算する．
但し
線形ガウスモデルの条件下で尤度
最大化と二乗和誤差最小化は等価

最尤推定（対数尤度の微分）
対数尤度の勾配を計算し，
0とおいて

最尤推定（結果）
擬似逆行列

3.1.2 最小二乗法の幾何学
Φへの射影
データ点からモデルの張る空間への射影が
最尤推定により定まるモデル
(証) Φ^T (t – 右辺) = 0

より直感的理解
高校生の時にならったこれと実は一緒

3.1.3 逐次学習
SGD(Stochastic Gradient Decent)
により逐次的に学習も可能．
xのサンプルが得られる度，
wを逐次的に更新

3.1.4 正則化二乗誤差関数
正則化項
ランクを補ってる
Weight decay

正則化項いろいろ
lasso
lassoは解がスパースになりやすい

3.1.5 出力が多次元の場合
全く同じ！

3.2 バイアス-バリアンス分解

3-2 のまとめ
n 予測yの評価を（理論的に）したい
期待二乗損失
は，に分解できる．
bias: yによる予測の平均と理想的予測の差（の期待値）
variance: yによる予測のデータ依存のばらつき（分散）
noise: 理想的予測と観測値の差の平均（制御できない）
biasとvarianceにはトレードオフありがち

予測の評価
期待二乗損失による評価
これを最小にする理想的y(x)は？（復習）
真の分布は知らないので
実際には計算できない

予測の評価
証明（復習）
より
＝0 で最小

noise
理想的予測をhとおく
期待二乗損失は
noise: 理想的予想を
しても出てしまう誤差
biasとvarianceに分
解する

biasとvariance
データDによってy(x, D)が決まるとする．
第1項の被積分関数は，
Dについて期待値をとって

Bias, variance, noise
bias: yによる予測の平均と理想的予測の差（の期待値）
variance: yによる予測のデータ依存のばらつき（分散）
noise: 理想的予測と観測値の差の平均（制御できない）
biasとvarianceにはトレードオフありがち

λ 大
λ 小
モデル自由度
: 高い
モデル自由度
: 低い
bias 高い
variance 高い
variance 低い
bias 低い
トレードオフ

トレードオフ
Test errorと(bias)^2 + varianceは
λの変化に対して非常によく似た動きをする

全体私的まとめ
n 線形回帰モデルの最尤推定解はデータ点からモデ
ルの張る空間への射影という極めて直感的な形で
与えられた
n lassoはスパースな解を与えやすい
n 期待二乗損失は取り除けない本質的ノイズ
(noise)と，自分の予測と理想的予測との差
(bias)，自分の予測のゆらぎ(variance)に分解
できる
n biasとvarianceの間にはトレードオフの関係が
ありがち
n 自分の予測にゆらぎが存在し，期待損失に影響与
えるというのは見落としがちな視点だと思う
おわり！ありがとうございました！

PRML第3章@京大PRML輪講