Re revenge chap03-1

1,887 views

Published on

PRML復々習レーン #3 発表資料
http://atnd.org/events/30181

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,887
On SlideShare
0
From Embeds
0
Number of Embeds
517
Actions
Shares
0
Downloads
9
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Re revenge chap03-1

  1. 1. PRML 3章 線形回帰モデル 3.1 ∼ 3.1.2pp. 135-141PRML復復習レーン #32012/07/16 yag_ays 図は全てhttp://research.microsoft.com/en-us/um/people/cmbishop/prml/webfigs.htmより
  2. 2. 3.1∼3.1.2のあらすじ• 線形回帰 • 入力変数から目標変数を予測 • 入力変数に関して非線形な関数を導入する (xn )• 最尤推定と最小二乗法 • パラメータを推定する• 最小二乗法の幾何学
  3. 3. 3.1 線形基底関数モデル最も単純な線形回帰モデルを考える y(x, w) = w0 + w1 x1 + · · · + wD xd 入力変数: x = (x1 , . . . xD )T パラメータ: w = (w0 , . . . wD )T 入力変数に関して線形関数に 基底関数のなっているため,表現能力に乏しい 導入
  4. 4. 入力変数に関して非線形な関数 j (x) を噛ませる M 1 X y(x, w) = w0 + wj j (x) j=1バイアスパラメータ w0 を整理して M 1 X T y(x, w) = wj j (x) = w (x) ただし j=0 0 (x) =1 関数 y(x, w) : 非線形 パラメータ w : 線形 基底関数 j (x) : 非線形
  5. 5. よく用いられる基底関数の例多項式 ガウス基底関数 シグモイド関数 ⇢ 2 ✓ ◆ j (x µj ) x µjj (x) =x j (x) = exp 2s2 j (x) = s • その他 • スプライン関数で範囲を区切る • フーリエ基底やウェーブレットも
  6. 6. 3.1.1 最尤推定と最小二乗法目的変数 が関数    とノイズ で与えられる時 t y(x, w) ✏ t = y(x, w) + ✏ノイズがガウス分布に従うとすると p(t|x, w, ) = N (t|y(x, w), 1 )入力ベクトルと目標値が与えられた時の尤度関数は N Y T 1 p(t|X, w, ) = N (tn |w (xn ), ) n=1
  7. 7. 両辺対数を取って N X T 1 ln p(t|X, w, ) = N (tn |w (xn ), ) n=1 N N = ln ln 2⇡ ED (w) 2 2このとき,二乗和誤差関数は XN 1 T 2 ED (w) = {tn w (xn )} 2 n=1尤度関数の最大化 = 二乗和誤差関数の最小化 なので N X T T r ln p(t|X, w, ) = {tn w (xn )} (xn ) n=1
  8. 8. 勾配を0とおいて w について解く N N ! X T X T T 0= tn (xn ) w (xn ) (xn ) n=1 n=1 (展開しただけ)w について解く wML = ( T ) 1 T t 計画行列
  9. 9. バイアスパラメータw0 の解釈バイアスパラメータを残したまま 二乗和誤差関数を求めると XN M 1 X 1 2 ED (w) = {tn w0 wj j (xn )} 2 n=1 j=1w0 について解くと M 1 X ¯ w0 = t wj j j=1 N XN 1 X 1 ただし, = ¯ t tn j = j (xn ) N n=1 N n=1
  10. 10. バイアスパラメータw0 の解釈 M 1 X ¯ w0 = t wj j j=1 目標変数の平均 ー 基底関数の平均 N ¯ 1X 1X N t= tn j = j (xn ) N n=1 N n=1また,ノイズの精度パラメータ について XN 1 1 T 2 = {tn wM L (xn )} ML N n=1 これは回帰関数周りでの目標値との残差分散
  11. 11. 3.1.2 最小二乗法の幾何学幾何学なんて無かった...
  12. 12. 3.1.2 最小二乗法の幾何学(補足)• 皆様から教えてもらったことを自分なりに解釈してみる(ほとんどそ のまま).普通に間違ったこと書いてると思うので,指摘して頂けれ ば幸い.• 図3.2の見方としては,tが手前に伸びている.それを部分空間Sに正 射影したものがy.この図ではM=2,N=3.• tのベクトルの要素はデータ点の数N個あるので,tはN次元空間で表 すことができる.基底関数の数MをNと同じにすればtを正確に表現 することができるが,それでは過学習のような状態になってしまうた め,Nより少ない数(M<N)で何とか表現したい.• そのときにM次元空間で扱える範囲でtに一番似せようとしたベクト ルがyであり,これはtの正射影ベクトルになる.これがtとyと二乗和 誤差の幾何学的な関係.• 「二乗和誤差はyとtの二乗ユークリッド距離に等しい」は,yとtが 作る三角形のもう一つの辺のこと(これが小さくなるとNより少ない 次元数でtを上手く表現できていることになって嬉しい)• このような幾何学的解釈は,この後もPRML下巻などで出てくるらし い

×