Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
3.1.2 最小二乗法の幾何学
辻 順平 
@tsujimotter
http://tsujimotter.info
PRML 勉強会 #4 @筑波大学
ハッシュタグ #PRML学ぼう
http://cs-cafe.connpass.com/e...
最小二乗法
(x)
( (xn), tn)
N 組の教師データ
y
基底関数の M 次元ベクトル
y(x, w)
線形モデル
2
y(x, w) = w0 +
M 1X
j=1
wj j(x)
1出力
y(x, w) =
M 1X
j=0
wj j(x)
0(x) = 1 とすると,以下のようにまとめられる
線形モデルの定式化
M 個のパラメータ
3
w = (w0, · · · , wM 1)T
(x) = ( 0(x), · · · , M 1(x))T
y(x, w) =
M 1X
j=0
wj j(x) = wT
(x)
ただし,
ベクトルの内積で表す
4
wT	
Φ(x)	
y(x,w)	
y(x, w) =
M 1X
j=0
wj j(x) = wT
(x)
5
wT	
Φ(x1)	
y(xN,w)	
Φ(x2)	
 Φ(xN)	
y(xN,w)	
 y(xN,w)	
・・・	
・・・	
(y(x1, w), y(x2, w), · · · , y(xN , w)) = wT
( (x1), (x2),...
w	
ΦT(x1)	
y(xN,w)	
ΦT(x2)	
ΦT(xN)	
y(xN,w)	
y(xN,w)	
T	
	
(y(x1, w), y(x2, w), · · · , y(xN , w))
T
= ( (x1), (x2), · · ·...
= ( (x1), (x2), · · · , (xN ))
T
=
0
B
B
B
@
0(x1) 1(x1) · · · M 1(x1)
0(x2) 1(x2) · · · M 1(x2)
...
...
...
...
0(xN ) 1(...
= ( (x1), (x2), · · · , (xN ))
T
=
0
B
B
B
@
0(x1) 1(x1) · · · M 1(x1)
0(x2) 1(x2) · · · M 1(x2)
...
...
...
...
0(xN ) 1(...
M 個のベクトルの線形結合N次元ベクトル
N: データ数
M: 基底関数ベクトルの次元(パラメータ数)
y = w0'0 + w1'1 · · · + wM 1'M 1
y = ('0, '1, · · · , 'M 1)w
10
M 次元 部分線形空間 S
S = w0'0 + w1'1 · · · + wM 1'M 1 | w0, w1, . . . , wM 1 2 R
S は            で張られる線形空間
S = span('0, '1, . . . ...
y = w0'0 + w1'1
'0
'1
S
の幾何的解釈y = w
12
ˆw = ( T
) 1 T
t
ˆy = ˆw
           を最小化するような     を
それぞれ    とすると,これらは以下のように書ける。
y, w
ˆy, ˆw
J(w) =
1
2
|t y|2
二乗和誤差関数
・・・(...
ˆy = ( T
) 1 T
t
H
より,以下が得られる
ˆy = Ht
  を代入すると,
N 次元ベクトル
M 次元部分空間 S 上のベクトル
ˆw = ( T
) 1 T
t
14
t
H
ˆy = Ht
ˆyy = w0'0 + w1'1
'0
'1
ˆr = t ˆy
の幾何的解釈
S
直交性
N 次元ベクトルを
M 次元部分空間に
射影する変換
15
直交性の証明の方針
以下の2つのベクトルの内積が0であることを示す
• ア
• イ
ˆy = Ht
ˆr = t ˆy = (I H)t
I は単位行列
16
Hat Matrix	
H = ( T
) 1 T
H2
= H1. Idempotency (冪等性):
2. Symmetry (対称性): HT
= H
17
1. 冪等性の証明
H2
= H · H = ( T
) 1 T
· ( T
) 1 T
= ( T
) 1
( T
)( T
) 1 T
= ( T
) 1 T
= H
AA 1
= I
18
2. 対称性の証明
HT
= ( ( T
) 1 T
)T
= ( T
) 1 T
= H
19
直交性の証明
= tT
HT
(I H)t
= tT
H(I H)t
= tT
(H H2
)t
= tT
Ot = 0 (* H2
= H)
(* HT
= H)
ˆyT
ˆr = (Ht)T
(I H)t
20
t
H
ˆy = Ht
ˆyy = w0'0 + w1'1
'0
'1
ˆr = t ˆy
の幾何的解釈
S
直交性
N 次元ベクトルを
M 次元部分空間に
射影する変換
直交するとき
「正射影」という
21
まとめ
•  最小二乗法とは,N 個の教師データと線形モデルとの二乗誤差を最
小化するような M 個のパラメータを見つける手法である
•  最小二乗法は,N 次元ベクトルに対する M 次元線形空間 S 上への
正射影を求める手法である
幾何的な...
参考文献
•  PRML 第3章「線形回帰モデル」 3.1.2 「最小二乗法の幾何
学」
•  Cedric E. Ginestet, "Hat Matrix: Properties and
Interpretation",
http://ma...
補足
1. 最小二乗法の解法
2. 二次形式
24
1. 最小二乗法の解法
を満たす,       を求めたい
・・・(1)
25	
@J(w)
@w
= 0 w = ˆw
J(w) =
1
2
|t w|2
=
1
2
(t w)T
(t w)
=
1
2
⇣
tT
t wT T
t tT
w...
参考:主要な微分公式
26	
@(wT
Aw)
@w
= 2Aw
@
@w
(aT
w) = a
@
@w
(wT
a) = a
より
したがって, ˆw = ( T
) 1 T
t ・・・(★)
@J(w)
@w w= ˆw
= 0
@J(w)
@w
= T
t + T
w
T
t + T
ˆw = 0
T
t = T
ˆw および tT
= ˆwT T
を式(1)に代入すると,
J(w)
が得られる。
・・・(2)
28	
2.二次形式
=
1
2
⇣
tT
t wT T
ˆw ˆwT T
w + wT
t wT T
ˆw ˆwT T
w +...
これを平方完成すると,
二次形式
?
29	
J(w) =
1
2
⇣
tT
t ˆwT T
ˆw + ˆwT T
ˆw wT T
ˆw ˆwT T
w +
tT
t ˆwT T
ˆw + ˆwT T
ˆw wT T
ˆw ˆwT T
w + ...
ここで,式(2)に       を代入すると,w = ˆw
が得られるから,結局,
のときの誤差(最小二乗誤差)w = ˆw
Hessian matrix
30	
J( ˆw) =
1
2
⇣
tT
t ˆwT T
ˆw
⌘
J(w) = J(...
Hessian	
  Matrix	
上の行列は以下の性質を持つ:
2.正定値性(positive definite): 8x 6= 0, xT
Hx > 0
HT
= H1.対称性(symmetry):
以上から,      は      の極...
J(w) = const.
w1
w2
ˆw
Hessian の第1主成分
に対する固有ベクトル
Hessian の第2主成分
に対する固有ベクトル
32	
の等高線
Upcoming SlideShare
Loading in …5
×

「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう

4,457 views

Published on

PRML勉強会 #4 @筑波大学 で tsujimotter が発表予定の資料です。
http://cs-cafe.connpass.com/event/14595/

Published in: Education

「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう

  1. 1. 3.1.2 最小二乗法の幾何学 辻 順平 @tsujimotter http://tsujimotter.info PRML 勉強会 #4 @筑波大学 ハッシュタグ #PRML学ぼう http://cs-cafe.connpass.com/event/14595/ 
  2. 2. 最小二乗法 (x) ( (xn), tn) N 組の教師データ y 基底関数の M 次元ベクトル y(x, w) 線形モデル 2
  3. 3. y(x, w) = w0 + M 1X j=1 wj j(x) 1出力 y(x, w) = M 1X j=0 wj j(x) 0(x) = 1 とすると,以下のようにまとめられる 線形モデルの定式化 M 個のパラメータ 3
  4. 4. w = (w0, · · · , wM 1)T (x) = ( 0(x), · · · , M 1(x))T y(x, w) = M 1X j=0 wj j(x) = wT (x) ただし, ベクトルの内積で表す 4
  5. 5. wT Φ(x) y(x,w) y(x, w) = M 1X j=0 wj j(x) = wT (x) 5
  6. 6. wT Φ(x1) y(xN,w) Φ(x2) Φ(xN) y(xN,w) y(xN,w) ・・・ ・・・ (y(x1, w), y(x2, w), · · · , y(xN , w)) = wT ( (x1), (x2), · · · , (xN )) TyT 6
  7. 7. w ΦT(x1) y(xN,w) ΦT(x2) ΦT(xN) y(xN,w) y(xN,w) T (y(x1, w), y(x2, w), · · · , y(xN , w)) T = ( (x1), (x2), · · · , (xN )) T w y 7
  8. 8. = ( (x1), (x2), · · · , (xN )) T = 0 B B B @ 0(x1) 1(x1) · · · M 1(x1) 0(x2) 1(x2) · · · M 1(x2) ... ... ... ... 0(xN ) 1(xN ) · · · M 1(xN ) 1 C C C A 計画行列(design matrix) 8
  9. 9. = ( (x1), (x2), · · · , (xN )) T = 0 B B B @ 0(x1) 1(x1) · · · M 1(x1) 0(x2) 1(x2) · · · M 1(x2) ... ... ... ... 0(xN ) 1(xN ) · · · M 1(xN ) 1 C C C A = '0, '1, · · · , 'M 1 計画行列(design matrix) 9
  10. 10. M 個のベクトルの線形結合N次元ベクトル N: データ数 M: 基底関数ベクトルの次元(パラメータ数) y = w0'0 + w1'1 · · · + wM 1'M 1 y = ('0, '1, · · · , 'M 1)w 10
  11. 11. M 次元 部分線形空間 S S = w0'0 + w1'1 · · · + wM 1'M 1 | w0, w1, . . . , wM 1 2 R S は            で張られる線形空間 S = span('0, '1, . . . , 'M 1) {'0, '1, · · · , 'M 1} y 2 S定義より, 11
  12. 12. y = w0'0 + w1'1 '0 '1 S の幾何的解釈y = w 12
  13. 13. ˆw = ( T ) 1 T t ˆy = ˆw            を最小化するような     を それぞれ    とすると,これらは以下のように書ける。 y, w ˆy, ˆw J(w) = 1 2 |t y|2 二乗和誤差関数 ・・・(補足★) 13
  14. 14. ˆy = ( T ) 1 T t H より,以下が得られる ˆy = Ht   を代入すると, N 次元ベクトル M 次元部分空間 S 上のベクトル ˆw = ( T ) 1 T t 14
  15. 15. t H ˆy = Ht ˆyy = w0'0 + w1'1 '0 '1 ˆr = t ˆy の幾何的解釈 S 直交性 N 次元ベクトルを M 次元部分空間に 射影する変換 15
  16. 16. 直交性の証明の方針 以下の2つのベクトルの内積が0であることを示す • ア • イ ˆy = Ht ˆr = t ˆy = (I H)t I は単位行列 16
  17. 17. Hat Matrix H = ( T ) 1 T H2 = H1. Idempotency (冪等性): 2. Symmetry (対称性): HT = H 17
  18. 18. 1. 冪等性の証明 H2 = H · H = ( T ) 1 T · ( T ) 1 T = ( T ) 1 ( T )( T ) 1 T = ( T ) 1 T = H AA 1 = I 18
  19. 19. 2. 対称性の証明 HT = ( ( T ) 1 T )T = ( T ) 1 T = H 19
  20. 20. 直交性の証明 = tT HT (I H)t = tT H(I H)t = tT (H H2 )t = tT Ot = 0 (* H2 = H) (* HT = H) ˆyT ˆr = (Ht)T (I H)t 20
  21. 21. t H ˆy = Ht ˆyy = w0'0 + w1'1 '0 '1 ˆr = t ˆy の幾何的解釈 S 直交性 N 次元ベクトルを M 次元部分空間に 射影する変換 直交するとき 「正射影」という 21
  22. 22. まとめ •  最小二乗法とは,N 個の教師データと線形モデルとの二乗誤差を最 小化するような M 個のパラメータを見つける手法である •  最小二乗法は,N 次元ベクトルに対する M 次元線形空間 S 上への 正射影を求める手法である 幾何的な解釈 22
  23. 23. 参考文献 •  PRML 第3章「線形回帰モデル」 3.1.2 「最小二乗法の幾何 学」 •  Cedric E. Ginestet, "Hat Matrix: Properties and Interpretation", http://math.bu.edu/people/cgineste/classes/ma575/p/ w5_1.pdf •  PRML 第3章 演習 3.1-3.10 http://fishii.github.io/osaka_prml_reading/ex_03_01-10.html 23
  24. 24. 補足 1. 最小二乗法の解法 2. 二次形式 24
  25. 25. 1. 最小二乗法の解法 を満たす,       を求めたい ・・・(1) 25 @J(w) @w = 0 w = ˆw J(w) = 1 2 |t w|2 = 1 2 (t w)T (t w) = 1 2 ⇣ tT t wT T t tT w + wT T w ⌘
  26. 26. 参考:主要な微分公式 26 @(wT Aw) @w = 2Aw @ @w (aT w) = a @ @w (wT a) = a
  27. 27. より したがって, ˆw = ( T ) 1 T t ・・・(★) @J(w) @w w= ˆw = 0 @J(w) @w = T t + T w T t + T ˆw = 0
  28. 28. T t = T ˆw および tT = ˆwT T を式(1)に代入すると, J(w) が得られる。 ・・・(2) 28 2.二次形式 = 1 2 ⇣ tT t wT T ˆw ˆwT T w + wT t wT T ˆw ˆwT T w + wT T w ⌘
  29. 29. これを平方完成すると, 二次形式 ? 29 J(w) = 1 2 ⇣ tT t ˆwT T ˆw + ˆwT T ˆw wT T ˆw ˆwT T w + tT t ˆwT T ˆw + ˆwT T ˆw wT T ˆw ˆwT T w + wT T w ⌘ ) J(w) = 1 2 ⇣ tT t ˆwT T ˆw ⌘ + 1 2 (w ˆw)T T (w ˆw)
  30. 30. ここで,式(2)に       を代入すると,w = ˆw が得られるから,結局, のときの誤差(最小二乗誤差)w = ˆw Hessian matrix 30 J( ˆw) = 1 2 ⇣ tT t ˆwT T ˆw ⌘ J(w) = J( ˆw) + 1 2 (w ˆw)T ( T )(w ˆw) 二次形式
  31. 31. Hessian  Matrix 上の行列は以下の性質を持つ: 2.正定値性(positive definite): 8x 6= 0, xT Hx > 0 HT = H1.対称性(symmetry): 以上から,      は      の極小値をとるJ(w)w = ˆw 31 H := ✓ @2 J @wi@wj ◆ = T
  32. 32. J(w) = const. w1 w2 ˆw Hessian の第1主成分 に対する固有ベクトル Hessian の第2主成分 に対する固有ベクトル 32 の等高線

×