Successfully reported this slideshow.                                Upcoming SlideShare
×

# 「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう

5,277 views

Published on

PRML勉強会 #4 @筑波大学 で tsujimotter が発表予定の資料です。
http://cs-cafe.connpass.com/event/14595/

Published in: Education
• Full Name
Comment goes here.

Are you sure you want to Yes No Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No
• 補足部分の J(w) 定義に 1/2 をかけて、本編と整合性をとりました。

Are you sure you want to  Yes  No

### 「3.1.2最小二乗法の幾何学」PRML勉強会4 @筑波大学 #prml学ぼう

1. 1. 3.1.2 最小二乗法の幾何学 辻 順平 @tsujimotter http://tsujimotter.info PRML 勉強会 #4 @筑波大学 ハッシュタグ #PRML学ぼう http://cs-cafe.connpass.com/event/14595/
2. 2. 最小二乗法 (x) ( (xn), tn) N 組の教師データ y 基底関数の M 次元ベクトル y(x, w) 線形モデル 2
3. 3. y(x, w) = w0 + M 1X j=1 wj j(x) １出力 y(x, w) = M 1X j=0 wj j(x) 0(x) = 1 とすると，以下のようにまとめられる 線形モデルの定式化 M 個のパラメータ 3
4. 4. w = (w0, · · · , wM 1)T (x) = ( 0(x), · · · , M 1(x))T y(x, w) = M 1X j=0 wj j(x) = wT (x) ただし， ベクトルの内積で表す 4
5. 5. wT Φ(x) y(x,w) y(x, w) = M 1X j=0 wj j(x) = wT (x) 5
6. 6. wT Φ(x1) y(xN,w) Φ(x2) Φ(xN) y(xN,w) y(xN,w) ・・・ ・・・ (y(x1, w), y(x2, w), · · · , y(xN , w)) = wT ( (x1), (x2), · · · , (xN )) TyT 6
7. 7. w ΦT(x1) y(xN,w) ΦT(x2) ΦT(xN) y(xN,w) y(xN,w) T (y(x1, w), y(x2, w), · · · , y(xN , w)) T = ( (x1), (x2), · · · , (xN )) T w y 7
8. 8. = ( (x1), (x2), · · · , (xN )) T = 0 B B B @ 0(x1) 1(x1) · · · M 1(x1) 0(x2) 1(x2) · · · M 1(x2) ... ... ... ... 0(xN ) 1(xN ) · · · M 1(xN ) 1 C C C A 計画行列（design matrix） 8
9. 9. = ( (x1), (x2), · · · , (xN )) T = 0 B B B @ 0(x1) 1(x1) · · · M 1(x1) 0(x2) 1(x2) · · · M 1(x2) ... ... ... ... 0(xN ) 1(xN ) · · · M 1(xN ) 1 C C C A = '0, '1, · · · , 'M 1 計画行列（design matrix） 9
10. 10. M 個のベクトルの線形結合N次元ベクトル N: データ数 M: 基底関数ベクトルの次元（パラメータ数） y = w0'0 + w1'1 · · · + wM 1'M 1 y = ('0, '1, · · · , 'M 1)w 10
11. 11. M 次元 部分線形空間 S S = w0'0 + w1'1 · · · + wM 1'M 1 | w0, w1, . . . , wM 1 2 R S は            で張られる線形空間 S = span('0, '1, . . . , 'M 1) {'0, '1, · · · , 'M 1} y 2 S定義より， 11
12. 12. y = w0'0 + w1'1 '0 '1 S の幾何的解釈y = w 12
13. 13. ˆw = ( T ) 1 T t ˆy = ˆw            を最小化するような     を それぞれ    とすると，これらは以下のように書ける。 y, w ˆy, ˆw J(w) = 1 2 |t y|2 二乗和誤差関数 ・・・（補足★） 13
14. 14. ˆy = ( T ) 1 T t H より，以下が得られる ˆy = Ht   を代入すると， N 次元ベクトル M 次元部分空間 S 上のベクトル ˆw = ( T ) 1 T t 14
15. 15. t H ˆy = Ht ˆyy = w0'0 + w1'1 '0 '1 ˆr = t ˆy の幾何的解釈 S 直交性 N 次元ベクトルを M 次元部分空間に 射影する変換 15
16. 16. 直交性の証明の方針 以下の２つのベクトルの内積が０であることを示す • ア • イ ˆy = Ht ˆr = t ˆy = (I H)t I は単位行列 16
17. 17. Hat Matrix H = ( T ) 1 T H2 = H1. Idempotency (冪等性)： 2. Symmetry (対称性)： HT = H 17
18. 18. 1. 冪等性の証明 H2 = H · H = ( T ) 1 T · ( T ) 1 T = ( T ) 1 ( T )( T ) 1 T = ( T ) 1 T = H AA 1 = I 18
19. 19. 2. 対称性の証明 HT = ( ( T ) 1 T )T = ( T ) 1 T = H 19
20. 20. 直交性の証明 = tT HT (I H)t = tT H(I H)t = tT (H H2 )t = tT Ot = 0 (* H2 = H) (* HT = H) ˆyT ˆr = (Ht)T (I H)t 20
21. 21. t H ˆy = Ht ˆyy = w0'0 + w1'1 '0 '1 ˆr = t ˆy の幾何的解釈 S 直交性 N 次元ベクトルを M 次元部分空間に 射影する変換 直交するとき 「正射影」という 21
22. 22. まとめ •  最小二乗法とは，N 個の教師データと線形モデルとの二乗誤差を最 小化するような M 個のパラメータを見つける手法である •  最小二乗法は，N 次元ベクトルに対する M 次元線形空間 S 上への 正射影を求める手法である 幾何的な解釈 22
23. 23. 参考文献 •  PRML 第３章「線形回帰モデル」 3.1.2 「最小二乗法の幾何 学」 •  Cedric E. Ginestet, "Hat Matrix: Properties and Interpretation", http://math.bu.edu/people/cgineste/classes/ma575/p/ w5_1.pdf •  PRML 第３章 演習 3.1-3.10 http://ﬁshii.github.io/osaka_prml_reading/ex_03_01-10.html 23
24. 24. 補足 1. 最小二乗法の解法 2. 二次形式 24
25. 25. 1. 最小二乗法の解法 を満たす，       を求めたい ・・・（１） 25 @J(w) @w = 0 w = ˆw J(w) = 1 2 |t w|2 = 1 2 (t w)T (t w) = 1 2 ⇣ tT t wT T t tT w + wT T w ⌘
26. 26. 参考：主要な微分公式 26 @(wT Aw) @w = 2Aw @ @w (aT w) = a @ @w (wT a) = a
27. 27. より したがって， ˆw = ( T ) 1 T t ・・・（★） @J(w) @w w= ˆw = 0 @J(w) @w = T t + T w T t + T ˆw = 0
28. 28. T t = T ˆw および tT = ˆwT T を式（１）に代入すると， J(w) が得られる。 ・・・（２） 28 ２．二次形式 = 1 2 ⇣ tT t wT T ˆw ˆwT T w + wT t wT T ˆw ˆwT T w + wT T w ⌘
29. 29. これを平方完成すると， 二次形式 ？ 29 J(w) = 1 2 ⇣ tT t ˆwT T ˆw + ˆwT T ˆw wT T ˆw ˆwT T w + tT t ˆwT T ˆw + ˆwT T ˆw wT T ˆw ˆwT T w + wT T w ⌘ ) J(w) = 1 2 ⇣ tT t ˆwT T ˆw ⌘ + 1 2 (w ˆw)T T (w ˆw)
30. 30. ここで，式（２）に       を代入すると，w = ˆw が得られるから，結局， のときの誤差（最小二乗誤差）w = ˆw Hessian matrix 30 J( ˆw) = 1 2 ⇣ tT t ˆwT T ˆw ⌘ J(w) = J( ˆw) + 1 2 (w ˆw)T ( T )(w ˆw) 二次形式
31. 31. Hessian  Matrix 上の行列は以下の性質を持つ： ２．正定値性（positive deﬁnite）： 8x 6= 0, xT Hx > 0 HT = H１．対称性（symmetry）： 以上から，      は      の極小値をとるJ(w)w = ˆw 31 H := ✓ @2 J @wi@wj ◆ = T
32. 32. J(w) = const. w1 w2 ˆw Hessian の第１主成分 に対する固有ベクトル Hessian の第２主成分 に対する固有ベクトル 32 の等高線