PRML勉強会 #4 @筑波大学 で tsujimotter が発表予定の資料です。 http://cs-cafe.connpass.com/event/14595/

1. 3.1.2 最小二乗法の幾何学
辻 順平
@tsujimotter
http://tsujimotter.info
PRML 勉強会 #4 @筑波大学
ハッシュタグ #PRML学ぼう
http://cs-cafe.connpass.com/event/14595/

2. 最小二乗法
(x)
( (xn), tn)
N 組の教師データ
y
基底関数の M 次元ベクトル
y(x, w)
線形モデル
2

3. y(x, w) = w0 +
M 1X
j=1
wj j(x)
１出力
y(x, w) =
M 1X
j=0
wj j(x)
0(x) = 1 とすると，以下のようにまとめられる
線形モデルの定式化
M 個のパラメータ
3

4. w = (w0, · · · , wM 1)T
(x) = ( 0(x), · · · , M 1(x))T
y(x, w) =
M 1X
j=0
wj j(x) = wT
(x)
ただし，
ベクトルの内積で表す
4

5. wT
Φ(x)
y(x,w)
y(x, w) =
M 1X
j=0
wj j(x) = wT
(x)
5

6. wT
Φ(x1)
y(xN,w)
Φ(x2)
Φ(xN)
y(xN,w)
y(xN,w)
・・・
・・・
(y(x1, w), y(x2, w), · · · , y(xN , w)) = wT
( (x1), (x2), · · · , (xN ))
TyT
6

7. w
ΦT(x1)
y(xN,w)
ΦT(x2)
ΦT(xN)
y(xN,w)
y(xN,w)
T
(y(x1, w), y(x2, w), · · · , y(xN , w))
T
= ( (x1), (x2), · · · , (xN ))
T
w
y
7

8. = ( (x1), (x2), · · · , (xN ))
T
=
0
B
B
B
@
0(x1) 1(x1) · · · M 1(x1)
0(x2) 1(x2) · · · M 1(x2)
...
...
...
...
0(xN ) 1(xN ) · · · M 1(xN )
1
C
C
C
A
計画行列（design matrix）
8

9. = ( (x1), (x2), · · · , (xN ))
T
=
0
B
B
B
@
0(x1) 1(x1) · · · M 1(x1)
0(x2) 1(x2) · · · M 1(x2)
...
...
...
...
0(xN ) 1(xN ) · · · M 1(xN )
1
C
C
C
A
= '0, '1, · · · , 'M 1
計画行列（design matrix）
9

10. M 個のベクトルの線形結合N次元ベクトル
N: データ数
M: 基底関数ベクトルの次元（パラメータ数）
y = w0'0 + w1'1 · · · + wM 1'M 1
y = ('0, '1, · · · , 'M 1)w
10

11. M 次元 部分線形空間 S
S = w0'0 + w1'1 · · · + wM 1'M 1 | w0, w1, . . . , wM 1 2 R
S は で張られる線形空間
S = span('0, '1, . . . , 'M 1)
{'0, '1, · · · , 'M 1}
y 2 S定義より，
11

12. y = w0'0 + w1'1
'0
'1
S
の幾何的解釈y = w
12

13. ˆw = ( T
) 1 T
t
ˆy = ˆw
を最小化するような を
それぞれ とすると，これらは以下のように書ける。
y, w
ˆy, ˆw
J(w) =
1
2
|t y|2
二乗和誤差関数
・・・（補足★）
13

14. ˆy = ( T
) 1 T
t
H
より，以下が得られる
ˆy = Ht
を代入すると，
N 次元ベクトル
M 次元部分空間 S 上のベクトル
ˆw = ( T
) 1 T
t
14

15. t
H
ˆy = Ht
ˆyy = w0'0 + w1'1
'0
'1
ˆr = t ˆy
の幾何的解釈
S
直交性
N 次元ベクトルを
M 次元部分空間に
射影する変換
15

16. 直交性の証明の方針
以下の２つのベクトルの内積が０であることを示す
• ア
• イ
ˆy = Ht
ˆr = t ˆy = (I H)t
I は単位行列
16

17. Hat Matrix
H = ( T
) 1 T
H2
= H1. Idempotency (冪等性)：
2. Symmetry (対称性)： HT
= H
17

18. 1. 冪等性の証明
H2
= H · H = ( T
) 1 T
· ( T
) 1 T
= ( T
) 1
( T
)( T
) 1 T
= ( T
) 1 T
= H
AA 1
= I
18

19. 2. 対称性の証明
HT
= ( ( T
) 1 T
)T
= ( T
) 1 T
= H
19

20. 直交性の証明
= tT
HT
(I H)t
= tT
H(I H)t
= tT
(H H2
)t
= tT
Ot = 0 (* H2
= H)
(* HT
= H)
ˆyT
ˆr = (Ht)T
(I H)t
20

21. t
H
ˆy = Ht
ˆyy = w0'0 + w1'1
'0
'1
ˆr = t ˆy
の幾何的解釈
S
直交性
N 次元ベクトルを
M 次元部分空間に
射影する変換
直交するとき
「正射影」という
21

22. まとめ
• 最小二乗法とは，N 個の教師データと線形モデルとの二乗誤差を最
小化するような M 個のパラメータを見つける手法である
• 最小二乗法は，N 次元ベクトルに対する M 次元線形空間 S 上への
正射影を求める手法である
幾何的な解釈
22

23. 参考文献
• PRML 第３章「線形回帰モデル」 3.1.2 「最小二乗法の幾何
学」
• Cedric E. Ginestet, "Hat Matrix: Properties and
Interpretation",
http://math.bu.edu/people/cgineste/classes/ma575/p/
w5_1.pdf
• PRML 第３章 演習 3.1-3.10
http://fishii.github.io/osaka_prml_reading/ex_03_01-10.html
23

24. 補足
1. 最小二乗法の解法
2. 二次形式
24

25. 1. 最小二乗法の解法
を満たす， を求めたい
・・・（１）
25
@J(w)
@w
= 0 w = ˆw
J(w) =
1
2
|t w|2
=
1
2
(t w)T
(t w)
=
1
2
⇣
tT
t wT T
t tT
w + wT T
w
⌘

26. 参考：主要な微分公式
26
@(wT
Aw)
@w
= 2Aw
@
@w
(aT
w) = a
@
@w
(wT
a) = a

27. より
したがって， ˆw = ( T
) 1 T
t ・・・（★）
@J(w)
@w w= ˆw
= 0
@J(w)
@w
= T
t + T
w
T
t + T
ˆw = 0

28. T
t = T
ˆw および tT
= ˆwT T
を式（１）に代入すると，
J(w)
が得られる。
・・・（２）
28
２．二次形式
=
1
2
⇣
tT
t wT T
ˆw ˆwT T
w + wT
t wT T
ˆw ˆwT T
w + wT T
w
⌘

29. これを平方完成すると，
二次形式
？
29
J(w) =
1
2
⇣
tT
t ˆwT T
ˆw + ˆwT T
ˆw wT T
ˆw ˆwT T
w +
tT
t ˆwT T
ˆw + ˆwT T
ˆw wT T
ˆw ˆwT T
w + wT T
w
⌘
) J(w) =
1
2
⇣
tT
t ˆwT T
ˆw
⌘
+
1
2
(w ˆw)T T
(w ˆw)

30. ここで，式（２）に を代入すると，w = ˆw
が得られるから，結局，
のときの誤差（最小二乗誤差）w = ˆw
Hessian matrix
30
J( ˆw) =
1
2
⇣
tT
t ˆwT T
ˆw
⌘
J(w) = J( ˆw) +
1
2
(w ˆw)T
( T
)(w ˆw)
二次形式

31. Hessian
Matrix
上の行列は以下の性質を持つ：
２．正定値性（positive definite）： 8x 6= 0, xT
Hx > 0
HT
= H１．対称性（symmetry）：
以上から， は の極小値をとるJ(w)w = ˆw 31
H :=
✓
@2
J
@wi@wj
◆
= T

32. J(w) = const.
w1
w2
ˆw
Hessian の第１主成分
に対する固有ベクトル
Hessian の第２主成分
に対する固有ベクトル
32
の等高線