1554522

1. 回帰分析
ङૠ ਹ࡚
A01 148 52
A02 152 54
A03 154 56
A04 158 58
A05 163 60
KHLJKW
ZHLJKW

2. 回帰分析
ङૠ ਹ࡚
A01 148 52
A02 152 54
A03 154 56
A04 158 58
A05 163 60
KHLJKW
ZHLJKW

3. 回帰分析
ङૠ ਹ࡚
A01 148 52
A02 152 54
A03 154 56
A04 158 58
A05 163 60
KHLJKW
ZHLJKW

4. 回帰分析
（線形）回帰分析とは、ある変数（⽬目的変数）
をいくつかの変数（説明変数）の（線形）結合
で表現する⼿手法である。
説明変数が⼀一つの時を単回帰分析
説明変数が複数ある時を重回帰分析という。

5. [テーマ] 講義の構成
予測の精度について
Rによるシミュレーション
まとめ
回帰分析と最⼩小2乗法

6. 回帰分析
x
y

7. x
y
係数の導出
(x(1)
, y(1)
), · · · , (x(k)
, y(k)
), · · · , (x(N)
, y(N)
)
y = ax + b

8. 係数の導出
x
y
E =
y(1)
ax +b
(1)
|
|y - (ax + b)
(1) (1)
x
(1)
(y - (ax + b))
(1) (1)
2

9. 係数の導出
x
y
E =
y
ax +b
(2)
(2)
|
|y - (ax + b)
(2) (2)
y(2)
x
(2)
(y - (ax + b))
(2) (2)
2
(y - (ax + b))
(1) (1)
2
+

10. 回帰係数の導出
x
y
E =
x
(N)
y(N)
ax +b
(N)
|
|y - (ax + b)
(N) (N)
y(N) (y - (ax + b))
(N) (N)
2
(y - (ax + b))
(2) (2)
2
(y - (ax + b))
(1) (1)
2
+
+

11. 回帰係数の導出
最小2乗法
が最小となる , を求める。
E b
a
E =
!
y(1)
− (ax(1)
+ b)
2
+
!
y(2)
− (ax(2)
+ b)
2
+ · · · +
!
y(N)
− (ax(N)
+ b)
2
=
N
#
p=1
!
y(p)
− (ax(p)
+ b)
2

12. 回帰係数の導出
最小2乗法
が最小となる , を求める。
E b
a
E =
!
y(1)
− (ax(1)
+ b)
2
+
!
y(2)
− (ax(2)
+ b)
2
+ · · · +
!
y(N)
− (ax(N)
+ b)
2
=
N
#
p=1
!
y(p)
− (ax(p)
+ b)
2

13. 回帰係数の導出
が最小となる , を求める。
E b
a
, で偏微分すると、
b
a
E =
!
y(1)
− (ax(1)
+ b)
2
+
!
y(2)
− (ax(2)
+ b)
2
+ · · · +
!
y(N)
− (ax(N)
+ b)
2
=
N
#
p=1
!
y(p)
− (ax(p)
+ b)
2
最小2乗法

14. 回帰係数の導出
が最小となる , を求める。
E b
a
, で偏微分すると、
b
a
E =
!
y(1)
− (ax(1)
+ b)
2
+
!
y(2)
− (ax(2)
+ b)
2
+ · · · +
!
y(N)
− (ax(N)
+ b)
2
=
N
#
p=1
!
y(p)
− (ax(p)
+ b)
2
N
!
p=1
y(p)
− (ax(p)
+ b)
#
x(p)
= 0
最小2乗法

15. 回帰係数の導出
が最小となる , を求める。
E b
a
, で偏微分すると、
b
a
E =
!
y(1)
− (ax(1)
+ b)
2
+
!
y(2)
− (ax(2)
+ b)
2
+ · · · +
!
y(N)
− (ax(N)
+ b)
2
=
N
#
p=1
!
y(p)
− (ax(p)
+ b)
2
N
!
p=1
y(p)
− (ax(p)
+ b)
#
= 0
N
!
p=1
y(p)
− (ax(p)
+ b)
#
x(p)
= 0
最小2乗法

16. 回帰係数の導出
µy = aµx + b
N
!
p=1
y(p)
− (ax(p)
+ b)
#
= 0
1
N
N
!
p=1
y(p)
= a ·
1
N
N
!
p=1
x(p)
+
1
N
N
!
p=1
b

17. 回帰係数の導出
µy = aµx + b
N
!
p=1
y(p)
− (ax(p)
+ b)
#
= 0
1
N
N
!
p=1
y(p)
= a ·
1
N
N
!
p=1
x(p)
+
1
N
N
!
p=1
b
y = ax + b

18. 回帰係数の導出
KHLJKW
ZHLJKW
回帰直線 は
それぞれの中心（平均）の点を通る。
y = ax + b
µy = aµx + b
N
!
p=1
y(p)
− (ax(p)
+ b)
#
= 0
1
N
N
!
p=1
y(p)
= a ·
1
N
N
!
p=1
x(p)
+
1
N
N
!
p=1
b
y − µy = a(x − µx)

19. 回帰係数の導出
y − µy = a(x − µx)
(x(1)
, y(1)
), · · · , (x(p)
, y(p)
), · · · , (x(N)
, y(N)
)
回帰直線 はそれぞれの中心を通る。
x(p)
⇐ (x(p)
− µx)
y(p)
⇐ (y(p)
− µy)
中心化

20. 回帰係数の導出
y − µy = a(x − µx)
(x(1)
, y(1)
), · · · , (x(p)
, y(p)
), · · · , (x(N)
, y(N)
)
回帰直線 はそれぞれの中心を通る。
N
!
p=1
y(p)
− ax(p)
#
x(p)
= 0
E =
!
y(1)
− ax(1)
2
+
!
y(2)
− ax(2)
2
+ · · · +
!
y(N)
− ax(N)
2
=
N
#
p=1
!
y(p)
− ax(p)
2
x(p)
⇐ (x(p)
− µx)
y(p)
⇐ (y(p)
− µy)
中心化
N
（または N - 1 ）で割ると、分散共分散を用いて
sxy − asxx = 0

21. 回帰係数の導出
条件を整理すると、
sxy = asxx
b = uy − aµx
µy = aµx + b
sxy − asxx = 0
のとき
sxx != 0
a =
sxy
sxx
, b = −
sxy
sxx
µx + µy

22. 回帰係数の導出
条件を整理すると、 r 次元の場合
sxy = asxx
b = uy − aµx
µy = aµx + b
sxy − asxx = 0
y = a1x1 + a2x2 + · · · + arxr + b =
r
!
i=1
aixi + b
同様に計算すると
のとき
sxx != 0
a =
sxy
sxx
, b = −
sxy
sxx
µx + µy

23. 回帰係数の導出
条件を整理すると、 r 次元の場合
sxy = asxx
b = uy − aµx
s1y = s11a1 + s12a2 + · · · + s1rar
s2y = s21a1 + s22a2 + · · · + s2rar
· · ·
sry = sr1a1 + sr2a2 + · · · + srrar
b = µy − (a1µ1 + a2µ2 + · · · arµr)
µy = aµx + b
sxy − asxx = 0
y = a1x1 + a2x2 + · · · + arxr + b =
r
!
i=1
aixi + b
同様に計算すると
のとき
sxx != 0
a =
sxy
sxx
, b = −
sxy
sxx
µx + µy

24. 回帰係数の計算（まとめ）
最小2乗法にて導出
に関して
ai
２次元の場合
r 次元の場合



s1y
.
.
.
sry


 =





s11 s12 · · · s1r
s21 s22 · · · s2r
.
.
.
...
.
.
.
sr1 sr2 · · · srr








a1
.
.
.
ar



sxy = asxx

25. 回帰係数の計算（まとめ）
最小2乗法にて導出 に関して
b
µy = a1µ1 + · · · + arµr + b
y = a1x1 + · · · + arxr + b
r 次元の場合
µy = aµx + b
２次元の場合
y = ax + b
y − µy = a(x − µx)
y − µy = a1(x1 − µ1) + · · · + ar(xr − µr)

26. 回帰係数の計算（まとめ）
最小2乗法にて導出
に関して
ai
２次元の場合
r 次元の場合
逆行列があれば，係数が導出できる。
に関して
b
回帰直線は中心を通る。
µy = a1µ1 + · · · + arµr + b
y = a1x1 + · · · + arxr + b
r 次元の場合
µy = aµx + b
２次元の場合
y = ax + b
y − µy = a(x − µx)
y − µy = a1(x1 − µ1) + · · · + ar(xr − µr)



s1y
.
.
.
sry


 =





s11 s12 · · · s1r
s21 s22 · · · s2r
.
.
.
...
.
.
.
sr1 sr2 · · · srr








a1
.
.
.
ar



sxy = asxx

27. 主成分分析と回帰分析
!
x
(1)
1 , x
(1)
2 , · · · x(1)
r
, · · · ,
!
x
(N)
1 , x
(N)
2 , · · · x(N)
r
!
y
(1)
1 , y
(1)
2 , · · · y(1)
r
, · · · ,
!
y
(N)
1 , y
(N)
2 , · · · y(N)
r
z1 = a11y1 + a12y2 + · · · + a1ryr
z2 = a21y1 + a22y2 + · · · + a2ryr
.
.
. · · ·
zm = am1y1 + am2y2 + · · · + amryr
主成分分析
標準化(または 中心化)

28. 主成分分析と回帰分析
z1 = a11y1 + a12y2 + · · · + a1ryr
z2 = a21y1 + a22y2 + · · · + a2ryr
.
.
. · · ·
zm = am1y1 + am2y2 + · · · + amryr
主成分分析
標準化(または 中心化)
回帰分析
y = a1x1 + a2x2 + · · · + arxr + b =
r
!
i=1
aixi + b
目的変数
説明変数
!
x
(p)
1 , x
(p)
2 , · · · x(p)
r , y(p)
!
x
(p)
1 , x
(p)
2 , · · · x(p)
r
!
y
(p)
1 , y
(p)
2 , · · · y(p)
r

29. y
x
y
x
主成分分析と回帰分析
主成分分析 回帰分析

30. 主成分分析と回帰分析
主成分分析
回帰分析





s11 s12 · · · s1r
s21 s22 · · · s2r
.
.
.
.
.
.
...
.
.
.
sr1 sr2 · · · srr










ai1
ai2
.
.
.
air





= λi





ai1
ai2
.
.
.
air





固有値・固有ベクトル
逆行列





s11 s12 · · · s1r
s21 s22 · · · s2r
.
.
.
.
.
.
...
.
.
.
sr1 sr2 · · · srr








a1
.
.
.
ar


 =



s1y
.
.
.
sry




31. 予測の精度について
x
y

32. 予測の精度について
−3 −2 −1 0 1 2
−3
−1
1
2
3
x1
y1

33. 予測の精度について
−3 −2 −1 0 1 2
−3
−1
1
2
3
x1
y2

34. 予測の精度について
−3 −2 −1 0 1 2
−3
−1
1
2
3
x1
y3

35. 予測の精度について
−3 −2 −1 0 1 2
−3
−1
1
2
3
x1
y4

36. ξ
( : 正規乱数 )
予測の精度について
−3 −2 −1 0 1 2
−3
−1
1
2
3
x1
y4
−3
−1
1
2
3
y2
−3 −2 −1 0 1 2
−3
−1
1
2
3
x1
y3
−3
−1
1
2
3
y1
y = 0.2x + ξ
であれば、
係数を求めることはできる。
値が求まるからといって
特徴をよく表している
というわけではない。
sxx != 0

37. 決定係数
Syy =
1
N − 1
N
!
p=1
(y(p)
− µy)2
=
1
N − 1
N
!
p=1
(y(p)
− ŷ(p)
)2
+
1
N − 1
N
!
p=1
(ŷ(p)
− µy)2
y(p)
= ŷ(p)
+ e(p)
= âx(p)
+ b̂ + e(p)
ŷ(p)
= âx(p)
+ b̂
として、誤差の2乗を計算すると、
ԣਢડʍഒ‫ޚ‬

38. ‫ܿڷ‬ʍഒ‫ޚ‬

39. ฽ਢડʍഒ‫ޚ‬

41. 予測の精度について
R2
=
SR
ST
= 1 −
SE
ST
決定係数
ST = SE + SR
T : トータル(Total)
E : 誤差(Error)
R : 回帰 (Regression)
Syy =
1
N − 1
N
!
p=1
(y(p)
− µy)2
=
1
N − 1
N
!
p=1
(y(p)
− ŷ(p)
)2
+
1
N − 1
N
!
p=1
(ŷ(p)
− µy)2
y(p)
= ŷ(p)
+ e(p)
= âx(p)
+ b̂ + e(p)
ŷ(p)
= âx(p)
+ b̂
として、誤差の2乗を計算すると、
ԣਢડʍഒ‫ޚ‬

42. ‫ܿڷ‬ʍഒ‫ޚ‬

43. ฽ਢડʍഒ‫ޚ‬

45. Rによる計算例
x
y

46. Rによる計算（lm）
h2 -lm( weight ~ height, data=h1)
h2
plot( h1, pch=16 )
abline( h2 )
h1 - read.table ( w1.dat , header=T, row.names=1)
h1
R

47. h1 - read.table ( w1.dat , header=T, row.names=1)
h1
Rによる計算（lm）
R
h2 -lm( weight ~ height, data=h1)
h2
plot( h1, pch=16 )
abline( h2 )
name height weight
A1 147.3 52.3
A2 149.9 53.2
A3 152.4 54.5
A4 154.9 55.9
A5 157.5 57.3
A6 160.0 58.6
A7 162.6 60.0
A8 165.1 61.4
A9 167.6 63.2
A10 170.2 64.5
A11 172.7 66.4
A12 175.3 68.2
A13 177.8 70.0
A14 180.3 72.3
A15 182.9 74.5

48. h1 - read.table ( w1.dat , header=T, row.names=1)
h1
Rによる計算（lm）
h2 -lm( weight ~ height, data=h1)
h2
plot( h1, pch=16 )
abline( h2 ) R

49. h2 -lm( weight ~ height, data=h1)
h2
Rによる計算（lm）
h1 - read.table ( w1.dat , header=T, row.names=1)
h1
plot( h1, pch=16 )
abline( h2 ) R

50. h2 -lm( weight ~ height, data=h1)
h2
Rによる計算（回帰分析）
plot( h1 )
abline( h2 )
lm( 目的変数 ~ 説明変数, data= データ名 )
複数の場合は、
lm( 目的変数 ~ 説明変数1+説明変数2+ , data=データ名 ) R
h1 - read.table ( w1.dat , header=T, row.names=1)
h1

51. h2 -lm( weight ~ height, data=h1)
h2
Rによる計算（回帰分析）
h1 - read.table ( w1.dat , header=T, row.names=1)
h1
plot( h1, pch=16 )
abline( h2 ) R

52. plot( h1, pch=16 )
abline( h2 )
Rによる計算（回帰分析）
R
h1 - read.table ( w1.dat , header=T, row.names=1)
h1
h2 -lm( weight ~ height, data=h1)
h2

53. まとめ
x
y

54. まとめ
モデルの当てはまり具合
回帰分析
決定係数，観測値，予測値の分散
⽬目的変数，説明変数，最⼩小2乗法
主成分分析との違い