5. 回帰分析とは
Yi = !0 + !1 Xi
n 単回帰分析
１つの従属変数を独立(説明)変数から予測・説明したいときに
用いる統計的手法
n 重回帰分析
１つの従属変数を複数の独立(説明)変数から予測・説明したい
ときに用いる統計的手法
6. 回帰分析とは
Yi = !0 + !1 X1i + !2 X 2i + !3 X3i +!+ !k X ki
n 単回帰分析
１つの従属変数を独立(説明)変数から予測・説明したいときに
用いる統計的手法
n 重回帰分析
１つの従属変数を複数の独立(説明)変数から予測・説明したい
ときに用いる統計的手法
7. 回帰分析とは
n 単回帰分析
１つの従属変数を独立(説明)変数から予測・説明したいときに用いる統計的手法
Yi = !0 + !1 Xi
Ø 単回帰分析概念
Ø 金価格-ドル価格 の単回帰分析結果
独立変数
従属変数
ドル価格
金価格
Ø 単回帰
Xi
Yi
Ø 母回帰係数β0, β1 を推定すればよい
Ø どのように推定し，それが正しいのかを検証するのか？
8. 単回帰式の推定
n 金価格と為替価格のデータ
1600 概要
1400
y = -16.726x + 2627.4!
R² = 0.83682
目的
1200
Ø 金価格を為替の動きから予測
1000
差 Ø 予測精度の確認
!"#
800
分
600 手段
400
n 差分： Yi–(β1+β2Xi )
n 差分の二乗の総和を最小化する
Ø 最小二乗法により差分の平方和が最小
n 200差分の総和を最小化しても当てはまりの良いモデ
Ø 最小二乗法 になるようなβを推定
ルにはならない．
例） +20の差分と-20の差分で両者は相殺される
0
60 70 80 90 100 110 120 130
!"# 差分
! = Y ! (! + ! X )
i i 0 1 i
Yi : 金価格の実測値
n 単回帰モデル式
(内)： ドル為替価格による金価格の予測値
ˆ ˆ ˆ
Yi = !0 + !1 Xi 差分の平方和 S
n n
2
S = !! = !{Yi " ("0 + "1 Xi )}
2
i
母回帰係数
i=1 i=1
9. 単回帰式の推定
n 金価格と為替価格のデータ
正規方程式
Sはβ1, β0の関数なので，それぞれで偏微分して0とおき，
$ !S n
差
&
& !!0
#
= "2 (Yi " !0 " !1 Xi ) = 0
i=1
分
%
n
& !S
#
& !! = "2 (Yi " !0 " !1 Xi ) Xi = 0
' 1 i=1
これを整理することで正規方程式を得る
( " n % n
! !
*n!0 + $ Xi ' !1 = Yi
* # i=1 & i=1
)
*" n % " n 2% n
! ! !
*$ Xi ' !0 + $ Xi ' !1 = XiYi
+# i=1 & # i=1 & i=1
これを解くと，βの推定値は
n 単回帰モデル式
# n
% " (Xi ! X)(Yi ! Y )
ˆ ˆ ˆ
Yi = !0 + !1 Xi
% ˆ1
% ! = i=1
$
"
n
(Xi ! X)2
%
% i=1
&ˆ
% !0 = Y ! !1 Xˆ
母回帰係数
と，決定される
10. 母回帰係数の推定
Ø 母回帰係数の計算過程
β0,β1の算出式
②
# n
③
④
% "(Xi ! X )(Yi ! Y )
% ˆ1
% ! = i=1
n
$
% "(Xi ! X )2
i=1
%
&ˆ ˆ
% ! 0 = Y ! !1 X
β0,β1の算出手順
1. Y , X
2. Yi ! Y , Xi ! X
3. (Yi ! Y )(Xi ! X )
4. (Xi ! X )2
①
⑤
n
2
n
5. " ( Xi ! X ) , " ( Xi ! X ) (Yi ! Y )
i!1 i!1
n β0= 2627.4 β1= -16.7 と推定される
n 回帰式は Yi = -16.7Xi + 2627.4
n 金と円は同じタイミングで買われる！？
11. 決定係数-単回帰モデルの精度を確認-
決定係数 R2
算出方法
n Yi のばらつきのうち，Xi の回帰式で説明 n 残差と決定係数の関係は
できる割合
決定係数=Xで説明できる割合
Ø 残差-‐ZANSA-‐
=1-Xで説明出来ない割合
p 実測値とモデルの推定値との誤差
p モデルで説明しきれない残り
=1-残差平方和/ばらつき
ˆ
ei = Yi ! Yi と表せるので残差平方和 を用いて，
!e 2
i
Yi ; 実測値
R2 = 1!
"e 2
i
ˆ
Y ; 推定値
2
i
"(Y !Y )
i
p 実測値と単回帰直線
となる．
この単回帰モデルにおける決定係数
残
差
511998.3
R 2 = 1!
3137692.6
Yi = 2627.4 !16.7Xi
残差の割合が小さいほどにモデルは正確
= 0.8368233
12. 重回帰分析
n 重回帰分析
１つの従属変数を複数の独立(説明)変数から予測・説明したいときに用いる統計的手法
Y
i = !0 + !1 X1i + !2 X 2i + !3 X3i +!+ !k X ki
Ø 重回帰分析概念
独立変数
従属変数
労働者給与
Ø OECD各国のGDP成長率
X1i
労働生産性
GDP 成長率
X2i
Yi
他国からの
投資額
X7i
Ø β0, β1 ,…,β7を推定すればよい
13. 重回帰式の推定-単回帰からの拡張-
n OECD各国のデータ
概要
目的
Ø OECD各国のGDP成長率を予測
Ø 予測精度の確認
手段
Ø 最小二乗法により差分の平方和が最小
になるようなβを推定
差分
!i = Yi ! (! 0 + !1 X1i +!+ ! k X ki )
Yi : GDP成長率の実測値
n 重回帰モデル式
ˆ
Yi ： GDP成長率の予測値
Yi = !0 + !1 X1i +!+ !k X ki 差分の平方和 S
n n
2
= !!i = !{Yi " (" 0 + "1 X1i +!+ ! k X ki )}
S 2
母回帰係数
i=1 i=1
14. 重回帰式の推定-単回帰からの拡張-
単回帰との計算の違い
正規方程式
Ø 正規方程式以降の計算が煩雑になる
Sはβ1, β0の関数なので，それぞれで偏微分して0とおき，
Ø 行列を利用
$ !S n
Ø Rやエクセルの分析ツール推奨
& #
= "2 (Yi " !0 " !1 X1i "!" !k X ki ) = 0
& !!0 i=1
%
推定手順まとめ
n
& !S = "2 Y " ! " ! X "!" ! X X = 0
& !! # ( i 0 1 1i k ki ) ji
1 n ' j i=1
1. skl = "( Xki ! Xk ) ( Xli ! Xl )
n !1 i=1
これを整理することで正規方程式を得る
1 n
2. sky = "( Xki ! Xk ) (Yi ! Y )
"n n
ˆ ˆ ˆ
n !1 i=1
!
$ Yi =
$ i=1
!( )
!0 + !0 X1i +!+ !k X ki
i=1
# # s1y &
#n
s11 s12 ! s1k & % ( n
% (
$ ˆ ˆ ˆ
% s21 ! " ( % s2 y (
!
$ Yi Xij = !( )
!0 + !0 X1i +!+ !k X ki Xij
3. S =% ( s xy = % ( % i=1 i=1
% " ( % ! (
上式をn(データセット数)で割ると
% sk1 ! skk ( % sky (
$ ' $ '
ˆ ˆ ˆ ˆ
# ! & Y = !0 + !1 X1 + !2 X 2 +!+ !k X k
% 1 (
ˆ ˆ ˆ ˆ
4. ! = S!1s xy
% ! (
! =% 2 (
(
! !0 = Y " !1 X1 + !2 X 2 +!+ !k X k )
% ! ( となり，β0を求めるには残りのβ1 βkまでを求める必要
% !3 (
$ ' がある
ˆ ˆ ˆ ˆ
5. (
!0 = Y ! !1 X1 + !2 X 2 +!+ !k X k ) 次ページは飛ばしてもOK
15. 重回帰式の推定-単回帰からの拡張-
式の展開
以下，j=1とおく，
n n
!( ˆ ˆ ˆ
i=1
!
Yi Xi =
i=1
)
!0 + !0 X1i +!+ !k X ki X1i
n
!{( ˆ ˆ ˆ 2 ˆ ˆ
= ) }
Y " !1 X1 "!" !k X k X1i + !1 X 1i + !2 X1i X 2i !+ !k X1i X ki
i=1
n n n n
!
= YX1i + !1 !(ˆ 2
) !
X 1i " X1 X1i + !2ˆ ( X X " X X ) +!+ !
! ˆ ( X X " X X ) …(A)
1i 2i 2 1i k 1i ki k 1i
i=1 i=1 i=1 i=1
今ここで，
n n
" "
Xi ( Xli ! Xl ) = Xi ( Xli ! Xl ) = 0
より，
i=1 i=1
n n n
" "{ } "
( Xki Xli ! Xl Xki ) = ( Xki Xli ! Xl Xki ) ! Xk ( Xli ! Xl ) = ( Xki ! Xk ) ( Xli ! Xl )
i=1 i=1 i=1
1 n 1 n
#
n !1 i=1
" "
( Xki Xli ! Xl Xki )= n !1 ( Xki ! Xk ) ( Xli ! Xl ) = skl
i=1
(A)の両辺をn-1で割ると，
1 n 1 ˆ n 1 ˆ n ˆ 1
n
n !1 i=1
" "( 2
) " "
(Yi Xi ! YX1i ) = n !1 !1 X 1i ! X1X1i + n !1 !2 ( X1i X2i ! X2 X1i ) +!+ !k n !1 ( X1i Xki ! Xk X1i )
i=1 i=1 i=1
ˆ
s = s ! + s ! +!+ s ! ˆ ˆ
1y 11 1 12 2 1k k
16. 重回帰式の推定-単回帰からの拡張-
行列の導入
推定手順まとめ
従って，βを求める問題は，
1 n
1. skl = "( Xki ! Xk ) ( Xli ! Xl )
n !1 i=1
ˆ ˆ
s ! + s ! +!+ s ! = s ˆ
1 n
11 1 12 2 1k k 1y
2. sky = "( Xki ! Xk ) (Yi !Y )
ˆ ˆ ˆ
s21!1 + s22 ! 2 +!+ s2k ! k = s2 y n !1 i=1
#
! ! !
# s11 s12 ! s1k & s1y &
% ( % (
ˆ ˆ ˆ
% s21 ! " ( % s2 y (
sk1!1 + sk 2 ! 2 +!+ skk ! k = sky
3. S =% ( s xy = % (
% " ( % ! (
% ! skk ( %
$ sk1 ' sky (
! s
# 11 12
s ! s1k $
&
$ '
" # &
となり， と行列表記すると，
# s
# ! &
S = # 21 & % 1 (
#
# & % ! (
# sk1 ! skk &
4. ! = S!1s xy ! =% 2 (
" %
% ! (
% !3 (
$ '
S! = s
この問題は， となる．
5. ˆ ˆ ˆ ˆ
xy
(
!0 = Y ! !1 X1 + !2 X 2 +!+ !k X k )
こっちだけ把握でOKです
18. 重回帰式の決定係数
決定係数
自由度調整済み決定係数
Ø 推定手順
Ø 自由度
以下の式を用いて
# n 2 Se : !e = n ! k !1
ˆ + ! X +!+ ! X
ˆ ˆ
%
{ (
% Se = " Yi ! !0 1 1i
i=1
)}
k ki
SYY : !YY = n !1
%
% n
$ SYY = " (Yi ! Y )
2
SR : ! R = k
% i=1
% ˆ ˆ Ø 自由度調整済決定係数
% SR = !1s1y +! !k sky
%
&
Se
Yの変動のうち回帰式が説明出来る割合は，
!2 !e
S
R = 1!
R 2 = 1! e
SYY
SYY
!YY
Ø 問題点
• このモデルは変数を増やすほどに精度は上がる
• 地球上の出来事をモデリングするのに，地球上の全 自由度調整済決定係数
てを変数としてモデル化することは優れたモデルだろ
うか？
Ø 変数の数に応じたペナルティが必要
!2
R = 0.563124177
