Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
重回帰分析  田裕樹
目次	       1.    自己紹介	       2.    回帰分析の概要	       3.    単回帰推定	       4.    単回帰決定係数	       5.    重回帰推定	       6.    重回帰決定係数	...
田裕樹 (ひえだゆうき)        自己紹介	l  慶応大学理工学部管理工学科	Ø  オペレーションズリサーチ	l  東京大学大学院工学系研究科	    システム創成学専攻	    (旧地球システム工学)	Ø  地球科学専攻	l ...
回帰分析とは	            Ø  回帰分析の用例	 n 単回帰分析   1つの従属変数を独立(説明)変数から予測・説明したいときに   用いる統計的手法 	 n 重回帰分析   1つの従属変数を複数の独立(説明)変数から予測・説...
回帰分析とは	           Yi = !0 + !1 Xi n 単回帰分析   1つの従属変数を独立(説明)変数から予測・説明したいときに   用いる統計的手法 	 n 重回帰分析   1つの従属変数を複数の独立(説明)変数から予測...
回帰分析とは	 Yi = !0 + !1 X1i + !2 X 2i + !3 X3i +!+ !k X ki n 単回帰分析   1つの従属変数を独立(説明)変数から予測・説明したいときに   用いる統計的手法  	 n 重回帰分析   ...
回帰分析とは	 n  単回帰分析     1つの従属変数を独立(説明)変数から予測・説明したいときに用いる統計的手法   	                        Yi = !0 + !1 Xi        Ø  単回帰分析概念	...
単回帰式の推定	n  金価格と為替価格のデータ	      1600                                            概要	      1400                             y...
単回帰式の推定	n  金価格と為替価格のデータ	   正規方程式	                     Sはβ1,  β0の関数なので,それぞれで偏微分して0とおき,	                     	             ...
母回帰係数の推定	        Ø  母回帰係数の計算過程	                        β0,β1の算出式	              ②	                       #        n       ...
決定係数-単回帰モデルの精度を確認-	                 決定係数 R2 	                           算出方法	n  Yi  のばらつきのうち,Xi  の回帰式で説明       n  残差と決定係...
重回帰分析	n  重回帰分析   1つの従属変数を複数の独立(説明)変数から予測・説明したいときに用いる統計的手法 Y	i = !0 + !1 X1i + !2 X 2i + !3 X3i +!+ !k X ki        Ø  重回帰...
重回帰式の推定-単回帰からの拡張-	n  OECD各国のデータ	                 概要	                                 目的	                                 ...
重回帰式の推定-単回帰からの拡張-	単回帰との計算の違い	                                                    正規方程式	Ø  正規方程式以降の計算が煩雑になる	              ...
重回帰式の推定-単回帰からの拡張-	式の展開	以下,j=1とおく,		     n             n                     !(     ˆ ˆ                  ˆ		    i=1        ...
重回帰式の推定-単回帰からの拡張-	行列の導入	                                 推定手順まとめ	従って,βを求める問題は,	                         	              1 n...
OECD各国のGDP成長率の推定	  Ø 推定結果	               Y  i=0.47746+0.43225X1i                     +0.00542X2i+0.00021X3i              ...
重回帰式の決定係数	決定係数	                                    自由度調整済み決定係数	Ø  推定手順	                                Ø  自由度	以下の式を用いて		...
説明変数の選び方	 1. 被説明変数と相関が高いもの    Ø 単相関で0.6以上あるとうれしい 2. 変数同士の相関が低いもの    Ø 従属していると逆行列が求められなくなります 3. あまり数が多くならないようにしましょう    Ø...
説明変数の選び方	 1. 被説明変数と相関が高いもの    Ø 単相関で0.6以上あるとうれしい 2. 変数同士の相関が低いもの    Ø 従属していると逆行列が求められなくなります 3. あまり数が多くならないようにしましょう    Ø...
変数の削減	          要らない変数を除いて再度推定をします
推定結果	              Ø 推定結果	                                 Ø  自由度調整済決定係数	Y  i=0.48050+0.53537X1                         ...
まとめ	1.  重回帰分析はある従属変数を複数の説明変数から予    測したいときに行う分析手法である	2.  モデルの精度は決定係数で求める	3.  説明変数を賢く選ぶことが大切
Upcoming SlideShare
Loading in …5
×

Zansa第4回勉強会 重回帰分析

2,063 views

Published on

Zansa第4回勉強会の資料です。

Published in: Education
  • Be the first to comment

Zansa第4回勉強会 重回帰分析

  1. 1. 重回帰分析 田裕樹
  2. 2. 目次 1.  自己紹介 2.  回帰分析の概要 3.  単回帰推定 4.  単回帰決定係数 5.  重回帰推定 6.  重回帰決定係数 7.  まとめ
  3. 3. 田裕樹 (ひえだゆうき) 自己紹介 l  慶応大学理工学部管理工学科 Ø  オペレーションズリサーチ l  東京大学大学院工学系研究科 システム創成学専攻 (旧地球システム工学) Ø  地球科学専攻 l  旅行好き l  剣道四段
  4. 4. 回帰分析とは Ø  回帰分析の用例 n 単回帰分析 1つの従属変数を独立(説明)変数から予測・説明したいときに 用いる統計的手法 n 重回帰分析 1つの従属変数を複数の独立(説明)変数から予測・説明したい ときに用いる統計的手法
  5. 5. 回帰分析とは Yi = !0 + !1 Xi n 単回帰分析 1つの従属変数を独立(説明)変数から予測・説明したいときに 用いる統計的手法 n 重回帰分析 1つの従属変数を複数の独立(説明)変数から予測・説明したい ときに用いる統計的手法
  6. 6. 回帰分析とは Yi = !0 + !1 X1i + !2 X 2i + !3 X3i +!+ !k X ki n 単回帰分析 1つの従属変数を独立(説明)変数から予測・説明したいときに 用いる統計的手法 n 重回帰分析 1つの従属変数を複数の独立(説明)変数から予測・説明したい ときに用いる統計的手法
  7. 7. 回帰分析とは n  単回帰分析 1つの従属変数を独立(説明)変数から予測・説明したいときに用いる統計的手法 Yi = !0 + !1 Xi Ø  単回帰分析概念 Ø  金価格-ドル価格 の単回帰分析結果 独立変数 従属変数 ドル価格 金価格 Ø  単回帰 Xi Yi Ø  母回帰係数β0, β1 を推定すればよい Ø  どのように推定し,それが正しいのかを検証するのか?
  8. 8. 単回帰式の推定 n  金価格と為替価格のデータ 1600 概要 1400 y = -16.726x + 2627.4! R² = 0.83682 目的 1200 Ø  金価格を為替の動きから予測 1000 差 Ø  予測精度の確認 !"# 800 分 600 手段 400n  差分: Yi–(β1+β2Xi ) n  差分の二乗の総和を最小化する Ø  最小二乗法により差分の平方和が最小n  200差分の総和を最小化しても当てはまりの良いモデ Ø 最小二乗法 になるようなβを推定 ルにはならない.例) +20の差分と-20の差分で両者は相殺される 0 60 70 80 90 100 110 120 130 !"# 差分 ! = Y ! (! + ! X ) i i 0 1 i Yi : 金価格の実測値 n  単回帰モデル式 (内): ドル為替価格による金価格の予測値 ˆ ˆ ˆ Yi = !0 + !1 Xi 差分の平方和 S n n 2 S = !! = !{Yi " ("0 + "1 Xi )} 2 i 母回帰係数 i=1 i=1
  9. 9. 単回帰式の推定 n  金価格と為替価格のデータ 正規方程式 Sはβ1,  β0の関数なので,それぞれで偏微分して0とおき, $ !S n 差 & & !!0 # = "2 (Yi " !0 " !1 Xi ) = 0 i=1 分 % n & !S # & !! = "2 (Yi " !0 " !1 Xi ) Xi = 0 1 i=1 これを整理することで正規方程式を得る ( " n % n ! ! *n!0 + $ Xi !1 = Yi * # i=1 & i=1 ) *" n % " n 2% n ! ! ! *$ Xi !0 + $ Xi !1 = XiYi +# i=1 & # i=1 & i=1 これを解くと,βの推定値は n  単回帰モデル式 # n % " (Xi ! X)(Yi ! Y ) ˆ ˆ ˆ Yi = !0 + !1 Xi % ˆ1 % ! = i=1 $ " n (Xi ! X)2 % % i=1 &ˆ % !0 = Y ! !1 Xˆ 母回帰係数 と,決定される
  10. 10. 母回帰係数の推定 Ø  母回帰係数の計算過程 β0,β1の算出式 ② # n ③ ④ % "(Xi ! X )(Yi ! Y ) % ˆ1 % ! = i=1 n $ % "(Xi ! X )2 i=1 % &ˆ ˆ % ! 0 = Y ! !1 X β0,β1の算出手順 1. Y , X 2. Yi ! Y , Xi ! X 3. (Yi ! Y )(Xi ! X ) 4. (Xi ! X )2 ① ⑤ n 2 n 5. " ( Xi ! X ) , " ( Xi ! X ) (Yi ! Y ) i!1 i!1 n  β0= 2627.4 β1= -16.7 と推定される n  回帰式は Yi = -16.7Xi + 2627.4 n  金と円は同じタイミングで買われる!?
  11. 11. 決定係数-単回帰モデルの精度を確認- 決定係数 R2 算出方法 n  Yi  のばらつきのうち,Xi  の回帰式で説明 n  残差と決定係数の関係は できる割合 決定係数=Xで説明できる割合 Ø  残差-­‐ZANSA-­‐       =1-Xで説明出来ない割合 p  実測値とモデルの推定値との誤差 p  モデルで説明しきれない残り =1-残差平方和/ばらつき ˆ ei = Yi ! Yi と表せるので残差平方和   を用いて, !e 2 i Yi ; 実測値 R2 = 1! "e 2 i ˆ Y ; 推定値 2 i "(Y !Y ) ip  実測値と単回帰直線   となる. この単回帰モデルにおける決定係数 残 差 511998.3 R 2 = 1! 3137692.6 Yi = 2627.4 !16.7Xi 残差の割合が小さいほどにモデルは正確 = 0.8368233
  12. 12. 重回帰分析 n  重回帰分析 1つの従属変数を複数の独立(説明)変数から予測・説明したいときに用いる統計的手法 Y i = !0 + !1 X1i + !2 X 2i + !3 X3i +!+ !k X ki Ø  重回帰分析概念 独立変数 従属変数 労働者給与 Ø  OECD各国のGDP成長率 X1i 労働生産性 GDP 成長率 X2i Yi 他国からの 投資額 X7i Ø  β0, β1 ,…,β7を推定すればよい
  13. 13. 重回帰式の推定-単回帰からの拡張- n  OECD各国のデータ 概要 目的 Ø  OECD各国のGDP成長率を予測 Ø  予測精度の確認 手段 Ø  最小二乗法により差分の平方和が最小 になるようなβを推定 差分 !i = Yi ! (! 0 + !1 X1i +!+ ! k X ki ) Yi : GDP成長率の実測値 n  重回帰モデル式 ˆ Yi : GDP成長率の予測値 Yi = !0 + !1 X1i +!+ !k X ki 差分の平方和 S n n 2 = !!i = !{Yi " (" 0 + "1 X1i +!+ ! k X ki )} S 2 母回帰係数 i=1 i=1
  14. 14. 重回帰式の推定-単回帰からの拡張- 単回帰との計算の違い 正規方程式 Ø  正規方程式以降の計算が煩雑になる Sはβ1,  β0の関数なので,それぞれで偏微分して0とおき, Ø  行列を利用 $ !S n Ø  Rやエクセルの分析ツール推奨 & # = "2 (Yi " !0 " !1 X1i "!" !k X ki ) = 0 & !!0 i=1 %推定手順まとめ n & !S = "2 Y " ! " ! X "!" ! X X = 0 & !! # ( i 0 1 1i k ki ) ji 1 n j i=1 1. skl = "( Xki ! Xk ) ( Xli ! Xl ) n !1 i=1 これを整理することで正規方程式を得る 1 n 2. sky = "( Xki ! Xk ) (Yi ! Y ) "n n ˆ ˆ ˆ n !1 i=1 ! $ Yi = $ i=1 !( ) !0 + !0 X1i +!+ !k X ki i=1 # # s1y & #n s11 s12 ! s1k & % ( n % ( $ ˆ ˆ ˆ % s21 ! " ( % s2 y ( ! $ Yi Xij = !( ) !0 + !0 X1i +!+ !k X ki Xij 3. S =% ( s xy = % ( % i=1 i=1 % " ( % ! ( 上式をn(データセット数)で割ると % sk1 ! skk ( % sky ( $ $ ˆ ˆ ˆ ˆ # ! & Y = !0 + !1 X1 + !2 X 2 +!+ !k X k % 1 ( ˆ ˆ ˆ ˆ 4. ! = S!1s xy % ! ( ! =% 2 ( ( ! !0 = Y " !1 X1 + !2 X 2 +!+ !k X k ) % ! ( となり,β0を求めるには残りのβ1 βkまでを求める必要 % !3 ( $ がある ˆ ˆ ˆ ˆ 5. ( !0 = Y ! !1 X1 + !2 X 2 +!+ !k X k ) 次ページは飛ばしてもOK
  15. 15. 重回帰式の推定-単回帰からの拡張- 式の展開 以下,j=1とおく, n n !( ˆ ˆ ˆ i=1 ! Yi Xi = i=1 ) !0 + !0 X1i +!+ !k X ki X1i n !{( ˆ ˆ ˆ 2 ˆ ˆ = ) } Y " !1 X1 "!" !k X k X1i + !1 X 1i + !2 X1i X 2i !+ !k X1i X ki i=1 n n n n ! = YX1i + !1 !(ˆ 2 ) ! X 1i " X1 X1i + !2ˆ ( X X " X X ) +!+ ! ! ˆ ( X X " X X ) …(A) 1i 2i 2 1i k 1i ki k 1i i=1 i=1 i=1 i=1 今ここで, n n " " Xi ( Xli ! Xl ) = Xi ( Xli ! Xl ) = 0  より, i=1 i=1 n n n " "{ } " ( Xki Xli ! Xl Xki ) = ( Xki Xli ! Xl Xki ) ! Xk ( Xli ! Xl ) = ( Xki ! Xk ) ( Xli ! Xl ) i=1 i=1 i=1 1 n 1 n # n !1 i=1 " " ( Xki Xli ! Xl Xki )= n !1 ( Xki ! Xk ) ( Xli ! Xl ) = skl i=1 (A)の両辺をn-1で割ると, 1 n 1 ˆ n 1 ˆ n ˆ 1 n n !1 i=1 " "( 2 ) " " (Yi Xi ! YX1i ) = n !1 !1 X 1i ! X1X1i + n !1 !2 ( X1i X2i ! X2 X1i ) +!+ !k n !1 ( X1i Xki ! Xk X1i ) i=1 i=1 i=1 ˆ s = s ! + s ! +!+ s ! ˆ ˆ 1y 11 1 12 2 1k k
  16. 16. 重回帰式の推定-単回帰からの拡張- 行列の導入 推定手順まとめ 従って,βを求める問題は, 1 n 1. skl = "( Xki ! Xk ) ( Xli ! Xl ) n !1 i=1 ˆ ˆ s ! + s ! +!+ s ! = s ˆ 1 n 11 1 12 2 1k k 1y 2. sky = "( Xki ! Xk ) (Yi !Y ) ˆ ˆ ˆ s21!1 + s22 ! 2 +!+ s2k ! k = s2 y n !1 i=1 # ! ! ! # s11 s12 ! s1k & s1y & % ( % ( ˆ ˆ ˆ % s21 ! " ( % s2 y ( sk1!1 + sk 2 ! 2 +!+ skk ! k = sky 3. S =% ( s xy = % ( % " ( % ! ( % ! skk ( % $ sk1 sky ( ! s # 11 12 s ! s1k $ & $ " # &となり,                    と行列表記すると, # s # ! & S = # 21 & % 1 ( # # & % ! ( # sk1 ! skk & 4. ! = S!1s xy ! =% 2 ( " % % ! ( % !3 ( $ S! = sこの問題は,          となる. 5. ˆ ˆ ˆ ˆ xy ( !0 = Y ! !1 X1 + !2 X 2 +!+ !k X k ) こっちだけ把握でOKです
  17. 17. OECD各国のGDP成長率の推定 Ø 推定結果 Y  i=0.47746+0.43225X1i      +0.00542X2i+0.00021X3i      +0.00814X4i+0.000003X5i    -­‐0.00462X6i-­‐0.00042X7i 被説明変数 説明変数
  18. 18. 重回帰式の決定係数 決定係数 自由度調整済み決定係数 Ø  推定手順 Ø  自由度 以下の式を用いて # n 2 Se : !e = n ! k !1 ˆ + ! X +!+ ! X ˆ ˆ % { ( % Se = " Yi ! !0 1 1i i=1 )} k ki SYY : !YY = n !1 % % n $ SYY = " (Yi ! Y ) 2 SR : ! R = k % i=1 % ˆ ˆ Ø  自由度調整済決定係数 % SR = !1s1y +! !k sky % & SeYの変動のうち回帰式が説明出来る割合は, !2 !e S R = 1! R 2 = 1! e SYY SYY !YY Ø  問題点 •  このモデルは変数を増やすほどに精度は上がる •  地球上の出来事をモデリングするのに,地球上の全 自由度調整済決定係数 てを変数としてモデル化することは優れたモデルだろ うか? Ø  変数の数に応じたペナルティが必要 !2 R = 0.563124177
  19. 19. 説明変数の選び方 1. 被説明変数と相関が高いもの Ø 単相関で0.6以上あるとうれしい 2. 変数同士の相関が低いもの Ø 従属していると逆行列が求められなくなります 3. あまり数が多くならないようにしましょう Ø  データを集めるのが大変です.でした. 4.  不要なパラメーターは削りましょう
  20. 20. 説明変数の選び方 1. 被説明変数と相関が高いもの Ø 単相関で0.6以上あるとうれしい 2. 変数同士の相関が低いもの Ø 従属していると逆行列が求められなくなります 3. あまり数が多くならないようにしましょう Ø  データを集めるのが大変です.でした. 4.  不要なパラメーターは削りましょう
  21. 21. 変数の削減 要らない変数を除いて再度推定をします
  22. 22. 推定結果 Ø 推定結果 Ø  自由度調整済決定係数 Y  i=0.48050+0.53537X1                            +0.00898X2i-­‐0.00440X3i 精度は多少落ちたが,変数は少なくなった
  23. 23. まとめ 1.  重回帰分析はある従属変数を複数の説明変数から予 測したいときに行う分析手法である 2.  モデルの精度は決定係数で求める 3.  説明変数を賢く選ぶことが大切

×