2016年度秋学期　統計学　第７回　データの関係を知る（２）－回帰分析 (2016. 11. 7)

A.Asano,KansaiUniv.
2016年度秋学期　統計学
浅野　晃
関西大学総合情報学部
データの関係を知る(2)̶回帰分析
第７回

A.Asano,KansaiUniv.
回帰分析とは

A.Asano,KansaiUniv. 回帰分析とは
多変量データがあるとき
ある変量の変化を他の変量の変化で
［説明］する方法

多変量データがあるとき
ある変量の変化を他の変量の変化で
［説明］する方法
説明？

緯度と気温のデータを例にとると
相関分析
緯度があがると，気温が下がる
傾向がはっきりしている
回帰分析
緯度が上がるから気温が下がると考える
緯度が１度あがると，気温が◯℃下がる

緯度が上がるから気温が下がると考える
緯度が１度あがると，気温が◯℃下がる
各都市の気温の違いは，緯度によって決まっ
ているという［モデル］を考える
統計学では，
気温（のばらつき）は，緯度によって
［説明］されるという

A.Asano,KansaiUniv. 説明変数・被説明変数
［説明変数］
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
気温は緯度によって説明される
（というモデル）
［被説明変数］

A.Asano,KansaiUniv.
線形単回帰

A.Asano,KansaiUniv. 線形単回帰
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
どう説明される？

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
どう説明される？
散布図上で直線の関係がある，と考える

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
散布図上で直線の関係がある
x
y
y = a + bx
という式で表される関係
［線形単回帰］
　という

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
y = a + bx という式で
表される関係

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
y = a + bx という式で
表される関係
a や b （パラメータ）は
どうやって求める？

A.Asano,KansaiUniv. パラメータの決定
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
y = a + bx

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
y = a + bx
x = xiのとき

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
xi
y = a + bx
x = xiのとき

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
xi
y = a + bx
x = xiのとき
モデルによれば a + bxi

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
y = a + bx
x = xiのとき

実際は yi
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
y = a + bx
x = xiのとき

実際は yi
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
y = a + bx
x = xiのとき

実際は yi
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
y = a + bx
差
yi – (a + bxi )
x = xiのとき

実際は yi
差が最小に
なるように
a,bを決める
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
y = a + bx
差
yi – (a + bxi )
x = xiのとき

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
差
yi – (a + bxi )

すべてのxiについて，
差の合計が最小になるように
a,bを決める
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
差
yi – (a + bxi )

a,bを決める
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
差
yi – (a + bxi )
2

a,bを決める
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
差
yi – (a + bxi )
L =
n
i=1
{yi − (a + bxi)}2
2

a,bを決める
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
差
yi – (a + bxi )
L =
n
i=1
{yi − (a + bxi)}2
が最小になる
a,bを求める
2

A.Asano,KansaiUniv. Lが最小になるa,bを求める
•偏微分による方法（付録１）
•「２次関数の最大・最小」に
　よる方法（付録２）

A.Asano,KansaiUniv. 「偏微分」による方法
L =
n
i=1
{yi − (a + bxi)}2
が最小になる
a,bを求める

L =
n
i=1
{yi − (a + bxi)}2
が最小になる
a,bを求める
a,bの２次関数

L =
n
i=1
{yi − (a + bxi)}2
が最小になる
a,bを求める
a,bの２次関数
a
b
L
★
a
b
L

L =
n
i=1
{yi − (a + bxi)}2
が最小になる
a,bを求める
a,bの２次関数
a
b
L
★
a
b
L aだけの関数
と考えて微分

L =
n
i=1
{yi − (a + bxi)}2
が最小になる
a,bを求める
a,bの２次関数
a
b
L
★
a
b
L aだけの関数
と考えて微分
bだけの関数
と考えて微分

L =
n
i=1
{yi − (a + bxi)}2
が最小になる
a,bを求める
a,bの２次関数
a
b
L
★
a
b
L aだけの関数
と考えて微分
bだけの関数
と考えて微分
微分?

A.Asano,KansaiUniv. 微分?
a
b
L
★
a
b
L aだけの関数
と考えて微分

a
b
L
★
a
b
L aだけの関数
と考えて微分
微分は，傾きを
求める計算

a
b
L
★
a
b
L aだけの関数
と考えて微分
求める計算
下り(-)

a
b
L
★
a
b
L aだけの関数
と考えて微分
求める計算
下り(-)
上り(+)

a
b
L
★
a
b
L aだけの関数
と考えて微分
求める計算
下り(-)
上り(+)
底では微分=0

a
b
L
★
a
b
L aだけの関数
と考えて微分
求める計算
下り(-)
上り(+)
底では微分=0
bについても同じ，
底では微分=0

a
b
L
★
a
b
L aだけの関数
と考えて微分
求める計算
下り(-)
上り(+)
底では微分=0
bについても同じ，
底では微分=0
これらから
a,bを求める

A.Asano,KansaiUniv. 計算はともかく結論は

b =
σxy
σ2
x
a = ¯y − b¯x

b =
σxy
σ2
x
a = ¯y − b¯x
x, yの共分散

b =
σxy
σ2
x
a = ¯y − b¯x
x, yの共分散
xの分散

b =
σxy
σ2
x
a = ¯y − b¯x
x, yの共分散
xの分散
yの平均

b =
σxy
σ2
x
a = ¯y − b¯x
x, yの共分散
xの分散
xの平均
yの平均

A.Asano,KansaiUniv. 最小二乗法
b =
σxy
σ2
x
a = ¯y − b¯x

b =
σxy
σ2
x
a = ¯y − b¯x
L =
n
i=1
{yi − (a + bxi)}2

を最小にしたので
［最小二乗法］
b =
σxy
σ2
x
a = ¯y − b¯x
L =
n
i=1
{yi − (a + bxi)}2

b =
σxy
σ2
x
a = ¯y − b¯x
L =
n
i=1
{yi − (a + bxi)}2
　
y = a + bx

b =
σxy
σ2
x
a = ¯y − b¯x
L =
n
i=1
{yi − (a + bxi)}2
　
y = a + bx ［回帰方程式］あるいは
［回帰直線］

b =
σxy
σ2
x
a = ¯y − b¯x
［回帰係数］
L =
n
i=1
{yi − (a + bxi)}2
　
y = a + bx ［回帰方程式］あるいは
［回帰直線］

A.Asano,KansaiUniv. ところで
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度） x
y
y = a + bx
帰係数
　
a = ¯y − b¯x
　
より

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度） x
y
y = a + bx
帰係数
　
a = ¯y − b¯x
　
より y − ¯y = b(x − ¯x)

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度） x
y
x
y = a + bx
帰係数
　
a = ¯y − b¯x
　
より y − ¯y = b(x − ¯x)

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度） x
y
x
y
y = a + bx
帰係数
　
a = ¯y − b¯x
　
より y − ¯y = b(x − ¯x)

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度） x
y
x
y
y = a + bx
帰係数
　
a = ¯y − b¯x
　
より y − ¯y = b(x − ¯x)
　
(x, y)を通る
回帰直線は

A.Asano,KansaiUniv.
決定係数

A.Asano,KansaiUniv. 残差
a,bが求められて，回帰直線が確定
%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
xi

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y
xi
yi

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
xi に対する，回帰直線によるyの推定値

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
ˆyi = a + bxi

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
それでも残っている，
推定値と実際の差
ˆyi = a + bxi
ˆyi yi

%
%
%
%
%%%
%
%
%
%
%
%
%
%
%%
%
%
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）x
y a + bxi
xi
yi
それでも残っている，
推定値と実際の差
ˆyi = a + bxi
ˆyi yi
［残差］という
di

A.Asano,KansaiUniv. 残差と決定係数
回帰方程式を使って yi を予測したときの，
予測によって表現できなかった部分

残差について（付録３）

d2
i = (1 − r2
xy) (yi − ¯y)2

d2
i = (1 − r2
xy) (yi − ¯y)2
残差

d2
i = (1 − r2
xy) (yi − ¯y)2
残差相関
係数

d2
i = (1 − r2
xy) (yi − ¯y)2
残差相関
係数
決定
係数

d2
i = (1 − r2
xy) (yi − ¯y)2
残差相関
係数
決定
係数
決定係数が１に近づくほど
残差の２乗和が0に近づく

A.Asano,KansaiUniv. 決定係数の意味
d2
i = (1 − r2
xy) (yi − ¯y)2
より

d2
i = (1 − r2
xy) (yi − ¯y)2
より
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n

d2
i = (1 − r2
xy) (yi − ¯y)2
より
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数

残差の２乗の平均
d2
i = (1 − r2
xy) (yi − ¯y)2
より
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数

d2
i = (1 − r2
xy) (yi − ¯y)2
より
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
yの偏差の２乗の平均
決定
係数

d2
i = (1 − r2
xy) (yi − ¯y)2
より
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
＝yの分散

1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
（yの分散）
x
y
y
di = yi – yi
［残差］
y
i
y
i
– y
［偏差］
y
i
x
i

1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
（yの分散）
もともと y はこんなに
ばらついていた
x
y
y
di = yi – yi
［残差］
y
i
y
i
– y
［偏差］
y
i
x
i

1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
（yの分散）
もともと y はこんなに
ばらついていた
回帰直線からの
ばらつきは
こんなに減った
x
y
y
di = yi – yi
［残差］
y
i
y
i
– y
［偏差］
y
i
x
i

ばらつき
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
yのもともとの
ばらつき

ばらつき
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
yのもともとの
ばらつき
決定係数

ばらつき
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
yのもともとの
ばらつき
決定係数＝回帰直線によるばらつきの
　減少の度合い

ばらつき
1 − r2
xy =
d2
i /n
(yi − ¯y)2/n
決定
係数
yのもともとの
ばらつき
決定係数＝回帰直線によるばらつきの
　減少の度合い
＝回帰直線によって，
　ばらつきの何%が説明できたか

A.Asano,KansaiUniv. 「中くらいの相関」とは
「統計学入門」(東京大学出版会)より

相関係数0.7

相関係数0.7 相関係数0.5

決定係数0.49

決定係数0.49
決定係数0.25

決定係数0.49
決定係数0.25
こちらが中くらいの
相関関係

決定係数0.49
決定係数0.25
こちらが中くらいの
相関関係
回帰直線では
ばらつきの25%
しか説明できない

A.Asano,KansaiUniv. 前回の演習問題の例
長野～鹿児島
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
✢
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢
✢
✢
✢
✢✢
✢
✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
札幌～那覇

決定係数0.712
長野～鹿児島
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
✢
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢
✢
✢
✢
✢✢
✢
✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
札幌～那覇

決定係数0.712
長野～鹿児島
決定係数0.949
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
✢
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢
✢
✢
✢
✢✢
✢
✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
札幌～那覇

決定係数0.712
長野～鹿児島
決定係数0.949
平均付近に密集して
いると不安定
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
✢
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢
✢
✢
✢
✢✢
✢
✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
札幌～那覇

決定係数0.712
長野～鹿児島
決定係数0.949
平均付近に密集して
いると不安定
平均から離れたデー
タがあると
安定する
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
✢
✢
✢
✢
✢✢✢
✢
✢
✢
✢
✢
✢
✢
✢
✢✢
✢
✢
5
7
9
11
13
15
17
19
21
23
25 27 29 31 33 35 37 39 41 43 45
気温（℃）
緯度（度）
札幌～那覇

2016年度秋学期　統計学　第７回　データの関係を知る（２）－回帰分析 (2016. 11. 7)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 2016年度秋学期　統計学　第７回　データの関係を知る（２）－回帰分析 (2016. 11. 7)

Similar to 2016年度秋学期　統計学　第７回　データの関係を知る（２）－回帰分析 (2016. 11. 7) (20)

More from Akira Asano

More from Akira Asano (20)

Recently uploaded

Recently uploaded (8)