SlideShare a Scribd company logo
1 of 101
基礎から学ぶ回帰分析
#2: 統計的推測と検定
中島有希大
2022 年 5 月 20 日
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 1 / 101
1 連続セミナーについて
2 統計的推定
3 仮説検定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 2 / 101
連続セミナーについて
Section 1
連続セミナーについて
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 3 / 101
連続セミナーについて
連続セミナーの目的
2022 年 4 月から月に 1 回全 3 回で確率から回帰分析までを学ぶ
ソフトの使い方や p < 0.05 だから有意!などという安易な統計と
のかかわりではなく, 言葉や数式を通して, 回帰分析はどのような
ことをしているのかを学ぶ
3 回しかないのでエッセンスだけを伝えていきます
最もシンプルな方法である線形回帰モデルを学ぶが,多くの発展
的なモデルに通じる重要な分析方法
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 4 / 101
連続セミナーについて
本日のセミナーのゴール
統計的推定とは何かを理解する
どういった規準でその推定値が良いといえるのかを知る
仮説検定とは何かを学ぶ
p 値とは何であり、何ではないかを適切に把握する
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 5 / 101
連続セミナーについて
確率
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 6 / 101
連続セミナーについて
統計的推測
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 7 / 101
統計的推定
Section 2
統計的推定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 8 / 101
統計的推定
統計的推定
標本に基づいてパラメーターの値をピンポイントで推定すること
を点推定 (point estimation) という
点推定は推定された値 (推定量) はパラメーターの真の値の近辺に
存在したとしても標本によって変動する
標本に基づいてパラメーターの値を一定の幅をもって推定するこ
とを区間推定 (interval estimation) という
区間推定では標本を取り直した際にどの程度パラメーターの真の
値が推定量の幅の中に含まれるかを示す
後述の統計的仮説検定とも強い関係がある
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 9 / 101
統計的推定 点推定
Subsection 1
点推定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 10 / 101
統計的推定 点推定
推定量と推定値
まず, 母集団はある確率分布に従っており, パラメーター 𝜃(平均 𝜇
や分散 𝜎2
などを抽象化して表現している) をもつ
母集団から無作為抽出を行い, 標本を得たとする
𝑋1, 𝑋2, … , 𝑋𝑛, 𝑖.𝑖.𝑑. ∼ 𝑃𝜃
𝜃 を標本の関数で推定をする
この推定に用いる関数を 𝜃 の推定量 (estimator) という
̂
𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)
観測値を代入したものを推定値 (estimate) という
̂
𝜃(𝑥1, 𝑥2, … , 𝑥𝑛)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 11 / 101
統計的推定 点推定
不偏推定量
推定量 ̂
𝜃 がパラメーター 𝜃 を正確に推定できるようにしたい
推定量の期待値 𝔼[ ̂
𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] がパラメーター 𝜃 と一致す
る性質を不偏性という
不偏性を持つ推定量を不偏推定量 (unbiased estimator) という
不偏性を持つ時, ̂
𝜃 は 𝜃 の周囲に分布する
標本平均や不偏分散は不偏推定量の 1 つである
𝔼[ ̂
𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] = 𝜃
推定量の期待値とパラメーターの差をバイアスという
𝐵𝑖𝑎𝑠( ̂
𝜃) = 𝔼[ ̂
𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] − 𝜃
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 12 / 101
統計的推定 点推定
標本平均の期待値
ランダム標本 𝑋1, … , 𝑋𝑛 の算術平均の期待値 𝔼[𝑋] から母平均
𝔼[𝑋𝑖] = 𝜇 を導くことができる
統計量 (標本の特徴量) の期待値が母数 (母集団の特徴量) に一致
することを不偏性という
𝔼[𝑋] = 𝔼 [
1
𝑛
𝑛
∑
𝑖=1
𝑋𝑖] =
1
𝑛
𝑛
∑
𝑖=1
𝔼[𝑋𝑖] =
1
𝑛
𝑛
∑
𝑖=1
𝜇 =
1
𝑛
𝑛𝜇 = 𝜇
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 13 / 101
統計的推定 点推定
標本分散と母分散
各値と標本平均の差の平方和は, 各値と任意の定数との差の平方
和より小さくなる (∑
𝑛
𝑖=1
(𝑥𝑖 − ̄
𝑥)2
≤ ∑
𝑛
𝑖=1
(𝑥𝑖 − 𝑎)2
) ため, 𝑎 に 𝜇
を代入した次のことが言える
𝑛
∑
𝑖=1
(𝑥𝑖 − ̄
𝑥)2
≤
𝑛
∑
𝑖=1
(𝑥𝑖 − 𝜇)2
両辺をサンプルサイズ 𝑛 で除すと, 標本分散よりも母分散が大き
くなる
𝑠2
≤ 𝜎2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 14 / 101
統計的推定 点推定
不偏標本分散
各値と標本平均の差の平方和をサンプルサイズから 1 を引いた値
𝑛 − 1 で除すと期待値が母分散と一致する不偏標本分散 (unibiased
sample variance) ̂
𝜎2
が得られる
なお, 標本分散の期待値 𝔼[𝑠2
] は 𝑛−1
𝑛 𝜎2
である
不偏標本分散の平方根は標準偏差の不偏推定量ではないこと
に注意
𝑛
∑
𝑖=1
(𝑋𝑖 − 𝜇)2
= ∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋 + ̄
𝑋 − 𝜇)2
= ∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
+ ∑
𝑛
𝑖=1
( ̄
𝑋 − 𝜇)2
+ ∑
𝑛
𝑖=1
2(𝑋𝑖 − ̄
𝑋)( ̄
𝑋 − 𝜇)
= ∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
+ 𝑛( ̄
𝑋 − 𝜇)2
+ 2( ̄
𝑋 − 𝜇) ∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)
= ∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
+ 𝑛( ̄
𝑋 − 𝜇)2
+ 2( ̄
𝑋 − 𝜇)0
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 15 / 101
統計的推定 点推定
𝔼 [
𝑛
∑
𝑖=1
(𝑋𝑖 − 𝜇)2
] = 𝔼 [∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
] + 𝑛𝔼[( ̄
𝑋 − 𝜇)2
]
𝑛𝜎2
= 𝔼 [∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
] + 𝜎2
𝔼 [
𝑛
∑
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
] = 𝑛𝜎2
− 𝜎2
= (𝑛 − 1)𝜎2
𝔼 [
1
𝑛 − 1
𝑛
∑
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
] = 𝜎2
̂
𝜎2
= 1
𝑛−1 ∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
𝔼[ ̂
𝜎2
] = 𝔼 [ 1
𝑛−1 ∑
𝑛
𝑖=1
(𝑋𝑖 − ̄
𝑋)2
] = 𝜎2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 16 / 101
統計的推定 点推定
最小分散不偏推定量
不偏推定量は 1 つのパラメーターに対して複数存在しうる
中には不合理なものも含みうる
推定量のパラメーターからの分散が最も小さいものを選ぼうと
考える
不偏性を持つ推定量のうち, 分散が最も小さいものを最小分散不偏
推定量 (minimum variance unbiased estimator) という
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 17 / 101
統計的推定 点推定
不偏性についての注意
不偏推定量は 2 乗したり, 平方根をとったりすると不偏推定量で
はなくなる
例えば, 不偏分散の平方根である不偏標準偏差は不偏推定量ではな
い (!)
平均の 2 乗も不偏推定量ではない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 18 / 101
統計的推定 点推定
一致推定量
サンプルサイズ 𝑛 を大きくした時 (母集団に近づけた時), ̂
𝜃 が 𝜃
に確率収束する性質を一致性という
一致性を持つ推定量を一致推定量 (consistent estimator) という
大数の弱法則ととても形が似ている
標本平均や不偏分散, そして標本分散も一致推定量である
lim
𝑛→∞
𝑃𝜃(| ̂
𝜃 − 𝜃| ≤ 𝑐) = 1
やはりチェビシェフの不等式を用いることで確率収束を示すこと
ができる
lim𝑛→∞ 𝔼[( ̂
𝜃 − 𝜃)2
] = 0 なら, ̂
𝜃 は一致性をもつ
𝑃(| ̂
𝜃 − 𝜃| ≤ 𝑐) ≥ 1 − 𝔼[( ̂
𝜃 − 𝜃)2
]/𝑐2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 19 / 101
統計的推定 点推定
最尤推定量
データが与えられたとき, そのデータを最も得る確率が高いパラメータ
ーを推定する方法を最尤推定法 (method of maximum likelihood) という
パラメーター 𝜃 をもつ母集団からの無作為標本 X = (𝑋1, … , 𝑋2) の実
現値 x = (𝑥1, … , 𝑥2) における同時確率関数をパラメーター 𝜃 の関数と
みて, 尤度関数 (likelifood function) を得る
尤度関数とは, データを説明するのに 𝜃 の尤もらしさの度合いを表
す関数である
𝐿(𝜃; x) =
𝑛
∏
𝑖=1
𝑓(𝑥𝑖; 𝜃)
尤度関数を最大にする推定量が最尤推定量 (maximum likelifood
estimator) であり, その実現値が最尤推定値である
𝐿( ̂
𝜃𝑀𝐿
; X = max
𝜃
𝐿(𝜃; X))
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 20 / 101
統計的推定 点推定
対数尤度
尤度関数が最大となる推定量を求めるためには, 微分して 0 を置
くことで求める
しかし最尤法の計算では, 尤度関数が確率関数の積であることか
ら, 計算が難しい場合がある
対数変換を行うことで確率関数の和の形に変換してから微分を行
うことを考える
対数変換された尤度関数を対数尤度関数 (log-likelifood function)
という
ℓ(𝜃; x) = log 𝐿(𝜃; x) = log
𝑛
∏
𝑖=1
𝑓(𝑥𝑖; 𝜃) =
𝑛
∑
𝑖=1
log 𝑓(𝑥𝑖; 𝜃)
𝑑
𝑑𝜃
ℓ(𝜃; x) =
𝑛
∑
𝑖=1
𝑑
𝑑𝜃
log 𝑓(𝑥𝑖; 𝜃) = 0
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 21 / 101
統計的推定 点推定
最尤推定量の性質
最尤推定量には好ましいいくつかの性質がある
1 パラメーター 𝜃 の最尤推定量 ̂
𝜃𝑀𝐿
は 𝜃 の一致推定量である
̂
𝜃𝑀𝐿
は 𝜃 に確率収束する
2 パラメーター 𝜃 の関数 𝑔(𝜃) の最尤推定量は 𝑔( ̂
𝜃𝑀𝐿
) である
これを不変性 (漢字に注意!) という
3 𝑛 が十分に大きい時, ̂
𝜃𝑀𝐿
の分布は正規分布で近似できる
これを漸近正規性という
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 22 / 101
統計的推定 点推定
0.0
0.2
0.4
0.6
-4 -2 0 2 4
X
y
図 1: 最尤推定法のイメージ
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 23 / 101
統計的推定 区間推定
Subsection 2
区間推定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 24 / 101
統計的推定 区間推定
区間推定とは
区間 [𝐿(X), 𝑈(X))] が確率 1 − 𝛼 でパラメーターを含む時, パラメ
ーターに対する信頼区間 (confidence intereval) という
1 − 𝛼 のことを信頼係数 (confidence coefficient) といい, 有意水準
5% と合わせて 95% 信頼区間がよく利用される
一般にサンプルサイズが大きくなるほど, 信頼区間の幅は小さくな
る
信頼係数を高くするほど信頼区間の幅は広がる
信頼区間に帰無仮説を含んだ時, 帰無仮説は受容される
信頼区間の上限を信頼上限, 下限を信頼下限といい,
[信頼下限, 信頼上限] で表す
𝑃𝜃(𝜃 ∈ [𝐿(X), 𝑈(X)]) ≥ 1 − 𝛼
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 25 / 101
統計的推定 区間推定
信頼区間の解釈
信頼区間は有意水準と同じく, 確率変数について述べているため,
観測された実現値を代入して 95% の確率でパラメーターを含む
などとは言えない
パラメーターの真の値は 1 つであり, 実現値を代入して求めた信
頼区間には含まれるかか含まれないかの 2 値でしか判断できず,
確率論は適用できない
100 回標本を抽出し直したら, 95 回程度 95% 信頼区間にパラメー
ターが含まれると解釈する
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 26 / 101
統計的推定 区間推定
TF
0
1
図 2: 95% 信頼区間のイメージ
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 27 / 101
統計的推定 区間推定
30 100 1000
TF
0
1
図 3: 95% 信頼区間とサンプルサイズ
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 28 / 101
統計的推定 推定例: 平均の推定
Subsection 3
推定例: 平均の推定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 29 / 101
統計的推定 推定例: 平均の推定
母集団の分散既知の場合
平均 𝜇, 分散 𝜎2
の正規分布に従う母集団から無作為抽出し, その
標本からパラメーター 𝜇 を推定する
標本平均 𝑋 は中心極限定理より, 𝑋 ∼ 𝑁(𝜇, 𝜎2
/𝑛) に従う
標準化 (𝑍 =
√
𝑛(𝑋 − 𝜇)/𝜎) すれば, 標準正規分布 (𝑍 ∼ 𝑁(0, 1))
に従う
これらを変形すると次のように信頼区間を表すことができる
標準正規分布の累積分布を振り返れば, 𝜇 ± 1.96𝜎 区間に 95% が含
まれる (両側の場合)
つまり, |𝑧𝛼
2
| = |𝑧0.025| = 𝑧0.975 = 𝑧1− 𝛼
2
は 1.96 である
𝑋 −
𝜎
√
𝑛
|𝑧𝛼
2
| ≤ 𝜇 ≤ 𝑋 +
𝜎
√
𝑛
|𝑧𝛼
2
|
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 30 / 101
統計的推定 推定例: 平均の推定
母集団の分散既知の例 1
男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を
求める
無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm だった
𝑋 に 175, 𝜎 に 6, 𝑛 に 9 を代入して 95% 信頼区間を計算する
95% 信頼区間は [171.08, 178.92] である
𝑋 −
𝜎
√
𝑛
𝑧𝛼
2
= 175 −
6
√
9
× 1.96 = 171.08
𝑋 +
𝜎
√
𝑛
𝑧1− 𝛼
2
= 175 +
6
√
9
× 1.96 = 178.92
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 31 / 101
統計的推定 推定例: 平均の推定
母集団の分散既知の例 2
同様に男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼
区間を求める
無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm だった
𝑋 に 175, 𝜎 に 6, 𝑛 に 9 を代入して 99% 信頼区間を計算する
99% 信頼区間は [169.84, 180.16] である
𝑋 −
𝜎
√
𝑛
𝑧𝛼
2
= 175 −
6
√
9
× 2.58 = 169.84
𝑋 +
𝜎
√
𝑛
𝑧1− 𝛼
2
= 175 +
6
√
9
× 2.58 = 180.16
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 32 / 101
統計的推定 推定例: 平均の推定
母集団の分散既知の例 3
同様に男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼
区間を求める
無作為にサイズ 25 の標本を抽出したところ, 平均が 175 cm だっ
た
𝑋 に 175, 𝜎 に 6, 𝑛 に 25 を代入して 95% 信頼区間を計算する
95% 信頼区間は [172.648, 177.352] である
𝑋 −
𝜎
√
𝑛
𝑧𝛼
2
= 175 −
6
√
25
× 1.96 = 172.648
𝑋 +
𝜎
√
𝑛
𝑧1− 𝛼
2
= 175 +
6
√
25
× 1.96 = 177.352
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 33 / 101
統計的推定 推定例: 平均の推定
母集団の分散未知の場合
平均 𝜇, 分散 𝜎2
の正規分布に従う母集団から無作為抽出し, その
標本からパラメーター 𝜇 を推定する
母分散 𝜎2
がわからない場合には, 不偏標本分散 ̂
𝜎2
に置き換えて
推定を行う
標準化しても標準化正規分布には従わない
標準化した統計量は自由度 𝜈(𝜈 は 𝑛 − 1) の t 分布 𝑡𝜈 に従う
𝑋 +
̂
𝜎
√
𝑛
𝑡𝜈, 𝛼
2
≤ 𝜇 ≤ 𝑋 +
̂
𝜎
√
𝑛
𝑡𝜈,1− 𝛼
2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 34 / 101
統計的推定 推定例: 平均の推定
母集団の分散未知のの例 1
男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を
求める
無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm, 不偏
標本標準偏差 6 だった
𝑋 に 175, ̂
𝜎 に 6, 𝑛 に 9 を代入して 95% 信頼区間を計算する
95% 信頼区間は [170.38, 179.62] である
分散既知の場合よりも信頼区間は広くなる
𝑋 −
̂
𝜎
√
𝑛
𝑡𝜈, 𝛼
2
= 175 −
6
√
9
× 2.31 = 170.38
𝑋 +
̂
𝜎
√
𝑛
𝑡𝜈,1− 𝛼
2
= 175 +
6
√
9
× 2.31 = 179.62
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 35 / 101
統計的推定 推定例: 平均の推定
母集団の分散未知の場合 (大標本)
サンプルサイズが大きい場合, たとえ母集団の分散がわからなく
ても正規分布で近似できる
自由度 ∞ の t 分布は標準正規分布と一致するため
0.0
0.1
0.2
50 100 150 200
size
diff
図 4: 標準正規分布と t 分布の 2.5% 点の差
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 36 / 101
統計的推定 推定例: 平均の推定
様々な t 分布の確率密度関数のグラフ (再掲)
0.0
0.1
0.2
0.3
0.4
-5.0 -2.5 0.0 2.5 5.0
colour
df=1
df=2
df=3
df=4
df=5
df=6
df=7
df=8
df=9
図 5: 様々な t 分布の確率密度関数のグラフ (点線は標準正規分布)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 37 / 101
統計的推定 分散の推定
Subsection 4
分散の推定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 38 / 101
統計的推定 分散の推定
正規分布の母分散の推定
不偏標本分散 ̂
𝜎2
= 1
𝑛−1 ∑
𝑛
𝑖=1
(𝑋𝑖 − 𝑋)2
に対して, 𝑊 = (𝑛−1) ̂
𝜎2
𝜎2 と
変換すると, 𝑊 は 𝜒2
分布に従う (𝑊 ∼ 𝜒2
𝜈)
よって, 𝜎2
について解くと信頼区間は下記のように表せる
(𝑛 − 1) ̂
𝜎2
𝜒2
𝜈,1− 𝛼
2
≤ 𝜎2
≤
(𝑛 − 1) ̂
𝜎2
𝜒2
𝜈, 𝛼
2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 39 / 101
統計的推定 分散の推定
正規分布の母分散の推定の例
男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を
求める
無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm, 不偏
標本分散が 36 だった
𝑛 に 9, 𝜈 に 8, ̂
𝜎2
に 36 を代入して 95% 信頼区間を計算する
95% 信頼区間は [16.4289789, 132.1100917] である
(𝑛 − 1) ̂
𝜎2
𝜒2
𝜈,1− 𝛼
2
=
(9 − 1) × 36
17.53
= 16.4289789
(𝑛 − 1) ̂
𝜎2
𝜒2
𝜈, 𝛼
2
=
(9 − 1) × 36
2.18
= 132.1100917
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 40 / 101
仮説検定
Section 3
仮説検定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 41 / 101
仮説検定 仮説検定とはなにか
Subsection 1
仮説検定とはなにか
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 42 / 101
仮説検定 仮説検定とはなにか
仮説検定
仮説検定 (hypothesis testing) とは母集団の確率分布に対して, な
んらかの仮説を立て, その妥当性を標本から検証する方法
帰無仮説 (null hypothesis) と対立仮説 (alternative hypothesis) の 2
つの排反な仮説を設定する
帰無仮説は一般に 𝐻0 と表され, 対立仮説は 𝐻1 と表される
帰無仮説が否定され, 無に帰すことで対立仮説の妥当性を検証
帰無仮説 𝐻0 が否定されることを帰無仮説 𝐻0 を棄却する (reject
the hypothesis) といい, 否定できない場合は帰無仮説 𝐻0 を受容す
る (accept the hypothesis) という
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 43 / 101
仮説検定 仮説検定とはなにか
帰無仮説検定の手続き
1 帰無仮説 𝐻0 と対立仮説 𝐻1 を設定する
2 検定を行う検定統計量 𝑇 とその分布を決める
3 有意水準 𝛼 を決め, 棄却域を決める
4 データを収集し, 検定統計量 𝑇 を求める
5-1. 検定統計量 𝑇 が棄却域内にあれば帰無仮説 𝐻0 を棄却し, 対立仮
説 𝐻1 を採択する.
5-2 検定統計量 𝑇 が棄却域内になければ, 帰無仮説 𝐻0 は棄却できず,
帰無仮説 𝐻0 を受容する
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 44 / 101
仮説検定 仮説検定とはなにか
帰無仮説と対立仮説の設定
対立仮説 𝐻1 は自身の考えている仮説であり, 検証をしたい仮説
対立仮説は基本的に特殊な場合を念頭に置く
あるコインの表を向く確率は 80% である etc…
実証研究の場合にはある原因と考えられる変数 (説明変数) を操作
した場合に結果と考えている変数 (結果変数) に差があるのか
対立仮説は不等号 (>, <), 否定等号 (≠) を用いて表される
帰無仮説 𝐻0 は誤解を恐れずに説明すると, 自身が考える仮説が
正しくないという仮説
帰無仮説は一般的な場合を想定
あるコインの表を向く確率が 50% である etc…
帰無仮説は等号記号 (=) を用いて表す
仮説検定は基本的に一般的である (つまり特殊でない・差がない)
かどうかを検証するには向かない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 45 / 101
仮説検定 仮説検定とはなにか
コインと帰無仮説
まず, コインの表が出る確率 𝑝 は 1/2 と考えるのが一般的であり,
帰無仮説 𝐻0 になる
𝐻0 ∶ 𝑝 =
1
2
今知りたいのは, 目の前のこのコインが歪んでいる (特殊な状況)
か否かであるため, このコインの表の出る確率 𝑝 は 1/2 でないと
する仮説が対立仮説 𝐻1 になる
さらに, コインが歪みは, 表が出やすい場合と出にくい場合がある
𝐻1 ∶ 𝑝 ≠
1
2
, 𝐻1 ∶ 𝑝 >
1
2
, 𝐻1 ∶ 𝑝 <
1
2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 46 / 101
仮説検定 仮説検定とはなにか
両側検定片側検定
対立仮説が否定記号 (≠) で表される (対立仮説と帰無仮説と一致
しないことを検討する) 際には, 両側検定 (two-sided test) という
コインで言えば, コインが歪んでいることを検定する場合
両側検定は 2 つの対立仮説 (コインの表の出る確率が 1/2 より大き
い場合と小さい場合) を内包している
対立仮説が不等号記号 (>, <) で表される際には, 片側検定
(one-sided test) という
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 47 / 101
仮説検定 仮説検定とはなにか
検定統計量 𝑇 と分布の決定
帰無仮説 𝐻0 が正しい場合に従う検定統計量 (test statistic)𝑇 とそ
の分布を決定
帰無仮説が 1 つの値として設定されている (等号記号 = で表され
ている) ため, 検定統計量の従う分布も一意に定まる
帰無仮説が幅を持つ連続値であるとすると, 連続値は無限に表現で
きることから, 検定統計量の分布も無限に求めなければならない
具体的にどのような検定統計量とその分布はどのような検定を行
うのかによって異なる
検定によく利用されるのが t 統計量・t 分布や F 統計量・F 分布, 𝜒2
統計量・𝜒2
分布など
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 48 / 101
仮説検定 仮説検定とはなにか
有意水準 𝛼 と棄却域の決定
帰無仮説が正しいという前提で算出された検定統計量 𝑇 とその分
布から, どの程度の値を取れば帰無仮説を棄却するかを決める
帰無仮説を棄却する範囲を棄却域 (rejection region) という
棄却域の基準を有意水準 (significance level)𝛼 という
有意水準 𝛼 はめったに起こらない (偶然ではない) のは何% くらい
だろうかという主観から決めて良い
棄却域と有意水準から求められた検定統計量を受容するのか棄却
するのかを分ける値を臨界値 (critical value) という
{
|𝑇| > 𝑐 ⇒ 𝐻0を棄却
|𝑇| ≤ 𝑐 ⇒ 𝐻0を受容
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 49 / 101
仮説検定 仮説検定とはなにか
有意水準の目安
社会科学では慣習的に有意水準 5% が用いられてきた
正規分布の 2𝜎 区間の外にある確率が約 5% であることなどから用
いられてきた慣習で深い意味はない
20 回に 1 回起こるというのは偶然の範囲内ではないかとの批判も
強く, 1% 基準や 0.5% 基準が利用されることも多い
有意水準 5% よりも下回るか否かという 2 値的な判断が重要であ
るが, 5.1% と 4.9% に何か本質的な違いはない
有意水準 𝛼 は分析の前に決定するものであり, 標本から算出され
た値によって変更するものではないことに注意!
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 50 / 101
仮説検定 仮説検定とはなにか
t 分布と棄却域のイメージ (両側)
0.0
0.1
0.2
0.3
0.4
-4 -2 0 2 4
図 6: t 分布 (自由度 20) と有意水準 5%(両側)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 51 / 101
仮説検定 仮説検定とはなにか
t 分布と棄却域のイメージ (片側)
0.0
0.1
0.2
0.3
0.4
-4 -2 0 2 4
図 7: t 分布 (自由度 20) と有意水準 5%(片側)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 52 / 101
仮説検定 仮説検定とはなにか
データの取得と検定統計量 𝑇 の算出, 仮説の採否
データを取得し, 予め用いることを決めていた検定統計量 𝑇 を算
出する
標本から求めた検定統計量 𝑇 が棄却域の外にあれば, 帰無仮説が
正しく, 偶然その値を算出する標本を得たのかもしれないと考え,
帰無仮説を受容する
標本から求めた検定統計量 𝑇 が棄却域の内にあれば, 帰無仮説が
正しい場合にはめったに得られない値であり, 帰無仮説は正しく
ないと考え, 帰無仮説を棄却し, 対立仮説を採択する
対立仮説が採択された場合, 統計的に有意である (statistical
significance) という
有意水準 𝛼 と棄却域に従って, 対立仮説は採択するか採択されな
いかしか選択肢はなく, 有意水準何% の確率で対立仮説は正しい
などとは言えない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 53 / 101
仮説検定 仮説検定とはなにか
p 値
統計検定量 𝑇 はどの分布に従うと考えるかによって, 統計量の取
りうる範囲が大きく変わる
t 分布であれば [−∞, ∞], 𝜒2
分布であれば 0 以上
帰無仮説が正しいと仮定した場合に標本から算出された検定統計
量がその値 (より極端な値 / より帰無仮説から外れた値) を取る
確率を p 値という
事前に決めた分布の確率密度 (累積分布) から算出する
確率であるため, どの分布を利用しても取りうる範囲は同じ
検定統計量 𝑇 が大きくなればなるほど p 値は小さくなる
一般的に有意水準 𝛼 と p 値を比較して帰無仮説を受容するか, 棄
却して対立仮説を採択するかを検討する
帰無仮説はあくまで帰無仮説に基づいたときにデータが得られる
確率 (𝑃(𝐷|𝐻0)) であり, 得られたデータに基づいて帰無仮説が正
しい確率 (𝑃(𝐻0|𝐷)) ではない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 54 / 101
仮説検定 仮説検定とはなにか
仮説検定の論理
仮説検定は背理法で命題と矛盾する仮説 (帰無仮説に相当) を立て
て, それを棄却するのと似た論理
背理法と同じく帰無仮説を棄却できない場合, 対立仮説については
何も言えない
ラーメン二郎を食べたらお腹いっぱいになるという命題を考えた
時, ラーメン二郎を食べたのにお腹が空いているというのはありえ
ないが, おなかがいっぱいであるという情報だけではラーメン二郎
を食べる以外にもインスパイア系ラーメンを食べたのかもしれな
い
ただし, 仮説検定は確率的な考え方を導入しているため, 厳密な背
理法ではない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 55 / 101
仮説検定 仮説検定とはなにか
裁判と仮説検定
ある事件が発生し, 犯行は A さんが行った
警察 (検察) は A さんが容疑者であるとして逮捕した
A さんが犯人であるという対立仮説
ただし, 罪が確定するまで推定無罪の原則から A さんは無罪であ
ると推定される
A さんは犯人ではないという帰無仮説
検事は裁判で証拠品に A さんの指紋がついている, 犯行時刻にア
リバイがないなどの証拠から A さんが無罪であると説明できず A
さんが犯人だと主張する
しかし裁判の結果, 証拠不十分により A さんが無罪となった
帰無仮説が有意水準を下回らなかった
証拠は不足していたが実際の犯人は A さんなので, A さんは無罪
だが, 無実ではない
帰無仮説を棄却できないことは帰無仮説が正しいことを保証
しない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 56 / 101
仮説検定 効果量
Subsection 2
効果量
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 57 / 101
仮説検定 効果量
統計的有意と社会的意義
帰無仮説は厳密に言えば常に間違っている
全数調査を行った際に, 小数点以下まで全ての値が一致するという
ことはない
とても小さな値まで考慮すれば等号記号 (=) で表現される帰無仮
説は常に間違っている
サンプルサイズを母集団に近づければ (サンプルサイズを大きくす
れば), 小さな差も統計的に有意になる
統計的に有意であることと社会的に意義がある (social
significance) ことは本質的に異なる
とても小さな差が検定によって肯定されたとしてそれに社会的な
意味はあるのか
あるダイエットに効く薬の効果が統計的に有意であったとしても
体重を 5g 減らす効果しかない場合, この薬は有用だろうか
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 58 / 101
仮説検定 効果量
効果量
説明変数が応答変数に与える影響 (効果) の大きさを効果量 (effect
size) という
変数間に説明変数, 応答変数という区別がない場合には, 変数間の
関係の大きさを表す
帰無仮説が正しい場合には, 効果量は 0 となる
効果量が 0 でなくても, 帰無仮説が受容されることがある (偽陰性)
厳密な統制が社会科学の場合は難しいため, 理系に分類される研究
よりも文系に分類される研究のほうが効果量が 0 でないのに, 帰無
仮説が受容されやすい
群間の差についての効果量は d 族の効果量 (d family effect size),
変数間の関係を表す (連続値同士の) 効果量は r 族の効果量 (r
family effect size) という
基本的には標準化されて算出される
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 59 / 101
仮説検定 効果量
効果量の目安
標準化された効果量は標準偏差がどれくらい変動するかを示す
d 族の効果量場合目安として, 0.2 だと小さな効果量, 0.5 だと中程
度の効果量, 0.8 以上だと大きな効果量だと言われている
上記はあくまで目安であり, 絶対的なものではない
分野や慣習的にどの程度なのかを把握しておくことも重要
仮説検定を行った場合, 効果量を載せることが義務化されている論
文誌も多い
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 60 / 101
仮説検定 効果量
効果量と検定統計量の関係
検定統計量 𝑇 はサンプルサイズ 𝑁 の関数と効果量 𝐸𝑆 の関数の
積で表すことができる
|𝑇| = 𝑓(𝑁) × 𝑔(|𝐸𝑆|)
サンプルサイズが同じであれば, 効果量が大きくなるほど検定統
計量は大きくなり, p 値は小さくなる
効果量が 0 でなく, 分析方法も適切なのに帰無仮説が受容されるの
はサンプルサイズが小さすぎるため
効果量が同じであれば, サンプルサイズが多くなるほど検定統計
量は大きくなり, p 値は小さくなる
サンプルサイズが大きいと意味のない差が有意になるのはこ
のため
効果量はサンプルサイズに依存しない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 61 / 101
仮説検定 2 つの過誤
Subsection 3
2 つの過誤
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 62 / 101
仮説検定 2 つの過誤
2 つの過誤
帰無仮説は 2 種類の誤りを犯している可能性がある
第 1 種の過誤 (Type I error), 第 2 種の過誤 (Type II eror) という
第 1 種の過誤とは帰無仮説が正しいのにも関わらず, たまたま得
られた標本が少し偏っていて帰無仮説を棄却してしまう誤り
差がないのに差があると判断してしまう誤り
偽陽性 (false positive) ともいう
有意水準 𝛼 が第 1 種の過誤の確率
第 2 種の過誤とは帰無仮説が正しくないのにも関わらず, 帰無仮
説を受容する誤り
差があるのに差がないと判断してしまう誤り
偽陰性 (false negative) という
第 2 種の過誤の確率は 𝛽 で表す
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 63 / 101
仮説検定 2 つの過誤
検定における 4 種類の結果
𝐻0 が正しい 𝐻1 が正しい
𝐻0 を受容 正しい判断
第 2 種の過誤
𝛽
𝐻1 を採択
第 1 種の過誤
有意水準: 𝛼
正しい判断
検定力: 1 − 𝛽
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 64 / 101
仮説検定 2 つの過誤
検定力
検定力 (検出力; power) とは帰無仮説が正しくない場合に, 正しく
帰無仮説を棄却する確率
差があるときに差があると正しく判断できる確率
1 − 𝛽 で求める
第 4 回のコロナウイルスの例に沿って説明すると感度
有意水準と検定力は相補的ではなく, 𝛼 + 𝛽 = 1 ではない
有意水準は 𝑃(𝐷|𝐻0) であるのに対して, 検定力は 𝑃(𝐷|𝐻1)
検定力は一般的に 80% 前後が利用される
検定力 50% はコイン投げと同じなので, 最低でも 50% より大きい
ことは必須
検定力は差がない (有意差がない) ときに帰無仮説が正しくないの
に検出できていないだけではないかという検証やサンプルサイズ
の決定などに利用される
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 65 / 101
仮説検定 2 つの過誤
検定力・効果量・サンプルサイズ・有意水準
検定力・効果量・サンプルサイズ・有意水準はお互いに関連して
いる
効果量が小さく, サンプルサイズが小さく, 有意水準も低ければ
(小さければ), 検定力も低くなる
小さな効果量では検出するのが難しい
サンプルサイズが小さければノイズが大きくやはり検出が難しい
有意水準が低いと第 1 種の過誤を犯す可能性は下げられるが, その
分本当に差があっても差を検出できない可能性は上がる
効果量とサンプルサイズが同じなら, 有意水準が高くなる (大きく
なる) と検定力も高くなる
サンプルサイズと有意水準が同じなら, 効果量が大きいと検定力
も高くなる
効果量と有意水準が同じなら, サンプルサイズが大きいと検定力
も高い
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 66 / 101
仮説検定 2 つの過誤
歪められたコインと仮説検定の例 (サンプルサイズ 4)
あるコインに仕掛け (削ったり, 重みのバランスを変えたり) をし
て, 表が出る確率を 0.75 にまで引き上げたとする
コインを投げて表を向く回数は二項分布に従う
有意水準は 5%(片側) に設定する
コインを 4 回投げた場合, 改造したコインは 3 回表を向いたとす
る
普通のコインを 4 回投げて 3 回以上表を向く確率は二項分布より
31.25%
よって, たまたま 3 回表を向いただけであると考えられ, 帰無仮説
を受容する
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 67 / 101
仮説検定 2 つの過誤
コインと仮説検定のイメージ (サンプルサイズ 4)
0.0
0.1
0.2
0.3
0.4
0 1 2 3 4
prob
50%
75%
図 8: コインと仮説検定のイメージ (サンプルサイズ 4)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 68 / 101
仮説検定 2 つの過誤
歪められたコインと仮説検定の例 (サンプルサイズ
20)
同じ改造したコインを 20 回投げて, 15 回表を向いたとする
普通のコインを 20 回投げて 15 回以上表を向く確率は二項分布よ
り 2.0694733%
よって, 普通のコインを投げて 15 回以上表が出るのには, 偶然と
は言い難い (5% 以下) ため帰無仮説は棄却され, 表が出やすいよ
うに歪められていると考えられる
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 69 / 101
仮説検定 2 つの過誤
コインと仮説検定のイメージ (サンプルサイズ 20)
0.00
0.05
0.10
0.15
0.20
0 5 10 15 20
prob
50%
75%
図 9: コインと仮説検定のイメージ (サンプルサイズ 20)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 70 / 101
仮説検定 2 つの過誤
歪められたコインと効果量の例
Glass の Δ1
という効果量の計算を例にする
4 回コインを投げて普通のコインは表を 2 回, 改造されたコインは
3 回表を向いたとする
20 回コインを投げて普通のコインは表を 10 回, 改造されたコイ
ンは表を 15 回向いたとする
効果量はともに 1 であり, サンプルサイズに依存しない
Δ =
3 − 2
1
= 1
Δ =
15 − 10
5
= 1
1
Glass の Δ は Δ = 𝑥1−𝑥2
̂
𝜎2
で定義される
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 71 / 101
仮説検定 母平均と比較値との比較
Subsection 4
母平均と比較値との比較
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 72 / 101
仮説検定 母平均と比較値との比較
母平均と比較値の差の 𝑧 検定 (𝜎 既知)1
標本から推定される母平均 𝜇 が比較値 𝜇0 と異なるのかを検定
適用条件
母標準偏差 𝜎 が既知
検定統計量 𝑇
𝑇 =
𝑥 − 𝜇0
𝜎
√
𝑛
検定統計量の従う分布: 𝑧 分布 (標準正規分布)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 73 / 101
仮説検定 母平均と比較値との比較
母平均と比較値の差の 𝑧 検定 (𝜎 既知)2
信頼区間
𝑥 ± 𝑧𝛼
2
𝜎
√
𝑛
信頼区間に比較値が含まれれば帰無仮説を受容し, 含まれなけれ
ば帰無仮説を棄却して対立仮説を採択する
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 74 / 101
仮説検定 母平均と比較値との比較
母平均と比較値の差の 𝑧 検定 (𝜎 既知) の例
ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間
伸びた
母標準偏差 𝜎 は 2 であるとする
この結果は 0 より大きいかを検定する (𝛼 = 0.05, 両側)
𝑇 =
𝑥 − 𝜇0
𝜎
√
𝑛
=
2.33 − 0
2
√
10
= 3.68
有意水準 5% の場合, 𝑧0.975 は 1.96 であり, 標本検定統計量は 1.96
を超えている
信頼区間は次の通り
𝑥 ± 𝑧𝛼
2
𝜎
√
𝑛
= 2.33 ± 𝑧0.975
2
√
10
= 2.33 ± (1.96 × 0.63)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 75 / 101
仮説検定 母平均と比較値との比較
母平均と比較値の差の 𝑡 検定 (𝜎 未知)1
標本から推定される母平均 𝜇 が比較値 𝜇0 と異なるのかを検定
適用条件
母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時
検定統計量 𝑇
𝑇 =
𝑥 − 𝜇0
̂
𝜎
√
𝑛
検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は 𝑛 − 1)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 76 / 101
仮説検定 母平均と比較値との比較
母平均と比較値の差の 𝑡 検定 (𝜎 未知)2
信頼区間
𝑥 ± 𝑡𝜈, 𝛼
2
̂
𝜎
√
𝑛
信頼区間に比較値が含まれれば帰無仮説を受容し, 含まれなけれ
ば帰無仮説を棄却して対立仮説を採択する
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 77 / 101
仮説検定 母平均と比較値との比較
母平均と比較値の差の 𝑡 検定 (𝜎 未知) の例
ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間
伸びた
不偏標本分散の平方根 ̂
𝜎 は 2 であるとする
この結果は 0 より大きいかを検定する (𝛼 = 0.05, 両側)
𝑇 =
𝑥 − 𝜇0
̂
𝜎
√
𝑛
=
2.33 − 0
2
√
10
= 3.68
有意水準 5% の場合, 𝑡9,0.975 は 2.26 であり, 標本検定統計量は
2.26 を超えている
信頼区間は次の通り
𝑥 ± 𝑡𝜈, 𝛼
2
̂
𝜎
√
𝑛
= 2.33 ± 𝑡9,0.975
2
√
10
= 2.33 ± (2.26 × 0.63)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 78 / 101
仮説検定 対応のない 2 群の母平均の差の検定
Subsection 5
対応のない 2 群の母平均の差の検定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 79 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差の 𝑡 検定 (𝜎 未知, 等分散)1
2 つの標本 x, y から推定される母平均 𝜇𝑥, 𝜇𝑦 に差があるかを検定
適用条件
母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時
2 つの母分散 𝜎2
𝑥, 𝜎2
𝑦 が等しくないとは言えない時
検定統計量 𝑇
𝑇 =
𝑥 − 𝑦
√ 1
𝑛𝑥
+ 1
𝑛𝑦
√
(𝑛𝑥−1) ̂
𝜎2
𝑥+(𝑛𝑦−1) ̂
𝜎2
𝑦
𝑛𝑥+𝑛𝑦−2
検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は 𝑛𝑥 + 𝑛𝑦 − 2)
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 80 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差の 𝑡 検定 (𝜎 未知, 等分散)2
信頼区間
(𝑥 − 𝑦) ± 𝑡(𝜈, 𝛼
2 )√
1
𝑛𝑥
+
1
𝑛𝑦
√
(𝑛𝑥 − 1) ̂
𝜎2
𝑥 + (𝑛𝑦 − 1) ̂
𝜎2
𝑦
𝑛𝑥 + 𝑛𝑦 − 2
信頼区間に 0 が含まれれば帰無仮説を受容し, 含まれなければ帰
無仮説を棄却して対立仮説を採択する
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 81 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差の 𝑡 検定 (𝜎 未知, 等分散) の例 1
次の平均に差はあるか
ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間伸
びた (不偏標本分散の平方根は 2)
偽薬を別の 10 人が飲んだ場合には, 平均 0.75 時間伸びた (不偏標
本分散の平方根は 1.79)
𝑇 = 𝑥−𝑦
√ 1
𝑛𝑥
+ 1
𝑛𝑦
√ (𝑛𝑥−1) ̂
𝜎2
𝑥+(𝑛𝑦−1) ̂
𝜎2
𝑦
𝑛𝑥+𝑛𝑦−2
= 2.33−0.75
√ 1
10 + 1
10
√ (10−1)22+(10−1)1.792
10+10−2
= 1.86
有意水準 5% の場合, 𝑡18,0.975 は 2.1 であり, 標本検定統計量は 2.1
を超えていない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 82 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差の 𝑡 検定 (𝜎 未知, 小標本, 等分散) の例 2
信頼区間は次の通り
(𝑥 − 𝑦)± 𝑡(𝜈, 𝛼
2 )√ 1
𝑛𝑥
+ 1
𝑛𝑦
√
(𝑛𝑥−1) ̂
𝜎2
𝑥+(𝑛𝑦−1) ̂
𝜎2
𝑦
𝑛𝑥+𝑛𝑦−2
= (2.33 − 0.75)± 2.1 × √ 1
10 + 1
10 × √(10−1)22+(10−1)1.792
10+10−2
= 1.58± 2.1 × 0.85
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 83 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差のウェルチの 𝑡 検定 (𝜎 未知)1
2 つの標本 x, y から推定される母平均 𝜇𝑥, 𝜇𝑦 に差があるのかを検
定
適用条件
母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時
2 つの母分散 𝜎2
𝑥, 𝜎2
𝑦 が等しいという仮定を置かない時
検定統計量 𝑇
𝑇 =
𝑥 − 𝑦
√ ̂
𝜎2
𝑥
𝑛𝑥
+
̂
𝜎2
𝑦
𝑛𝑦
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 84 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差のウェルチの 𝑡 検定 (𝜎 未知)2
検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は下記)
𝐶 =
̂
𝜎2
𝑥
𝑛𝑥
̂
𝜎2
𝑥
𝑛𝑥
+
̂
𝜎2
𝑦
𝑛𝑦
𝜈 = 1
𝐶2
𝑛𝑥−1 + (1−𝐶)2
𝑛𝑦−1
信頼区間
(𝑥 − 𝑦) ± 𝑡𝜈, 𝛼
2
√
̂
𝜎2
𝑥
𝑛𝑥
+
̂
𝜎2
𝑦
𝑛𝑦
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 85 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差のウェルチの 𝑡 検定 (𝜎 未知) の例 1
次の平均に差はあるか
ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間伸
びた (不偏標本分散の平方根は 2)
偽薬を別の 10 人が飲んだ場合には, 平均 0.75 時間伸びた (不偏標
本分散の平方根は 1.79)
𝑇 = 𝑥−𝑦
√ ̂
𝜎2
𝑥
𝑛𝑥
+
̂
𝜎2
𝑦
𝑛𝑦
= 2.33−0.75
√ 22
10 + 1.792
10
= 1.86
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 86 / 101
仮説検定 対応のない 2 群の母平均の差の検定
母平均の差のウェルチの 𝑡 検定 (𝜎 未知) の例 2
𝑡 分布の自由度を求める
𝐶 =
̂
𝜎2
𝑥
𝑛𝑥
̂
𝜎2
𝑥
𝑛𝑥
+
̂
𝜎2
𝑦
𝑛𝑦
=
22
10
22
10 + 1.792
10
= 0.56
𝜈 = 1
𝐶2
𝑛𝑥−1 + (1−𝐶)2
𝑛𝑦−1
= 1
0.562
10−1 + (1−0.56)2
10−1
= 17.74
有意水準 5% の場合, 𝑡17.74,0.975 は 2.1 であり, 標本検定統計量は
2.1 を超えていない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 87 / 101
仮説検定 分散についての検定
Subsection 6
分散についての検定
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 88 / 101
仮説検定 分散についての検定
母分散と比較値との差の 𝜒2
検定
標本から推定される不偏標本分散 ̂
𝜎2
が比較値 𝜎2
0 と異なるのかを
検定する
検定統計量 𝑇
𝑇 =
(𝑛 − 1) ̂
𝜎2
𝜎2
0
検定統計量の従う分布: 𝜒2
分布 (自由度 𝜈 は 𝑛 − 1)
信頼区間
∑
𝑛
𝑖=1
𝑥2
𝑖 − 𝑛𝑥2
𝜒2
𝜈,1−𝛼
≤ 𝜎2
≤
∑
𝑛
𝑖=1
𝑥2
𝑖 − 𝑛𝑥2
𝜒2
𝜈,𝛼
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 89 / 101
仮説検定 分散についての検定
母分散の比の 𝐹 検定
2 つの不偏標本分散 ̂
𝜎2
1, ̂
𝜎2
2 から推定される母分散 𝜎2
1, 𝜎2
2 に差があ
るのかを検定する
検定統計量 𝑇
𝑇 =
̂
𝜎2
1
̂
𝜎2
2
検定統計量の従う分布: 𝐹 分布
信頼区間
𝐹𝜈1,𝜈2, 𝛼
2
̂
𝜎2
1
̂
𝜎2
2
≤
𝜎2
1
𝜎2
2
≤ 𝐹𝜈2,𝜈1,1− 𝛼
2
̂
𝜎2
1
̂
𝜎2
2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 90 / 101
仮説検定 分散についての検定
母分散の比の 𝐹 検定の例 1
次の分散に差はあるか
ある薬を 10 人の被験者が飲んだところ睡眠時間の不偏標本標準偏
差は 2 であった
偽薬を別の 10 人の患者が飲んだ場合には, 不偏標本標準偏差は
1.79 であった
𝑇 =
̂
𝜎2
1
̂
𝜎2
2
=
22
1.792
= 1.25
有意水準 5% の場合, 𝐹9,9,0.025 は 0.25 であり, 𝐹9,9,0.975 は 4.03 で
ある
標本検定統計量は帰無仮説を棄却できないため, 分散に差がある
とは言えない
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 91 / 101
仮説検定 分散についての検定
母分散の比の 𝐹 検定の例 2
信頼区間は次の通り
𝐹𝜈1,𝜈2, 𝛼
2
̂
𝜎2
1
̂
𝜎2
2
≤ 𝜎2
1
𝜎2
2
≤ 𝐹𝜈2,𝜈1,1− 𝛼
2
̂
𝜎2
1
̂
𝜎2
2
𝐹9,9,0.025
22
1.792
≤ 𝜎2
1
𝜎2
2
≤ 𝐹9,9,0.975
22
1.792
0.25 × 1.25 ≤ 𝜎2
1
𝜎2
2
≤ 4.03 × 1.25
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 92 / 101
仮説検定 効果量の計算
Subsection 7
効果量の計算
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 93 / 101
仮説検定 効果量の計算
効果量
母平均の差の効果量は群間の差についての効果量である 𝑑 族の効
果量
母効果量 𝛿 は次のように求められる
𝛿 =
𝜇𝑥 − 𝜇𝑦
𝜎
標本効果量については, 標準偏差のバイアスについての考え方な
どによっていくつか存在する
Cohen の 𝑑, Hedges の 𝑔, Glass の Δ などがある2
2
効果量の名称は論者によって異なることがあるため, 数式を見てどのように定義
しているのかを確認すること
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 94 / 101
仮説検定 効果量の計算
Cohen の 𝑑
Cohen の 𝑑 では, 標準偏差に 2 つの標本標準偏差 𝑠𝑥, 𝑠𝑦 をプール
して次のように求める
等分散であることを仮定する
𝑑𝐶𝑜ℎ𝑒𝑛 =
𝑥 − 𝑦
√
𝑛𝑥𝑠2
𝑥+𝑛𝑦𝑠2
𝑦
𝑛𝑥+𝑛𝑦
=
𝑥 − 𝑦
√∑(𝑥𝑖−𝑥)2+∑(𝑦𝑖−𝑦)2
𝑛𝑥+𝑛𝑦
Cohen の 𝑑 は標本分散と不偏標本分散の関係における標本分散の
ように, 母効果量を推定するものであるというよりは, 得られた標
本についての記述的な効果量となる
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 95 / 101
仮説検定 効果量の計算
Hedges の 𝑑
Hedges の 𝑑 では, 標準偏差に 2 つの不偏標本分散の平方根 ̂
𝜎𝑥, ̂
𝜎𝑦
をプールして次のように求める
等分散であることを仮定する
Cohen の 𝑑 と呼ばれる場合も多いので注意
𝑑𝐻𝑒𝑑𝑔𝑒𝑠 =
𝑥 − 𝑦
√
(𝑛𝑥−1) ̂
𝜎2
𝑥+(𝑛𝑦−1) ̂
𝜎2
𝑦
𝑛𝑥+𝑛𝑦−2
=
𝑥 − 𝑦
√∑(𝑥𝑖−𝑥)2+∑(𝑦𝑖−𝑦)2
𝑛𝑥+𝑛𝑦−2
不偏標本分散の平方根を利用しているため, Cohen の 𝑑 よりもバ
イアス (推定量の期待値とパラメーターの差) は小さくなっている
しかし, 不偏分散は不偏推定量であるが, 不偏標本分散の平方根は
不偏推定量ではないので, わずかにバイアスが残る
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 96 / 101
仮説検定 効果量の計算
Hedges の 𝑑 と 𝑡 値の関係
𝑡 検定統計量は, Hedges の 𝑑 から次のように求めることができる
𝑡 = √
𝑛𝑥𝑛𝑦
𝑛𝑥 + 𝑛𝑦
𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = √
𝑛𝑥𝑛𝑦
𝑛𝑥 + 𝑛𝑦
𝑥 − 𝑦
√
(𝑛𝑥−1) ̂
𝜎2
𝑥+(𝑛𝑦−1) ̂
𝜎2
𝑦
𝑛𝑥+𝑛𝑦−2
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 97 / 101
仮説検定 効果量の計算
Cohen の 𝑑 と Hedges の 𝑑 の関係
標準偏差に代入する値が 𝑑 と 𝑔 で異なる
平方根の中の分子は同じ (𝑛𝑥𝑠2
𝑥 + 𝑛𝑦𝑠2
𝑦 = (𝑛 − 1) ̂
𝜎𝑥 + (𝑛 − 1) ̂
𝜎𝑦) た
め, 分母のみが異なる
Cohen の 𝑑 より Hedges の 𝑑 の方が算出された効果量は若干小さく
なる
サンプルサイズが大きくなればこの差はほとんど無視できる
𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = 𝑑𝐶𝑜ℎ𝑒𝑛√
𝑛𝑥 + 𝑛𝑦 − 2
𝑛𝑥 + 𝑛𝑦
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 98 / 101
仮説検定 効果量の計算
バイアスを補正した Hedges の 𝑔
Hedges の 𝑑 からさらにバイアスを補正することができる
ただし, サンプルサイズ 𝑛𝑥, 𝑛𝑦 が等しい場合に限る
サンプルサイズが大きい場合にはバイアスはほとんど無視できる
Γ 関数の性質上サンプルサイズが大きいと桁数の問題から計算でき
ないことがある3
𝑔 =
Γ(
𝑛𝑥+𝑛𝑦−2
2 )
√
𝑛𝑥+𝑛𝑦−2
2 Γ(
𝑛𝑥+𝑛𝑦−2−1
2 )
𝑑𝐻𝑒𝑑𝑔𝑒𝑠
=
Γ(
𝑛𝑥+𝑛𝑦−2
2 )
√
𝑛𝑥+𝑛𝑦−2
2 Γ(
𝑛𝑥+𝑛𝑦−3
2 )
𝑥−𝑦
√ (𝑛𝑥−1) ̂
𝜎2
𝑥+(𝑛𝑦−1) ̂
𝜎2
𝑦
𝑛𝑥+𝑛𝑦−2
3
R で Γ 関数を計算する gamma() 関数は, 引数に 172 より大きな値を取ると計算結
果は無限大となってしまう. なお Γ(171) は約 7 × 10306
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 99 / 101
仮説検定 効果量の計算
Hedges の 𝑔
Γ 関数を利用した補正は少し複雑なため, 近似値を利用して補正
される場合が多い
𝑔 = (1 −
3
4(𝑛𝑥 + 𝑛𝑦) − 9
) 𝑑𝐻𝑒𝑑𝑔𝑒𝑠
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 100 / 101
仮説検定 効果量の計算
Glass の Δ
トリートメント (介入) 群 (xt) とコントロール (統制) 群 (xc) に分
類できる 2 群の場合は, コントロール群の不偏標本分散の平方根
̂
𝜎𝑐 のみを利用して効果量を推定することもできる
これを Glass の Δ という
Glass の Δ はサンプルサイズの影響を受けない
等分散でなくても利用できる
Δ =
𝑥𝑡 − 𝑥𝑐
̂
𝜎𝑐
中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 101 / 101

More Related Content

Similar to 第5回スキル養成講座 講義スライド

第6回スキル養成講座 講義スライド
第6回スキル養成講座 講義スライド第6回スキル養成講座 講義スライド
第6回スキル養成講座 講義スライドkeiodig
 
Rm20140507 4key
Rm20140507 4keyRm20140507 4key
Rm20140507 4keyyouwatari
 
頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化について頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化についてShohei Miyashita
 
体育の種目選択を最適化する
体育の種目選択を最適化する体育の種目選択を最適化する
体育の種目選択を最適化するKuroda Sho
 
第5回Zansa勉強会
第5回Zansa勉強会第5回Zansa勉強会
第5回Zansa勉強会Zansa
 
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20) 2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20) Akira Asano
 
理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門Hiroshi Unzai
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statisticsKohta Ishikawa
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))yoshidakids7
 

Similar to 第5回スキル養成講座 講義スライド (15)

Osaka.stan#2 chap5-1
Osaka.stan#2 chap5-1Osaka.stan#2 chap5-1
Osaka.stan#2 chap5-1
 
Rゼミ 3
Rゼミ 3Rゼミ 3
Rゼミ 3
 
第6回スキル養成講座 講義スライド
第6回スキル養成講座 講義スライド第6回スキル養成講座 講義スライド
第6回スキル養成講座 講義スライド
 
Rm20140507 4key
Rm20140507 4keyRm20140507 4key
Rm20140507 4key
 
頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化について頻度論とベイズ論と誤差最小化について
頻度論とベイズ論と誤差最小化について
 
Darm3(samplesize)
Darm3(samplesize)Darm3(samplesize)
Darm3(samplesize)
 
体育の種目選択を最適化する
体育の種目選択を最適化する体育の種目選択を最適化する
体育の種目選択を最適化する
 
統計分析
統計分析統計分析
統計分析
 
prml_titech_9.0-9.2
prml_titech_9.0-9.2prml_titech_9.0-9.2
prml_titech_9.0-9.2
 
第5回Zansa勉強会
第5回Zansa勉強会第5回Zansa勉強会
第5回Zansa勉強会
 
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20) 2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
 
Dbda chapter15
Dbda chapter15Dbda chapter15
Dbda chapter15
 
理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門理科教育学研究のための統計分析入門
理科教育学研究のための統計分析入門
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statistics
 
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
 

More from keiodig

Dig17高校生部門賞_Dreamer.pdf
Dig17高校生部門賞_Dreamer.pdfDig17高校生部門賞_Dreamer.pdf
Dig17高校生部門賞_Dreamer.pdfkeiodig
 
Dig17審査員特別賞_三匹の子豚.pdf
Dig17審査員特別賞_三匹の子豚.pdfDig17審査員特別賞_三匹の子豚.pdf
Dig17審査員特別賞_三匹の子豚.pdfkeiodig
 
Dig17未来創造賞_KIM.pdf
Dig17未来創造賞_KIM.pdfDig17未来創造賞_KIM.pdf
Dig17未来創造賞_KIM.pdfkeiodig
 
Dig17カカクコム賞_海老アヒージョ.pdf
Dig17カカクコム賞_海老アヒージョ.pdfDig17カカクコム賞_海老アヒージョ.pdf
Dig17カカクコム賞_海老アヒージョ.pdfkeiodig
 
Dig17優秀賞_3軒目のタランチュラ.pdf
Dig17優秀賞_3軒目のタランチュラ.pdfDig17優秀賞_3軒目のタランチュラ.pdf
Dig17優秀賞_3軒目のタランチュラ.pdfkeiodig
 
Dig17最優秀賞_MotherLake
Dig17最優秀賞_MotherLakeDig17最優秀賞_MotherLake
Dig17最優秀賞_MotherLakekeiodig
 
第36回勉強会講義スライド
第36回勉強会講義スライド第36回勉強会講義スライド
第36回勉強会講義スライドkeiodig
 
第12回スキル養成講座 講義スライド
第12回スキル養成講座 講義スライド第12回スキル養成講座 講義スライド
第12回スキル養成講座 講義スライドkeiodig
 
第11回スキル養成講座 講義スライド
第11回スキル養成講座 講義スライド第11回スキル養成講座 講義スライド
第11回スキル養成講座 講義スライドkeiodig
 
第10回スキル養成講座資料
第10回スキル養成講座資料第10回スキル養成講座資料
第10回スキル養成講座資料keiodig
 
高校生部門賞_勝ちまくり同盟
高校生部門賞_勝ちまくり同盟高校生部門賞_勝ちまくり同盟
高校生部門賞_勝ちまくり同盟keiodig
 
審査員特別賞_藤代ファンクラブ
審査員特別賞_藤代ファンクラブ審査員特別賞_藤代ファンクラブ
審査員特別賞_藤代ファンクラブkeiodig
 
未来創造賞_こしガーヤ
未来創造賞_こしガーヤ未来創造賞_こしガーヤ
未来創造賞_こしガーヤkeiodig
 
一休賞_#ひとやすみ。
一休賞_#ひとやすみ。一休賞_#ひとやすみ。
一休賞_#ひとやすみ。keiodig
 
優秀賞_JR志村
優秀賞_JR志村優秀賞_JR志村
優秀賞_JR志村keiodig
 
最優秀賞_チームコルテ
最優秀賞_チームコルテ最優秀賞_チームコルテ
最優秀賞_チームコルテkeiodig
 
第9回スキル養成講座講義資料
第9回スキル養成講座講義資料第9回スキル養成講座講義資料
第9回スキル養成講座講義資料keiodig
 
第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdfkeiodig
 
第7回スキル養成講座講義スライド
第7回スキル養成講座講義スライド第7回スキル養成講座講義スライド
第7回スキル養成講座講義スライドkeiodig
 
07_こもり唄.pdf
07_こもり唄.pdf07_こもり唄.pdf
07_こもり唄.pdfkeiodig
 

More from keiodig (20)

Dig17高校生部門賞_Dreamer.pdf
Dig17高校生部門賞_Dreamer.pdfDig17高校生部門賞_Dreamer.pdf
Dig17高校生部門賞_Dreamer.pdf
 
Dig17審査員特別賞_三匹の子豚.pdf
Dig17審査員特別賞_三匹の子豚.pdfDig17審査員特別賞_三匹の子豚.pdf
Dig17審査員特別賞_三匹の子豚.pdf
 
Dig17未来創造賞_KIM.pdf
Dig17未来創造賞_KIM.pdfDig17未来創造賞_KIM.pdf
Dig17未来創造賞_KIM.pdf
 
Dig17カカクコム賞_海老アヒージョ.pdf
Dig17カカクコム賞_海老アヒージョ.pdfDig17カカクコム賞_海老アヒージョ.pdf
Dig17カカクコム賞_海老アヒージョ.pdf
 
Dig17優秀賞_3軒目のタランチュラ.pdf
Dig17優秀賞_3軒目のタランチュラ.pdfDig17優秀賞_3軒目のタランチュラ.pdf
Dig17優秀賞_3軒目のタランチュラ.pdf
 
Dig17最優秀賞_MotherLake
Dig17最優秀賞_MotherLakeDig17最優秀賞_MotherLake
Dig17最優秀賞_MotherLake
 
第36回勉強会講義スライド
第36回勉強会講義スライド第36回勉強会講義スライド
第36回勉強会講義スライド
 
第12回スキル養成講座 講義スライド
第12回スキル養成講座 講義スライド第12回スキル養成講座 講義スライド
第12回スキル養成講座 講義スライド
 
第11回スキル養成講座 講義スライド
第11回スキル養成講座 講義スライド第11回スキル養成講座 講義スライド
第11回スキル養成講座 講義スライド
 
第10回スキル養成講座資料
第10回スキル養成講座資料第10回スキル養成講座資料
第10回スキル養成講座資料
 
高校生部門賞_勝ちまくり同盟
高校生部門賞_勝ちまくり同盟高校生部門賞_勝ちまくり同盟
高校生部門賞_勝ちまくり同盟
 
審査員特別賞_藤代ファンクラブ
審査員特別賞_藤代ファンクラブ審査員特別賞_藤代ファンクラブ
審査員特別賞_藤代ファンクラブ
 
未来創造賞_こしガーヤ
未来創造賞_こしガーヤ未来創造賞_こしガーヤ
未来創造賞_こしガーヤ
 
一休賞_#ひとやすみ。
一休賞_#ひとやすみ。一休賞_#ひとやすみ。
一休賞_#ひとやすみ。
 
優秀賞_JR志村
優秀賞_JR志村優秀賞_JR志村
優秀賞_JR志村
 
最優秀賞_チームコルテ
最優秀賞_チームコルテ最優秀賞_チームコルテ
最優秀賞_チームコルテ
 
第9回スキル養成講座講義資料
第9回スキル養成講座講義資料第9回スキル養成講座講義資料
第9回スキル養成講座講義資料
 
第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf
 
第7回スキル養成講座講義スライド
第7回スキル養成講座講義スライド第7回スキル養成講座講義スライド
第7回スキル養成講座講義スライド
 
07_こもり唄.pdf
07_こもり唄.pdf07_こもり唄.pdf
07_こもり唄.pdf
 

第5回スキル養成講座 講義スライド

  • 1. 基礎から学ぶ回帰分析 #2: 統計的推測と検定 中島有希大 2022 年 5 月 20 日 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 1 / 101
  • 2. 1 連続セミナーについて 2 統計的推定 3 仮説検定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 2 / 101
  • 4. 連続セミナーについて 連続セミナーの目的 2022 年 4 月から月に 1 回全 3 回で確率から回帰分析までを学ぶ ソフトの使い方や p < 0.05 だから有意!などという安易な統計と のかかわりではなく, 言葉や数式を通して, 回帰分析はどのような ことをしているのかを学ぶ 3 回しかないのでエッセンスだけを伝えていきます 最もシンプルな方法である線形回帰モデルを学ぶが,多くの発展 的なモデルに通じる重要な分析方法 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 4 / 101
  • 9. 統計的推定 統計的推定 標本に基づいてパラメーターの値をピンポイントで推定すること を点推定 (point estimation) という 点推定は推定された値 (推定量) はパラメーターの真の値の近辺に 存在したとしても標本によって変動する 標本に基づいてパラメーターの値を一定の幅をもって推定するこ とを区間推定 (interval estimation) という 区間推定では標本を取り直した際にどの程度パラメーターの真の 値が推定量の幅の中に含まれるかを示す 後述の統計的仮説検定とも強い関係がある 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 9 / 101
  • 10. 統計的推定 点推定 Subsection 1 点推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 10 / 101
  • 11. 統計的推定 点推定 推定量と推定値 まず, 母集団はある確率分布に従っており, パラメーター 𝜃(平均 𝜇 や分散 𝜎2 などを抽象化して表現している) をもつ 母集団から無作為抽出を行い, 標本を得たとする 𝑋1, 𝑋2, … , 𝑋𝑛, 𝑖.𝑖.𝑑. ∼ 𝑃𝜃 𝜃 を標本の関数で推定をする この推定に用いる関数を 𝜃 の推定量 (estimator) という ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛) 観測値を代入したものを推定値 (estimate) という ̂ 𝜃(𝑥1, 𝑥2, … , 𝑥𝑛) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 11 / 101
  • 12. 統計的推定 点推定 不偏推定量 推定量 ̂ 𝜃 がパラメーター 𝜃 を正確に推定できるようにしたい 推定量の期待値 𝔼[ ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] がパラメーター 𝜃 と一致す る性質を不偏性という 不偏性を持つ推定量を不偏推定量 (unbiased estimator) という 不偏性を持つ時, ̂ 𝜃 は 𝜃 の周囲に分布する 標本平均や不偏分散は不偏推定量の 1 つである 𝔼[ ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] = 𝜃 推定量の期待値とパラメーターの差をバイアスという 𝐵𝑖𝑎𝑠( ̂ 𝜃) = 𝔼[ ̂ 𝜃(𝑋1, 𝑋2, … , 𝑋𝑛)] − 𝜃 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 12 / 101
  • 13. 統計的推定 点推定 標本平均の期待値 ランダム標本 𝑋1, … , 𝑋𝑛 の算術平均の期待値 𝔼[𝑋] から母平均 𝔼[𝑋𝑖] = 𝜇 を導くことができる 統計量 (標本の特徴量) の期待値が母数 (母集団の特徴量) に一致 することを不偏性という 𝔼[𝑋] = 𝔼 [ 1 𝑛 𝑛 ∑ 𝑖=1 𝑋𝑖] = 1 𝑛 𝑛 ∑ 𝑖=1 𝔼[𝑋𝑖] = 1 𝑛 𝑛 ∑ 𝑖=1 𝜇 = 1 𝑛 𝑛𝜇 = 𝜇 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 13 / 101
  • 14. 統計的推定 点推定 標本分散と母分散 各値と標本平均の差の平方和は, 各値と任意の定数との差の平方 和より小さくなる (∑ 𝑛 𝑖=1 (𝑥𝑖 − ̄ 𝑥)2 ≤ ∑ 𝑛 𝑖=1 (𝑥𝑖 − 𝑎)2 ) ため, 𝑎 に 𝜇 を代入した次のことが言える 𝑛 ∑ 𝑖=1 (𝑥𝑖 − ̄ 𝑥)2 ≤ 𝑛 ∑ 𝑖=1 (𝑥𝑖 − 𝜇)2 両辺をサンプルサイズ 𝑛 で除すと, 標本分散よりも母分散が大き くなる 𝑠2 ≤ 𝜎2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 14 / 101
  • 15. 統計的推定 点推定 不偏標本分散 各値と標本平均の差の平方和をサンプルサイズから 1 を引いた値 𝑛 − 1 で除すと期待値が母分散と一致する不偏標本分散 (unibiased sample variance) ̂ 𝜎2 が得られる なお, 標本分散の期待値 𝔼[𝑠2 ] は 𝑛−1 𝑛 𝜎2 である 不偏標本分散の平方根は標準偏差の不偏推定量ではないこと に注意 𝑛 ∑ 𝑖=1 (𝑋𝑖 − 𝜇)2 = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋 + ̄ 𝑋 − 𝜇)2 = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 + ∑ 𝑛 𝑖=1 ( ̄ 𝑋 − 𝜇)2 + ∑ 𝑛 𝑖=1 2(𝑋𝑖 − ̄ 𝑋)( ̄ 𝑋 − 𝜇) = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 + 𝑛( ̄ 𝑋 − 𝜇)2 + 2( ̄ 𝑋 − 𝜇) ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋) = ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 + 𝑛( ̄ 𝑋 − 𝜇)2 + 2( ̄ 𝑋 − 𝜇)0 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 15 / 101
  • 16. 統計的推定 点推定 𝔼 [ 𝑛 ∑ 𝑖=1 (𝑋𝑖 − 𝜇)2 ] = 𝔼 [∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] + 𝑛𝔼[( ̄ 𝑋 − 𝜇)2 ] 𝑛𝜎2 = 𝔼 [∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] + 𝜎2 𝔼 [ 𝑛 ∑ 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] = 𝑛𝜎2 − 𝜎2 = (𝑛 − 1)𝜎2 𝔼 [ 1 𝑛 − 1 𝑛 ∑ 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] = 𝜎2 ̂ 𝜎2 = 1 𝑛−1 ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 𝔼[ ̂ 𝜎2 ] = 𝔼 [ 1 𝑛−1 ∑ 𝑛 𝑖=1 (𝑋𝑖 − ̄ 𝑋)2 ] = 𝜎2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 16 / 101
  • 17. 統計的推定 点推定 最小分散不偏推定量 不偏推定量は 1 つのパラメーターに対して複数存在しうる 中には不合理なものも含みうる 推定量のパラメーターからの分散が最も小さいものを選ぼうと 考える 不偏性を持つ推定量のうち, 分散が最も小さいものを最小分散不偏 推定量 (minimum variance unbiased estimator) という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 17 / 101
  • 18. 統計的推定 点推定 不偏性についての注意 不偏推定量は 2 乗したり, 平方根をとったりすると不偏推定量で はなくなる 例えば, 不偏分散の平方根である不偏標準偏差は不偏推定量ではな い (!) 平均の 2 乗も不偏推定量ではない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 18 / 101
  • 19. 統計的推定 点推定 一致推定量 サンプルサイズ 𝑛 を大きくした時 (母集団に近づけた時), ̂ 𝜃 が 𝜃 に確率収束する性質を一致性という 一致性を持つ推定量を一致推定量 (consistent estimator) という 大数の弱法則ととても形が似ている 標本平均や不偏分散, そして標本分散も一致推定量である lim 𝑛→∞ 𝑃𝜃(| ̂ 𝜃 − 𝜃| ≤ 𝑐) = 1 やはりチェビシェフの不等式を用いることで確率収束を示すこと ができる lim𝑛→∞ 𝔼[( ̂ 𝜃 − 𝜃)2 ] = 0 なら, ̂ 𝜃 は一致性をもつ 𝑃(| ̂ 𝜃 − 𝜃| ≤ 𝑐) ≥ 1 − 𝔼[( ̂ 𝜃 − 𝜃)2 ]/𝑐2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 19 / 101
  • 20. 統計的推定 点推定 最尤推定量 データが与えられたとき, そのデータを最も得る確率が高いパラメータ ーを推定する方法を最尤推定法 (method of maximum likelihood) という パラメーター 𝜃 をもつ母集団からの無作為標本 X = (𝑋1, … , 𝑋2) の実 現値 x = (𝑥1, … , 𝑥2) における同時確率関数をパラメーター 𝜃 の関数と みて, 尤度関数 (likelifood function) を得る 尤度関数とは, データを説明するのに 𝜃 の尤もらしさの度合いを表 す関数である 𝐿(𝜃; x) = 𝑛 ∏ 𝑖=1 𝑓(𝑥𝑖; 𝜃) 尤度関数を最大にする推定量が最尤推定量 (maximum likelifood estimator) であり, その実現値が最尤推定値である 𝐿( ̂ 𝜃𝑀𝐿 ; X = max 𝜃 𝐿(𝜃; X)) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 20 / 101
  • 21. 統計的推定 点推定 対数尤度 尤度関数が最大となる推定量を求めるためには, 微分して 0 を置 くことで求める しかし最尤法の計算では, 尤度関数が確率関数の積であることか ら, 計算が難しい場合がある 対数変換を行うことで確率関数の和の形に変換してから微分を行 うことを考える 対数変換された尤度関数を対数尤度関数 (log-likelifood function) という ℓ(𝜃; x) = log 𝐿(𝜃; x) = log 𝑛 ∏ 𝑖=1 𝑓(𝑥𝑖; 𝜃) = 𝑛 ∑ 𝑖=1 log 𝑓(𝑥𝑖; 𝜃) 𝑑 𝑑𝜃 ℓ(𝜃; x) = 𝑛 ∑ 𝑖=1 𝑑 𝑑𝜃 log 𝑓(𝑥𝑖; 𝜃) = 0 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 21 / 101
  • 22. 統計的推定 点推定 最尤推定量の性質 最尤推定量には好ましいいくつかの性質がある 1 パラメーター 𝜃 の最尤推定量 ̂ 𝜃𝑀𝐿 は 𝜃 の一致推定量である ̂ 𝜃𝑀𝐿 は 𝜃 に確率収束する 2 パラメーター 𝜃 の関数 𝑔(𝜃) の最尤推定量は 𝑔( ̂ 𝜃𝑀𝐿 ) である これを不変性 (漢字に注意!) という 3 𝑛 が十分に大きい時, ̂ 𝜃𝑀𝐿 の分布は正規分布で近似できる これを漸近正規性という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 22 / 101
  • 23. 統計的推定 点推定 0.0 0.2 0.4 0.6 -4 -2 0 2 4 X y 図 1: 最尤推定法のイメージ 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 23 / 101
  • 24. 統計的推定 区間推定 Subsection 2 区間推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 24 / 101
  • 25. 統計的推定 区間推定 区間推定とは 区間 [𝐿(X), 𝑈(X))] が確率 1 − 𝛼 でパラメーターを含む時, パラメ ーターに対する信頼区間 (confidence intereval) という 1 − 𝛼 のことを信頼係数 (confidence coefficient) といい, 有意水準 5% と合わせて 95% 信頼区間がよく利用される 一般にサンプルサイズが大きくなるほど, 信頼区間の幅は小さくな る 信頼係数を高くするほど信頼区間の幅は広がる 信頼区間に帰無仮説を含んだ時, 帰無仮説は受容される 信頼区間の上限を信頼上限, 下限を信頼下限といい, [信頼下限, 信頼上限] で表す 𝑃𝜃(𝜃 ∈ [𝐿(X), 𝑈(X)]) ≥ 1 − 𝛼 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 25 / 101
  • 26. 統計的推定 区間推定 信頼区間の解釈 信頼区間は有意水準と同じく, 確率変数について述べているため, 観測された実現値を代入して 95% の確率でパラメーターを含む などとは言えない パラメーターの真の値は 1 つであり, 実現値を代入して求めた信 頼区間には含まれるかか含まれないかの 2 値でしか判断できず, 確率論は適用できない 100 回標本を抽出し直したら, 95 回程度 95% 信頼区間にパラメー ターが含まれると解釈する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 26 / 101
  • 27. 統計的推定 区間推定 TF 0 1 図 2: 95% 信頼区間のイメージ 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 27 / 101
  • 28. 統計的推定 区間推定 30 100 1000 TF 0 1 図 3: 95% 信頼区間とサンプルサイズ 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 28 / 101
  • 29. 統計的推定 推定例: 平均の推定 Subsection 3 推定例: 平均の推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 29 / 101
  • 30. 統計的推定 推定例: 平均の推定 母集団の分散既知の場合 平均 𝜇, 分散 𝜎2 の正規分布に従う母集団から無作為抽出し, その 標本からパラメーター 𝜇 を推定する 標本平均 𝑋 は中心極限定理より, 𝑋 ∼ 𝑁(𝜇, 𝜎2 /𝑛) に従う 標準化 (𝑍 = √ 𝑛(𝑋 − 𝜇)/𝜎) すれば, 標準正規分布 (𝑍 ∼ 𝑁(0, 1)) に従う これらを変形すると次のように信頼区間を表すことができる 標準正規分布の累積分布を振り返れば, 𝜇 ± 1.96𝜎 区間に 95% が含 まれる (両側の場合) つまり, |𝑧𝛼 2 | = |𝑧0.025| = 𝑧0.975 = 𝑧1− 𝛼 2 は 1.96 である 𝑋 − 𝜎 √ 𝑛 |𝑧𝛼 2 | ≤ 𝜇 ≤ 𝑋 + 𝜎 √ 𝑛 |𝑧𝛼 2 | 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 30 / 101
  • 31. 統計的推定 推定例: 平均の推定 母集団の分散既知の例 1 男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を 求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm だった 𝑋 に 175, 𝜎 に 6, 𝑛 に 9 を代入して 95% 信頼区間を計算する 95% 信頼区間は [171.08, 178.92] である 𝑋 − 𝜎 √ 𝑛 𝑧𝛼 2 = 175 − 6 √ 9 × 1.96 = 171.08 𝑋 + 𝜎 √ 𝑛 𝑧1− 𝛼 2 = 175 + 6 √ 9 × 1.96 = 178.92 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 31 / 101
  • 32. 統計的推定 推定例: 平均の推定 母集団の分散既知の例 2 同様に男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼 区間を求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm だった 𝑋 に 175, 𝜎 に 6, 𝑛 に 9 を代入して 99% 信頼区間を計算する 99% 信頼区間は [169.84, 180.16] である 𝑋 − 𝜎 √ 𝑛 𝑧𝛼 2 = 175 − 6 √ 9 × 2.58 = 169.84 𝑋 + 𝜎 √ 𝑛 𝑧1− 𝛼 2 = 175 + 6 √ 9 × 2.58 = 180.16 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 32 / 101
  • 33. 統計的推定 推定例: 平均の推定 母集団の分散既知の例 3 同様に男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼 区間を求める 無作為にサイズ 25 の標本を抽出したところ, 平均が 175 cm だっ た 𝑋 に 175, 𝜎 に 6, 𝑛 に 25 を代入して 95% 信頼区間を計算する 95% 信頼区間は [172.648, 177.352] である 𝑋 − 𝜎 √ 𝑛 𝑧𝛼 2 = 175 − 6 √ 25 × 1.96 = 172.648 𝑋 + 𝜎 √ 𝑛 𝑧1− 𝛼 2 = 175 + 6 √ 25 × 1.96 = 177.352 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 33 / 101
  • 34. 統計的推定 推定例: 平均の推定 母集団の分散未知の場合 平均 𝜇, 分散 𝜎2 の正規分布に従う母集団から無作為抽出し, その 標本からパラメーター 𝜇 を推定する 母分散 𝜎2 がわからない場合には, 不偏標本分散 ̂ 𝜎2 に置き換えて 推定を行う 標準化しても標準化正規分布には従わない 標準化した統計量は自由度 𝜈(𝜈 は 𝑛 − 1) の t 分布 𝑡𝜈 に従う 𝑋 + ̂ 𝜎 √ 𝑛 𝑡𝜈, 𝛼 2 ≤ 𝜇 ≤ 𝑋 + ̂ 𝜎 √ 𝑛 𝑡𝜈,1− 𝛼 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 34 / 101
  • 35. 統計的推定 推定例: 平均の推定 母集団の分散未知のの例 1 男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を 求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm, 不偏 標本標準偏差 6 だった 𝑋 に 175, ̂ 𝜎 に 6, 𝑛 に 9 を代入して 95% 信頼区間を計算する 95% 信頼区間は [170.38, 179.62] である 分散既知の場合よりも信頼区間は広くなる 𝑋 − ̂ 𝜎 √ 𝑛 𝑡𝜈, 𝛼 2 = 175 − 6 √ 9 × 2.31 = 170.38 𝑋 + ̂ 𝜎 √ 𝑛 𝑡𝜈,1− 𝛼 2 = 175 + 6 √ 9 × 2.31 = 179.62 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 35 / 101
  • 36. 統計的推定 推定例: 平均の推定 母集団の分散未知の場合 (大標本) サンプルサイズが大きい場合, たとえ母集団の分散がわからなく ても正規分布で近似できる 自由度 ∞ の t 分布は標準正規分布と一致するため 0.0 0.1 0.2 50 100 150 200 size diff 図 4: 標準正規分布と t 分布の 2.5% 点の差 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 36 / 101
  • 37. 統計的推定 推定例: 平均の推定 様々な t 分布の確率密度関数のグラフ (再掲) 0.0 0.1 0.2 0.3 0.4 -5.0 -2.5 0.0 2.5 5.0 colour df=1 df=2 df=3 df=4 df=5 df=6 df=7 df=8 df=9 図 5: 様々な t 分布の確率密度関数のグラフ (点線は標準正規分布) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 37 / 101
  • 38. 統計的推定 分散の推定 Subsection 4 分散の推定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 38 / 101
  • 39. 統計的推定 分散の推定 正規分布の母分散の推定 不偏標本分散 ̂ 𝜎2 = 1 𝑛−1 ∑ 𝑛 𝑖=1 (𝑋𝑖 − 𝑋)2 に対して, 𝑊 = (𝑛−1) ̂ 𝜎2 𝜎2 と 変換すると, 𝑊 は 𝜒2 分布に従う (𝑊 ∼ 𝜒2 𝜈) よって, 𝜎2 について解くと信頼区間は下記のように表せる (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈,1− 𝛼 2 ≤ 𝜎2 ≤ (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈, 𝛼 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 39 / 101
  • 40. 統計的推定 分散の推定 正規分布の母分散の推定の例 男性の平均身長を 173 cm, 標準偏差を 6 として身長の信頼区間を 求める 無作為にサイズ 9 の標本を抽出したところ, 平均が 175 cm, 不偏 標本分散が 36 だった 𝑛 に 9, 𝜈 に 8, ̂ 𝜎2 に 36 を代入して 95% 信頼区間を計算する 95% 信頼区間は [16.4289789, 132.1100917] である (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈,1− 𝛼 2 = (9 − 1) × 36 17.53 = 16.4289789 (𝑛 − 1) ̂ 𝜎2 𝜒2 𝜈, 𝛼 2 = (9 − 1) × 36 2.18 = 132.1100917 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 40 / 101
  • 42. 仮説検定 仮説検定とはなにか Subsection 1 仮説検定とはなにか 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 42 / 101
  • 43. 仮説検定 仮説検定とはなにか 仮説検定 仮説検定 (hypothesis testing) とは母集団の確率分布に対して, な んらかの仮説を立て, その妥当性を標本から検証する方法 帰無仮説 (null hypothesis) と対立仮説 (alternative hypothesis) の 2 つの排反な仮説を設定する 帰無仮説は一般に 𝐻0 と表され, 対立仮説は 𝐻1 と表される 帰無仮説が否定され, 無に帰すことで対立仮説の妥当性を検証 帰無仮説 𝐻0 が否定されることを帰無仮説 𝐻0 を棄却する (reject the hypothesis) といい, 否定できない場合は帰無仮説 𝐻0 を受容す る (accept the hypothesis) という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 43 / 101
  • 44. 仮説検定 仮説検定とはなにか 帰無仮説検定の手続き 1 帰無仮説 𝐻0 と対立仮説 𝐻1 を設定する 2 検定を行う検定統計量 𝑇 とその分布を決める 3 有意水準 𝛼 を決め, 棄却域を決める 4 データを収集し, 検定統計量 𝑇 を求める 5-1. 検定統計量 𝑇 が棄却域内にあれば帰無仮説 𝐻0 を棄却し, 対立仮 説 𝐻1 を採択する. 5-2 検定統計量 𝑇 が棄却域内になければ, 帰無仮説 𝐻0 は棄却できず, 帰無仮説 𝐻0 を受容する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 44 / 101
  • 45. 仮説検定 仮説検定とはなにか 帰無仮説と対立仮説の設定 対立仮説 𝐻1 は自身の考えている仮説であり, 検証をしたい仮説 対立仮説は基本的に特殊な場合を念頭に置く あるコインの表を向く確率は 80% である etc… 実証研究の場合にはある原因と考えられる変数 (説明変数) を操作 した場合に結果と考えている変数 (結果変数) に差があるのか 対立仮説は不等号 (>, <), 否定等号 (≠) を用いて表される 帰無仮説 𝐻0 は誤解を恐れずに説明すると, 自身が考える仮説が 正しくないという仮説 帰無仮説は一般的な場合を想定 あるコインの表を向く確率が 50% である etc… 帰無仮説は等号記号 (=) を用いて表す 仮説検定は基本的に一般的である (つまり特殊でない・差がない) かどうかを検証するには向かない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 45 / 101
  • 46. 仮説検定 仮説検定とはなにか コインと帰無仮説 まず, コインの表が出る確率 𝑝 は 1/2 と考えるのが一般的であり, 帰無仮説 𝐻0 になる 𝐻0 ∶ 𝑝 = 1 2 今知りたいのは, 目の前のこのコインが歪んでいる (特殊な状況) か否かであるため, このコインの表の出る確率 𝑝 は 1/2 でないと する仮説が対立仮説 𝐻1 になる さらに, コインが歪みは, 表が出やすい場合と出にくい場合がある 𝐻1 ∶ 𝑝 ≠ 1 2 , 𝐻1 ∶ 𝑝 > 1 2 , 𝐻1 ∶ 𝑝 < 1 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 46 / 101
  • 47. 仮説検定 仮説検定とはなにか 両側検定片側検定 対立仮説が否定記号 (≠) で表される (対立仮説と帰無仮説と一致 しないことを検討する) 際には, 両側検定 (two-sided test) という コインで言えば, コインが歪んでいることを検定する場合 両側検定は 2 つの対立仮説 (コインの表の出る確率が 1/2 より大き い場合と小さい場合) を内包している 対立仮説が不等号記号 (>, <) で表される際には, 片側検定 (one-sided test) という 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 47 / 101
  • 48. 仮説検定 仮説検定とはなにか 検定統計量 𝑇 と分布の決定 帰無仮説 𝐻0 が正しい場合に従う検定統計量 (test statistic)𝑇 とそ の分布を決定 帰無仮説が 1 つの値として設定されている (等号記号 = で表され ている) ため, 検定統計量の従う分布も一意に定まる 帰無仮説が幅を持つ連続値であるとすると, 連続値は無限に表現で きることから, 検定統計量の分布も無限に求めなければならない 具体的にどのような検定統計量とその分布はどのような検定を行 うのかによって異なる 検定によく利用されるのが t 統計量・t 分布や F 統計量・F 分布, 𝜒2 統計量・𝜒2 分布など 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 48 / 101
  • 49. 仮説検定 仮説検定とはなにか 有意水準 𝛼 と棄却域の決定 帰無仮説が正しいという前提で算出された検定統計量 𝑇 とその分 布から, どの程度の値を取れば帰無仮説を棄却するかを決める 帰無仮説を棄却する範囲を棄却域 (rejection region) という 棄却域の基準を有意水準 (significance level)𝛼 という 有意水準 𝛼 はめったに起こらない (偶然ではない) のは何% くらい だろうかという主観から決めて良い 棄却域と有意水準から求められた検定統計量を受容するのか棄却 するのかを分ける値を臨界値 (critical value) という { |𝑇| > 𝑐 ⇒ 𝐻0を棄却 |𝑇| ≤ 𝑐 ⇒ 𝐻0を受容 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 49 / 101
  • 50. 仮説検定 仮説検定とはなにか 有意水準の目安 社会科学では慣習的に有意水準 5% が用いられてきた 正規分布の 2𝜎 区間の外にある確率が約 5% であることなどから用 いられてきた慣習で深い意味はない 20 回に 1 回起こるというのは偶然の範囲内ではないかとの批判も 強く, 1% 基準や 0.5% 基準が利用されることも多い 有意水準 5% よりも下回るか否かという 2 値的な判断が重要であ るが, 5.1% と 4.9% に何か本質的な違いはない 有意水準 𝛼 は分析の前に決定するものであり, 標本から算出され た値によって変更するものではないことに注意! 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 50 / 101
  • 51. 仮説検定 仮説検定とはなにか t 分布と棄却域のイメージ (両側) 0.0 0.1 0.2 0.3 0.4 -4 -2 0 2 4 図 6: t 分布 (自由度 20) と有意水準 5%(両側) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 51 / 101
  • 52. 仮説検定 仮説検定とはなにか t 分布と棄却域のイメージ (片側) 0.0 0.1 0.2 0.3 0.4 -4 -2 0 2 4 図 7: t 分布 (自由度 20) と有意水準 5%(片側) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 52 / 101
  • 53. 仮説検定 仮説検定とはなにか データの取得と検定統計量 𝑇 の算出, 仮説の採否 データを取得し, 予め用いることを決めていた検定統計量 𝑇 を算 出する 標本から求めた検定統計量 𝑇 が棄却域の外にあれば, 帰無仮説が 正しく, 偶然その値を算出する標本を得たのかもしれないと考え, 帰無仮説を受容する 標本から求めた検定統計量 𝑇 が棄却域の内にあれば, 帰無仮説が 正しい場合にはめったに得られない値であり, 帰無仮説は正しく ないと考え, 帰無仮説を棄却し, 対立仮説を採択する 対立仮説が採択された場合, 統計的に有意である (statistical significance) という 有意水準 𝛼 と棄却域に従って, 対立仮説は採択するか採択されな いかしか選択肢はなく, 有意水準何% の確率で対立仮説は正しい などとは言えない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 53 / 101
  • 54. 仮説検定 仮説検定とはなにか p 値 統計検定量 𝑇 はどの分布に従うと考えるかによって, 統計量の取 りうる範囲が大きく変わる t 分布であれば [−∞, ∞], 𝜒2 分布であれば 0 以上 帰無仮説が正しいと仮定した場合に標本から算出された検定統計 量がその値 (より極端な値 / より帰無仮説から外れた値) を取る 確率を p 値という 事前に決めた分布の確率密度 (累積分布) から算出する 確率であるため, どの分布を利用しても取りうる範囲は同じ 検定統計量 𝑇 が大きくなればなるほど p 値は小さくなる 一般的に有意水準 𝛼 と p 値を比較して帰無仮説を受容するか, 棄 却して対立仮説を採択するかを検討する 帰無仮説はあくまで帰無仮説に基づいたときにデータが得られる 確率 (𝑃(𝐷|𝐻0)) であり, 得られたデータに基づいて帰無仮説が正 しい確率 (𝑃(𝐻0|𝐷)) ではない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 54 / 101
  • 55. 仮説検定 仮説検定とはなにか 仮説検定の論理 仮説検定は背理法で命題と矛盾する仮説 (帰無仮説に相当) を立て て, それを棄却するのと似た論理 背理法と同じく帰無仮説を棄却できない場合, 対立仮説については 何も言えない ラーメン二郎を食べたらお腹いっぱいになるという命題を考えた 時, ラーメン二郎を食べたのにお腹が空いているというのはありえ ないが, おなかがいっぱいであるという情報だけではラーメン二郎 を食べる以外にもインスパイア系ラーメンを食べたのかもしれな い ただし, 仮説検定は確率的な考え方を導入しているため, 厳密な背 理法ではない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 55 / 101
  • 56. 仮説検定 仮説検定とはなにか 裁判と仮説検定 ある事件が発生し, 犯行は A さんが行った 警察 (検察) は A さんが容疑者であるとして逮捕した A さんが犯人であるという対立仮説 ただし, 罪が確定するまで推定無罪の原則から A さんは無罪であ ると推定される A さんは犯人ではないという帰無仮説 検事は裁判で証拠品に A さんの指紋がついている, 犯行時刻にア リバイがないなどの証拠から A さんが無罪であると説明できず A さんが犯人だと主張する しかし裁判の結果, 証拠不十分により A さんが無罪となった 帰無仮説が有意水準を下回らなかった 証拠は不足していたが実際の犯人は A さんなので, A さんは無罪 だが, 無実ではない 帰無仮説を棄却できないことは帰無仮説が正しいことを保証 しない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 56 / 101
  • 57. 仮説検定 効果量 Subsection 2 効果量 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 57 / 101
  • 58. 仮説検定 効果量 統計的有意と社会的意義 帰無仮説は厳密に言えば常に間違っている 全数調査を行った際に, 小数点以下まで全ての値が一致するという ことはない とても小さな値まで考慮すれば等号記号 (=) で表現される帰無仮 説は常に間違っている サンプルサイズを母集団に近づければ (サンプルサイズを大きくす れば), 小さな差も統計的に有意になる 統計的に有意であることと社会的に意義がある (social significance) ことは本質的に異なる とても小さな差が検定によって肯定されたとしてそれに社会的な 意味はあるのか あるダイエットに効く薬の効果が統計的に有意であったとしても 体重を 5g 減らす効果しかない場合, この薬は有用だろうか 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 58 / 101
  • 59. 仮説検定 効果量 効果量 説明変数が応答変数に与える影響 (効果) の大きさを効果量 (effect size) という 変数間に説明変数, 応答変数という区別がない場合には, 変数間の 関係の大きさを表す 帰無仮説が正しい場合には, 効果量は 0 となる 効果量が 0 でなくても, 帰無仮説が受容されることがある (偽陰性) 厳密な統制が社会科学の場合は難しいため, 理系に分類される研究 よりも文系に分類される研究のほうが効果量が 0 でないのに, 帰無 仮説が受容されやすい 群間の差についての効果量は d 族の効果量 (d family effect size), 変数間の関係を表す (連続値同士の) 効果量は r 族の効果量 (r family effect size) という 基本的には標準化されて算出される 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 59 / 101
  • 60. 仮説検定 効果量 効果量の目安 標準化された効果量は標準偏差がどれくらい変動するかを示す d 族の効果量場合目安として, 0.2 だと小さな効果量, 0.5 だと中程 度の効果量, 0.8 以上だと大きな効果量だと言われている 上記はあくまで目安であり, 絶対的なものではない 分野や慣習的にどの程度なのかを把握しておくことも重要 仮説検定を行った場合, 効果量を載せることが義務化されている論 文誌も多い 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 60 / 101
  • 61. 仮説検定 効果量 効果量と検定統計量の関係 検定統計量 𝑇 はサンプルサイズ 𝑁 の関数と効果量 𝐸𝑆 の関数の 積で表すことができる |𝑇| = 𝑓(𝑁) × 𝑔(|𝐸𝑆|) サンプルサイズが同じであれば, 効果量が大きくなるほど検定統 計量は大きくなり, p 値は小さくなる 効果量が 0 でなく, 分析方法も適切なのに帰無仮説が受容されるの はサンプルサイズが小さすぎるため 効果量が同じであれば, サンプルサイズが多くなるほど検定統計 量は大きくなり, p 値は小さくなる サンプルサイズが大きいと意味のない差が有意になるのはこ のため 効果量はサンプルサイズに依存しない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 61 / 101
  • 62. 仮説検定 2 つの過誤 Subsection 3 2 つの過誤 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 62 / 101
  • 63. 仮説検定 2 つの過誤 2 つの過誤 帰無仮説は 2 種類の誤りを犯している可能性がある 第 1 種の過誤 (Type I error), 第 2 種の過誤 (Type II eror) という 第 1 種の過誤とは帰無仮説が正しいのにも関わらず, たまたま得 られた標本が少し偏っていて帰無仮説を棄却してしまう誤り 差がないのに差があると判断してしまう誤り 偽陽性 (false positive) ともいう 有意水準 𝛼 が第 1 種の過誤の確率 第 2 種の過誤とは帰無仮説が正しくないのにも関わらず, 帰無仮 説を受容する誤り 差があるのに差がないと判断してしまう誤り 偽陰性 (false negative) という 第 2 種の過誤の確率は 𝛽 で表す 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 63 / 101
  • 64. 仮説検定 2 つの過誤 検定における 4 種類の結果 𝐻0 が正しい 𝐻1 が正しい 𝐻0 を受容 正しい判断 第 2 種の過誤 𝛽 𝐻1 を採択 第 1 種の過誤 有意水準: 𝛼 正しい判断 検定力: 1 − 𝛽 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 64 / 101
  • 65. 仮説検定 2 つの過誤 検定力 検定力 (検出力; power) とは帰無仮説が正しくない場合に, 正しく 帰無仮説を棄却する確率 差があるときに差があると正しく判断できる確率 1 − 𝛽 で求める 第 4 回のコロナウイルスの例に沿って説明すると感度 有意水準と検定力は相補的ではなく, 𝛼 + 𝛽 = 1 ではない 有意水準は 𝑃(𝐷|𝐻0) であるのに対して, 検定力は 𝑃(𝐷|𝐻1) 検定力は一般的に 80% 前後が利用される 検定力 50% はコイン投げと同じなので, 最低でも 50% より大きい ことは必須 検定力は差がない (有意差がない) ときに帰無仮説が正しくないの に検出できていないだけではないかという検証やサンプルサイズ の決定などに利用される 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 65 / 101
  • 66. 仮説検定 2 つの過誤 検定力・効果量・サンプルサイズ・有意水準 検定力・効果量・サンプルサイズ・有意水準はお互いに関連して いる 効果量が小さく, サンプルサイズが小さく, 有意水準も低ければ (小さければ), 検定力も低くなる 小さな効果量では検出するのが難しい サンプルサイズが小さければノイズが大きくやはり検出が難しい 有意水準が低いと第 1 種の過誤を犯す可能性は下げられるが, その 分本当に差があっても差を検出できない可能性は上がる 効果量とサンプルサイズが同じなら, 有意水準が高くなる (大きく なる) と検定力も高くなる サンプルサイズと有意水準が同じなら, 効果量が大きいと検定力 も高くなる 効果量と有意水準が同じなら, サンプルサイズが大きいと検定力 も高い 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 66 / 101
  • 67. 仮説検定 2 つの過誤 歪められたコインと仮説検定の例 (サンプルサイズ 4) あるコインに仕掛け (削ったり, 重みのバランスを変えたり) をし て, 表が出る確率を 0.75 にまで引き上げたとする コインを投げて表を向く回数は二項分布に従う 有意水準は 5%(片側) に設定する コインを 4 回投げた場合, 改造したコインは 3 回表を向いたとす る 普通のコインを 4 回投げて 3 回以上表を向く確率は二項分布より 31.25% よって, たまたま 3 回表を向いただけであると考えられ, 帰無仮説 を受容する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 67 / 101
  • 68. 仮説検定 2 つの過誤 コインと仮説検定のイメージ (サンプルサイズ 4) 0.0 0.1 0.2 0.3 0.4 0 1 2 3 4 prob 50% 75% 図 8: コインと仮説検定のイメージ (サンプルサイズ 4) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 68 / 101
  • 69. 仮説検定 2 つの過誤 歪められたコインと仮説検定の例 (サンプルサイズ 20) 同じ改造したコインを 20 回投げて, 15 回表を向いたとする 普通のコインを 20 回投げて 15 回以上表を向く確率は二項分布よ り 2.0694733% よって, 普通のコインを投げて 15 回以上表が出るのには, 偶然と は言い難い (5% 以下) ため帰無仮説は棄却され, 表が出やすいよ うに歪められていると考えられる 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 69 / 101
  • 70. 仮説検定 2 つの過誤 コインと仮説検定のイメージ (サンプルサイズ 20) 0.00 0.05 0.10 0.15 0.20 0 5 10 15 20 prob 50% 75% 図 9: コインと仮説検定のイメージ (サンプルサイズ 20) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 70 / 101
  • 71. 仮説検定 2 つの過誤 歪められたコインと効果量の例 Glass の Δ1 という効果量の計算を例にする 4 回コインを投げて普通のコインは表を 2 回, 改造されたコインは 3 回表を向いたとする 20 回コインを投げて普通のコインは表を 10 回, 改造されたコイ ンは表を 15 回向いたとする 効果量はともに 1 であり, サンプルサイズに依存しない Δ = 3 − 2 1 = 1 Δ = 15 − 10 5 = 1 1 Glass の Δ は Δ = 𝑥1−𝑥2 ̂ 𝜎2 で定義される 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 71 / 101
  • 73. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑧 検定 (𝜎 既知)1 標本から推定される母平均 𝜇 が比較値 𝜇0 と異なるのかを検定 適用条件 母標準偏差 𝜎 が既知 検定統計量 𝑇 𝑇 = 𝑥 − 𝜇0 𝜎 √ 𝑛 検定統計量の従う分布: 𝑧 分布 (標準正規分布) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 73 / 101
  • 74. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑧 検定 (𝜎 既知)2 信頼区間 𝑥 ± 𝑧𝛼 2 𝜎 √ 𝑛 信頼区間に比較値が含まれれば帰無仮説を受容し, 含まれなけれ ば帰無仮説を棄却して対立仮説を採択する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 74 / 101
  • 75. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑧 検定 (𝜎 既知) の例 ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間 伸びた 母標準偏差 𝜎 は 2 であるとする この結果は 0 より大きいかを検定する (𝛼 = 0.05, 両側) 𝑇 = 𝑥 − 𝜇0 𝜎 √ 𝑛 = 2.33 − 0 2 √ 10 = 3.68 有意水準 5% の場合, 𝑧0.975 は 1.96 であり, 標本検定統計量は 1.96 を超えている 信頼区間は次の通り 𝑥 ± 𝑧𝛼 2 𝜎 √ 𝑛 = 2.33 ± 𝑧0.975 2 √ 10 = 2.33 ± (1.96 × 0.63) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 75 / 101
  • 76. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑡 検定 (𝜎 未知)1 標本から推定される母平均 𝜇 が比較値 𝜇0 と異なるのかを検定 適用条件 母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時 検定統計量 𝑇 𝑇 = 𝑥 − 𝜇0 ̂ 𝜎 √ 𝑛 検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は 𝑛 − 1) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 76 / 101
  • 77. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑡 検定 (𝜎 未知)2 信頼区間 𝑥 ± 𝑡𝜈, 𝛼 2 ̂ 𝜎 √ 𝑛 信頼区間に比較値が含まれれば帰無仮説を受容し, 含まれなけれ ば帰無仮説を棄却して対立仮説を採択する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 77 / 101
  • 78. 仮説検定 母平均と比較値との比較 母平均と比較値の差の 𝑡 検定 (𝜎 未知) の例 ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間 伸びた 不偏標本分散の平方根 ̂ 𝜎 は 2 であるとする この結果は 0 より大きいかを検定する (𝛼 = 0.05, 両側) 𝑇 = 𝑥 − 𝜇0 ̂ 𝜎 √ 𝑛 = 2.33 − 0 2 √ 10 = 3.68 有意水準 5% の場合, 𝑡9,0.975 は 2.26 であり, 標本検定統計量は 2.26 を超えている 信頼区間は次の通り 𝑥 ± 𝑡𝜈, 𝛼 2 ̂ 𝜎 √ 𝑛 = 2.33 ± 𝑡9,0.975 2 √ 10 = 2.33 ± (2.26 × 0.63) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 78 / 101
  • 79. 仮説検定 対応のない 2 群の母平均の差の検定 Subsection 5 対応のない 2 群の母平均の差の検定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 79 / 101
  • 80. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 等分散)1 2 つの標本 x, y から推定される母平均 𝜇𝑥, 𝜇𝑦 に差があるかを検定 適用条件 母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時 2 つの母分散 𝜎2 𝑥, 𝜎2 𝑦 が等しくないとは言えない時 検定統計量 𝑇 𝑇 = 𝑥 − 𝑦 √ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は 𝑛𝑥 + 𝑛𝑦 − 2) 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 80 / 101
  • 81. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 等分散)2 信頼区間 (𝑥 − 𝑦) ± 𝑡(𝜈, 𝛼 2 )√ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥 − 1) ̂ 𝜎2 𝑥 + (𝑛𝑦 − 1) ̂ 𝜎2 𝑦 𝑛𝑥 + 𝑛𝑦 − 2 信頼区間に 0 が含まれれば帰無仮説を受容し, 含まれなければ帰 無仮説を棄却して対立仮説を採択する 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 81 / 101
  • 82. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 等分散) の例 1 次の平均に差はあるか ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間伸 びた (不偏標本分散の平方根は 2) 偽薬を別の 10 人が飲んだ場合には, 平均 0.75 時間伸びた (不偏標 本分散の平方根は 1.79) 𝑇 = 𝑥−𝑦 √ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 = 2.33−0.75 √ 1 10 + 1 10 √ (10−1)22+(10−1)1.792 10+10−2 = 1.86 有意水準 5% の場合, 𝑡18,0.975 は 2.1 であり, 標本検定統計量は 2.1 を超えていない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 82 / 101
  • 83. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差の 𝑡 検定 (𝜎 未知, 小標本, 等分散) の例 2 信頼区間は次の通り (𝑥 − 𝑦)± 𝑡(𝜈, 𝛼 2 )√ 1 𝑛𝑥 + 1 𝑛𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 = (2.33 − 0.75)± 2.1 × √ 1 10 + 1 10 × √(10−1)22+(10−1)1.792 10+10−2 = 1.58± 2.1 × 0.85 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 83 / 101
  • 84. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知)1 2 つの標本 x, y から推定される母平均 𝜇𝑥, 𝜇𝑦 に差があるのかを検 定 適用条件 母標準偏差 𝜎 が不明でサンプルサイズ 𝑛 が小さい時 2 つの母分散 𝜎2 𝑥, 𝜎2 𝑦 が等しいという仮定を置かない時 検定統計量 𝑇 𝑇 = 𝑥 − 𝑦 √ ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 84 / 101
  • 85. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知)2 検定統計量の従う分布: 𝑡 分布 (自由度 𝜈 は下記) 𝐶 = ̂ 𝜎2 𝑥 𝑛𝑥 ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 𝜈 = 1 𝐶2 𝑛𝑥−1 + (1−𝐶)2 𝑛𝑦−1 信頼区間 (𝑥 − 𝑦) ± 𝑡𝜈, 𝛼 2 √ ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 85 / 101
  • 86. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知) の例 1 次の平均に差はあるか ある薬を 10 人の被験者が飲んだところ睡眠時間が平均 2.33 時間伸 びた (不偏標本分散の平方根は 2) 偽薬を別の 10 人が飲んだ場合には, 平均 0.75 時間伸びた (不偏標 本分散の平方根は 1.79) 𝑇 = 𝑥−𝑦 √ ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 = 2.33−0.75 √ 22 10 + 1.792 10 = 1.86 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 86 / 101
  • 87. 仮説検定 対応のない 2 群の母平均の差の検定 母平均の差のウェルチの 𝑡 検定 (𝜎 未知) の例 2 𝑡 分布の自由度を求める 𝐶 = ̂ 𝜎2 𝑥 𝑛𝑥 ̂ 𝜎2 𝑥 𝑛𝑥 + ̂ 𝜎2 𝑦 𝑛𝑦 = 22 10 22 10 + 1.792 10 = 0.56 𝜈 = 1 𝐶2 𝑛𝑥−1 + (1−𝐶)2 𝑛𝑦−1 = 1 0.562 10−1 + (1−0.56)2 10−1 = 17.74 有意水準 5% の場合, 𝑡17.74,0.975 は 2.1 であり, 標本検定統計量は 2.1 を超えていない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 87 / 101
  • 88. 仮説検定 分散についての検定 Subsection 6 分散についての検定 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 88 / 101
  • 89. 仮説検定 分散についての検定 母分散と比較値との差の 𝜒2 検定 標本から推定される不偏標本分散 ̂ 𝜎2 が比較値 𝜎2 0 と異なるのかを 検定する 検定統計量 𝑇 𝑇 = (𝑛 − 1) ̂ 𝜎2 𝜎2 0 検定統計量の従う分布: 𝜒2 分布 (自由度 𝜈 は 𝑛 − 1) 信頼区間 ∑ 𝑛 𝑖=1 𝑥2 𝑖 − 𝑛𝑥2 𝜒2 𝜈,1−𝛼 ≤ 𝜎2 ≤ ∑ 𝑛 𝑖=1 𝑥2 𝑖 − 𝑛𝑥2 𝜒2 𝜈,𝛼 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 89 / 101
  • 90. 仮説検定 分散についての検定 母分散の比の 𝐹 検定 2 つの不偏標本分散 ̂ 𝜎2 1, ̂ 𝜎2 2 から推定される母分散 𝜎2 1, 𝜎2 2 に差があ るのかを検定する 検定統計量 𝑇 𝑇 = ̂ 𝜎2 1 ̂ 𝜎2 2 検定統計量の従う分布: 𝐹 分布 信頼区間 𝐹𝜈1,𝜈2, 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 ≤ 𝜎2 1 𝜎2 2 ≤ 𝐹𝜈2,𝜈1,1− 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 90 / 101
  • 91. 仮説検定 分散についての検定 母分散の比の 𝐹 検定の例 1 次の分散に差はあるか ある薬を 10 人の被験者が飲んだところ睡眠時間の不偏標本標準偏 差は 2 であった 偽薬を別の 10 人の患者が飲んだ場合には, 不偏標本標準偏差は 1.79 であった 𝑇 = ̂ 𝜎2 1 ̂ 𝜎2 2 = 22 1.792 = 1.25 有意水準 5% の場合, 𝐹9,9,0.025 は 0.25 であり, 𝐹9,9,0.975 は 4.03 で ある 標本検定統計量は帰無仮説を棄却できないため, 分散に差がある とは言えない 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 91 / 101
  • 92. 仮説検定 分散についての検定 母分散の比の 𝐹 検定の例 2 信頼区間は次の通り 𝐹𝜈1,𝜈2, 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 ≤ 𝜎2 1 𝜎2 2 ≤ 𝐹𝜈2,𝜈1,1− 𝛼 2 ̂ 𝜎2 1 ̂ 𝜎2 2 𝐹9,9,0.025 22 1.792 ≤ 𝜎2 1 𝜎2 2 ≤ 𝐹9,9,0.975 22 1.792 0.25 × 1.25 ≤ 𝜎2 1 𝜎2 2 ≤ 4.03 × 1.25 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 92 / 101
  • 93. 仮説検定 効果量の計算 Subsection 7 効果量の計算 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 93 / 101
  • 94. 仮説検定 効果量の計算 効果量 母平均の差の効果量は群間の差についての効果量である 𝑑 族の効 果量 母効果量 𝛿 は次のように求められる 𝛿 = 𝜇𝑥 − 𝜇𝑦 𝜎 標本効果量については, 標準偏差のバイアスについての考え方な どによっていくつか存在する Cohen の 𝑑, Hedges の 𝑔, Glass の Δ などがある2 2 効果量の名称は論者によって異なることがあるため, 数式を見てどのように定義 しているのかを確認すること 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 94 / 101
  • 95. 仮説検定 効果量の計算 Cohen の 𝑑 Cohen の 𝑑 では, 標準偏差に 2 つの標本標準偏差 𝑠𝑥, 𝑠𝑦 をプール して次のように求める 等分散であることを仮定する 𝑑𝐶𝑜ℎ𝑒𝑛 = 𝑥 − 𝑦 √ 𝑛𝑥𝑠2 𝑥+𝑛𝑦𝑠2 𝑦 𝑛𝑥+𝑛𝑦 = 𝑥 − 𝑦 √∑(𝑥𝑖−𝑥)2+∑(𝑦𝑖−𝑦)2 𝑛𝑥+𝑛𝑦 Cohen の 𝑑 は標本分散と不偏標本分散の関係における標本分散の ように, 母効果量を推定するものであるというよりは, 得られた標 本についての記述的な効果量となる 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 95 / 101
  • 96. 仮説検定 効果量の計算 Hedges の 𝑑 Hedges の 𝑑 では, 標準偏差に 2 つの不偏標本分散の平方根 ̂ 𝜎𝑥, ̂ 𝜎𝑦 をプールして次のように求める 等分散であることを仮定する Cohen の 𝑑 と呼ばれる場合も多いので注意 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = 𝑥 − 𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 = 𝑥 − 𝑦 √∑(𝑥𝑖−𝑥)2+∑(𝑦𝑖−𝑦)2 𝑛𝑥+𝑛𝑦−2 不偏標本分散の平方根を利用しているため, Cohen の 𝑑 よりもバ イアス (推定量の期待値とパラメーターの差) は小さくなっている しかし, 不偏分散は不偏推定量であるが, 不偏標本分散の平方根は 不偏推定量ではないので, わずかにバイアスが残る 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 96 / 101
  • 97. 仮説検定 効果量の計算 Hedges の 𝑑 と 𝑡 値の関係 𝑡 検定統計量は, Hedges の 𝑑 から次のように求めることができる 𝑡 = √ 𝑛𝑥𝑛𝑦 𝑛𝑥 + 𝑛𝑦 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = √ 𝑛𝑥𝑛𝑦 𝑛𝑥 + 𝑛𝑦 𝑥 − 𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 97 / 101
  • 98. 仮説検定 効果量の計算 Cohen の 𝑑 と Hedges の 𝑑 の関係 標準偏差に代入する値が 𝑑 と 𝑔 で異なる 平方根の中の分子は同じ (𝑛𝑥𝑠2 𝑥 + 𝑛𝑦𝑠2 𝑦 = (𝑛 − 1) ̂ 𝜎𝑥 + (𝑛 − 1) ̂ 𝜎𝑦) た め, 分母のみが異なる Cohen の 𝑑 より Hedges の 𝑑 の方が算出された効果量は若干小さく なる サンプルサイズが大きくなればこの差はほとんど無視できる 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = 𝑑𝐶𝑜ℎ𝑒𝑛√ 𝑛𝑥 + 𝑛𝑦 − 2 𝑛𝑥 + 𝑛𝑦 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 98 / 101
  • 99. 仮説検定 効果量の計算 バイアスを補正した Hedges の 𝑔 Hedges の 𝑑 からさらにバイアスを補正することができる ただし, サンプルサイズ 𝑛𝑥, 𝑛𝑦 が等しい場合に限る サンプルサイズが大きい場合にはバイアスはほとんど無視できる Γ 関数の性質上サンプルサイズが大きいと桁数の問題から計算でき ないことがある3 𝑔 = Γ( 𝑛𝑥+𝑛𝑦−2 2 ) √ 𝑛𝑥+𝑛𝑦−2 2 Γ( 𝑛𝑥+𝑛𝑦−2−1 2 ) 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 = Γ( 𝑛𝑥+𝑛𝑦−2 2 ) √ 𝑛𝑥+𝑛𝑦−2 2 Γ( 𝑛𝑥+𝑛𝑦−3 2 ) 𝑥−𝑦 √ (𝑛𝑥−1) ̂ 𝜎2 𝑥+(𝑛𝑦−1) ̂ 𝜎2 𝑦 𝑛𝑥+𝑛𝑦−2 3 R で Γ 関数を計算する gamma() 関数は, 引数に 172 より大きな値を取ると計算結 果は無限大となってしまう. なお Γ(171) は約 7 × 10306 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 99 / 101
  • 100. 仮説検定 効果量の計算 Hedges の 𝑔 Γ 関数を利用した補正は少し複雑なため, 近似値を利用して補正 される場合が多い 𝑔 = (1 − 3 4(𝑛𝑥 + 𝑛𝑦) − 9 ) 𝑑𝐻𝑒𝑑𝑔𝑒𝑠 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 100 / 101
  • 101. 仮説検定 効果量の計算 Glass の Δ トリートメント (介入) 群 (xt) とコントロール (統制) 群 (xc) に分 類できる 2 群の場合は, コントロール群の不偏標本分散の平方根 ̂ 𝜎𝑐 のみを利用して効果量を推定することもできる これを Glass の Δ という Glass の Δ はサンプルサイズの影響を受けない 等分散でなくても利用できる Δ = 𝑥𝑡 − 𝑥𝑐 ̂ 𝜎𝑐 中島有希大 基礎から学ぶ回帰分析 2022 年 5 月 20 日 101 / 101