SlideShare a Scribd company logo
1 of 89
基礎から学ぶ回帰分析
#1: 確率とサンプリング
中島有希大
2022 年 4 月 15 日
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 1 / 89
1 連続セミナーについて
2 確率
3 母集団と標本
4 標本分布
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 2 / 89
連続セミナーについて
Section 1
連続セミナーについて
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 3 / 89
連続セミナーについて
連続セミナーの目的
2022 年 4 月から月に 1 回全 3 回で確率から回帰分析までを学ぶ
ソフトの使い方や p < 0.05 だから有意!などという安易な統計と
のかかわりではなく, 言葉や数式を通して, 回帰分析はどのような
ことをしているのかを学ぶ
3 回しかないのでエッセンスだけを伝えていきます
最もシンプルな方法である線形回帰モデルを学ぶが,多くの発展
的なモデルに通じる重要な分析方法
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 4 / 89
連続セミナーについて
本日のセミナーのゴール
データを分析するということが何を目指しているのかわかる
データ分析を支える確率について理解する
確率的に物事を考える際に重要なサンプリング (標本の抽出) につ
いて学ぶ
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 5 / 89
連続セミナーについて
データ分析の目的
データを何のために分析するのか
大きく 2 つの目的がある
統計的推測
予測
統計的推測とはパラメーター (母集団の特徴量) を手元のデータか
ら推測すること
予測は新しく得られるデータを予測すること
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 6 / 89
連続セミナーについて
確率
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 7 / 89
連続セミナーについて
統計的推測
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 8 / 89
連続セミナーについて
予測
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 9 / 89
連続セミナーについて
回帰分析
8
10
12
14
4 5 6 7
x
y
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 10 / 89
確率
Section 2
確率
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 11 / 89
確率 確率の定義
Subsection 1
確率の定義
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 12 / 89
確率 確率の定義
用語の定義
ある現象が偶然により起こる事象や観測を試行 (trial) という
試行の結果の全体集合を標本空間 Ω といい, その部分集合を事象
(event) という
事象は一般にアルファベットの大文字で表される
標本空間の要素 (試行の各結果) を実現値 (realized value) や根元事
象 (elementary event), 標本点 (sample point) などという
実現値は試行の結果を表す際に用いられることが多く, 標本点は理
論上の値を指す場合によく利用される
𝜔 を用いて表される
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 13 / 89
確率 確率の定義
サイコロを用いた用語の具体例
1 つのサイコロを投げる時の標本空間 Ω は次の通り
Ω = {𝜔1, 𝜔2, … , 𝜔𝑛} = {1, 2, 3, 4, 5, 6}
事象は任意に設定できる
例えば事象 𝐴1 を奇数が出る場合とすれば, 𝐴1 = {1, 3, 5} となる
事象は空集合 𝜙 を含めて 64 通り
1 +
6
∑
𝑖=1
6C𝑖 = 64
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 14 / 89
確率 確率の定義
1
2
3
4
5
6
1 2 3 4 5 6
1個目のサイコロの目
2個目のサイコロの目
図 1: サイコロを 2 回投げる場合の標本空間 (𝜙 を除く)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 15 / 89
確率 確率の定義
確率の古典的定義
同様に確からしいすべての場合の数に対する、ある事象の発生す
る割合の比
おそらく高校で習う確率はこれ
コインを 2 回投げた時に 2 回表を向く確率
(表, 表), (表, 裏), (裏, 表), (裏, 裏) のうち (表, 表) は 1/4
離散値は扱えても連続値は扱いづらい
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 16 / 89
確率 確率の定義
確率の公理的定義
標本空間 Ω の部分集合である事象 A の確率 P(A) は次の定義
に従う
1 確率 𝑃(𝐴) は次の範囲に従う
0 ≤ P(𝐴) ≤ 1
2 標本空間 Ω の確率 𝑃(Ω) は 1 である
P(Ω) = 1
3 事象 𝐴1, 𝐴2, … の任意の 𝑖, 𝑗(𝑖 ≠ 𝑗) に対して, 𝐴𝑖 と 𝐴𝑗 が互いに排
反 (⋂
∞
𝑖=1
𝐴𝑖 = 𝜙) であるならば, 確率はその和となる
P (
∞
⋃
𝑖=1
𝐴𝑖) =
∞
∑
𝑖=1
P(𝐴𝑖)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 17 / 89
確率 確率の定義
条件付き確率
ある事象 A が起きる条件の下で, 別の事象 B が起きる確率を
P(𝐵|𝐴) と表す
P(𝐵|𝐴) については, 次の式が成り立ち, 事象 A を与えたときの事
象 B の条件付き確率という
P(𝐵|𝐴) =
P(𝐴 ∩ 𝐵)
P(𝐴)
また, 両辺に P(𝐴) をかけることで次の式が得られる
P(𝐴 ∩ 𝐵) = P(𝐵|𝐴)P(𝐴)
同様に次の式も得られる
P(𝐴 ∩ 𝐵) = P(𝐴|𝐵)P(𝐵)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 18 / 89
確率 確率の定義
ベイズの定理
∑ 𝐵𝑖 = Ω で 𝐵𝑖 が互いに排反であるとき, 条件付き確率からベイ
ズの定理が得られる
P(𝐵𝑗|𝐴) =
P(𝐴 ∩ 𝐵𝑗)
P(𝐴)
=
P(𝐴|𝐵𝑗)𝑃(𝐵𝑗)
∑
𝑛
𝑖=1
P(𝐴|𝐵𝑖)𝑃(𝐵𝑖)
陽性の検査結果を 𝐴, 感染していることを 𝐵1, 感染していないこ
とを 𝐵2 とすると陽性適中率 (𝑃(𝐵1|𝐴)) は次のように求める
感度 80%(𝑃(𝐴|𝐵1)), 感染率 1%(𝑃(𝐵1)) で計算
P(𝐵1|𝐴) =
0.8 × 0.01
0.8 × 0.01 + 0.001 × 0.99
≃ 0.89
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 19 / 89
確率 確率変数
Subsection 2
確率変数
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 20 / 89
確率 確率変数
確率変数
確率的に変動する変数のことを確率変数 (random variable) という
確率変数とは各値がそれぞれある一定の確率に対応している変数
確率変数は標本空間 Ω 上に定義される
確率変数の各値に対応する標本点 𝜔𝑖 が複数存在する場合, その標
本点の確率の合計
確率の和が 1 で排反な事象の集合が確率変数だとも捉えられる
確率変数の取りうる値が離散値の場合は離散確率変数, 連続値の場
合は連続確率変数という
確率変数は大文字で表記され, その実現値は小文字で表記される
確率変数を 𝑋 で表した場合には, その実現値は 𝑥 で表される
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 21 / 89
確率 確率変数
サイコロと確率変数
サイコロを 2 個投げた時の和は以下の対応を持つ確率変数となる
この対応が後述の確率分布のイメージ
合計 (実現値) 2 3 4 5 6 7
確率 1/36 2/36 3/36 4/36 5/36 6/36
合計 (実現値) 8 9 10 11 12 計
確率 5/36 4/36 3/36 2/36 1/36 1
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 22 / 89
確率 確率変数
標本点と確率変数の関係
1
2
3
4
5
6
1 2 3 4 5 6
1個目のサイコロの目
2
個
目
の
サ
イ
コ
ロ
の
目
図 2: 2 個のサイコロを投げたときの和
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 23 / 89
確率 確率分布
Subsection 3
確率分布
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 24 / 89
確率 確率分布
Subsection 4
確率分布
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 25 / 89
確率 確率分布
確率分布
確率分布 (probability distribution) とは確率変数の取りうる各値 𝑥
に対応する確率 𝑃(𝑋 = 𝑥) の対応のルール
イメージはサイコロの目の和の表
確率変数が取りうる値の確率の和は 1 であるため, 確率分布は確率
をどのように各値へ配分 (distribute) するかを表す
離散変数であれば離散確率分布, 連続値であれば連続確率分布
という
離散確率分布を関数として強調する場合には確率質量関数
(probability mass function) といい, 連続確率分布の場合には確率密
度関数 (probability density function) という
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 26 / 89
確率 確率分布
確率分布の期待値
確率変数の取りうる値に対して対応する確率をかけた値を期待値
(expected value) という
確率変数の取りうる各値 𝑥𝑖 に対して, 確率を重み 𝑤𝑖 とする加重算
術平均とも言える (ただし離散確率分布)
期待値は 𝔼[⋅] や 𝜇 を用いて表すこともある
期待値は存在しないこともある
𝔼[𝑋] = 𝜇 =
⎧
{
{
⎨
{
{
⎩
∞
∑
𝑘=0
𝑥𝑘 ⋅ 𝑃(𝑥𝑘) 𝑋が離散確率変数
∫
∞
−∞
𝑥𝑓(𝑥)𝑑𝑥 𝑋が連続確率変数
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 27 / 89
確率 確率分布
累積分布関数
確率変数 𝑋 が 𝑥 以下の値となる確率を累積分布関数 (cumulative
distribution function) という
𝐹𝑥(𝑥) で表す
𝐹𝑥(𝑥) は単調増加な関数
𝐹𝑥(𝑥) = 𝑃(𝑋 ≤ 𝑥) =
⎧
{
{
⎨
{
{
⎩
∑
𝑘∶𝑥𝑘≤𝑥
𝑝(𝑥𝑘) 𝑋が離散確率変数
∫
𝑥
−∞
𝑓(𝑡)𝑑𝑡 𝑋が連続確率変数
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 28 / 89
確率 確率分布
期待値の例
2 つのサイコロの目の和 を例にすると期待値は 7
𝔼[𝑋] =
12
∑
𝑥=2
𝑥 ⋅ 𝑃(𝑥) = 2 ⋅
1
36
+ 3 ⋅
2
36
+ ⋯ + 12 ⋅
1
36
= 7
コインを投げて 𝑖 回目に初めて表が出たら 2𝑖
円獲得し, 表が出る
まで無限にコインを投げ続ける場合, 期待値は存在しない1
𝔼[𝑋] =
∞
∑
𝑖=1
2𝑖
⋅ 𝑃(𝑥𝑖) = 21
⋅
1
21
+ 22
⋅
1
22
+ ⋯ = 1 + 1 + ⋯ = ∞
1
この例をセント・ペテルスブルグのパラドックスという. コインを投げる回数に
上限 𝑛 が存在する場合には, 期待値は 𝑛 + 1 円となる
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 29 / 89
確率 確率分布
期待値の性質
期待値は平均値や総和記号の性質と似た次の性質をもっている
確率変数の実現値を 𝑥, 定数を 𝑐, 関数を 𝑓(𝑥), 𝑔(𝑥) と表す
𝔼[𝑐] = 𝑐
𝔼[𝑐𝑥] = 𝑐𝔼[𝑥]
𝔼[𝑐𝑓(𝑥)] = 𝑐𝔼[𝑓(𝑥)]
𝔼[𝑓(𝑥) + 𝑔(𝑥)] = 𝔼[𝑓(𝑥)] + 𝔼[𝑔(𝑥)]
任意の𝑥に対して 𝑓(𝑥) ≥ 0ならば,𝔼[𝑓(𝑋)] ≥ 0
任意の𝑥に対して 𝑓(𝑥) ≥ 𝑔(𝑥)ならば,𝔼[𝑓(𝑋)] ≥ 𝔼[𝑔(𝑋)]
|𝔼[𝑓(𝑥)]| ≤ 𝔼[|𝑓(𝑋)|]
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 30 / 89
確率 確率分布
確率分布の分散
確率変数 𝑋 の期待値 𝔼[𝑋] = 𝜇 からの偏差の 2 乗の期待値
確率分布の分散は 𝕍[⋅] や 𝜎2
を用いて表すこともある
確率分布の標準偏差は √𝕍(𝑋) = 𝜎
期待値が存在しない場合, 分散も存在しない
𝕍[𝑋] = 𝜎2
= 𝔼[(𝑋−𝜇)2
] =
⎧
{
{
⎨
{
{
⎩
∞
∑
𝑘=0
(𝑥𝑘 − 𝜇)2
⋅ 𝑃(𝑥𝑘) 𝑋が離散確率変数
∫
∞
−∞
(𝑥 − 𝜇)2
𝑓(𝑥)𝑑𝑥 𝑋が連続確率変数
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 31 / 89
確率 確率分布
分散の性質
確率分布の分散も標本分散と同様に次のような性質を持つ
𝕍[𝑋] = 𝔼[𝑋2
] − (𝔼[𝑋])2
= 𝔼[𝑋(𝑋 − 1)] + 𝔼[𝑋] − (𝔼[𝑋])2
𝕍[𝑎𝑋 + 𝑏] = 𝑎2
𝕍[𝑋]
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 32 / 89
確率 確率分布
確率分布とチェビシェフの不等式
確率分布についてもチェビシェフの不等式が成り立つ
𝑃(|𝑋 − 𝔼[𝑋]| > 𝑘𝜎) ≥
1
𝑘2
, 𝑃(|𝑋 − 𝔼[𝑋]| ≤ 𝑘𝜎) ≥ 1 −
1
𝑘2
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 33 / 89
確率 離散確率分布
Subsection 5
離散確率分布
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 34 / 89
確率 離散確率分布
ベルヌーイ分布
実現値が 0 か 1 の 2 種類しかない試行をベルヌーイ試行といい,
ベルヌーイ分布 (Bernoulli distribution) に従う
コインを投げて表裏のどちらが出るか, 感染症に罹患しているかい
ないか, 政権を支持するか支持しないかなど
ベルヌーイ分布の確率質量関数は次の通り
𝑥 は 0 か 1 の整数, 𝜃 は [0, 1] の範囲の実数 (𝑥1 の確率)
期待値は 𝜃, 標準偏差は √𝜃(1 − 𝜃) となる
𝐵𝑒𝑟𝑛𝑜𝑢𝑙𝑙𝑖(𝑥|𝜃) = 𝑝(𝑥) = 𝑃(𝑋 = 𝑥) = 𝜃𝑥
(1 − 𝜃)1−𝑥
, 𝑥 = 0, 1
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 35 / 89
確率 離散確率分布
二項分布
同一なパラメーター 𝜃 に従う独立なベルヌーイ試行の和の分布は
二項分布 (binomial distribution) に従う
試行回数 𝑛 = 1 でベルヌーイ分布と一致する
コインを 𝑛 回投げて表を向いた回数 𝑥, 確率 𝜃 でウルトラレアがで
るガチャを 𝑛 回引いてウルトラレアが出る回数 𝑥
試行回数 𝑛 が十分に大きく, 分布が左右対称に近い場合は期待値
𝑛𝜃, 標準偏差 √𝑛𝜃(1 − 𝜃) の正規分布で近似できる
二項分布の確率質量関数は次の通り
𝑛 は試行回数, 𝑥 は [0, 𝑛] の範囲の整数, 𝜃 は [0, 1] の範囲の実数
期待値は 𝑛𝜃, 標準偏差は √𝑛𝜃(1 − 𝜃)
𝐵𝑖𝑛𝑜𝑚𝑖𝑎𝑙(𝑥|𝑛, 𝜃) = 𝑝(𝑥) = 𝑃(𝑋 = 𝑥)
= 𝑛C𝑥𝜃𝑥
(1 − 𝜃)𝑛−𝑥
= 𝑛!
𝑥!(𝑛−𝑥)! 𝜃𝑥
(1 − 𝜃)𝑛−𝑥
, 𝑥 = 0, 1, 2, ⋯ , 𝑛
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 36 / 89
確率 離散確率分布
コンドルセの陪審定理
コインを投げる (正しい確率が 50%) より少しでも個人が正しい
選択をする確率が高ければ, 多数決に参加する人数が増えた分だ
け多数決の結果が正しい確率は 1 に近づく
1 人ひとりの選択が正しい確率が 55% だとすると, 3 人で多数決
をした場合には 57.5% となる
同じ条件で 11 人で多数決した場合には 63.3%
多数決が正しい確率は二項分布に従う
累積分布関数 𝐹𝑥(⌊𝑛
2 ⌋) を 1 から引いた確率に相当
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 37 / 89
確率 離散確率分布
0.4
0.6
0.8
1.0
0 100 200 300
多数決に参加する人数
多
数
決
の
結
果
が
正
し
い
確
率
個人の選択が
正しい確率
0.6
0.55
0.49
図 3: 多数決の結果が正しい確率
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 38 / 89
確率 離散確率分布
パスカルの三角形
𝜃 が 0.5 の場合, 二項分布はパスカルの三角形で表現できる
1
1 1
1 2 1
1 3 3 1
1 4 6 4 1
1 5 10 10 5 1
1 6 15 20 15 6 1
1 7 21 35 35 21 7 1
1 8 28 56 70 56 28 8 1
1 9 36 84 126 126 84 36 9 1
1 10 45 120 210 252 210 120 45 10 1
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 39 / 89
確率 連続型確率分布
Subsection 6
連続型確率分布
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 40 / 89
確率 連続型確率分布
正規分布
統計学では非常に多くの場合, 正規分布 (normal distribution) が利
用される
正規分布が仮定される場合も多い
身長や模試の点数などは正規分布に従うとされる
正規分布の確率密度関数は次の通り
期待値 𝜇, 標準偏差 𝜎
𝑁𝑜𝑟𝑚𝑎𝑙(𝑥|𝜇, 𝜎) = 𝑓(𝑥) =
1
√
2𝜋𝜎2
exp (−
(𝑥 − 𝜇)2
2𝜎2
) , −∞ < 𝑥 < ∞
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 41 / 89
確率 連続型確率分布
標準正規分布
平均 𝜇, 分散 𝜎2
の正規分布に従う確率変数 𝑋2
が標準化された確
率変数 𝑍 = 𝑋−𝜇
𝜎 は, 標準正規分布 (standard normal distribution) に
従う
標準正規分布の確率密度関数は次の通り
期待値 𝜇 = 0, 標準偏差 𝜎2
= 1
𝜙(𝑧) =
1
√
2𝜋
exp (−
𝑧2
2
)
2
これは 𝑋 ∼ 𝑁(𝜇, 𝜎2
) のように表記される
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 42 / 89
確率 連続型確率分布
様々な正規分布の確率密度関数のグラフ
0.0
0.2
0.4
0.6
0.8
-6 -3 0 3 6
colour
mean=-2 sd=0.5
mean=-2 sd=1.0
mean=-2 sd=2.0
mean=0 sd=0.5
mean=0 sd=1.0
mean=0 sd=2.0
mean=2 sd=0.5
mean=2 sd=1.0
mean=2 sd=2.0
図 4: 様々な正規分布の確率密度関数のグラフ
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 43 / 89
確率 連続型確率分布
標準正規分布の累積分布関数
標準正規分布の累積分布関数は統計学の中で頻出する
Φ(𝑧) = ∫
𝑧
−∞
𝜙(𝑡)𝑑𝑡
Φ(−1.96) ≃ 0.025 は覚えておく
両側で計算すると約 5% となる
Φ(𝑧) = ∫
1.96
−1.96
𝜙(𝑡)𝑑𝑡 ≃ 0.95
他にも Φ(−3) = 0.0013 や Φ(−2.58) = 0.005, Φ(−2) = 0.0228,
Φ(−1.96) = 0.025, Φ(−1.64) = 0.05, Φ(−1) = 0.1587,
Φ(−0.67) = 0.25 などは有名
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 44 / 89
確率 連続型確率分布
様々な正規分布の累積分布関数のグラフ
0.00
0.25
0.50
0.75
1.00
-6 -3 0 3 6
colour
mean=-2 sd=0.5
mean=-2 sd=1.0
mean=-2 sd=3.0
mean=0 sd=0.5
mean=0 sd=1.0
mean=0 sd=3.0
mean=2 sd=0.5
mean=2 sd=1.0
mean=2 sd=3.0
図 5: 様々な正規分布の累積分布関数のグラフ
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 45 / 89
確率 連続型確率分布
標準正規分布と ±1𝜎 区間と ±2𝜎 区間
0.0
0.1
0.2
0.3
0.4
-4 -2 0 2 4
図 6: 標準正規分布と ± 1𝜎区間と ± 2𝜎区間
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 46 / 89
母集団と標本
Section 3
母集団と標本
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 47 / 89
母集団と標本
質問
18 歳から 22 歳の若者に向けて政策を実施することを検討してい
ます
あなたの具体的な友人・知人を最低 10 人思い浮かべてどのよう
な政策が必要か考えてみてください
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 48 / 89
母集団と標本 母集団
Subsection 1
母集団
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 49 / 89
母集団と標本 母集団
母集団
分析の対象として興味のある性質や特徴を持つ個体 (unit) の全体
集合のことを母集団 (population) という
母集団は必ずしも存在するものではなく, 概念である場合もある
例として次のものが母集団にあたる
18 歳から 22 歳の若者が望む政策に興味があれば 18 歳から 22 歳の
若者全員 (若者だけでは範囲を特定できないため不可)
政権の支持率に興味があれば有権者全体
工場の不良品出荷率なら (過去及び未来の) 出荷商品全て
新薬の効果ならその病気にかかる (過去及び未来の) 全ての人
母集団の性質や特徴は平均や分散などで特徴づけがなされる
母集団を特徴づける特徴量をパラメーター (parameter) もしくは母
数3
という
3
母数はパラメーターのことであり, 分母などではないことに注意!
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 50 / 89
母集団と標本 母集団
全数調査
母集団全体を調査することを全数調査もしくは悉皆調査 (センサ
ス: census) という
5 年に 1 度行われる国勢調査など
全数調査はできない場合も多い
母集団が概念の場合には全数調査はできない
コスト (時間や資源) の観点から全数調査を実施できない
全数調査をすることで調査をする意味が失われる (例えば, ある食
品の栄養価を調査したい場合にその商品すべてで調査を行えば販
売できる商品はなくなる)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 51 / 89
母集団と標本 標本とランダムサンプリング
Subsection 2
標本とランダムサンプリング
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 52 / 89
母集団と標本 標本とランダムサンプリング
標本
母集団から抽出 (sampling) された部分集合を標本 (sample) という
標本に属する個体 (unit) から得られるそれぞれの情報 (属性値) を
データ (datum)4
という
データの集合をデータセット (data set) といい, 単にデータ (data)
ということも多い
標本内の観測数をサンプルサイズ5
(sample size) といい, 標本の個
数を標本数またはサンプル数 (the number of samples) と呼ぶ
標本の特徴量を (標本) 統計量 ((sample) statistic) という
標本から母集団の特徴を明らかにすることを統計的推論
(statistical inference) という
これらの科学的営みを行う分野を総称して推測統計学と呼ぶ
4
datum は単数形であり, data は複数形である
5
サンプルサイズのことをサンプル数という間違いが非常に多いので要注意!
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 53 / 89
母集団と標本 標本とランダムサンプリング
サイコロによる例
あるサイコロを投げた時に出る目の全てが母集団
このサイコロの期待値 (出る目の平均 𝜇) が母数 (パラメーター)
統くんがサイコロを 20 回投げた時, その平均 ( ̄
𝑥) は 3.3 であった
統計量は 3.3, サンプルサイズは 20
計くんがサイコロを 40 回投げた時, その平均 ( ̄
𝑦) は 3.6 であった
統計量は 3.6, サンプルサイズは 40
全体を通して標本数 (サンプル数) は 2
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 54 / 89
母集団と標本 標本とランダムサンプリング
先ほどの質問
先ほどの質問で大学生 (浪人生を含む) 以外が 4 割を占めた人はど
のくらいいましたか?
高等学校卒業者の大学等進学率は 54.7%6
偏りのある標本を抽出してしまうとアウトプットが歪んでしまう
サンプリングバイアス
6
学校基本調査-令和元年度結果の概要- (Link)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 55 / 89
母集団と標本 標本とランダムサンプリング
ランダムサンプリングの概念
標本は偏りなく母集団を代表しなければならない
そのための代表的な方法が無作為抽出 (ランダムサンプリング:
random sampling)
乱数表などを用いてランダムに標本を抽出する
無作為に抽出された標本の統計量は確率的に変動する
標本統計量は確率変数であり, ある確率分布に従うと考えられる
その確率分布を標本分布 (sampling distribution) という
標本の特徴量と母集団の特徴量の差を標本誤差という
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 56 / 89
母集団と標本 標本とランダムサンプリング
サンプリングと味見
サンプリングは味噌汁の味見に例えられる
味噌汁がよく混ざっていないと適切に味見ができない
あまりに味見をする量が少ないと味がわからない
味見で全て飲んでしまうと味見の意味がない
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 57 / 89
母集団と標本 標本とランダムサンプリング
ランダムサンプリングの定義
抽出された (実際に観測された) 各値 𝑥1, 𝑥2, … , 𝑥𝑛 は確率変数
𝑋1, 𝑋2, … , 𝑋𝑛 それぞぞれの実現値であり, 実現値の集合が標本
同一の確率分布 𝑃(⋅) に従い, 互いに独立に分布する確率変数
𝑋1, 𝑋2, … , 𝑋𝑛 の実現値の集合がランダム標本 (random sample)
同一の確率分布 𝑃(⋅) に従い, 互いに独立に分布することを互いに
独立に同一分布に従う (independently and identically distributed) と
いい, 次のように表す
𝑋1, 𝑋2, … , 𝑋𝑛, 𝑖.𝑖.𝑑 ∼ 𝑃(⋅)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 58 / 89
母集団と標本 標本とランダムサンプリング
復元抽出と非復元抽出
抽出する際には, 復元抽出と非復元抽出がある
復元抽出では, すでに抽出された要素を母集団に戻して再び抽出
可能とする
サイコロを投げる場合は, 1 が出たとしても次にまた同じ 1 が出る
可能性があるので復元抽出となる
非復元抽出では, すでに抽出された要素を母集団から除外して無
作為抽出を続ける
よく混ぜられたトレーディングカードゲームのデッキから 1 枚引
いて場に置き, さらに 1 枚引く場合には非復元抽出となる
一般的には非復元抽出が行われる
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 59 / 89
母集団と標本 標本とランダムサンプリング
(補足) ランダムの強み: モンテカルロ・シミュレーシ
ョン
ランダムに行うというのはとても強力な手段となりうる
規則的に行うシステマティック・シミュレーションと比較して,
ランダムに行うモンテカルロ・シミュレーションは早く真の値に
近づく
本授業では推測統計の理論を数学的に学ぶだけでなく, モンテカ
ルロ・シミュレーションによる検証も積極的に行う
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 60 / 89
母集団と標本 標本とランダムサンプリング
円周率とモンテカルロ・シミュレーション
円の中心が (0, 0) で, 半径 1 の単位円から (𝑥 > 0, 𝑦 > 0) の第 1 象
限を切り出して考える
1 辺の長さが 1 の正方形の範囲内にランダムに点を打つ
円の範囲内に含まれる点の割合を 4 倍すると円周率の近似解が求
められる
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 61 / 89
母集団と標本 標本とランダムサンプリング
Monte_Carlo Systematic
0.00 0.25 0.50 0.75 1.00 0.00 0.25 0.50 0.75 1.00
0.00
0.25
0.50
0.75
1.00
x
y
図 7: モンテカルロ法とシステマティック法による円周率の推定イメージ
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 62 / 89
母集団と標本 標本とランダムサンプリング
2.7
2.8
2.9
3.0
3.1
3.2
0 500 1000 1500 2000 2500
点の数
円
周
率
図 8: モンテカルロ法 (赤) とシステマティック法 (青) による円周率の推定
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 63 / 89
標本分布
Section 4
標本分布
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 64 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
Subsection 1
期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 65 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
標本平均の期待値
ランダム標本 𝑋1, … , 𝑋𝑛 の算術平均の期待値 𝔼[𝑋] から母平均
𝔼[𝑋𝑖] = 𝜇 を導くことができる
統計量 (標本の特徴量) の期待値が母数 (母集団の特徴量) に一致
することを不偏性という
𝔼[𝑋] = 𝔼 [
1
𝑛
𝑛
∑
𝑖=1
𝑋𝑖] =
1
𝑛
𝑛
∑
𝑖=1
𝔼[𝑋𝑖] =
1
𝑛
𝑛
∑
𝑖=1
𝜇 =
1
𝑛
𝑛𝜇 = 𝜇
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 66 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
二項分布を用いた標本平均の期待値の例 1
あるテレビ番組の視聴率が 20% であるとする
母集団であるテレビを視聴する人から 10 人を無作為抽出する
ここでテレビの出演者の家族を抽出すれば無作為ではないことは
明らか
また, 日中の番組にも関わらず平日の新橋にいるサラリーマンを抽
出すれば全体を代表しない
抽出した 10 人のうち, その番組を視聴した人数 𝑥 によって, 標本
内の視聴率が求められる
この 0% から 100% までを取る標本比率 ̂
𝑝 の変化を標本変動という
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 67 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
二項分布を用いた標本平均の期待値の例 2
この場合, 10 人を無作為抽出したときにその番組を視聴した人数
𝑥 は 𝑛 = 10, 𝑝 = 0.2 の二項分布7
に従うと考えられる
標本比率 ̂
𝑝 の期待値は母比率 𝑝 = 0.2 と一致する
𝔼( ̂
𝑝) = 𝔼 (𝑥
𝑛 ) = 1
𝑛 𝔼(𝑥)
= 1
10 ∑
10
𝑖=0
𝑥𝑖
10!
𝑥𝑖!(10−𝑥𝑖)! 0.2𝑥𝑖 (1 − 0.2)10−𝑥𝑖
= 2
10
= 0.2, 𝑥 = 0, 1, 2, ⋯ , 10
7
厳密には超幾何分布に従うが, 十分に 𝑛 が大きい場合は二項分布で近似できる
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 68 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
標本平均の分散
ランダム標本 𝑋1, … , 𝑋𝑛 の算術平均の分散 𝕍[𝑋] は 𝜎2
𝑛 となる
𝕍( ̄
𝑋) = 𝔼[(𝑋 − 𝜇)2
] = 𝔼 [( 1
𝑛 ∑
𝑛
𝑖=1
𝑋𝑖 − 𝜇)
2
] = 𝔼 [{ 1
𝑛 ∑
𝑛
𝑖=1
(𝑋𝑖 − 𝜇)}
2
]
= 𝔼 [ 1
𝑛2 {∑
𝑛
𝑖=1
(𝑋𝑖 − 𝜇)}
2
]
= 1
𝑛2 𝔼 [{∑
𝑛
𝑖=1
(𝑋𝑖 − 𝜇)}
2
]
= 1
𝑛2 𝔼 [∑
𝑛
𝑖=1
(𝑋𝑖 − 𝜇)2
+ ∑
𝑛
𝑖=1
∑
𝑛
𝑗=1,𝑗≠𝑖
(𝑋𝑖 − 𝜇)(𝑋𝑗 − 𝜇)]
= 1
𝑛2 ∑
𝑛
𝑖=1
𝔼[(𝑋𝑖 − 𝜇)2
] + 1
𝑛2 ∑
𝑛
𝑖=1
∑
𝑛
𝑗=1,𝑗≠𝑖
𝔼[𝑋𝑖 − 𝜇]𝔼[𝑋𝑗 − 𝜇]
= 1
𝑛2 ∑
𝑛
𝑖=1
𝔼[(𝑋𝑖 − 𝜇)2
] + 0
= 1
𝑛2 ∑
𝑛
𝑖=1
𝜎2
= 1
𝑛2 𝑛𝜎2
= 𝜎2
𝑛
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 69 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
二項分布を用いた標本平均の分散の例
再び母比率 (視聴率)20% のテレビ番組を例とする
10 人を抽出して 𝑥 人が視聴する際の標本平均の分散は 0.016
となる
𝕍( ̂
𝑝) = 𝕍 (𝑥
𝑛 )
= 1
𝑛2 𝕍(𝑥)
= 1
102 ∑
𝑛
𝑖=0
(𝑥𝑖 − 2)2 10!
𝑥𝑖!(10−𝑥𝑖)! 0.2𝑥𝑖 (1 − 0.2)10−𝑥𝑖
= 0.016
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 70 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
大数の弱法則
標本平均の分散 𝕍( ̄
𝑋) = 𝔼[( ̄
𝑋 − 𝜇)2
] が 𝜎2
/𝑛 なら, n(サンプルサ
イズ) が大きくなればなるほど ̄
𝑋 は母平均 𝜇 に近づく
これを大数の弱法則 (week law of large number) という
チェビシェフの不等式を変形して次の式を得る
c は任意の定数
𝑃(| ̄
𝑋 − 𝜇| ≤ 𝑐) ≥ 1 − 𝜎2
𝑛𝑐2
lim
𝑛→∞
𝑃(| ̄
𝑋 − 𝜇| ≤ 𝑐) ≥ lim𝑛→∞ {1 − 𝜎2
𝑛𝑐2 } = 1
確率は常に 1 以下であるため, ̄
𝑋 は 𝜇 に確率収束 (convergence in
probability) する
lim
𝑛→∞
𝑃(| ̄
𝑋 − 𝜇| ≤ 𝑐) = 1
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 71 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
コイントスと大数の弱法則
10 人 (サンプル数 10) が 10000 回 (サンプルサイズ 10000) ずつコ
イントスを行った際に表が出る確率は 0.5 に確率収束する
0.00
0.25
0.50
0.75
1.00
0 2500 5000 7500 10000
サンプルサイズ
表
が
出
る
確
率
図 9: コイントスと大数の弱法則
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 72 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
中心極限定理
標本平均の期待値 𝔼[ ̄
𝑋] = 𝜇 及び分散 𝕍( ̄
𝑋) = 𝜎2
𝑛 を利用し, 標本
平均 ̄
𝑋 を標準化する
標準化されているため, 𝔼[𝑍𝑛] = 0, 𝕍(𝑍𝑛) = 1
𝑍𝑛 =
̄
𝑋 − 𝜇
√𝜎2
𝑛
=
√
𝑛( ̄
𝑋 − 𝜇)
𝜎
標本平均を標準化した変量 𝑍𝑛 の分布は 𝑛 が大きくなるにつれて
標準正規分布に分布収束 (covergence in distribution) する
これを中心極限定理 (central limit theorem) という
lim
𝑛→∞
𝑃 (
√
𝑛( ̄
𝑋 − 𝜇)
𝜎
≤ 𝑧) = ∫
𝑧
−∞
1
√
2𝜋
exp (−
𝑦2
2
)𝑑𝑦 = Φ(𝑧)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 73 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
中心極限定理と標本平均の分布
サンプルサイズ 𝑛 が十分に大きい時, 標本平均 ̄
𝑋 の分布は中心極
限定理から, 平均 𝜇, 分散 𝜎2
𝑛 の正規分布で近似できる
̄
𝑋 ≈ 𝑁 (𝜇,
𝜎2
𝑛
)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 74 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
コイントスの標本平均の分布
10000 人 (サンプル数 10000) が 10 回と 100 回, 1000 回 (各サンプ
ルサイズ 10, 100, 1000) コインを投げた時の標本平均の分布は次
のスライド
標本平均の分布は期待値 𝜇 = 100∗0.5
100 , 分散 𝜎2
= 100×0.5×(1−0.5)
100 の
正規分布に従う (サンプルサイズ 100 の時)
サンプルサイズ 10 は赤で, サンプルサイズ 100 は緑で, サンプルサ
イズ 1000 は青で示した
色が塗られているのはデータ (実現値) から計算された密度区間
理論上の正規分布は点線で示した
色の塗られた密度区間と理論上の正規分布の点線がほぼ一致する
ことがわかる
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 75 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
0.00 0.25 0.50 0.75 1.00
標本平均
size
10
100
1000
図 10: コイントスと中心極限定理
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 76 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
標準化した値と中心極限定理
サンプルの各実現値を標準化した値の密度分布は標準正規分布に
近い形状となる
サンプルサイズが大きくなればなるほど (無限大に近づくほど) 標
準正規分布に分布収束する
しかし, 標準正規分布と比較してサンプルサイズが小さいほど山
の頂点が低くなる
分布の山が低くなるとは, 標準偏差が大きくなるということ
期待値は同じ
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 77 / 89
標本分布 期待値 𝜇 -標本平均値 ̄
𝑥 の標本分布-
-2.5 0.0 2.5
標準化された標本平均
size
10
100
1000
図 11: 標準化した値と中心極限定理
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 78 / 89
標本分布 正規母集団の標本分布
Subsection 2
正規母集団の標本分布
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 79 / 89
標本分布 正規母集団の標本分布
正規分布から派生した分布
確率分布が正規分布である母集団を正規母集団という
正規母集団の標本分布として, 正規分布に関連して派生した分布
に t 分布や 𝜒2
分布, F 分布などがある
検定などでよく利用されるため, 簡単に扱う
詳細は利用する際に説明を行う
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 80 / 89
標本分布 正規母集団の標本分布
𝜒2
分布
標準化された確率変数の 2 乗 𝑍2
は自由度 1 の 𝜒2
分布に従う
𝑛 個の相互に独立な標準化された確率変数 𝑍𝑛 の平方和
𝑊 = ∑ 𝑍2
𝑛 は自由度 𝜈 の 𝜒2
分布に従う
自由度 𝜈 が十分に大きい時, 正規分布で近似できる
確率密度関数は次の通り
自由度 𝜈 は自然数 (𝜈 = 𝑛)
期待値は 𝜈, 標準偏差は
√
2𝜈
𝜒2
(𝑥|𝜈) = 𝑓(𝑥) =
1
Γ(𝜈/2)
(
1
2
)
𝜈
2
𝑥
𝜈
2 −1
exp (−
𝑥
2
) , 𝑥 > 0
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 81 / 89
標本分布 正規母集団の標本分布
(補足)Γ 関数
Γ 関数は次の式で表される
Γ(𝛼) = ∫
∞
0
𝑥𝛼−1
𝑒−𝑥
𝑑𝑥, 𝛼 > 0
Γ 関数は次のような性質を持つ
Γ(1/2) =
√
𝜋
Γ(1) = 1
Γ(𝛼 + 1) = 𝛼Γ(𝛼)
Γ(𝑛 + 1) = 𝑛! 𝑛が自然数の時
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 82 / 89
標本分布 正規母集団の標本分布
様々な 𝜒2
分布の確率密度関数のグラフ
0.00
0.25
0.50
0.75
1.00
0 5 10 15
colour
df=1
df=2
df=3
df=4
df=5
df=6
df=7
df=8
df=9
図 12: 様々な 𝜒2
分布の確率密度関数のグラフ (点線は標準正規分布)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 83 / 89
標本分布 正規母集団の標本分布
Student の 𝑡 分布
Student の t 分布 (Student’s t-distribution) は標準正規分布と似た形
状をしており, 自由度 1 のときに裾が長く期待値が定義できない
コーシー分布となり, 自由度 ∞ のときに標準正規分布と一致する
標準正規分布よりも裾が広い (標準正規分布よりも分散が大きい)
自由度 𝜈 が大きくなるほど分散が 1 に近づく
確率密度関数は次の通り
期待値 0, 標準偏差 √ 𝜈
𝜈−2
𝑡(𝑥|𝜈) =
Γ((𝜈 + 1)/2)
Γ(𝜈/2)
√
𝜋𝜈
(1 +
𝑥2
𝜈
)
−( 𝜈+1
2 )
, −∞ < 𝑥 < ∞
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 84 / 89
標本分布 正規母集団の標本分布
𝑡 分布と 𝜒2
分布
𝑡 分布は 𝜒2
分布と標準正規分布 𝑧 から導出することができる
𝑡(𝑥|𝜈) =
𝑍
√𝜒2
𝜈/𝜈
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 85 / 89
標本分布 正規母集団の標本分布
自由度
自由度 (degree of freedom) とは自由に値を動かすことのできるデ
ータの数
𝜈 を用いて表されることが多い
例えば, ∑
𝑛
𝑖=1
𝑥𝑖 − ̄
𝑥 は必ず 0 となるが, 𝑛 − 1 個の値を自由に動か
したとしても 𝑛 番目の値は 𝑛 − 1 個の値によって自動的に決定さ
れるため, 自由度 𝜈 はサンプルサイズ 𝑛 から 1 を引いた値となる
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 86 / 89
標本分布 正規母集団の標本分布
様々な t 分布の確率密度関数のグラフ
0.0
0.1
0.2
0.3
0.4
-5.0 -2.5 0.0 2.5 5.0
colour
df=1
df=2
df=3
df=4
df=5
df=6
df=7
df=8
df=9
図 13: 様々な t 分布の確率密度関数のグラフ (点線は標準正規分布)
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 87 / 89
標本分布 正規母集団の標本分布
F 分布
2 つの母集団間の分散の差の有無の検定などで利用される分布に
F 分布がある
自由度 𝜈 の t 分布に従う確率変数 𝑇2
は自由度 (1, 𝜈) の F 分布に
従う
𝐹𝑖 ∼ 𝐹(𝜈1, 𝜈2) なら, 𝐹−1
𝑖 ∼ 𝐹(𝜈2, 𝜈1) となる
F 分布の確率密度関数は次の通り
自由度 𝜈1, 𝜈2 は自然数
𝐹(𝑥|𝜈1, 𝜈2) =
Γ((𝜈1 + 𝜈2)/2)
Γ(𝜈1/2)Γ(𝜈2/2)
(𝜈1𝜈2)𝜈1/2
𝑥𝜈1/2−1
(1 + (𝜈1/𝜈2)𝑥)(𝜈1+𝜈2)/2
, 𝑥 > 0
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 88 / 89
標本分布 正規母集団の標本分布
0.0
0.5
1.0
1.5
0 2 4 6
colour
df1=1 df2=1.0
df1=1 df2=5.0
df1=1 df2=9.0
df1=5 df2=1.0
df1=5 df2=5.0
df1=5 df2=9.0
df1=9 df2=1.0
df1=9 df2=5.0
df1=9 df2=9.0
図 14: 様々な F 分布の確率密度関数のグラフ
中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 89 / 89

More Related Content

Similar to 第4回スキル養成講座 講義スライド

ベイズ統計入門
ベイズ統計入門ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
 
第6章 2つの平均値を比較する - TokyoR #28
第6章 2つの平均値を比較する - TokyoR #28第6章 2つの平均値を比較する - TokyoR #28
第6章 2つの平均値を比較する - TokyoR #28
horihorio
 

Similar to 第4回スキル養成講座 講義スライド (20)

WAICとWBICのご紹介
WAICとWBICのご紹介WAICとWBICのご紹介
WAICとWBICのご紹介
 
強化学習その3
強化学習その3強化学習その3
強化学習その3
 
[PRML] パターン認識と機械学習(第1章:序論)
[PRML] パターン認識と機械学習(第1章:序論)[PRML] パターン認識と機械学習(第1章:序論)
[PRML] パターン認識と機械学習(第1章:序論)
 
データ解析4 確率の復習
データ解析4 確率の復習データ解析4 確率の復習
データ解析4 確率の復習
 
Introduction to Statistical Estimation (統計的推定入門)
Introduction to Statistical Estimation (統計的推定入門)Introduction to Statistical Estimation (統計的推定入門)
Introduction to Statistical Estimation (統計的推定入門)
 
金融リスクとポートフォリオマネジメント
金融リスクとポートフォリオマネジメント金融リスクとポートフォリオマネジメント
金融リスクとポートフォリオマネジメント
 
データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布データサイエンス概論第一=4-2 確率と確率分布
データサイエンス概論第一=4-2 確率と確率分布
 
ベイズ統計入門
ベイズ統計入門ベイズ統計入門
ベイズ統計入門
 
第6章 2つの平均値を比較する - TokyoR #28
第6章 2つの平均値を比較する - TokyoR #28第6章 2つの平均値を比較する - TokyoR #28
第6章 2つの平均値を比較する - TokyoR #28
 
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
 
Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1Probabilistic Graphical Models 輪読会 #1
Probabilistic Graphical Models 輪読会 #1
 
Ml professional bandit_chapter2
Ml professional bandit_chapter2Ml professional bandit_chapter2
Ml professional bandit_chapter2
 
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20) 2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
2022年度秋学期 統計学 第13回 不確かな測定の不確かさを測る - 不偏分散とt分布 (2022. 12. 20)
 
第4章 確率的学習---単純ベイズを使った分類
第4章 確率的学習---単純ベイズを使った分類第4章 確率的学習---単純ベイズを使った分類
第4章 確率的学習---単純ベイズを使った分類
 
P値を使わないフィットネステストの評価法
P値を使わないフィットネステストの評価法P値を使わないフィットネステストの評価法
P値を使わないフィットネステストの評価法
 
『基礎からのベイズ統計学 ハミルトニアンモンテカルロ法による実践的入門』の発表スライド
『基礎からのベイズ統計学 ハミルトニアンモンテカルロ法による実践的入門』の発表スライド『基礎からのベイズ統計学 ハミルトニアンモンテカルロ法による実践的入門』の発表スライド
『基礎からのベイズ統計学 ハミルトニアンモンテカルロ法による実践的入門』の発表スライド
 
確率の基礎
確率の基礎確率の基礎
確率の基礎
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
 
prml_titech_9.0-9.2
prml_titech_9.0-9.2prml_titech_9.0-9.2
prml_titech_9.0-9.2
 
幾何を使った統計のはなし
幾何を使った統計のはなし幾何を使った統計のはなし
幾何を使った統計のはなし
 

More from keiodig

More from keiodig (20)

Dig17高校生部門賞_Dreamer.pdf
Dig17高校生部門賞_Dreamer.pdfDig17高校生部門賞_Dreamer.pdf
Dig17高校生部門賞_Dreamer.pdf
 
Dig17審査員特別賞_三匹の子豚.pdf
Dig17審査員特別賞_三匹の子豚.pdfDig17審査員特別賞_三匹の子豚.pdf
Dig17審査員特別賞_三匹の子豚.pdf
 
Dig17未来創造賞_KIM.pdf
Dig17未来創造賞_KIM.pdfDig17未来創造賞_KIM.pdf
Dig17未来創造賞_KIM.pdf
 
Dig17カカクコム賞_海老アヒージョ.pdf
Dig17カカクコム賞_海老アヒージョ.pdfDig17カカクコム賞_海老アヒージョ.pdf
Dig17カカクコム賞_海老アヒージョ.pdf
 
Dig17優秀賞_3軒目のタランチュラ.pdf
Dig17優秀賞_3軒目のタランチュラ.pdfDig17優秀賞_3軒目のタランチュラ.pdf
Dig17優秀賞_3軒目のタランチュラ.pdf
 
Dig17最優秀賞_MotherLake
Dig17最優秀賞_MotherLakeDig17最優秀賞_MotherLake
Dig17最優秀賞_MotherLake
 
第36回勉強会講義スライド
第36回勉強会講義スライド第36回勉強会講義スライド
第36回勉強会講義スライド
 
第12回スキル養成講座 講義スライド
第12回スキル養成講座 講義スライド第12回スキル養成講座 講義スライド
第12回スキル養成講座 講義スライド
 
第11回スキル養成講座 講義スライド
第11回スキル養成講座 講義スライド第11回スキル養成講座 講義スライド
第11回スキル養成講座 講義スライド
 
第10回スキル養成講座資料
第10回スキル養成講座資料第10回スキル養成講座資料
第10回スキル養成講座資料
 
高校生部門賞_勝ちまくり同盟
高校生部門賞_勝ちまくり同盟高校生部門賞_勝ちまくり同盟
高校生部門賞_勝ちまくり同盟
 
審査員特別賞_藤代ファンクラブ
審査員特別賞_藤代ファンクラブ審査員特別賞_藤代ファンクラブ
審査員特別賞_藤代ファンクラブ
 
未来創造賞_こしガーヤ
未来創造賞_こしガーヤ未来創造賞_こしガーヤ
未来創造賞_こしガーヤ
 
一休賞_#ひとやすみ。
一休賞_#ひとやすみ。一休賞_#ひとやすみ。
一休賞_#ひとやすみ。
 
優秀賞_JR志村
優秀賞_JR志村優秀賞_JR志村
優秀賞_JR志村
 
最優秀賞_チームコルテ
最優秀賞_チームコルテ最優秀賞_チームコルテ
最優秀賞_チームコルテ
 
第9回スキル養成講座講義資料
第9回スキル養成講座講義資料第9回スキル養成講座講義資料
第9回スキル養成講座講義資料
 
第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf第8回スキル養成講座講義資料.pdf
第8回スキル養成講座講義資料.pdf
 
第7回スキル養成講座講義スライド
第7回スキル養成講座講義スライド第7回スキル養成講座講義スライド
第7回スキル養成講座講義スライド
 
07_こもり唄.pdf
07_こもり唄.pdf07_こもり唄.pdf
07_こもり唄.pdf
 

第4回スキル養成講座 講義スライド

  • 1. 基礎から学ぶ回帰分析 #1: 確率とサンプリング 中島有希大 2022 年 4 月 15 日 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 1 / 89
  • 2. 1 連続セミナーについて 2 確率 3 母集団と標本 4 標本分布 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 2 / 89
  • 4. 連続セミナーについて 連続セミナーの目的 2022 年 4 月から月に 1 回全 3 回で確率から回帰分析までを学ぶ ソフトの使い方や p < 0.05 だから有意!などという安易な統計と のかかわりではなく, 言葉や数式を通して, 回帰分析はどのような ことをしているのかを学ぶ 3 回しかないのでエッセンスだけを伝えていきます 最もシンプルな方法である線形回帰モデルを学ぶが,多くの発展 的なモデルに通じる重要な分析方法 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 4 / 89
  • 6. 連続セミナーについて データ分析の目的 データを何のために分析するのか 大きく 2 つの目的がある 統計的推測 予測 統計的推測とはパラメーター (母集団の特徴量) を手元のデータか ら推測すること 予測は新しく得られるデータを予測すること 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 6 / 89
  • 10. 連続セミナーについて 回帰分析 8 10 12 14 4 5 6 7 x y 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 10 / 89
  • 12. 確率 確率の定義 Subsection 1 確率の定義 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 12 / 89
  • 13. 確率 確率の定義 用語の定義 ある現象が偶然により起こる事象や観測を試行 (trial) という 試行の結果の全体集合を標本空間 Ω といい, その部分集合を事象 (event) という 事象は一般にアルファベットの大文字で表される 標本空間の要素 (試行の各結果) を実現値 (realized value) や根元事 象 (elementary event), 標本点 (sample point) などという 実現値は試行の結果を表す際に用いられることが多く, 標本点は理 論上の値を指す場合によく利用される 𝜔 を用いて表される 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 13 / 89
  • 14. 確率 確率の定義 サイコロを用いた用語の具体例 1 つのサイコロを投げる時の標本空間 Ω は次の通り Ω = {𝜔1, 𝜔2, … , 𝜔𝑛} = {1, 2, 3, 4, 5, 6} 事象は任意に設定できる 例えば事象 𝐴1 を奇数が出る場合とすれば, 𝐴1 = {1, 3, 5} となる 事象は空集合 𝜙 を含めて 64 通り 1 + 6 ∑ 𝑖=1 6C𝑖 = 64 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 14 / 89
  • 15. 確率 確率の定義 1 2 3 4 5 6 1 2 3 4 5 6 1個目のサイコロの目 2個目のサイコロの目 図 1: サイコロを 2 回投げる場合の標本空間 (𝜙 を除く) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 15 / 89
  • 16. 確率 確率の定義 確率の古典的定義 同様に確からしいすべての場合の数に対する、ある事象の発生す る割合の比 おそらく高校で習う確率はこれ コインを 2 回投げた時に 2 回表を向く確率 (表, 表), (表, 裏), (裏, 表), (裏, 裏) のうち (表, 表) は 1/4 離散値は扱えても連続値は扱いづらい 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 16 / 89
  • 17. 確率 確率の定義 確率の公理的定義 標本空間 Ω の部分集合である事象 A の確率 P(A) は次の定義 に従う 1 確率 𝑃(𝐴) は次の範囲に従う 0 ≤ P(𝐴) ≤ 1 2 標本空間 Ω の確率 𝑃(Ω) は 1 である P(Ω) = 1 3 事象 𝐴1, 𝐴2, … の任意の 𝑖, 𝑗(𝑖 ≠ 𝑗) に対して, 𝐴𝑖 と 𝐴𝑗 が互いに排 反 (⋂ ∞ 𝑖=1 𝐴𝑖 = 𝜙) であるならば, 確率はその和となる P ( ∞ ⋃ 𝑖=1 𝐴𝑖) = ∞ ∑ 𝑖=1 P(𝐴𝑖) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 17 / 89
  • 18. 確率 確率の定義 条件付き確率 ある事象 A が起きる条件の下で, 別の事象 B が起きる確率を P(𝐵|𝐴) と表す P(𝐵|𝐴) については, 次の式が成り立ち, 事象 A を与えたときの事 象 B の条件付き確率という P(𝐵|𝐴) = P(𝐴 ∩ 𝐵) P(𝐴) また, 両辺に P(𝐴) をかけることで次の式が得られる P(𝐴 ∩ 𝐵) = P(𝐵|𝐴)P(𝐴) 同様に次の式も得られる P(𝐴 ∩ 𝐵) = P(𝐴|𝐵)P(𝐵) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 18 / 89
  • 19. 確率 確率の定義 ベイズの定理 ∑ 𝐵𝑖 = Ω で 𝐵𝑖 が互いに排反であるとき, 条件付き確率からベイ ズの定理が得られる P(𝐵𝑗|𝐴) = P(𝐴 ∩ 𝐵𝑗) P(𝐴) = P(𝐴|𝐵𝑗)𝑃(𝐵𝑗) ∑ 𝑛 𝑖=1 P(𝐴|𝐵𝑖)𝑃(𝐵𝑖) 陽性の検査結果を 𝐴, 感染していることを 𝐵1, 感染していないこ とを 𝐵2 とすると陽性適中率 (𝑃(𝐵1|𝐴)) は次のように求める 感度 80%(𝑃(𝐴|𝐵1)), 感染率 1%(𝑃(𝐵1)) で計算 P(𝐵1|𝐴) = 0.8 × 0.01 0.8 × 0.01 + 0.001 × 0.99 ≃ 0.89 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 19 / 89
  • 20. 確率 確率変数 Subsection 2 確率変数 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 20 / 89
  • 21. 確率 確率変数 確率変数 確率的に変動する変数のことを確率変数 (random variable) という 確率変数とは各値がそれぞれある一定の確率に対応している変数 確率変数は標本空間 Ω 上に定義される 確率変数の各値に対応する標本点 𝜔𝑖 が複数存在する場合, その標 本点の確率の合計 確率の和が 1 で排反な事象の集合が確率変数だとも捉えられる 確率変数の取りうる値が離散値の場合は離散確率変数, 連続値の場 合は連続確率変数という 確率変数は大文字で表記され, その実現値は小文字で表記される 確率変数を 𝑋 で表した場合には, その実現値は 𝑥 で表される 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 21 / 89
  • 22. 確率 確率変数 サイコロと確率変数 サイコロを 2 個投げた時の和は以下の対応を持つ確率変数となる この対応が後述の確率分布のイメージ 合計 (実現値) 2 3 4 5 6 7 確率 1/36 2/36 3/36 4/36 5/36 6/36 合計 (実現値) 8 9 10 11 12 計 確率 5/36 4/36 3/36 2/36 1/36 1 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 22 / 89
  • 23. 確率 確率変数 標本点と確率変数の関係 1 2 3 4 5 6 1 2 3 4 5 6 1個目のサイコロの目 2 個 目 の サ イ コ ロ の 目 図 2: 2 個のサイコロを投げたときの和 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 23 / 89
  • 24. 確率 確率分布 Subsection 3 確率分布 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 24 / 89
  • 25. 確率 確率分布 Subsection 4 確率分布 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 25 / 89
  • 26. 確率 確率分布 確率分布 確率分布 (probability distribution) とは確率変数の取りうる各値 𝑥 に対応する確率 𝑃(𝑋 = 𝑥) の対応のルール イメージはサイコロの目の和の表 確率変数が取りうる値の確率の和は 1 であるため, 確率分布は確率 をどのように各値へ配分 (distribute) するかを表す 離散変数であれば離散確率分布, 連続値であれば連続確率分布 という 離散確率分布を関数として強調する場合には確率質量関数 (probability mass function) といい, 連続確率分布の場合には確率密 度関数 (probability density function) という 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 26 / 89
  • 27. 確率 確率分布 確率分布の期待値 確率変数の取りうる値に対して対応する確率をかけた値を期待値 (expected value) という 確率変数の取りうる各値 𝑥𝑖 に対して, 確率を重み 𝑤𝑖 とする加重算 術平均とも言える (ただし離散確率分布) 期待値は 𝔼[⋅] や 𝜇 を用いて表すこともある 期待値は存在しないこともある 𝔼[𝑋] = 𝜇 = ⎧ { { ⎨ { { ⎩ ∞ ∑ 𝑘=0 𝑥𝑘 ⋅ 𝑃(𝑥𝑘) 𝑋が離散確率変数 ∫ ∞ −∞ 𝑥𝑓(𝑥)𝑑𝑥 𝑋が連続確率変数 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 27 / 89
  • 28. 確率 確率分布 累積分布関数 確率変数 𝑋 が 𝑥 以下の値となる確率を累積分布関数 (cumulative distribution function) という 𝐹𝑥(𝑥) で表す 𝐹𝑥(𝑥) は単調増加な関数 𝐹𝑥(𝑥) = 𝑃(𝑋 ≤ 𝑥) = ⎧ { { ⎨ { { ⎩ ∑ 𝑘∶𝑥𝑘≤𝑥 𝑝(𝑥𝑘) 𝑋が離散確率変数 ∫ 𝑥 −∞ 𝑓(𝑡)𝑑𝑡 𝑋が連続確率変数 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 28 / 89
  • 29. 確率 確率分布 期待値の例 2 つのサイコロの目の和 を例にすると期待値は 7 𝔼[𝑋] = 12 ∑ 𝑥=2 𝑥 ⋅ 𝑃(𝑥) = 2 ⋅ 1 36 + 3 ⋅ 2 36 + ⋯ + 12 ⋅ 1 36 = 7 コインを投げて 𝑖 回目に初めて表が出たら 2𝑖 円獲得し, 表が出る まで無限にコインを投げ続ける場合, 期待値は存在しない1 𝔼[𝑋] = ∞ ∑ 𝑖=1 2𝑖 ⋅ 𝑃(𝑥𝑖) = 21 ⋅ 1 21 + 22 ⋅ 1 22 + ⋯ = 1 + 1 + ⋯ = ∞ 1 この例をセント・ペテルスブルグのパラドックスという. コインを投げる回数に 上限 𝑛 が存在する場合には, 期待値は 𝑛 + 1 円となる 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 29 / 89
  • 30. 確率 確率分布 期待値の性質 期待値は平均値や総和記号の性質と似た次の性質をもっている 確率変数の実現値を 𝑥, 定数を 𝑐, 関数を 𝑓(𝑥), 𝑔(𝑥) と表す 𝔼[𝑐] = 𝑐 𝔼[𝑐𝑥] = 𝑐𝔼[𝑥] 𝔼[𝑐𝑓(𝑥)] = 𝑐𝔼[𝑓(𝑥)] 𝔼[𝑓(𝑥) + 𝑔(𝑥)] = 𝔼[𝑓(𝑥)] + 𝔼[𝑔(𝑥)] 任意の𝑥に対して 𝑓(𝑥) ≥ 0ならば,𝔼[𝑓(𝑋)] ≥ 0 任意の𝑥に対して 𝑓(𝑥) ≥ 𝑔(𝑥)ならば,𝔼[𝑓(𝑋)] ≥ 𝔼[𝑔(𝑋)] |𝔼[𝑓(𝑥)]| ≤ 𝔼[|𝑓(𝑋)|] 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 30 / 89
  • 31. 確率 確率分布 確率分布の分散 確率変数 𝑋 の期待値 𝔼[𝑋] = 𝜇 からの偏差の 2 乗の期待値 確率分布の分散は 𝕍[⋅] や 𝜎2 を用いて表すこともある 確率分布の標準偏差は √𝕍(𝑋) = 𝜎 期待値が存在しない場合, 分散も存在しない 𝕍[𝑋] = 𝜎2 = 𝔼[(𝑋−𝜇)2 ] = ⎧ { { ⎨ { { ⎩ ∞ ∑ 𝑘=0 (𝑥𝑘 − 𝜇)2 ⋅ 𝑃(𝑥𝑘) 𝑋が離散確率変数 ∫ ∞ −∞ (𝑥 − 𝜇)2 𝑓(𝑥)𝑑𝑥 𝑋が連続確率変数 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 31 / 89
  • 32. 確率 確率分布 分散の性質 確率分布の分散も標本分散と同様に次のような性質を持つ 𝕍[𝑋] = 𝔼[𝑋2 ] − (𝔼[𝑋])2 = 𝔼[𝑋(𝑋 − 1)] + 𝔼[𝑋] − (𝔼[𝑋])2 𝕍[𝑎𝑋 + 𝑏] = 𝑎2 𝕍[𝑋] 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 32 / 89
  • 33. 確率 確率分布 確率分布とチェビシェフの不等式 確率分布についてもチェビシェフの不等式が成り立つ 𝑃(|𝑋 − 𝔼[𝑋]| > 𝑘𝜎) ≥ 1 𝑘2 , 𝑃(|𝑋 − 𝔼[𝑋]| ≤ 𝑘𝜎) ≥ 1 − 1 𝑘2 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 33 / 89
  • 34. 確率 離散確率分布 Subsection 5 離散確率分布 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 34 / 89
  • 35. 確率 離散確率分布 ベルヌーイ分布 実現値が 0 か 1 の 2 種類しかない試行をベルヌーイ試行といい, ベルヌーイ分布 (Bernoulli distribution) に従う コインを投げて表裏のどちらが出るか, 感染症に罹患しているかい ないか, 政権を支持するか支持しないかなど ベルヌーイ分布の確率質量関数は次の通り 𝑥 は 0 か 1 の整数, 𝜃 は [0, 1] の範囲の実数 (𝑥1 の確率) 期待値は 𝜃, 標準偏差は √𝜃(1 − 𝜃) となる 𝐵𝑒𝑟𝑛𝑜𝑢𝑙𝑙𝑖(𝑥|𝜃) = 𝑝(𝑥) = 𝑃(𝑋 = 𝑥) = 𝜃𝑥 (1 − 𝜃)1−𝑥 , 𝑥 = 0, 1 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 35 / 89
  • 36. 確率 離散確率分布 二項分布 同一なパラメーター 𝜃 に従う独立なベルヌーイ試行の和の分布は 二項分布 (binomial distribution) に従う 試行回数 𝑛 = 1 でベルヌーイ分布と一致する コインを 𝑛 回投げて表を向いた回数 𝑥, 確率 𝜃 でウルトラレアがで るガチャを 𝑛 回引いてウルトラレアが出る回数 𝑥 試行回数 𝑛 が十分に大きく, 分布が左右対称に近い場合は期待値 𝑛𝜃, 標準偏差 √𝑛𝜃(1 − 𝜃) の正規分布で近似できる 二項分布の確率質量関数は次の通り 𝑛 は試行回数, 𝑥 は [0, 𝑛] の範囲の整数, 𝜃 は [0, 1] の範囲の実数 期待値は 𝑛𝜃, 標準偏差は √𝑛𝜃(1 − 𝜃) 𝐵𝑖𝑛𝑜𝑚𝑖𝑎𝑙(𝑥|𝑛, 𝜃) = 𝑝(𝑥) = 𝑃(𝑋 = 𝑥) = 𝑛C𝑥𝜃𝑥 (1 − 𝜃)𝑛−𝑥 = 𝑛! 𝑥!(𝑛−𝑥)! 𝜃𝑥 (1 − 𝜃)𝑛−𝑥 , 𝑥 = 0, 1, 2, ⋯ , 𝑛 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 36 / 89
  • 37. 確率 離散確率分布 コンドルセの陪審定理 コインを投げる (正しい確率が 50%) より少しでも個人が正しい 選択をする確率が高ければ, 多数決に参加する人数が増えた分だ け多数決の結果が正しい確率は 1 に近づく 1 人ひとりの選択が正しい確率が 55% だとすると, 3 人で多数決 をした場合には 57.5% となる 同じ条件で 11 人で多数決した場合には 63.3% 多数決が正しい確率は二項分布に従う 累積分布関数 𝐹𝑥(⌊𝑛 2 ⌋) を 1 から引いた確率に相当 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 37 / 89
  • 38. 確率 離散確率分布 0.4 0.6 0.8 1.0 0 100 200 300 多数決に参加する人数 多 数 決 の 結 果 が 正 し い 確 率 個人の選択が 正しい確率 0.6 0.55 0.49 図 3: 多数決の結果が正しい確率 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 38 / 89
  • 39. 確率 離散確率分布 パスカルの三角形 𝜃 が 0.5 の場合, 二項分布はパスカルの三角形で表現できる 1 1 1 1 2 1 1 3 3 1 1 4 6 4 1 1 5 10 10 5 1 1 6 15 20 15 6 1 1 7 21 35 35 21 7 1 1 8 28 56 70 56 28 8 1 1 9 36 84 126 126 84 36 9 1 1 10 45 120 210 252 210 120 45 10 1 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 39 / 89
  • 40. 確率 連続型確率分布 Subsection 6 連続型確率分布 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 40 / 89
  • 41. 確率 連続型確率分布 正規分布 統計学では非常に多くの場合, 正規分布 (normal distribution) が利 用される 正規分布が仮定される場合も多い 身長や模試の点数などは正規分布に従うとされる 正規分布の確率密度関数は次の通り 期待値 𝜇, 標準偏差 𝜎 𝑁𝑜𝑟𝑚𝑎𝑙(𝑥|𝜇, 𝜎) = 𝑓(𝑥) = 1 √ 2𝜋𝜎2 exp (− (𝑥 − 𝜇)2 2𝜎2 ) , −∞ < 𝑥 < ∞ 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 41 / 89
  • 42. 確率 連続型確率分布 標準正規分布 平均 𝜇, 分散 𝜎2 の正規分布に従う確率変数 𝑋2 が標準化された確 率変数 𝑍 = 𝑋−𝜇 𝜎 は, 標準正規分布 (standard normal distribution) に 従う 標準正規分布の確率密度関数は次の通り 期待値 𝜇 = 0, 標準偏差 𝜎2 = 1 𝜙(𝑧) = 1 √ 2𝜋 exp (− 𝑧2 2 ) 2 これは 𝑋 ∼ 𝑁(𝜇, 𝜎2 ) のように表記される 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 42 / 89
  • 43. 確率 連続型確率分布 様々な正規分布の確率密度関数のグラフ 0.0 0.2 0.4 0.6 0.8 -6 -3 0 3 6 colour mean=-2 sd=0.5 mean=-2 sd=1.0 mean=-2 sd=2.0 mean=0 sd=0.5 mean=0 sd=1.0 mean=0 sd=2.0 mean=2 sd=0.5 mean=2 sd=1.0 mean=2 sd=2.0 図 4: 様々な正規分布の確率密度関数のグラフ 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 43 / 89
  • 44. 確率 連続型確率分布 標準正規分布の累積分布関数 標準正規分布の累積分布関数は統計学の中で頻出する Φ(𝑧) = ∫ 𝑧 −∞ 𝜙(𝑡)𝑑𝑡 Φ(−1.96) ≃ 0.025 は覚えておく 両側で計算すると約 5% となる Φ(𝑧) = ∫ 1.96 −1.96 𝜙(𝑡)𝑑𝑡 ≃ 0.95 他にも Φ(−3) = 0.0013 や Φ(−2.58) = 0.005, Φ(−2) = 0.0228, Φ(−1.96) = 0.025, Φ(−1.64) = 0.05, Φ(−1) = 0.1587, Φ(−0.67) = 0.25 などは有名 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 44 / 89
  • 45. 確率 連続型確率分布 様々な正規分布の累積分布関数のグラフ 0.00 0.25 0.50 0.75 1.00 -6 -3 0 3 6 colour mean=-2 sd=0.5 mean=-2 sd=1.0 mean=-2 sd=3.0 mean=0 sd=0.5 mean=0 sd=1.0 mean=0 sd=3.0 mean=2 sd=0.5 mean=2 sd=1.0 mean=2 sd=3.0 図 5: 様々な正規分布の累積分布関数のグラフ 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 45 / 89
  • 46. 確率 連続型確率分布 標準正規分布と ±1𝜎 区間と ±2𝜎 区間 0.0 0.1 0.2 0.3 0.4 -4 -2 0 2 4 図 6: 標準正規分布と ± 1𝜎区間と ± 2𝜎区間 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 46 / 89
  • 48. 母集団と標本 質問 18 歳から 22 歳の若者に向けて政策を実施することを検討してい ます あなたの具体的な友人・知人を最低 10 人思い浮かべてどのよう な政策が必要か考えてみてください 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 48 / 89
  • 49. 母集団と標本 母集団 Subsection 1 母集団 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 49 / 89
  • 50. 母集団と標本 母集団 母集団 分析の対象として興味のある性質や特徴を持つ個体 (unit) の全体 集合のことを母集団 (population) という 母集団は必ずしも存在するものではなく, 概念である場合もある 例として次のものが母集団にあたる 18 歳から 22 歳の若者が望む政策に興味があれば 18 歳から 22 歳の 若者全員 (若者だけでは範囲を特定できないため不可) 政権の支持率に興味があれば有権者全体 工場の不良品出荷率なら (過去及び未来の) 出荷商品全て 新薬の効果ならその病気にかかる (過去及び未来の) 全ての人 母集団の性質や特徴は平均や分散などで特徴づけがなされる 母集団を特徴づける特徴量をパラメーター (parameter) もしくは母 数3 という 3 母数はパラメーターのことであり, 分母などではないことに注意! 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 50 / 89
  • 51. 母集団と標本 母集団 全数調査 母集団全体を調査することを全数調査もしくは悉皆調査 (センサ ス: census) という 5 年に 1 度行われる国勢調査など 全数調査はできない場合も多い 母集団が概念の場合には全数調査はできない コスト (時間や資源) の観点から全数調査を実施できない 全数調査をすることで調査をする意味が失われる (例えば, ある食 品の栄養価を調査したい場合にその商品すべてで調査を行えば販 売できる商品はなくなる) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 51 / 89
  • 53. 母集団と標本 標本とランダムサンプリング 標本 母集団から抽出 (sampling) された部分集合を標本 (sample) という 標本に属する個体 (unit) から得られるそれぞれの情報 (属性値) を データ (datum)4 という データの集合をデータセット (data set) といい, 単にデータ (data) ということも多い 標本内の観測数をサンプルサイズ5 (sample size) といい, 標本の個 数を標本数またはサンプル数 (the number of samples) と呼ぶ 標本の特徴量を (標本) 統計量 ((sample) statistic) という 標本から母集団の特徴を明らかにすることを統計的推論 (statistical inference) という これらの科学的営みを行う分野を総称して推測統計学と呼ぶ 4 datum は単数形であり, data は複数形である 5 サンプルサイズのことをサンプル数という間違いが非常に多いので要注意! 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 53 / 89
  • 54. 母集団と標本 標本とランダムサンプリング サイコロによる例 あるサイコロを投げた時に出る目の全てが母集団 このサイコロの期待値 (出る目の平均 𝜇) が母数 (パラメーター) 統くんがサイコロを 20 回投げた時, その平均 ( ̄ 𝑥) は 3.3 であった 統計量は 3.3, サンプルサイズは 20 計くんがサイコロを 40 回投げた時, その平均 ( ̄ 𝑦) は 3.6 であった 統計量は 3.6, サンプルサイズは 40 全体を通して標本数 (サンプル数) は 2 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 54 / 89
  • 55. 母集団と標本 標本とランダムサンプリング 先ほどの質問 先ほどの質問で大学生 (浪人生を含む) 以外が 4 割を占めた人はど のくらいいましたか? 高等学校卒業者の大学等進学率は 54.7%6 偏りのある標本を抽出してしまうとアウトプットが歪んでしまう サンプリングバイアス 6 学校基本調査-令和元年度結果の概要- (Link) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 55 / 89
  • 56. 母集団と標本 標本とランダムサンプリング ランダムサンプリングの概念 標本は偏りなく母集団を代表しなければならない そのための代表的な方法が無作為抽出 (ランダムサンプリング: random sampling) 乱数表などを用いてランダムに標本を抽出する 無作為に抽出された標本の統計量は確率的に変動する 標本統計量は確率変数であり, ある確率分布に従うと考えられる その確率分布を標本分布 (sampling distribution) という 標本の特徴量と母集団の特徴量の差を標本誤差という 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 56 / 89
  • 58. 母集団と標本 標本とランダムサンプリング ランダムサンプリングの定義 抽出された (実際に観測された) 各値 𝑥1, 𝑥2, … , 𝑥𝑛 は確率変数 𝑋1, 𝑋2, … , 𝑋𝑛 それぞぞれの実現値であり, 実現値の集合が標本 同一の確率分布 𝑃(⋅) に従い, 互いに独立に分布する確率変数 𝑋1, 𝑋2, … , 𝑋𝑛 の実現値の集合がランダム標本 (random sample) 同一の確率分布 𝑃(⋅) に従い, 互いに独立に分布することを互いに 独立に同一分布に従う (independently and identically distributed) と いい, 次のように表す 𝑋1, 𝑋2, … , 𝑋𝑛, 𝑖.𝑖.𝑑 ∼ 𝑃(⋅) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 58 / 89
  • 59. 母集団と標本 標本とランダムサンプリング 復元抽出と非復元抽出 抽出する際には, 復元抽出と非復元抽出がある 復元抽出では, すでに抽出された要素を母集団に戻して再び抽出 可能とする サイコロを投げる場合は, 1 が出たとしても次にまた同じ 1 が出る 可能性があるので復元抽出となる 非復元抽出では, すでに抽出された要素を母集団から除外して無 作為抽出を続ける よく混ぜられたトレーディングカードゲームのデッキから 1 枚引 いて場に置き, さらに 1 枚引く場合には非復元抽出となる 一般的には非復元抽出が行われる 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 59 / 89
  • 60. 母集団と標本 標本とランダムサンプリング (補足) ランダムの強み: モンテカルロ・シミュレーシ ョン ランダムに行うというのはとても強力な手段となりうる 規則的に行うシステマティック・シミュレーションと比較して, ランダムに行うモンテカルロ・シミュレーションは早く真の値に 近づく 本授業では推測統計の理論を数学的に学ぶだけでなく, モンテカ ルロ・シミュレーションによる検証も積極的に行う 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 60 / 89
  • 61. 母集団と標本 標本とランダムサンプリング 円周率とモンテカルロ・シミュレーション 円の中心が (0, 0) で, 半径 1 の単位円から (𝑥 > 0, 𝑦 > 0) の第 1 象 限を切り出して考える 1 辺の長さが 1 の正方形の範囲内にランダムに点を打つ 円の範囲内に含まれる点の割合を 4 倍すると円周率の近似解が求 められる 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 61 / 89
  • 62. 母集団と標本 標本とランダムサンプリング Monte_Carlo Systematic 0.00 0.25 0.50 0.75 1.00 0.00 0.25 0.50 0.75 1.00 0.00 0.25 0.50 0.75 1.00 x y 図 7: モンテカルロ法とシステマティック法による円周率の推定イメージ 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 62 / 89
  • 63. 母集団と標本 標本とランダムサンプリング 2.7 2.8 2.9 3.0 3.1 3.2 0 500 1000 1500 2000 2500 点の数 円 周 率 図 8: モンテカルロ法 (赤) とシステマティック法 (青) による円周率の推定 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 63 / 89
  • 65. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- Subsection 1 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 65 / 89
  • 66. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 標本平均の期待値 ランダム標本 𝑋1, … , 𝑋𝑛 の算術平均の期待値 𝔼[𝑋] から母平均 𝔼[𝑋𝑖] = 𝜇 を導くことができる 統計量 (標本の特徴量) の期待値が母数 (母集団の特徴量) に一致 することを不偏性という 𝔼[𝑋] = 𝔼 [ 1 𝑛 𝑛 ∑ 𝑖=1 𝑋𝑖] = 1 𝑛 𝑛 ∑ 𝑖=1 𝔼[𝑋𝑖] = 1 𝑛 𝑛 ∑ 𝑖=1 𝜇 = 1 𝑛 𝑛𝜇 = 𝜇 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 66 / 89
  • 67. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 二項分布を用いた標本平均の期待値の例 1 あるテレビ番組の視聴率が 20% であるとする 母集団であるテレビを視聴する人から 10 人を無作為抽出する ここでテレビの出演者の家族を抽出すれば無作為ではないことは 明らか また, 日中の番組にも関わらず平日の新橋にいるサラリーマンを抽 出すれば全体を代表しない 抽出した 10 人のうち, その番組を視聴した人数 𝑥 によって, 標本 内の視聴率が求められる この 0% から 100% までを取る標本比率 ̂ 𝑝 の変化を標本変動という 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 67 / 89
  • 68. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 二項分布を用いた標本平均の期待値の例 2 この場合, 10 人を無作為抽出したときにその番組を視聴した人数 𝑥 は 𝑛 = 10, 𝑝 = 0.2 の二項分布7 に従うと考えられる 標本比率 ̂ 𝑝 の期待値は母比率 𝑝 = 0.2 と一致する 𝔼( ̂ 𝑝) = 𝔼 (𝑥 𝑛 ) = 1 𝑛 𝔼(𝑥) = 1 10 ∑ 10 𝑖=0 𝑥𝑖 10! 𝑥𝑖!(10−𝑥𝑖)! 0.2𝑥𝑖 (1 − 0.2)10−𝑥𝑖 = 2 10 = 0.2, 𝑥 = 0, 1, 2, ⋯ , 10 7 厳密には超幾何分布に従うが, 十分に 𝑛 が大きい場合は二項分布で近似できる 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 68 / 89
  • 69. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 標本平均の分散 ランダム標本 𝑋1, … , 𝑋𝑛 の算術平均の分散 𝕍[𝑋] は 𝜎2 𝑛 となる 𝕍( ̄ 𝑋) = 𝔼[(𝑋 − 𝜇)2 ] = 𝔼 [( 1 𝑛 ∑ 𝑛 𝑖=1 𝑋𝑖 − 𝜇) 2 ] = 𝔼 [{ 1 𝑛 ∑ 𝑛 𝑖=1 (𝑋𝑖 − 𝜇)} 2 ] = 𝔼 [ 1 𝑛2 {∑ 𝑛 𝑖=1 (𝑋𝑖 − 𝜇)} 2 ] = 1 𝑛2 𝔼 [{∑ 𝑛 𝑖=1 (𝑋𝑖 − 𝜇)} 2 ] = 1 𝑛2 𝔼 [∑ 𝑛 𝑖=1 (𝑋𝑖 − 𝜇)2 + ∑ 𝑛 𝑖=1 ∑ 𝑛 𝑗=1,𝑗≠𝑖 (𝑋𝑖 − 𝜇)(𝑋𝑗 − 𝜇)] = 1 𝑛2 ∑ 𝑛 𝑖=1 𝔼[(𝑋𝑖 − 𝜇)2 ] + 1 𝑛2 ∑ 𝑛 𝑖=1 ∑ 𝑛 𝑗=1,𝑗≠𝑖 𝔼[𝑋𝑖 − 𝜇]𝔼[𝑋𝑗 − 𝜇] = 1 𝑛2 ∑ 𝑛 𝑖=1 𝔼[(𝑋𝑖 − 𝜇)2 ] + 0 = 1 𝑛2 ∑ 𝑛 𝑖=1 𝜎2 = 1 𝑛2 𝑛𝜎2 = 𝜎2 𝑛 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 69 / 89
  • 70. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 二項分布を用いた標本平均の分散の例 再び母比率 (視聴率)20% のテレビ番組を例とする 10 人を抽出して 𝑥 人が視聴する際の標本平均の分散は 0.016 となる 𝕍( ̂ 𝑝) = 𝕍 (𝑥 𝑛 ) = 1 𝑛2 𝕍(𝑥) = 1 102 ∑ 𝑛 𝑖=0 (𝑥𝑖 − 2)2 10! 𝑥𝑖!(10−𝑥𝑖)! 0.2𝑥𝑖 (1 − 0.2)10−𝑥𝑖 = 0.016 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 70 / 89
  • 71. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 大数の弱法則 標本平均の分散 𝕍( ̄ 𝑋) = 𝔼[( ̄ 𝑋 − 𝜇)2 ] が 𝜎2 /𝑛 なら, n(サンプルサ イズ) が大きくなればなるほど ̄ 𝑋 は母平均 𝜇 に近づく これを大数の弱法則 (week law of large number) という チェビシェフの不等式を変形して次の式を得る c は任意の定数 𝑃(| ̄ 𝑋 − 𝜇| ≤ 𝑐) ≥ 1 − 𝜎2 𝑛𝑐2 lim 𝑛→∞ 𝑃(| ̄ 𝑋 − 𝜇| ≤ 𝑐) ≥ lim𝑛→∞ {1 − 𝜎2 𝑛𝑐2 } = 1 確率は常に 1 以下であるため, ̄ 𝑋 は 𝜇 に確率収束 (convergence in probability) する lim 𝑛→∞ 𝑃(| ̄ 𝑋 − 𝜇| ≤ 𝑐) = 1 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 71 / 89
  • 72. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- コイントスと大数の弱法則 10 人 (サンプル数 10) が 10000 回 (サンプルサイズ 10000) ずつコ イントスを行った際に表が出る確率は 0.5 に確率収束する 0.00 0.25 0.50 0.75 1.00 0 2500 5000 7500 10000 サンプルサイズ 表 が 出 る 確 率 図 9: コイントスと大数の弱法則 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 72 / 89
  • 73. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 中心極限定理 標本平均の期待値 𝔼[ ̄ 𝑋] = 𝜇 及び分散 𝕍( ̄ 𝑋) = 𝜎2 𝑛 を利用し, 標本 平均 ̄ 𝑋 を標準化する 標準化されているため, 𝔼[𝑍𝑛] = 0, 𝕍(𝑍𝑛) = 1 𝑍𝑛 = ̄ 𝑋 − 𝜇 √𝜎2 𝑛 = √ 𝑛( ̄ 𝑋 − 𝜇) 𝜎 標本平均を標準化した変量 𝑍𝑛 の分布は 𝑛 が大きくなるにつれて 標準正規分布に分布収束 (covergence in distribution) する これを中心極限定理 (central limit theorem) という lim 𝑛→∞ 𝑃 ( √ 𝑛( ̄ 𝑋 − 𝜇) 𝜎 ≤ 𝑧) = ∫ 𝑧 −∞ 1 √ 2𝜋 exp (− 𝑦2 2 )𝑑𝑦 = Φ(𝑧) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 73 / 89
  • 74. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 中心極限定理と標本平均の分布 サンプルサイズ 𝑛 が十分に大きい時, 標本平均 ̄ 𝑋 の分布は中心極 限定理から, 平均 𝜇, 分散 𝜎2 𝑛 の正規分布で近似できる ̄ 𝑋 ≈ 𝑁 (𝜇, 𝜎2 𝑛 ) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 74 / 89
  • 75. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- コイントスの標本平均の分布 10000 人 (サンプル数 10000) が 10 回と 100 回, 1000 回 (各サンプ ルサイズ 10, 100, 1000) コインを投げた時の標本平均の分布は次 のスライド 標本平均の分布は期待値 𝜇 = 100∗0.5 100 , 分散 𝜎2 = 100×0.5×(1−0.5) 100 の 正規分布に従う (サンプルサイズ 100 の時) サンプルサイズ 10 は赤で, サンプルサイズ 100 は緑で, サンプルサ イズ 1000 は青で示した 色が塗られているのはデータ (実現値) から計算された密度区間 理論上の正規分布は点線で示した 色の塗られた密度区間と理論上の正規分布の点線がほぼ一致する ことがわかる 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 75 / 89
  • 76. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 0.00 0.25 0.50 0.75 1.00 標本平均 size 10 100 1000 図 10: コイントスと中心極限定理 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 76 / 89
  • 77. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- 標準化した値と中心極限定理 サンプルの各実現値を標準化した値の密度分布は標準正規分布に 近い形状となる サンプルサイズが大きくなればなるほど (無限大に近づくほど) 標 準正規分布に分布収束する しかし, 標準正規分布と比較してサンプルサイズが小さいほど山 の頂点が低くなる 分布の山が低くなるとは, 標準偏差が大きくなるということ 期待値は同じ 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 77 / 89
  • 78. 標本分布 期待値 𝜇 -標本平均値 ̄ 𝑥 の標本分布- -2.5 0.0 2.5 標準化された標本平均 size 10 100 1000 図 11: 標準化した値と中心極限定理 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 78 / 89
  • 80. 標本分布 正規母集団の標本分布 正規分布から派生した分布 確率分布が正規分布である母集団を正規母集団という 正規母集団の標本分布として, 正規分布に関連して派生した分布 に t 分布や 𝜒2 分布, F 分布などがある 検定などでよく利用されるため, 簡単に扱う 詳細は利用する際に説明を行う 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 80 / 89
  • 81. 標本分布 正規母集団の標本分布 𝜒2 分布 標準化された確率変数の 2 乗 𝑍2 は自由度 1 の 𝜒2 分布に従う 𝑛 個の相互に独立な標準化された確率変数 𝑍𝑛 の平方和 𝑊 = ∑ 𝑍2 𝑛 は自由度 𝜈 の 𝜒2 分布に従う 自由度 𝜈 が十分に大きい時, 正規分布で近似できる 確率密度関数は次の通り 自由度 𝜈 は自然数 (𝜈 = 𝑛) 期待値は 𝜈, 標準偏差は √ 2𝜈 𝜒2 (𝑥|𝜈) = 𝑓(𝑥) = 1 Γ(𝜈/2) ( 1 2 ) 𝜈 2 𝑥 𝜈 2 −1 exp (− 𝑥 2 ) , 𝑥 > 0 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 81 / 89
  • 82. 標本分布 正規母集団の標本分布 (補足)Γ 関数 Γ 関数は次の式で表される Γ(𝛼) = ∫ ∞ 0 𝑥𝛼−1 𝑒−𝑥 𝑑𝑥, 𝛼 > 0 Γ 関数は次のような性質を持つ Γ(1/2) = √ 𝜋 Γ(1) = 1 Γ(𝛼 + 1) = 𝛼Γ(𝛼) Γ(𝑛 + 1) = 𝑛! 𝑛が自然数の時 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 82 / 89
  • 83. 標本分布 正規母集団の標本分布 様々な 𝜒2 分布の確率密度関数のグラフ 0.00 0.25 0.50 0.75 1.00 0 5 10 15 colour df=1 df=2 df=3 df=4 df=5 df=6 df=7 df=8 df=9 図 12: 様々な 𝜒2 分布の確率密度関数のグラフ (点線は標準正規分布) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 83 / 89
  • 84. 標本分布 正規母集団の標本分布 Student の 𝑡 分布 Student の t 分布 (Student’s t-distribution) は標準正規分布と似た形 状をしており, 自由度 1 のときに裾が長く期待値が定義できない コーシー分布となり, 自由度 ∞ のときに標準正規分布と一致する 標準正規分布よりも裾が広い (標準正規分布よりも分散が大きい) 自由度 𝜈 が大きくなるほど分散が 1 に近づく 確率密度関数は次の通り 期待値 0, 標準偏差 √ 𝜈 𝜈−2 𝑡(𝑥|𝜈) = Γ((𝜈 + 1)/2) Γ(𝜈/2) √ 𝜋𝜈 (1 + 𝑥2 𝜈 ) −( 𝜈+1 2 ) , −∞ < 𝑥 < ∞ 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 84 / 89
  • 85. 標本分布 正規母集団の標本分布 𝑡 分布と 𝜒2 分布 𝑡 分布は 𝜒2 分布と標準正規分布 𝑧 から導出することができる 𝑡(𝑥|𝜈) = 𝑍 √𝜒2 𝜈/𝜈 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 85 / 89
  • 86. 標本分布 正規母集団の標本分布 自由度 自由度 (degree of freedom) とは自由に値を動かすことのできるデ ータの数 𝜈 を用いて表されることが多い 例えば, ∑ 𝑛 𝑖=1 𝑥𝑖 − ̄ 𝑥 は必ず 0 となるが, 𝑛 − 1 個の値を自由に動か したとしても 𝑛 番目の値は 𝑛 − 1 個の値によって自動的に決定さ れるため, 自由度 𝜈 はサンプルサイズ 𝑛 から 1 を引いた値となる 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 86 / 89
  • 87. 標本分布 正規母集団の標本分布 様々な t 分布の確率密度関数のグラフ 0.0 0.1 0.2 0.3 0.4 -5.0 -2.5 0.0 2.5 5.0 colour df=1 df=2 df=3 df=4 df=5 df=6 df=7 df=8 df=9 図 13: 様々な t 分布の確率密度関数のグラフ (点線は標準正規分布) 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 87 / 89
  • 88. 標本分布 正規母集団の標本分布 F 分布 2 つの母集団間の分散の差の有無の検定などで利用される分布に F 分布がある 自由度 𝜈 の t 分布に従う確率変数 𝑇2 は自由度 (1, 𝜈) の F 分布に 従う 𝐹𝑖 ∼ 𝐹(𝜈1, 𝜈2) なら, 𝐹−1 𝑖 ∼ 𝐹(𝜈2, 𝜈1) となる F 分布の確率密度関数は次の通り 自由度 𝜈1, 𝜈2 は自然数 𝐹(𝑥|𝜈1, 𝜈2) = Γ((𝜈1 + 𝜈2)/2) Γ(𝜈1/2)Γ(𝜈2/2) (𝜈1𝜈2)𝜈1/2 𝑥𝜈1/2−1 (1 + (𝜈1/𝜈2)𝑥)(𝜈1+𝜈2)/2 , 𝑥 > 0 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 88 / 89
  • 89. 標本分布 正規母集団の標本分布 0.0 0.5 1.0 1.5 0 2 4 6 colour df1=1 df2=1.0 df1=1 df2=5.0 df1=1 df2=9.0 df1=5 df2=1.0 df1=5 df2=5.0 df1=5 df2=9.0 df1=9 df2=1.0 df1=9 df2=5.0 df1=9 df2=9.0 図 14: 様々な F 分布の確率密度関数のグラフ 中島有希大 基礎から学ぶ回帰分析 2022 年 4 月 15 日 89 / 89