Downloaded 100 times
![演習１-3：クラスごとに可視化
105
petal-lengthは、2つの分布があるように見える
⇒クラスに分けてヒストグラム及び正規分布で表現
ヒント
クラスごとに分類
irisSetosa = iris[iris.iloc[:,2]=='Iris-setosa']
irisVersicolor = iris[iris.iloc[:,2]=='Iris-versicolor']
irisVirginica = iris[iris.iloc[:,2]=='Iris-virginica']](https://image.slidesharecdn.com/statisticalanalysis-190124093721/85/slide-105-320.jpg)
![演習1-4：母平均の信頼区間の推定
106
“iris_2metrics2.csv”を読み込んで、sepal-lengthの母平均の
95％信頼区間を推定せよ
ヒント
信頼区間の求め方
alpha = 0.95 # 信頼係数95%
n = len(iris['sepal-length']) # sample数
t = stats.t.ppf(1-(1-alpha)/2, n-1) # t分布を用いて確率変数tを計算
t_min = mu - t * sigma / np.sqrt(n-1) # 下限
t_max = mu + t * sigma / np.sqrt(n-1) # 上限](https://image.slidesharecdn.com/statisticalanalysis-190124093721/85/slide-106-320.jpg)
![演習1-6：平均の差の検定
108
クラスを分けて、それぞれsepal-lengthとpetal-lengthの差を
棄却域5%で検定せよ
ヒント
from scipy import stats
t, p = stats.ttest_ind(データA, データB, equal_var=False)
クラスごとに分類
irisSetosa = iris[iris.iloc[:,2]=='Iris-setosa']
irisVersicolor = iris[iris.iloc[:,2]=='Iris-versicolor']
irisVirginica = iris[iris.iloc[:,2]=='Iris-virginica']](https://image.slidesharecdn.com/statisticalanalysis-190124093721/85/slide-108-320.jpg)
統計分析
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. これを「連続分布」と呼びます 離散分布 𝑝(𝑥) 𝑝(𝑥)は確率密度 ある区間を考えれば確率 面積が確率を表す 従って「値𝑥がドンピシャで出る 確率はゼロ」(わかりにくいですが...) 全部の範囲を考えれば1になる 𝑝 𝑥 𝑑𝑥 = 1 確率 密度 𝑥 𝑥 確率 密度 𝑥 本講義では 小文字の𝑝
- 15. (離散・連続以外の)もう一つの分類： パラメトリックとノンパラメトリック パラメトリックな確率分布 少数のパラメータで形状が定まる分布 ex. 正規分布 →平均・分散 ex. 一様分布 → 分布範囲 ノンパラメトリックな確率分布 任意形状の分布 「○○分布」というような名前はない ヒストグラムもその一種 分散 平均 𝑎 𝑏
- 16.
- 17.
- 18.
- 19. (1次元)正規分布: ガウス分布とも呼ばれます 𝜎2 : 分散 𝜇: 平均 関数形は複雑に見えるが，落ち着いて考えてみよう！ 𝜇 𝑝 𝑥 = 1 2𝜋𝜎2 exp − 𝑥−𝜇 2 2𝜎2 𝑥 分散が大きいと山のすそ野が広い 平均は、山の頂上の場所
- 20.
- 21. 正規分布の分散 「自分がどれぐらい外れているか」がわかる 95%が この中に 68%が この中に 𝑥 𝜇 𝜇 +𝜎2 𝜇 + 1.96 𝜎2𝜇 − 𝜎2𝜇 − 1.96 𝜎2 𝜇 ± 𝜎2 𝜇 ± 2.57 𝜎2→99% 𝜇 ± 1.96 𝜎2
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. 全部が無理なら一部だけ：標本 32 無作為抽出 (ランダムサンプリング) 標本 母集団：ありとあらゆる生徒 𝜇: 母平均 （ありとあらゆる生徒の平均点) 𝜎2:母分散 （ありとあらゆる生徒の平均点からのばらつき) 𝑥: 標本平均 = (81 + 67 + 77)/3 = 75 𝑠2 : 標本分散 = (62 + 82 + 22 )/3 ≈ 34.7 𝑁: 標本サイズ = 3 知りようが ない 知りようが ない こちらは わかる 82点 67点 77点
- 33. やりたいこと： 標本平均から母平均を推定したい 33 無作為抽出 (ランダムサンプリング) 標本 母集団：ありとあらゆる生徒 𝜇: 母平均 （ありとあらゆる生徒の平均点) 𝜎2: 母分散 （ありとあらゆる生徒の平均点からのばらつき) 𝑥:標本平均 𝑠2: 標本分散 𝑁: 標本サイズ ③なるべく 正確に 推定したい ①これを知りたいのだが， 全生徒(母集団)が 不可知なので知りようがない ②標本を測れば 計算できます
- 34. 面白い事実1：「標本平均の分布」は 母平均を中心とした正規分布！ 母集団: ありとあらゆる生徒 標本平均 𝑥 頻度 標本１ 標本平均68点 標本２ 標本平均 71点 … 標本𝑁 標本平均 95点 母平均
- 35.
- 36. 面白い事実2： 「標本平均の分布」のバラツキは標本サイズで決まる 36 標本サイズ小 母平均 標本平均 𝑥 標本サイズ大⇒ 標本平均の ばらつき小 標本平均 68点 標本サイズ大標本サイズ大 標本サイズ小 母集団:ありとあらゆる生徒 標本平均 71点 標本平均 95点 標本平均 72点 標本平均 70点 標本平均 68点 まぁ確かに標本サイズが無限大になれば「母平均」からブレないだろう
- 37.
- 38. 面白い事実2： 「標本平均の分布」のバラツキは標本サイズで決まる 標本平均の分散（標本平均のばらつき） 𝜎 𝑥 2 = 𝜎2 𝑁 𝜎2 : 母分散 𝑁:標本サイズ 標本サイズが大きくなるほど， バラツキはどんどん小さく 母平均 標本平均 𝑥 標本サイズ大 標本サイズ小 というわけで，基本的には データは多いほうがよい
- 39.
- 40.
- 41. 練習３： 標本平均の分布 標本数Nを100,1000,10000と変えてみよう！ 分布の形がどう変わるか観察せよ 標本数Nが大きいほど、平均は0に近くなり、分散(標準偏差)は 小さくなるのがわかる（中心極限定理）
- 42.
- 43. 虫のよいケース： 母分散がわかっているケース (1/3) 母分散𝜎2 ＝すべての生徒のテストの点数の分散 ふつうはこれが既知ということはないのだが... これが既知なら，標本平均の分散𝜎𝑥 2 は 𝜎2𝑁 なので … 母平均は「今得られた標本平均の周りに分散𝜎𝑥 2 で分布」と考える のが素直 標本平均68点 𝜎 𝑥 2 = 𝜎2 𝑁 真の平均(母平均)
- 44. 虫のよいケース： 母分散がわかっているケース (2/3) なので... 真の平均は，95%の確率で，標本平均±1.96 𝜎𝑁の 範囲にある！ 母分散𝜎が小 or 𝑁が大 → 区間は狭く(=より正確に) 標本平均 68点 真の平均 (母平均) 標本平均 ±1.96 𝜎 𝑥 2 = ±1.96𝜎 𝑁 95% 95%信頼区間
- 45. さらに... 真の平均は，99%の確率で，標本平均±2.57 𝜎 𝑁の 範囲にある！ 信頼度を高める(95→99%)には区間を広げざるを得ない 虫のよいケース： 母分散がわかっているケース(3/3) 標本平均 68点 真の平均 (母平均) 標本平均 ±2.57 𝜎 𝑥 2 = ±2.57𝜎 𝑁 99% 99%信頼区間
- 46. Q:普通は母分散がわからない．どうするか？ A: 標本サイズ𝑁が大きいなら標本分散で代用 標本平均 72点 標本分散𝜎𝑥 2 78≒ 母分散𝜎2と「みなす」 標本サイズ𝑁 = 例えば 100 でも...標本平均はそのまま信じないのに(信頼区間つきで答える)， 標本分散は「≒母分散」とみなす．ちょっと気持ち悪いなぁ... 気持ち悪いなら，次スライドの方法も使えますよ あとは「虫のよいケース」と同じ
- 47. Q:母分散も不明，𝑁も小さい．どうするか？ A: 次の２つの変更をする 変更１： 母分散の代わりに，標本分散を用いる 変更2：正規分布の代わりに(よく似た)t分布を用いる 標本平均68点 標本分散𝜎 𝑥 2 112 怪しいけど しょうがない 標本平均68点 真の平均 (母平均) 標本平均 ±2.262𝜎𝑥 𝑁 − 1 95% t分布 正規分布では1.96𝜎だったので， t分布を使うと，もっと広め， すなわち安全サイドに 範囲をとることになる
- 48. 参考：なんだろう，t分布... 以下の点だけ抑えておけば十分 wikipedia =正規分布 =標本サイズ𝑁 − 1 ①標本サイズ𝑁→大で 正規分布に近づく ②正規分布よりつぶれ ている → 同じ信頼度なら 区間は広がる
- 49.
- 50.
- 51.
- 52. 統計的検定とは何で，いつ使うのか？ 「AとBは差がある」と統計的に言いたいときに使う 事例 東京と福岡で平均所得に差があるか？ あるトレーニングを行った前後で能力に差が出たか？ あるダイエット食品に効果があるか？ • ダイエット食品と食べた群と食べなかった群に差があるか？ ある遺伝子がある病気の原因になるか？ • 「野生型」と「その遺伝子をノックアウトした型」で，病気の罹患率に差があるか？
- 53.
- 54. 統計的検定の基本手順 (1/3) 帰無仮説の設定 言いたいことと反対の仮説(「AとBに差はない」)を立てる 仮説の下で矛盾が起こることを証明 ＝そもそも仮説が間違っていた 対立仮説(「AとBに差はある」)を採択 なんかすごく回りくどく見える 最初から「差がある」ことを示せばいいのでは？ 九大生と考える 九大生ならそんな 点数とるはずがない 九大生ではない
- 55. 統計的検定の基本手順 (2/3) 回りくどく見えますが... 「差がある」ことを直接証明するよりも 「差がない」ことを前提にして矛盾を導くほうが楽 いわゆる「背理法」 「 2が有理数でない」ことを直接証明するよりも 「 2が有理数である」ことを前提にして矛盾を導くほうが楽 1つでも矛盾が見つかれば，それで否定できる点がありがたい！ 正面から試行錯誤しながら追及するより， 容疑者に自分の正しさを証明させながら， そのほころびを(1つでも)見つけたほうが早い
- 56. 統計的検定の基本手順 (3/3) もうちょっと詳細 帰無仮説の設定 言いたいことと反対の仮説(「AとBに差はない」)を立てる 検定統計量の計算 例えば標本平均 確率の計算 その統計量が「どの程度起こりうるものなのかどうか」 仮説の判定 そもそも仮説が間違っていた 対立仮説(「AとBに差はある」)を採択 九大生と考える 「九大生ならとるはずが ない」点数をとった 九大生と考えたのが 間違いだった 九大生としての テストを受験させる 九大生ではない
- 57.
- 58.
- 59.
- 60. 平均の検定： その平均は母集団に受け入れられるのか？（1/5） 母集団の分布(母平均𝜇 ，母分散𝜎2 )はわかっているとする あまり現実にはないが，今回はシンプルな例ということで 標本平均の分布は(既述の通り)正規分布になる 母平均（既知） 標本平均 𝑥𝜇 母平均,母分散 標本平均 標本平均 標本平均 標本平均の分散＝ 母分散 𝜎2 標本サイズ 𝑁 九大全体 元の分布によらず，常に正規 分布になるのはありがたい！ 中心極限定理バンザイ！
- 61.
- 62. 平均の検定： その平均は母集団に受け入れられるのか？（4/5） 端っこのほうにきたら(リスクは少々あるが)棄却して しまう！ 九大生でない！と 結論しても， それが過ちである 可能性は高々5% 標本平均 𝑥母平均𝜇 95% 𝜇 −1.96 𝜎 𝑁 𝜇 + 1.96 𝜎 𝑁 「九大生である」という 帰無仮説を 有意水準5%で棄却できる 九大生じゃないでしょ！ ヤバイ，バレタ！
- 63. 平均の検定： その平均は母集団に受け入れられるのか？（5/5） もっと端っこなら，もっと自信をもって棄却できる 標本平均 𝑥母平均𝜇 99% 𝜇 −2.57 𝜎 𝑁 𝜇 + 2.57 𝜎 𝑁 「九大生である」という 帰無仮説を 有意水準1%で棄却できる 九大生でない！と 結論しても， それが過ちである 可能性は高々1%
- 64.
- 65.
- 66.
- 67.
- 68. 平均の差の検定～実際の攻め方 68 K大学の母集団 標本 L大学の母集団 標本 𝑥 𝐾と 𝑥𝐿の差 母平均は異なる ＝母集団には 有意差がある 標本平均 𝑥 𝐾 標本平均 𝑥 𝐿 この差は「母平均が 等しい」という仮説下 ではあり得ない
- 69. 標本平均の差をテストしたいんです： t分布する二つの値の「差」も，やはりt分布 69 K大学 L大学 母平均(未知) 標本平均 𝑥𝐾 𝜇 𝐾 標本平均の 分布 (t分布) 母平均(未知) 標本平均 𝑥 𝐿 𝜇 𝐿 標本平均の 分布 (t分布)𝑥 𝐾と 𝑥 𝐿の 差をチェックしたい 標本分散𝜎 𝐾 2 𝑁 − 1 標本平均 𝑥 𝐾 − 𝑥 𝐿 𝜎 𝐾 2 𝑁−1 + 𝜎 𝐿 2 𝑁−1 𝜇 𝐾 − 𝜇 𝐿 標本平均の 差の分布 (t分布) 標本分散𝜎𝐿 2 𝑁 − 1 t分布の場合も 同様でよかったー
- 70. Python で t検定 Python で実行するのはとても簡単！ 1. 差があるか確認したいデータを２つ用意 2. 有意水準を決定：5% 3. 2つのデータを関数に放り込む 4. t, p値が出る 5. p値が0.05(5%)以下なら、有意に差がある 70 0 t分布 赤い区間に入る確率：p値 t値 95% p値
- 71.
- 72.
- 73.
- 74.
- 75. プログラム：ｔ検定 帰無仮説は「福岡と東京の８月の気温に差はない」 t 検定！（たった２行！） 75 P <0.05 で有意性あり！ （福岡と東京に気温差はある！） t値：4.42853766713 p値：4.37071161374e-05
- 76.
- 77. 練習５：irisデータ Sepal length とsepal widthの平均の差に 有意差があるかを調べよ まずは、ヒストグラムで可視化せよ t 検定で t 値，p 値を求めよ 77
- 78.
- 79. 平均の差の検定（t 検定）：対応あり 対応ある項目を比較 同じ学生が複数の科目を受験 • 英語と数学の平均点 東京と福岡の気温に差があるか？ •同じ日の気温で対応付けて、東京、福岡で差があるか？ ・・・ Aさん Bさん 数学 英語 70点 90点 70点 80点 60点 60点 ・・・ 1/1 1/2 7℃ 9℃ 8℃ 9℃ 12℃ 13℃ 東京 福岡 12/31
- 80. 平均の差の検定（t 検定）：対応あり K大学の母集団 標本 ・・・ Aさん Bさん 数学英語 70点 90点 70点 80点 60点 80点 点数の差 20 10 0 ・・・ 母集団で、生徒ごとの英語と数学 の点数に差がないなら、点数の差 の平均は0になるはず。
- 81. 平均の差の検定（t 検定）：対応あり 標本 ・・・ 数学 英語 70点90点 70点 80点 60点 80点 点数の差 20 10 0 ・・・ K大学の母集団 差の母平均(未知) 𝜇 𝐸−𝑀 = 0 点数の差の標本平均： 𝑥 𝐸−𝑀 = 10 これはめったに起きないこと？
- 82. 平均の差の検定（t 検定）：対応あり 対応ある検定では 1.差があるか確認したい対応があるデータを２つ用意 2. 有意水準を決定：5% 3. 2つのデータを関数に放り込む 関数の中で、自動で対応あり検定を行ってくれている 4. t, p値が出る 5. p値が0.05(5%)以下なら、有意に差がある 82 0 t分布 赤い区間に入る確率：p値 t値 95% p値
- 83.
- 84.
- 85. 対応あり：プログラミング stats.ttest_rel：対応あり 日にちが対応している stats.ttest_ind：対応なし 日にちが対応してない場合 85 今回は対応あり！ 帰無仮説は「福岡と東京の８月の気温に差はない」 p <0.05 で有意性あり！ （福岡と東京に対応ありで気温差はある！）
- 86.
- 87.
- 88. 平均の差の検定（t 検定）：片側検定 帰無仮設は「平均が同じ」⇒棄却 あくまで、「平均は違う」ということしか言っていない 大小関係を言いたい場合は、片側検定でよい 880 両側 検定 95％信頼区間 両側足して5% t値 t分布 t値 片側 検定 0.0250.025 0.05 片側だけで5%
- 89. 分散分析(ANOVA)の必要性 ３群以上（例えば工学部，理学部，経済学部で英語の点数に 差があるか？）の場合、各組合せでt検定を行ってよい？ 89 母集団 標本A 標本B標本C 母集団 の分布 標本 分布A 標本 分布B 標本 分布C 差がないと仮定すると 母集団の分布は同じ たまたま点数が偏って標本されたかもしれない 群数が多いと、偏って標本される可能性が増える！ 群間同士の分散を考慮した 検定(分散分析)が必要！
- 90.
- 91.
- 92. 分散分析：プログラム 帰無仮説：東京、京都、福岡の8月の気温に 差はない 92 t値：11.8908068734 p値：2.61618782054e-05 P < 0.05で有意性あり！ （福岡と東京、京都の8月の気温に差はある！）
- 93.
- 94. 多重比較結果例 94 ================================ ============ group1 group2 meandifflower upper reject -------------------------------------------- 0.0 1.0 -2.1935 -3.3511 -1.036 True 0.0 2.0 -0.3226 -1.4802 0.835 False 1.0 2.0 1.871 0.7134 3.0286 True -------------------------------------------- どの項目とどの項目に差があるのか比較 Tukey-Kramerの検定を利用 結果 福岡ー東京間に差がある 福岡ー京都間に差がない 東京ー京都間に差がある ０：福岡 １：東京 ２：京都
- 95. 比率の検定：カイ二乗検定 喫煙者と非喫煙者で肺癌の割り合いを調査 喫煙者と非喫煙者で肺癌になる割合が異なるように見える 喫煙者で肺癌になる割合：40％ 非喫煙者で肺癌になる割合：20％ この比率の差は、標本時にたまたま偏ってうまれた差？ ⇒比率の検定：カイ二乗検定 95 正常 肺癌 合計 喫煙者 60 40 100 非喫煙者 120 30 150 合計 180 70 250
- 96. 比率の検定：カイ二乗検定 帰無仮説：「喫煙者と非喫煙者で肺癌になる割合に差はない」 実際の標本調査の数：観測度数 比率に差がないとしたときの期待される数：期待度数 観測度数と期待度数を比べる カイ二乗値 96 正常 肺癌 合計 喫煙者 60(72) 40(28) 100 非喫煙者 120(108) 30(42) 150 合計 180 70 250 (観測度数 − 期待度数)2 期待度数 = (72 − 60)2 72 + ⋯ + (42 − 30)2 42
- 97. 比率の検定：カイ二乗検定 観測度数と期待度数を比べる カイ二乗値 カイ2乗値を用いて、カイ二乗分布よりp値を算出 97 正常 肺癌 合計 喫煙者 60(72) 40(28) 100 非喫煙者 120(108) 30(42) 150 合計 180 70 250 (観測度数 − 期待度数)2 期待度数 = (72 − 60)2 72 + ⋯ + (42 − 30)2 42
- 98. 比率の検定：カイ二乗検定 観測度数と期待度数を比べる カイ二乗値 カイ2乗値を用いて、カイ二乗分布よりp値を算出 98 正常 肺癌 合計 喫煙者 60(72) 40(28) 100 非喫煙者 120(108) 30(42) 150 合計 180 70 250 (観測度数 − 期待度数)2 期待度数 = (72 − 60)2 72 + ⋯ + (42 − 30)2 42 自由度：df = (r-1)(k-1) #r = 表の行の数,k = 表の列の数
- 99.
- 100. その他注意事項 順序尺度（５段階アンケートなど）は 通常の t 検定で分析してはいけません ノンパラメトリック検定をやるのが一般的 ただし、許されている分野もある。。。 検定方法は色々な方法があります 不安な場合は調べましょう (webで検索すれば良いサイトがたくさんあります） 100
- 101.
- 102.
- 103. 演習１-1：ヒストグラム 103 “iris_2metrics2.csv”を読み込んで、sepal-lengthとpetal- lengthそれぞれのヒストグラムを作成してみよう ヒント データ読み込み： import pandas as pd pd.read_csv(‘’) ヒストグラム Import matplotlib.pyplot as plt plt.hist()
- 104. 演習１-2：正規分布での表現 104 それぞれのデータ分布に対して、正規分布で表現 ヒント 各項目の平均、分散を求めて、その2つのパラメータで正規分布を作成 x = np.arange(min,max,0.01) plt.plot(x,norm.pdf(x,loc=mu,scale=sigma),lw=3,color="r")
- 105. 演習１-3：クラスごとに可視化 105 petal-lengthは、2つの分布があるように見える ⇒クラスに分けてヒストグラム及び正規分布で表現 ヒント クラスごとに分類 irisSetosa = iris[iris.iloc[:,2]=='Iris-setosa'] irisVersicolor = iris[iris.iloc[:,2]=='Iris-versicolor'] irisVirginica = iris[iris.iloc[:,2]=='Iris-virginica']
- 106. 演習1-4：母平均の信頼区間の推定 106 “iris_2metrics2.csv”を読み込んで、sepal-lengthの母平均の 95％信頼区間を推定せよ ヒント 信頼区間の求め方 alpha = 0.95 # 信頼係数95% n = len(iris['sepal-length']) # sample数 t = stats.t.ppf(1-(1-alpha)/2, n-1) # t分布を用いて確率変数tを計算 t_min = mu - t * sigma / np.sqrt(n-1) # 下限 t_max = mu + t * sigma / np.sqrt(n-1) # 上限
- 107. 演習1-５：平均の差の検定 107 “iris_2metrics2.csv”を読み込んで、sepal-lengthとpetal- lengthの平均の差を棄却域5%で検定せよ ヒント 検定 from scipy import stats t, p = stats.ttest_ind(データA, データB, equal_var=False)
- 108. 演習1-6：平均の差の検定 108 クラスを分けて、それぞれsepal-lengthとpetal-lengthの差を 棄却域5%で検定せよ ヒント from scipy import stats t, p = stats.ttest_ind(データA, データB, equal_var=False) クラスごとに分類 irisSetosa = iris[iris.iloc[:,2]=='Iris-setosa'] irisVersicolor = iris[iris.iloc[:,2]=='Iris-versicolor'] irisVirginica = iris[iris.iloc[:,2]=='Iris-virginica']
- 109. 演習1-７：分散分析 109 “iris.csv”を読み込んで、sepal-length,sepal-width,petal- length,petal-widthの平均に差があるかを検定せよ ヒント 分散分析 from scipy import stats t, p = stats.f_oneway(データA,データB,データC,データD)
- 110. 演習２ 以下のデータに対し，仮説で t 検定を行い， 平均の差に有意性はあるか，ないか答えよ •有意水準は 0.05 とする • ヒント：対応あり，なし．2群，3群以上 生徒A~Jの成績データ • grade1.csv • grade2.csv • grade3.csv 110