Pythonで簡単な統計･分析をしてみよう！

2019年6月28日
Python 入門 #1
Pythonで簡単な統計･分析をしてみよう！
本社事業部横山.M

© 2019 Core Concept Technologies Inc.
１. 自己紹介
２. 統計、分析をあなたは任せられました！
1. 使いたいツールを決めよう！
2. 測定回数は？
3. 正規分布かな？
Index
1CONFIDENTIAL

本社(HQ)事業部横山.M
いつもはGCP上でサーバレスのPythonやJavaの
モジュール書いてます！
最近は新人にオブジェクト指向とか教えてます！
好きな言語:C++、CUDA
1.自己紹介
2CONFIDENTIAL

早速ですが、
2.統計、分析をあなたは任せられました！
3CONFIDENTIAL

あなたは統計、分析を上司から任せられました！
4CONFIDENTIAL

何のツールを使いますか！？
5CONFIDENTIAL

ツールその1:エクセル
6CONFIDENTIAL

イケてるところ:
• 大体のパソコンに入ってる
• WYSIWYG(画面の見た目がそのまま印刷
される)な感じで操作しやすいし印刷しや
すい
• 基本的な操作はググらなくてもできる
7CONFIDENTIAL

イケてないところ:
• プログラムを書くようには操作できない
8CONFIDENTIAL

ツールその2:Python(やR言語)
9CONFIDENTIAL

• サンプルコードコピペすれば動く
• 図の出力もコードで簡単
• プログラマーが計算しやすい
10CONFIDENTIAL

• なんかかっこいい(とってもだいじ)
• あたまがよくなる(良くなった気分にな
る)
11CONFIDENTIAL

イケてないところ:
• そもそもPython入れるのめんどい
• 慣れるまでは、
Python？なにそれ美味しいの？(すっと
ぼけ)
12CONFIDENTIAL

結論
13CONFIDENTIAL

プログラム書けるならExcel使うより
Python使ったほうがモテる！！！！！(私
の感想)
14CONFIDENTIAL

ということでPython使いましょう。
15CONFIDENTIAL

1つの例題に沿って、Pythonの使い
方を学びながら(時間の関係上)途中
まで進めます。
16CONFIDENTIAL

例題:あなたは既存のプログラムを
高速化しました。
さて、どれくらいの時間で終わるよ
うになりましたか？
17CONFIDENTIAL

ﾎﾟｸﾎﾟｸﾎﾟｸﾁｰﾝ
18CONFIDENTIAL

何回か計測して平均(もしくは中央
値)出せば良いのでは？(適当)
19CONFIDENTIAL

平均や中央値の悪いところ:
• 外れ値とか異常値があるとそれに
引っ張られる(平均)
• 大きすぎる値や小さすぎる値の考
慮がなされてない(中央値)
20CONFIDENTIAL

平均や中央値の悪いところ:
• そもそもある値の点で推定するの
が悪いのでは(突然のひらめき)
21CONFIDENTIAL

平均値等をある程度幅をもたせて推
定する区間推定
22CONFIDENTIAL

区間推定の良いところ:
• 95%信頼区間とか呼ばれる難しそうなの
が表現に使える。
• 点推定だとそもそもあくまで点でしか推
定できないけど、区間推定だとデータの
ブレまで考慮できる。
23CONFIDENTIAL

そもそも測定って何回すれば良いん
だっけ？
24CONFIDENTIAL

便利なサイトがあるんだなぁ。
https://bellcurve.jp/statistics/blog
/14347.html
25CONFIDENTIAL

26CONFIDENTIAL

やったあ！
385回測定すれば良いんだね！？
27CONFIDENTIAL

終わり
~Fin~
28CONFIDENTIAL

というわけにはいきません！データ
の前提があります！
29CONFIDENTIAL

母集団が正規分布に従うことが前提
です！
※計測したデータが正規分布に従う前提の
パラメトリック手法です。
30CONFIDENTIAL

じゃあ、どうやって正規分布か調べ
るの。
31CONFIDENTIAL

手法その1:ヒストグラムで確認する
32CONFIDENTIAL

33CONFIDENTIAL

34CONFIDENTIAL
例:きれいな正規分布

35CONFIDENTIAL
観測した分布

なんか正規分布っぽい！(本当か？)
36CONFIDENTIAL

手法その2:
正規確率(Q-Q)プロットで確認する
37CONFIDENTIAL

38CONFIDENTIAL

39CONFIDENTIAL

多分正規分布だ！
※直線上に点が乗ってれば正規分布
40CONFIDENTIAL

手法その3:
シャピロ–ウィルク検定を行う
41CONFIDENTIAL

42CONFIDENTIAL

43CONFIDENTIAL
※p値が0.05以上なら正規分布に従います。

正規分布に従います(きっぱり)
44CONFIDENTIAL

これで先程のサイトが使えるように
なりました。
45CONFIDENTIAL

あとはサンプルサイズに従って計測して、
パラメトリックな手法で煮るなり焼くなり
できます。
46CONFIDENTIAL

時間の関係上、今回はここまでで終わりで
す。
47CONFIDENTIAL

終わり
～Fin～
48CONFIDENTIAL

ちなみに、正規分布に従うことがわかると
何が嬉しいかというと・・・？
50CONFIDENTIAL

外れ値の検出ができる！
ﾅ､ﾅﾝﾀﾞｯﾃｰ!
51CONFIDENTIAL

複数の外れ値検出ができる
スミルノフーグラブス検定が
pypiにありました。
52CONFIDENTIAL

Before:
53CONFIDENTIAL

After:
54CONFIDENTIAL

600と2000の外れ値消えました。
55CONFIDENTIAL

95%信頼区間を求めます。
56CONFIDENTIAL

57CONFIDENTIAL
965から1004です。

95%信頼区間ってなんだろう？
100回95%信頼区間を求めたときにその区間の中
に母平均が95回は入る。
(つまり大体平均が入るだろうという考え)
※母平均が95%の確率で区間の中に入る。わけで
はないです。
58CONFIDENTIAL

Pythonで簡単な統計･分析をしてみよう！

More Related Content

What's hot

Similar to Pythonで簡単な統計･分析をしてみよう！

More from Core Concept Technologies

Pythonで簡単な統計･分析をしてみよう！