Pythonで簡単な統計･分析をしてみよう！

2019年6月28日
Python 入門 #1
Pythonで簡単な統計･分析をしてみよう！
本社事業部横山.M

© 2019 Core Concept Technologies Inc.
１. 自己紹介
２. 統計、分析をあなたは任せられました！
1. 使いたいツールを決めよう！
2. 測定回数は？
3. 正規分布かな？
Index
1CONFIDENTIAL

本社(HQ)事業部横山.M
いつもはGCP上でサーバレスのPythonやJavaの
モジュール書いてます！
最近は新人にオブジェクト指向とか教えてます！
好きな言語:C++、CUDA
1.自己紹介
2CONFIDENTIAL

早速ですが、
2.統計、分析をあなたは任せられました！
3CONFIDENTIAL

あなたは統計、分析を上司から任せられました！
4CONFIDENTIAL

何のツールを使いますか！？
5CONFIDENTIAL

ツールその1:エクセル
6CONFIDENTIAL

イケてるところ:
• 大体のパソコンに入ってる
• WYSIWYG(画面の見た目がそのまま印刷
される)な感じで操作しやすいし印刷しや
すい
• 基本的な操作はググらなくてもできる
7CONFIDENTIAL

イケてないところ:
• プログラムを書くようには操作できない
8CONFIDENTIAL

ツールその2:Python(やR言語)
9CONFIDENTIAL

• サンプルコードコピペすれば動く
• 図の出力もコードで簡単
• プログラマーが計算しやすい
10CONFIDENTIAL

• なんかかっこいい(とってもだいじ)
• あたまがよくなる(良くなった気分にな
る)
11CONFIDENTIAL

イケてないところ:
• そもそもPython入れるのめんどい
• 慣れるまでは、
Python？なにそれ美味しいの？(すっと
ぼけ)
12CONFIDENTIAL

結論
13CONFIDENTIAL

プログラム書けるならExcel使うより
Python使ったほうがモテる！！！！！(私
の感想)
14CONFIDENTIAL

ということでPython使いましょう。
15CONFIDENTIAL

1つの例題に沿って、Pythonの使い
方を学びながら(時間の関係上)途中
まで進めます。
16CONFIDENTIAL

例題:あなたは既存のプログラムを
高速化しました。
さて、どれくらいの時間で終わるよ
うになりましたか？
17CONFIDENTIAL

ﾎﾟｸﾎﾟｸﾎﾟｸﾁｰﾝ
18CONFIDENTIAL

何回か計測して平均(もしくは中央
値)出せば良いのでは？(適当)
19CONFIDENTIAL

平均や中央値の悪いところ:
• 外れ値とか異常値があるとそれに
引っ張られる(平均)
• 大きすぎる値や小さすぎる値の考
慮がなされてない(中央値)
20CONFIDENTIAL

平均や中央値の悪いところ:
• そもそもある値の点で推定するの
が悪いのでは(突然のひらめき)
21CONFIDENTIAL

平均値等をある程度幅をもたせて推
定する区間推定
22CONFIDENTIAL

区間推定の良いところ:
• 95%信頼区間とか呼ばれる難しそうなの
が表現に使える。
• 点推定だとそもそもあくまで点でしか推
定できないけど、区間推定だとデータの
ブレまで考慮できる。
23CONFIDENTIAL

そもそも測定って何回すれば良いん
だっけ？
24CONFIDENTIAL

便利なサイトがあるんだなぁ。
https://bellcurve.jp/statistics/blog
/14347.html
25CONFIDENTIAL

26CONFIDENTIAL

やったあ！
385回測定すれば良いんだね！？
27CONFIDENTIAL

終わり
~Fin~
28CONFIDENTIAL

というわけにはいきません！データ
の前提があります！
29CONFIDENTIAL

母集団が正規分布に従うことが前提
です！
※計測したデータが正規分布に従う前提の
パラメトリック手法です。
30CONFIDENTIAL

じゃあ、どうやって正規分布か調べ
るの。
31CONFIDENTIAL

手法その1:ヒストグラムで確認する
32CONFIDENTIAL

33CONFIDENTIAL

34CONFIDENTIAL
例:きれいな正規分布

35CONFIDENTIAL
観測した分布

なんか正規分布っぽい！(本当か？)
36CONFIDENTIAL

手法その2:
正規確率(Q-Q)プロットで確認する
37CONFIDENTIAL

38CONFIDENTIAL

39CONFIDENTIAL

多分正規分布だ！
※直線上に点が乗ってれば正規分布
40CONFIDENTIAL

手法その3:
シャピロ–ウィルク検定を行う
41CONFIDENTIAL

42CONFIDENTIAL

43CONFIDENTIAL
※p値が0.05以上なら正規分布に従います。

正規分布に従います(きっぱり)
44CONFIDENTIAL

これで先程のサイトが使えるように
なりました。
45CONFIDENTIAL

あとはサンプルサイズに従って計測して、
パラメトリックな手法で煮るなり焼くなり
できます。
46CONFIDENTIAL

時間の関係上、今回はここまでで終わりで
す。
47CONFIDENTIAL

終わり
～Fin～
48CONFIDENTIAL

ちなみに、正規分布に従うことがわかると
何が嬉しいかというと・・・？
50CONFIDENTIAL

外れ値の検出ができる！
ﾅ､ﾅﾝﾀﾞｯﾃｰ!
51CONFIDENTIAL

複数の外れ値検出ができる
スミルノフーグラブス検定が
pypiにありました。
52CONFIDENTIAL

Before:
53CONFIDENTIAL

After:
54CONFIDENTIAL

600と2000の外れ値消えました。
55CONFIDENTIAL

95%信頼区間を求めます。
56CONFIDENTIAL

57CONFIDENTIAL
965から1004です。

95%信頼区間ってなんだろう？
100回95%信頼区間を求めたときにその区間の中
に母平均が95回は入る。
(つまり大体平均が入るだろうという考え)
※母平均が95%の確率で区間の中に入る。わけで
はないです。
58CONFIDENTIAL

Pythonで簡単な統計･分析をしてみよう！

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Pythonで簡単な統計･分析をしてみよう！

Similar to Pythonで簡単な統計･分析をしてみよう！ (20)

More from Core Concept Technologies

More from Core Concept Technologies (20)

Recently uploaded

Recently uploaded (8)

Pythonで簡単な統計･分析をしてみよう！