ようやく分かった！最尤推定とベイズ推定

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

ようやく分かった！
最尤推定とベイズ推定
-そして機械学習へ-
大阪大学情報科学研究科
マルチメディア工学専攻
修士２年増田彬

まずは反省
• 機械学習のツールを使っていてもその中身
をほとんど理解していなかった
→ブラックボックス統計学
• 手法の実現を試みてばかりで，学習手法の
特性や分析するデータの特性を考えずに
研究してきた
?
時間ないし，理論
むずいからデー...

構成
• 最尤推定とベイズ推定の話
• 機械学習を使う際の心構え

ベイズ推定と最尤推定
• Wikipediaより
分かったような，分からないような…
でも，これを理解しないとより高度な手法
が理解できない [機械学習の基礎]
“ベイズ確率の考え方に基づき、観測事象（観測された
事実）から、推定したい事柄（そ...

身近なことで説明しよう
• 世の研究室には学生とラボ畜がいる
よゆー
今日もラボだブヒ～

研究室のブラック具合
• ホワイトな研究室もあれば，ブラックな
研究室もある
．．．．．．研究室 M研究室 A
M教授

条件付き確率
• 研究室AとMがあるとする．
ともに学生が３人所属している．
ランダムに選んだ研究室から1人の
学生を選んだとき「ラボ畜」かどうか？
研究室 M研究室 A
研究室A 研究室M
学生
ラボ畜
どちらの研究室が選ばれるか?
ランダム...

• 事象 𝐷を「観測データ」事象 𝐻を「データの発生源」とする．
• ラボ畜モデルで言えば， 𝐷が学生， 𝐻が研究室
同時確率は
と表せるため，以下のベイズの公式が求まる
ここで，尤度 𝑃 𝐷 𝐻 とは
「研究室𝐻が与えられたときにデータDが発...

• 事象 𝐷を「観測データ」事象 𝐻を「データの発生源」とする．
• ラボ畜モデルで言えば， 𝐷が学生， 𝐻が研究室
同時確率は
と表せるため，以下のベイズの公式が求まる
「ある学生がラボ畜のとき，研究室M所属である確率」を
𝑃 𝐻 𝐷 から求...

ベイズ推定
Q: ある研究室から学生を2回選択したら共に「ラボ畜」だった.
その研究室は何研でしょう？

ベイズ推定
Q: ある研究室から学生を2回選択したら共に「ラボ畜」だった.
その研究室は何研でしょう？
D = [ラボ畜, ラボ畜] とするとまず最初(D1 )の「ラボ畜」学生
だけを考えて
ここで，最初の学生だけでは事前確率 p(H) はラン...

ベイズ推定
Q: ある研究室から学生を2回選択したら共に「ラボ畜」だった.
その研究室は何研でしょう？
一回目に選ばれた学生が「ラボ畜」だったことから，
だと分かった．二回目の学生も「ラボ畜」だったから，
𝑃 𝐻 = 𝐴 𝐷 = 畜 =
1
4...

ベイズ推定
Q: ある研究室から学生を2回選択したら共に「ラボ畜」だった.
その研究室は何研でしょう？
一回目に選ばれた学生が「ラボ畜」だったことから，
だと分かった．二回目の学生も「ラボ畜」だったから，
𝑃 𝐻 = 𝐴 𝐷 = 畜 =
1
4...

研究テーマと絡めてみよう
• 先ほどの問題は「あるデータ（学生）が観測され
た場合，研究室AとMのどちらに所属するのか」と
いう２クラス分類問題
• 研究のテーマで
「加速度データから男女の性別推定」や
「歩行データからの酩酊検知」を行ってい...

ここまでは講義の内容

尤度って分からなくない？
• 研究室AとMにそれぞれどれほどの割合で
P 𝐷 = 畜|𝐻 = 𝐴 =
1
3
, P 𝐷 = 畜|𝐻 = M =
3
3
「ラボ畜」学生が所属していたか分かっている前提だった
→ 現実は甘くない
• 現実問題，例...

• どんな人でも観測できるのはデータ𝐷のみ
• データ𝐷は何かしらの分布Hから生成される
• 観測されたデータ𝐷 から分布H（のパラメータ）を推定する
のが最尤推定とベイズ推定（＆機械学習）
データ𝐷
（研究室Hから選ばれた学生）
パラメータ○...

ラボ畜モデル再来
• 𝑖をある研究室に所属する「ラボ畜」の数とする
(𝑖をパラメータと呼ぶ)
• 研究室の学生の数をNとおいてもよいが，簡単
のため，3人とする (0 ≤ 𝑖 ≤ 3 )
• パラメータ𝑖をおいたことにより，ある研究室の
「ラボ...

尤度最大化とは？
• 「観測データ」Dに対してもっと（尤）もらしい
「データの発生源」Hを求める
Lラボ畜 = P 𝐷 = 畜|𝐻 =
𝑖
3
と仮定したから，「ラボ畜」が1回のみ観測され
たとき尤もらしい発生源Hは最大の値となる 𝑖 = 3
...

尤度最大化とは？
• 「観測データ」Dに対してもっと（尤）もらしい
「データの発生源」Hを求める
Lラボ畜 = P 𝐷 = 畜|𝐻 =
𝑖
3
と仮定したから，「ラボ畜」が1回のみ観測され
たとき尤もらしい発生源Hは最大の値となる 𝑖 = 3
...

尤度最大化とは？
D = ラボ畜, ラボ畜, 学生だとするとどうなるか？
各データは互いに独立であるため，
LD = L
ラボ畜
2
L
学生
=
𝑖
3
2
3 − 𝑖
3
を最大化すればよい．グラフを書けば分かるが，
簡単に解くために対数...

尤度最大でいいの？
D = 学生, 学生, 学生というデータが得られたとする
実際はブラックな研究室からたまたま３回とも通常の学生が
選ばれただけかもしれないのに最大尤度 𝑖 = 0（つまりラボ畜
の学生がいない）で本当にいいのか？
選ばれた...

尤度以外も考慮する手法があったような．．．
Thomas Bayes
(1702-1761)
Yes,
Bayes！
ベイズの公式
𝑃 𝐻 𝐷 =
𝑃 𝐷 𝐻 𝑃(𝐻)
𝑃(𝐷)
を用いると，
𝑃 𝐻 = ブラック 𝐷 = [畜, 畜, 畜] ...

尤度最大化と比べてベイズ推定は事後確率 𝑃 𝐻 𝐷 を最大にする
𝑃 𝐻 𝐷 =
𝑃 𝐷 𝐻 𝑃(𝐻)
𝑃(𝐷)
D = ラボ畜だとすると，パラメータ𝑖の範囲を0 ≤ 𝑖 ≤ 3とし
ていたため，𝑃(𝐻)が一様だと仮定すると 𝑃 𝐻 =
1
...

D = ラボ畜, ラボ畜のとき，事前確率が 𝑃 𝐻 =
2
9
𝑖になるため，
𝑃 𝐻 𝐷2 = 畜 =
𝑃 𝐷2 = 畜 𝐻 𝑃(𝐻)
𝑃(𝐷2 = 畜)
=
𝑖
3
∙
𝑖
6
14
18
=
𝑖2
14
ベイズ推定（再登場）
2乗になっ...

まとめ
確率・統計の教科書で出てくる問題は尤度 𝑃 𝐷 𝐻 が
与えられていることが多い
→ 現実はそんなに甘くない
パラメータ（例ではラボ畜の数 i）をおいて，
尤度の分布を仮定する = 統計モデリングすることで
尤度最大化やベイズ推定で尤...

まとめ
確率・統計の教科書で出てくる問題は尤度 𝑃 𝐷 𝐻 が
与えられていることが多い
→ 現実はそんなに甘くない
パラメータ（例ではラボ畜の数 i）をおいて，
尤度の分布を仮定する = 統計モデリングすることで
尤度最大化やベイズ推定で尤...

構成
• 最尤推定とベイズ推定の話
• 機械学習を使う際の心構え

そして機械学習へ
• 機械学習がブラックボックスになりがちな理由
• ラボ畜モデルのように，
「データがどの分布に従うと仮定するのか」
が非常に大切
– とりま，混合ガウス分布で！
– 流行りのDeep Learningしょ！
– CRFがです...

研究の道は険しい
• 今回説明したデータの分析だけでなく，
データの取得や分析結果の評価などが
全て正しくてようやく研究成果となる
研究の道は険しい...
ではどうしたら良いか？
皆さんも
ラボ畜になりましょう！
今日もラボだブヒ～

参考文献
• 「史上最強図解これならわかる！ベイズ統計学」
涌井良幸 (著), 涌井貞美 (著)
• 「データ解析のための統計モデリング入門」
久保拓弥 (著)
• イラストに「いらすとや」さんのものを使わせて頂きました
ありがとうござ...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

エクセルで統計分析統計プログラムHADについて by Hiroshi Shimizu 7376705 views
IoT and 5G: Opportunities and Chall... by SenZations Summer... 7239 views
PRML輪読#1 by matsuolab 30433 views
スパース推定 by y-uti 8248 views
PRML輪読#13 by matsuolab 9317 views
エクセルで統計分析5 マルチレベル分析のやり方 by Hiroshi Shimizu 153823 views

View on Slideshare

1 of 31 Ad

View on Slideshare

1 of 31 Ad