ようやく分かった！最尤推定とベイズ推定
•Download as PPTX, PDF•
126 likes•97,443 views
最尤推定やベイズ推定の基本がようやく理解できたため，かみ砕いて説明したプレゼンを作りました．
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Recently uploaded
Recently uploaded (15)
ようやく分かった！最尤推定とベイズ推定
- 6. 研究室のブラック具合 • ホワイトな研究室もあれば，ブラックな 研究室もある ．．． ．．．研究室 M研究室 A M教授
- 7. 条件付き確率 • 研究室AとMがあるとする． ともに学生が３人所属している． ランダムに選んだ研究室から1人の 学生を選んだとき「ラボ畜」かどうか？ 研究室 M研究室 A 研究室A 研究室M 学生 ラボ畜 どちらの研究室が選ばれるか? ランダムに選ぶのでともに 𝑝 𝐻 = 𝐴 = 𝑝 𝐻 = 𝑀 = 1 2 学生全体のうち「学生」 か「ラボ畜」か？ 𝑝 𝐷 = 畜 = 2 3 研究室がMの時，ラボ畜の割合は？ 条件付き確率 𝑝 𝐷 = 畜|𝐻 = M = 3 3 同時確率の表 2 3 ∙ 1 2 1 3 ∙ 1 2 1 2 1 2 0 3 ∙ 1 2 3 3 ∙ 1 2 1 3 2 3 D H 𝑝 𝐷 𝑝 𝐻
- 8. • 事象 𝐷を「観測データ」事象 𝐻を「データの発生源」とする． • ラボ畜モデルで言えば， 𝐷が学生， 𝐻が研究室 同時確率は と表せるため，以下のベイズの公式が求まる ここで，尤度 𝑃 𝐷 𝐻 とは 「研究室𝐻が与えられたときにデータDが発生する確率」 あるいは 「データDが観測されたとき研究室𝐻 から発生した確率」 例えば，研究室𝑀から選ばれた学生が D = ラボ畜 である 確率 は 3 3 ベイズの公式 𝑃 𝐻 𝐷 = 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃(𝐷) = 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃 𝐷, 𝐻 = 𝑃 𝐷 𝐻 𝑃 𝐻 = 𝑃 𝐻 𝐷 𝑃(𝐷) 𝑃 𝐻 𝐷 ∶ 事後確率 𝑃 D H ∶ 尤度 𝑃(𝐻) ∶ 事前確率
- 9. • 事象 𝐷を「観測データ」事象 𝐻を「データの発生源」とする． • ラボ畜モデルで言えば， 𝐷が学生， 𝐻が研究室 同時確率は と表せるため，以下のベイズの公式が求まる 「ある学生がラボ畜のとき，研究室M所属である確率」を 𝑃 𝐻 𝐷 から求められる →ラボ畜はM研によく所属している （観測データ「ラボ畜」は発生源「M研究室」から生じた） ベイズの公式 𝑃 𝐻 𝐷 = 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃(𝐷) = 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃 𝐷, 𝐻 = 𝑃 𝐷 𝐻 𝑃 𝐻 = 𝑃 𝐻 𝐷 𝑃(𝐷) 𝑃 𝐻 = 𝑀 𝐷1 = 畜 = 3 3 ∙ 1 2 2 3 = 3 4 𝑃 𝐻 𝐷 ∶ 事後確率 𝑃 D H ∶ 尤度 𝑃(𝐻) ∶ 事前確率 ブヒー
- 11. ベイズ推定 Q: ある研究室から学生を2回選択したら共に「ラボ畜」だった. その研究室は何研でしょう？ D = [ラボ畜, ラボ畜] とするとまず最初(D1 )の「ラボ畜」学生 だけを考えて ここで，最初の学生だけでは事前確率 p(H) はランダムに 研究室AかMかを仮定しているため， 𝑃 𝐻 = 𝐴 𝐷1 = 畜 = 𝑃 𝐷1 = 畜 𝐻 = 𝐴 𝑃(𝐻 = 𝐴) 𝑃(𝐷1 = 畜) = 1 4 𝑃 𝐻 = 𝑀 𝐷1 = 畜 = 𝑃 𝐷1 = 畜 𝐻 = 𝑀 𝑃(𝐻 = 𝑀) 𝑃(𝐷1 = 畜) = 3 4 𝑝 𝐻 = 𝐴 = 𝑝 𝐻 = 𝑀 = 1 2
- 12. ベイズ推定 Q: ある研究室から学生を2回選択したら共に「ラボ畜」だった. その研究室は何研でしょう？ 一回目に選ばれた学生が「ラボ畜」だったことから， だと分かった．二回目の学生も「ラボ畜」だったから， 𝑃 𝐻 = 𝐴 𝐷 = 畜 = 1 4 𝑃 𝐻 = 𝑀 𝐷 = 畜 = 3 4 𝑃 𝐻 = 𝐴 𝐷2 = 畜 = 𝑃 𝐷2 = 畜 𝐻 = 𝐴 𝑃(𝐻 = 𝐴) 𝑃(𝐷2 = 畜) = 1 8 𝑃 𝐻 = 𝐴 𝐷1 = 畜 = 1 4 で更新研究室Aである確率が減った
- 13. ベイズ推定 Q: ある研究室から学生を2回選択したら共に「ラボ畜」だった. その研究室は何研でしょう？ 一回目に選ばれた学生が「ラボ畜」だったことから， だと分かった．二回目の学生も「ラボ畜」だったから， 𝑃 𝐻 = 𝐴 𝐷 = 畜 = 1 4 𝑃 𝐻 = 𝑀 𝐷 = 畜 = 3 4 𝑃 𝐻 = 𝑀 𝐷2 = 畜 = 𝑃 𝐷2 = 畜 𝐻 = 𝑀 𝑃(𝐻 = 𝑀) 𝑃(𝐷2 = 畜) = 7 8 𝑃 𝐻 = M 𝐷1 = 畜 = 3 4 で更新研究室Mである確率が増えた
- 14. 研究テーマと絡めてみよう • 先ほどの問題は「あるデータ（学生）が観測され た場合，研究室AとMのどちらに所属するのか」 と いう２クラス分類問題 • 研究のテーマで 「加速度データから男女の性別推定」や 「歩行データからの酩酊検知」を行っているが どれも根底にある考え方は一緒！
- 15. ここまでは講義の内容
- 16. 尤度って分からなくない？ • 研究室AとMにそれぞれどれほどの割合で P 𝐷 = 畜|𝐻 = 𝐴 = 1 3 , P 𝐷 = 畜|𝐻 = M = 3 3 「ラボ畜」学生が所属していたか分かっている前提だった → 現実は甘くない • 現実問題，例えば男女の違いがどれほどの割合で 加速度データに影響するか分からない → 確率分布を仮定する [統計モデリング] 研究室 M研究室 A
- 17. • どんな人でも観測できるのはデータ𝐷のみ • データ𝐷は何かしらの分布Hから生成される • 観測されたデータ𝐷 から分布H（のパラメータ）を推定する のが最尤推定とベイズ推定（＆機械学習） データ𝐷 （研究室Hから選ばれた学生） パラメータ○○の 二項分布 だから推定を行う に 正規分布一様分布 混合分布 に 分布は数個の パラメータで 表せる 正体不明の 分布
- 18. ラボ畜モデル再来 • 𝑖をある研究室に所属する「ラボ畜」の数とする (𝑖をパラメータと呼ぶ) • 研究室の学生の数をNとおいてもよいが，簡単 のため，3人とする (0 ≤ 𝑖 ≤ 3 ) • パラメータ𝑖をおいたことにより，ある研究室の 「ラボ畜」尤度を以下のように仮定できる ある研究室のモデル Lラボ畜 = P 𝐷 = 畜|𝐻 = 𝑖 3 ラボ畜数 𝑖 L学生 = P 𝐷 = 学生|𝐻 = 3 − 𝑖 3
- 19. 尤度最大化とは？ • 「観測データ」Dに対してもっと（尤）もらしい 「データの発生源」Hを求める Lラボ畜 = P 𝐷 = 畜|𝐻 = 𝑖 3 と仮定したから，「ラボ畜」が1回のみ観測され たとき尤もらしい発生源Hは最大の値となる 𝑖 = 3 3人中3人が「ラボ畜」のような ブラック研究室
- 20. 尤度最大化とは？ • 「観測データ」Dに対してもっと（尤）もらしい 「データの発生源」Hを求める Lラボ畜 = P 𝐷 = 畜|𝐻 = 𝑖 3 と仮定したから，「ラボ畜」が1回のみ観測され たとき尤もらしい発生源Hは最大の値となる 𝑖 = 3 反対に「通常の学生」が1回のみ観測されたとき 尤もらしい発生源Hは L学生 = P 𝐷 = 学生|𝐻 = 3 − 𝑖 3 が最大となる 𝑖 = 0 3人中0人が「ラボ畜」の ようなホワイト研究室
- 21. 尤度最大化とは？ D = ラボ畜, ラボ畜, 学生 だとするとどうなるか？ 各データは互いに独立であるため， LD = L ラボ畜 2 L 学生 = 𝑖 3 2 3 − 𝑖 3 を最大化すればよい．グラフを書けば分かるが， 簡単に解くために対数をかける（対数尤度） ln LD = 2 ln 𝑖 3 + ln 3 − 𝑖 3 これを微分し傾きが0になる 𝑖 = 2 で尤度が最大 3人中2人が「ラボ 畜」のような グレー研究室 「最初がラボ畜だと次のデータもラボ畜になりやすい」のような影響を及ぼさない 時系列データ（例えば自然言語処理）は各データが独立でない
- 22. 尤度最大でいいの？ D = 学生, 学生, 学生 というデータが得られたとする 実際はブラックな研究室からたまたま３回とも通常の学生が 選ばれただけかもしれないのに最大尤度 𝑖 = 0（つまりラボ畜 の学生がいない）で本当にいいのか？ 選ばれた学生が全員通常なんで， 「ラボ畜」な学生なんていませんよ～ M教授 実際の分布 ・・・ 研究室1 研究室2 研究室100
- 23. 尤度以外も考慮する手法があったような．．． Thomas Bayes (1702-1761) Yes, Bayes！ ベイズの公式 𝑃 𝐻 𝐷 = 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃(𝐷) を用いると， 𝑃 𝐻 = ブラック 𝐷 = [畜, 畜, 畜] = 1 3 ∙ 99 100 1 ∙ 1 100 + 1 3 ∙ 99 100 = 33 34 𝑃(𝐻)を考慮する ブラック研究室の確率が高い！
- 24. 尤度最大化と比べてベイズ推定は事後確率 𝑃 𝐻 𝐷 を最大にする 𝑃 𝐻 𝐷 = 𝑃 𝐷 𝐻 𝑃(𝐻) 𝑃(𝐷) D = ラボ畜 だとすると，パラメータ𝑖の範囲を0 ≤ 𝑖 ≤ 3とし ていたため，𝑃(𝐻)が一様だと仮定すると 𝑃 𝐻 = 1 3 となる 𝑃 𝐻 𝐷1 = 畜 = 𝑖 3 ∙ 1 4 𝑃(𝐷1 = 畜) = 𝑖 12 ∙ 1 𝑃 𝐷 𝐻 𝑃 𝐻 = 𝑖 12 ∙ 1 6 12 = 𝑖 6 これが最大になるのは𝑖 = 3のとき → 結果は尤度最大化と同じ （事前確率𝑃(𝐻)が一様だから） ベイズ推定（再登場） 𝑃(𝐷)は事後確率の総和を1とするための正規化項 𝑃 𝐻 𝐷 ∶ 事後確率 𝑃 D H ∶ 尤度 𝑃(𝐻) ∶ 事前確率 𝑖 𝑃(𝐻|𝐷1) 3 1 2 総和1
- 25. D = ラボ畜, ラボ畜 のとき，事前確率が 𝑃 𝐻 = 2 9 𝑖になるため， 𝑃 𝐻 𝐷2 = 畜 = 𝑃 𝐷2 = 畜 𝐻 𝑃(𝐻) 𝑃(𝐷2 = 畜) = 𝑖 3 ∙ 𝑖 6 14 18 = 𝑖2 14 ベイズ推定（再登場） 2乗になって より𝑖の影響 が強くなった 新しいデータで ベイズ更新 𝑖 𝑃(𝐻|𝐷2, 𝐷1) 3 新しいデータによって， より分布が急になった！ この例では簡単のため，「ブラックな研究室もホワイトな研究室も一様に存在する」 分布を用いたが，実際は「グレーな研究室が多くて，ブラックやホワイトは少ない」 かもしれない． その場合は P 𝐷 = 畜|𝐻 = 3 𝑖 𝑞 𝑖 1 − 𝑞 3−𝑖 のような二項分布を仮定する 𝑖 𝑃(𝐻|𝐷1) 3 1 2 総和1 9 14 総和1
- 26. まとめ 確率・統計の教科書で出てくる問題は尤度 𝑃 𝐷 𝐻 が 与えられていることが多い → 現実はそんなに甘くない パラメータ（例ではラボ畜の数 i）をおいて， 尤度の分布を仮定する = 統計モデリング することで 尤度最大化やベイズ推定で尤もらしい分布を推定できる （実際は尤度の分布に正規分布など多種多様な分布を用いる） →現実はそれでもまだ甘くない 例では尤度最大化などを解析的に解けたが，現実には 解けない場合がある（MCMCの出番）． しかも，尤度のパラメータだけでは説明できず 超パラメータを追加する場合も…
- 27. まとめ 確率・統計の教科書で出てくる問題は尤度 𝑃 𝐷 𝐻 が 与えられていることが多い → 現実はそんなに甘くない パラメータ（例ではラボ畜の数 i）をおいて， 尤度の分布を仮定する = 統計モデリング することで 尤度最大化やベイズ推定で尤もらしい分布を推定できる （実際は尤度の分布に正規分布など多種多様な分布を用いる） →現実はそれでもまだ甘くない 例では尤度最大化などを解析的に解けたが，現実には 解けない場合がある（MCMCの出番）． しかも，尤度のパラメータだけでは説明できず 超パラメータを追加する場合も… 現実は甘く ないよ！
- 29. そして機械学習へ • 機械学習がブラックボックスになりがちな理由 • ラボ畜モデルのように， 「データがどの分布に従うと仮定するのか」 が非常に大切 – とりま，混合ガウス分布で！ – 流行りのDeep Learningしょ！ – CRFがですね．．． となる前にデータを視覚化しよう！ グラフ化してどの分布が適切かを考えるのが大切 解析的に解けないものを計算機的に近似して解いている
- 31. 参考文献 • 「史上最強図解 これならわかる！ベイズ統計学」 涌井 良幸 (著), 涌井 貞美 (著) • 「データ解析のための統計モデリング入門」 久保 拓弥 (著) • イラストに「いらすとや」さんのものを使わせて頂きました ありがとうございます． http://www.irasutoya.com/