Download as PDF, PPTX
Uploaded byDaisuke Shimada
ITエンジニアのための機械学習理論入門8.1ベイズ推定
ITエンジニアのための機械学習理論入門の読書会で発表した、 8章の前半ベイズ推定についてに関するスライドです。
ITエンジニアのための機械学習理論入門8.1ベイズ推定
- 1.
- 2.
- 3. パラメーターを評価する方法 最小二乗法 誤差を定義して誤差を最小にするよう にする方法 最尤推定法 トレーニングセットが得られる確率で ある尤度関数を定め、これを最大にす るようにする方法
- 4.
- 5.
- 6.
- 7.
- 8. 最尤推定法 例えばコイントス 真値は0.5だけど、たまには0.3 だったり0.7だったりする。 何度もサンプルをとって平均すれ ば0.5に近づいていくはず。 データは確率的だけど、真のモデ ルからは手元のデータが最も得ら れやすいはず、と考える。
- 9. 最尤推定法 コインを100回投げたら50回表、 50回裏だった。 このデータが最もありえるモデル はなんだろうか？と考える。 このモデルの尤もらしさが尤度で、 尤度を最大にするのが最尤推定法 という。
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. 簡単な問題を考えてみる Q1. 出たボールが「黒」の確率。 Q2. 出たボールが「大」と分かっている 場合、それが「黒」の確率。 Q3. 出たボールが「大きな黒」の確率。
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. ベイズの定理の特徴 左辺は「Xである時のYの確率」 右辺は逆に「Yである時のXの確率」 このように「条件と結果」を入れ替えた 関係を計算するのが特徴となる。
- 33. 別の問題を考えてみる ピロリ菌感染問題。 太郎さんの年代の感染率は1% ピロリ菌検査の精度は95% 太郎さんは陽性だった。 この時感染している 確率は何%か？
- 34. 分かっていること P(感染) =0.01 P(非感染) = 0.99 P(陽性|感染) = 0.95 P(陰性|感染) = 0.05 P(陽性|非感染)= 0.05 P(陰性|非感染)= 0.95 P(感染|陽性) = ???? (問われている事)
- 35. ベイズの定理を適用すると P(感染|陽性) =???? (問われている事)
- 36.
- 37.
- 38.
- 39.
- 40. つまり図式するとこうなる 偽陽性 感染 真陽性 真陽性 感染 非感染 非感染(0.99) x 偽陽性(0.05) 感染(0.01)x 真陽性(0.95) 分子は「感染であり陽性」 分母は「陽性」すべて
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. 分散の値を紐とく 分散βN -1を計算すると、 となる。 これは、トレーニングセットのデータ数Nが 大きくなるほど分散が小さくなり、分布の 幅が狭くなるということ。 N→∞の極限では、分散は0になり、μの値は 一つに定まる。 ＝最尤推定法と同じ結果になる。
- 54.
- 55.
- 56. 次の値は何か？が知りたい。 いままで見てきたP(μ|t)は、観測データtの 値が得られた時の平均μの確率。 でも本当に知りたいのは次に得られるで あろう観測データtの値。 観測データは、平均μ、分散σ2の正規分布 から得られるという前提だった。
- 57. 平均μは1つに決まっていない いまベイズ推定では平均μは事後分布として P(μ|t)で与えられている。 この場合「さまざまなμに対する正規分布 N(t| μ, σ2)をそれぞれの確率P(μ | t)の 重みで足し合わせる」という事をする。
- 58.
- 59.
- 60.
- 61. 分散の増分βN -1 本来β-1が分散としてこのデータの真のモデ ルで定義されている。 ただしβN -1の分だけ増えている。 これはデータ数Nが少ない時に確信が持てな いので分散を大きくし、Nが増えると確信が 持てるようになって分散が小さくなる。
- 62.
- 63.
- 64. まとめ ベイズ推定はパラメーター自体にその値をと る確率という概念を入れたもの。 最尤推定法と異なり、真値は分布で考える。 十分にデータが多い場合は最尤推定法の結果 と同じになる。 データセットから平均の分散を求め、その 平均の分布から改めて観測データが得られる 確率を求めるという事をする。