Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

第2回ぞくパタ

2,412 views

Published on

第2回「続・わかりやすいパターン認識」読書会、2章の資料です。#ぞくパタ

Published in: Data & Analytics
  • Be the first to comment

第2回ぞくパタ

  1. 1. @siero5335 #ぞくパタ ドワンゴ様@東銀座 2015/01/06 第2回「続・わかりやすいパターン認識」読書会 第2章: 事前確率と事後確率
  2. 2.  目次 2.1  事後確率の計算     2.2  ベイズ更新     2.3  ベイズ更新の実験    
  3. 3.    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 箱のなかのコイン含有率が      π1 π2 π3 コインを投げた時に表が出る確率が     θ1 θ2 θ3 のとき、1枚取り出したコインを投げたら表が出た (1) このときコインがそれぞれω1, ω2, ω3である確率は? (2) π1 = 0.1, π2 = 0.4, π3 = 0.5, θ1 = 0.8, θ2 = 0.6 , θ3 = 0.3 のとき、上記確率は?
  4. 4. 箱のなかのコイン含有率 π1, π2, π3の合計はもちろん1 コインを投げた時に表が出る確率が θ1, θ2 , θ3 : 本来なら表の出る確率は0.5のはずだが…         今回の例題ではコインに細工がある コインが表の時: X = H, コインが裏の時: X = Tとする 今回求めたいのは以下の 出たのがXである時コインはωiである確率    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 ! !! ! =! ! ! !! ! ! 𝑃 !!
  5. 5. P(X)は以下のように書ける さらに、 また、コインを投げて表P(H¦ωi), 裏の出る確率P(T¦ωi)は 直接結果であるP(ωi¦x)を求めるのは難しいが含有率は 上記の確率はすべて投げる前にわかってる事前確率。    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 ! ! =! ! !! ! !!! !! 𝑋|!! ! !! ! !!! = 1 ! !!|! ! !!! = 1!(! = !, !) ! ! = ! ! + ! ! = 1 !!!,! !(!|!!) = !! ! ! !! = 1 − !! !(!!) = !!
  6. 6.    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 ! !! ! =! ! ! !! ! ! 𝑃 !! !(!!) = !!! ! =! ! !! ! !!! !! 𝑋|!! !(!|!!) = !! ! ! !! = 1 − !!
  7. 7.    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 事前確率を         に代入していくと、              を得ることができる。 これをさらにベイズの定理に代入すると、 また、裏が出た時の場合は で示すことができる。 ! ! =! ! !! ! !!! !! 𝑋|!! ! ! = ! !! ! !!! !! !|!! = !! ! !!! !! ! !! ! =! ! !|!! !(!) ! !! = !!!! !! ! !!! !! ! !! ! = !!(1 − !!) !! ! !!! (1 − !!)
  8. 8.    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 ! !! ! =! ! ! !! ! ! 𝑃 !! !(!!) = !!! ! =! ! !! ! !!! !! 𝑋|!! !(!|!!) = !! ! ! !! = 1 − !!
  9. 9.    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 箱のなかのコイン含有率が      π1 π2 π3 コインを投げた時に表が出る確率が     θ1 θ2 θ3 のとき、1枚取り出したコインを投げたら表が出た (1) このときコインがそれぞれω1, ω2, ω3である確率は? (2) π1 = 0.1, π2 = 0.4, π3 = 0.5, θ1 = 0.8, θ2 = 0.6 , θ3 = 0.3 のとき、上記確率は?
  10. 10.    2.1  事後確率の計算:  例題1-­‐1  コイン1回投げ   ω1 ω2 ω3 !! ! !!! !! = 0.1!×!0.8 + !0.4!×!0.6 + !0.5×!0.3 = 0.47 ! !! ! =! 0.1!×!0.8 0.47 = 0.170 ! !! ! =! 0.4!×!0.6 0.47 = 0.511 ! !! ! =! 0.5!×!0.3 0.47 = 0.319 代入すると、 となり、これが問2の答えになる コインを1回投げて表が出た時、ω1の確率が事前確率に比べ て高くなり、ω3の確率が低くなっている 事前確率     0.100       0.400       0.500 事後確率  
  11. 11.    2.1  事後確率の計算:  例題1-­‐2  コインn回投げ   ω1 ω2 ω3 箱のなかのコイン含有率が      π1 π2 π3 コインを投げた時に表が出る確率が     θ1 θ2 θ3 のとき、1枚取り出したコインをn回投げたらr回表が出た このときコインがそれぞれω1, ω2, ω3である確率は?
  12. 12.    2.1  事後確率の計算:  例題1-­‐2  コインn回投げ   ω1 ω2 ω3 箱のなかのコイン含有率が      π1 π2 π3 コインを投げた時に表が出る確率が     θ1 θ2 θ3 のとき、1枚取り出したコインをn回投げたらr回表が出た このときコインがそれぞれω1, ω2, ω3である確率は? 観測結果は x(n) = x1x2…xt…xn と書く ここでxtはt回目の観測結果であり xt {H, T} (t = 1,2,..., n) と書く
  13. 13.    2.1  事後確率の計算:  例題1-­‐2  コインn回投げ   ω1 ω2 ω3 観測結果x(n) が得られる確率P(x(n)¦ωi) は、各試行が独立なので P(x(n)¦ωi) = P(x1¦ωi) P(x2¦ωi)…P(xn¦ωi) (i = 1, 2, 3) = θi r (1-θi)n-r 観測結果x(n)が得られる確率P(x(n))は となり、ベイズの定理と組み合わせて解である が得られる。 ! !(!) =! ! !! ! !!! !! !(!) |!! =! !! ! !!! !! ! (1 − !!)!!! ! !!|!(!) = ! !(!) |!! ! !(!) ! ! !! =! !!!! ! (1 − !!)!!! !! ! !!! !! ! (1 − !!)!!! !
  14. 14.    2.1  事後確率の計算:  例題1-­‐2  コインn回投げ   ω1 ω2 ω3 同一条件で同じ試行を繰り返す時、それぞれの試行は独立であり、 他の試行に影響を与えない。 →ベルヌーイ(Bernoulli)試行と呼ぶ。 この章で出てくるのは2項分布(Binomial)と呼ばれる。 n = 1とするとr = 0, r = 1となる確率がθ, 1-θの確率分布が 得られる。これを特にベルヌーイ分布といい、以下のように示す。 !! !; ! =!!!!!!!! (1 − !)!!! ! !"#$ !; ! = !! !; ! =!!! 1 − ! !!! ! 0 ≤ ! ≤ 1 !(! ∈ 0, 1 )
  15. 15.    2.2  ベイズ更新   ω1 ω2 ω3 さっきまでは直接事後確率P(ωi¦x(n))を求めてきたが、 ここからはベイズ更新を使って逐次的に事後確率を求める。
  16. 16.    2.2  ベイズ更新   ω1 ω2 ω3 さっきまでは直接事後確率P(ωi¦x(n))を求めてきたが、 ここからはベイズ更新を使って逐次的に事後確率を求める。 1回投げたとき ! !! !! = ! !! !! !(!!) !!(!!)! = !(!!|!!) !(!!)! !!! !(!!|!!) !! !! !(! = 1, 2, 3)!
  17. 17.    2.2  ベイズ更新   ω1 ω2 ω3 2回投げたときには 1回目の事前確率P(ωi¦x1)を使ってP(ωi¦x1x2)を求める 以下に示した各回の試行の独立性を使用 ! !! !!!! = ! !!!! !! !(!!!!) !!(!!)! = !(!!)!(!!|!!)!(!!|!!) !(!!)! !!! !(!!|!!)!(!!|!!) ! ! !!!! !! = !! !! !! ! !! !! !!(! = 1, 2, 3)! 分子・分母をP(x1)で割って以下を使う   = !(!!|!!) !(ω!|!!)!(!!|!!)! !!! !! !!|!! !!(! = 1, 2, 3)! ! !! !! = ! !! !! !(!!) !!(!!)!
  18. 18.    2.2  ベイズ更新   ω1 ω2 ω3 一般化すると 1回投げた時のP(x1¦ωi)が P(xn¦ωi), P(ωi)が P(ωi¦x(n-1)) に →コインをn回投げた時の事後確率 P(ωi¦x(n)) を求めたい時は これまで投げた (n-1) 回の観測結果に基づく事後確率である P(ωi¦x(n-1)) を事前確率としてベイズの定理を適用する → ベイズ更新 (Bayesian updating)! ! !! 𝑥(!) = ! !! !! !(!!|!(!!!))! !!! !(!!|!!) !!(!!|!(!!!))!
  19. 19. ω1 ω2 ω3 箱のなかのコイン含有率が      π1 π2 π3 コインを投げた時に表が出る確率が     θ1 θ2 θ3 のとき、1枚取り出したコインをn回投げたら表がH回出た   π1 = 0.1, π2 = 0.4, π3 = 0.5, θ1 = 0.8, θ2 = 0.6 , θ3 = 0.6 のとき   コインがそれぞれω1, ω2, ω3である確率は? 今回の実験では投げたコインはω1とする    2.3  ベイズ更新の実験:  実際に試してみる  
  20. 20. ω1 ω2 ω3 10回投げたら観測結果は x(10) = x1x2…xt…x10 = HHHHTHHTHT (H = 表, T = 裏) 割合は0.7であり、実際の0.8に近いが... P(ω1¦x(10)) = 0.182 P(ω2¦x(10)) = 0.777  ω1のはずがω2の確率のほうが大 P(ω3¦x(10)) = 0.041 ω1の事前確率は0.1だからね…事前確率に引っ張られている →投げる回数を増やしてみる    2.3  ベイズ更新の実験:  実際に試してみる  
  21. 21. ω1 ω2 ω3 100回投げたら観測結果は 表 = 88, 裏 = 12 このとき P(ω1¦x(100)) = 0.9999998 P(ω2¦x(100)) = 0.0000002   P(ω3¦x(100)) 0 事前確率の影響を観測数を増やすことで排除!    2.3  ベイズ更新の実験:  実際に試してみる  
  22. 22.    まとめ   2.1  事後確率の計算                事前確率と観測を組み合わせて事後確率を計算     2.2  ベイズ更新     観測するたびに前の結果を踏まえて確率が変わる     2.3  ベイズ更新の実験      観測数が少ないと事前確率の影響を受ける 観測数を増やすことで影響を排除できる      

×