【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

5,689 views
5,843 views

Published on

東京大学にて行われている Doing Bayesian Data Analysis 勉強会での発表資料です。Chapter 4:

Published in: Education
0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
5,689
On SlideShare
0
From Embeds
0
Number of Embeds
648
Actions
Shares
0
Downloads
6
Comments
0
Likes
4
Embeds 0
No embeds

No notes for slide

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

  1. 1. Doing Bayesian Data Analysis
 Chapter 4: Bayes’ Rule 東京大学 松尾研究室 修士2年" 飯塚修平@tushuhei 2013/08/04 1
  2. 2. 導入 •  あの子がオレのことを見て微笑んだ" •  もしかしてオレに気がある!?" •  残念ながら p(♡|J) ≠ p(☺|♡)." –  p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率" –  p(☺|♡): あの子があなたに好意があるときに、微笑む確率" •  ベイズの定理によると p(♡|☺) = p(☺|♡)p(♡)/p(☺)" –  p(☺) = Σp(J|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に 面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. す べての和であることに注意" –  とりあえず、p(♡)(あの子があなたに好意がある確率)はどれくらい だと思う?(事前確率)" 2013/08/04 2
  3. 3. ベイズの定理 2013/08/04 3 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) 条件付き確率の定義 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理 ベイズの定理(連続値) p(y, x) = p(y|x)p(x) = p(x p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x| p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理(離散値) p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y)
  4. 4. ベイズの定理 2013/08/04 4 p(y|x) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) Posterior   事後確率 Likelihood   尤度   Prior   事前確率   Evidence   証拠   p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) p(D) = d p(D| )p( )Where:
  5. 5. ベイズの定理 2013/08/04 5 モデル自体も  M  としてパラメタに組み込むと、ベイズの定理は、 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 なので、 すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。   この事前確率の比を Bayers  Factor  と呼ぶ。 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) p(M1) p(M2) Bayes  Factor と表せる。ここで、
  6. 6. ベイズの定理 2013/08/04 6 出現する証拠はモデルのパラメタθにしかよらないので、   p(D | , D) = p(D | ) p( |D , D) = p(D | , D)p( |D) d p(D | , D)p( |D) = p(D | )p( |D) d p(D | )p( |D) したがって、 再度テストを行うなど、複数回にわたってデータをサンプリングするときに使える 【複数の証拠  D,  D’  がある場合】  
  7. 7. コイントスの例 •  あなたのコインは公平?それともインチキ?" 2013/08/04 7 H : head, T : tail = p(H) H : head, T : tail = p(H) p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) →下記のように  Prior  (事前確率)  を設定 おそらくちゃんと作 られてるから θ=0.5 " だけど" もしかしたら偽物で 偏ってるかも? ↑   A君の頭のなかの   モデル
  8. 8. コイントスの例 2013/08/04 8 p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) Prior (事前確率) D = 3H, 9T のときLikelihood (尤度) p(D| ) = 3 (1 )9 = 1.2 10 3 ( = 0.25) 2.4 10 4 ( = 0.50) 1.6 10 6 ( = 0.75) 0 (otherwise) データの当てはまり具合
  9. 9. コイントスの例 2013/08/04 9 Posterior (事後確率) ベイズの定理より、 p( |D) = p(D| )p( ) p(D| )p( ) 0.71 ( = 0.25) 0.29 ( = 0.50) 9.0 10 4 ( = 0.75) 0 (otherwise) 合計=1となることに注目。
  10. 10. •  事前確率がもう少し複雑な例を考える" •  ベイズならモデルの比較も簡単!" コイントスの例2 2013/08/04 10 VS simple complex
  11. 11. コイントスの例2 p(D|M) simple complex D = 3H, 9T 0.000416 0.000392 D = 1H, 11T 0.00276 0.00366 2013/08/04 11 モデルMからデータDが   生じる確率
  12. 12. 日常に潜むベイズの考え方 •  「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべ て取り除いてそれが残ったんだったら、どんなに可能性が低くても、 それが真実なんだよ。」 2013/08/04 12 •  屋根からなんか落ちてきた→「猫かな?」
 今隣の家に子供が遊びにきたらしい→「あ、そっちだね」" 屋根からなんか落ちてきた→ cat かな? p(D| child) が大きいらしい→ p(D| i) = Const.( i = j) であっても、 p( child|D) が小さくなる 「ワトソン君、何度言ったら分かるんだ。p(D| i) = 0( i = j) なら どんなに p( j) > 0 が小さくても p( j|D) = 1 なんだよ。」
  13. 13. Exercise 4.2 •  ある病気と検査の話(条件付き確率あるある)" •  病気の確率変数 θ = J, L(事象「かからない」or「かかる」)" •  p(θ=L) = 0.001: 罹患率は 0.1%" •  検査の結果の確率変数 D=+(陽性), ー(陰性)" •  p(D=+| θ=L) = 0.99: 的中率 99%" •  p(D=+| θ=J) = 0.05: エラー率 5%" •  運悪く、あなたは最初の検査で陽性反応が出てしまいました。" •  不安になってもう一度検査を受けたところ、陰性反応が出ました。" •  さて、このときあなたが病気にかかっている確率は?" •  すなわち、p(θ=L | D1=+, D2=ー) は?" 2013/08/04 13
  14. 14. Exercise 4.2 2013/08/04 14 p( =):|D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| =):)p( = ): |D1 = +) + p(D2 = +| = p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = +| = (: , D1 = +)p( = (: |D1 = +) = p(D2 = +| =):)p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) θ=L  と D2  についてベイズの定理を適用して p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( =):|D1 = +) + p(D2 = +| = (: , D1 = +)p = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) D2  の結果は  D1  とは無関係なので(スライド  p6  参照) あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%

×