Successfully reported this slideshow.              Upcoming SlideShare
×

# 【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

6,441 views

Published on

Published in: Education
• Full Name
Comment goes here.

Are you sure you want to Yes No Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

Are you sure you want to  Yes  No

### 【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

1. 1. Doing Bayesian Data Analysis  Chapter 4: Bayes’ Rule 東京大学 松尾研究室 修士２年" 飯塚修平@tushuhei 2013/08/04 1
2. 2. 導入 •  あの子がオレのことを見て微笑んだ" •  もしかしてオレに気がある！？" •  残念ながら p(♡|J) ≠ p(☺|♡)." –  p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率" –  p(☺|♡): あの子があなたに好意があるときに、微笑む確率" •  ベイズの定理によると p(♡|☺) = p(☺|♡)p(♡)/p(☺)" –  p(☺) = Σp(J|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に 面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. す べての和であることに注意" –  とりあえず、p(♡)（あの子があなたに好意がある確率）はどれくらい だと思う？（事前確率）" 2013/08/04 2
3. 3. ベイズの定理 2013/08/04 3 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) 条件付き確率の定義 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理 ベイズの定理（連続値） p(y, x) = p(y|x)p(x) = p(x p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x| p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理（離散値） p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y)
4. 4. ベイズの定理 2013/08/04 4 p(y|x) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) Posterior   事後確率 Likelihood   尤度   Prior   事前確率   Evidence   証拠   p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) p(D) = d p(D| )p( )Where:
5. 5. ベイズの定理 2013/08/04 5 モデル自体も  M  としてパラメタに組み込むと、ベイズの定理は、 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 なので、 すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。   この事前確率の比を Bayers  Factor  と呼ぶ。 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) p(M1) p(M2) Bayes  Factor と表せる。ここで、
6. 6. ベイズの定理 2013/08/04 6 出現する証拠はモデルのパラメタθにしかよらないので、   p(D | , D) = p(D | ) p( |D , D) = p(D | , D)p( |D) d p(D | , D)p( |D) = p(D | )p( |D) d p(D | )p( |D) したがって、 再度テストを行うなど、複数回にわたってデータをサンプリングするときに使える 【複数の証拠  D,  D’  がある場合】
7. 7. コイントスの例 •  あなたのコインは公平？それともインチキ？" 2013/08/04 7 H : head, T : tail = p(H) H : head, T : tail = p(H) p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) →下記のように  Prior  (事前確率)  を設定 おそらくちゃんと作 られてるから θ=0.5 " だけど" もしかしたら偽物で 偏ってるかも？ ↑   A君の頭のなかの   モデル
8. 8. コイントスの例 2013/08/04 8 p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) Prior (事前確率) D = 3H, 9T のときLikelihood (尤度) p(D| ) = 3 (1 )9 = 1.2 10 3 ( = 0.25) 2.4 10 4 ( = 0.50) 1.6 10 6 ( = 0.75) 0 (otherwise) データの当てはまり具合
9. 9. コイントスの例 2013/08/04 9 Posterior (事後確率) ベイズの定理より、 p( |D) = p(D| )p( ) p(D| )p( ) 0.71 ( = 0.25) 0.29 ( = 0.50) 9.0 10 4 ( = 0.75) 0 (otherwise) 合計=1となることに注目。
10. 10. •  事前確率がもう少し複雑な例を考える" •  ベイズならモデルの比較も簡単！" コイントスの例２ 2013/08/04 10 VS simple complex
11. 11. コイントスの例２ p(D|M) simple complex D = 3H, 9T 0.000416 0.000392 D = 1H, 11T 0.00276 0.00366 2013/08/04 11 モデルMからデータDが   生じる確率
12. 12. 日常に潜むベイズの考え方 •  「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべ て取り除いてそれが残ったんだったら、どんなに可能性が低くても、 それが真実なんだよ。」 2013/08/04 12 •  屋根からなんか落ちてきた→「猫かな？」  今隣の家に子供が遊びにきたらしい→「あ、そっちだね」" 屋根からなんか落ちてきた→ cat かな？ p(D| child) が大きいらしい→ p(D| i) = Const.( i = j) であっても、 p( child|D) が小さくなる 「ワトソン君、何度言ったら分かるんだ。p(D| i) = 0( i = j) なら どんなに p( j) > 0 が小さくても p( j|D) = 1 なんだよ。」
13. 13. Exercise 4.2 •  ある病気と検査の話（条件付き確率あるある）" •  病気の確率変数 θ = J, L（事象「かからない」or「かかる」）" •  p(θ=L) = 0.001: 罹患率は 0.1%" •  検査の結果の確率変数 D=＋（陽性）, ー（陰性）" •  p(D=＋| θ=L) = 0.99: 的中率 99%" •  p(D=＋| θ=J) = 0.05: エラー率 5%" •  運悪く、あなたは最初の検査で陽性反応が出てしまいました。" •  不安になってもう一度検査を受けたところ、陰性反応が出ました。" •  さて、このときあなたが病気にかかっている確率は？" •  すなわち、p(θ=L | D1=＋, D2=ー) は？" 2013/08/04 13
14. 14. Exercise 4.2 2013/08/04 14 p( =):|D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| =):)p( = ): |D1 = +) + p(D2 = +| = p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = +| = (: , D1 = +)p( = (: |D1 = +) = p(D2 = +| =):)p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) θ=L  と D2  についてベイズの定理を適用して p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( =):|D1 = +) + p(D2 = +| = (: , D1 = +)p = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) D2  の結果は  D1  とは無関係なので（スライド  p6  参照） あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%