Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

6,441 views

Published on

東京大学にて行われている Doing Bayesian Data Analysis 勉強会での発表資料です。Chapter 4:

Published in: Education
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ...................................ALL FOR EBOOKS................................................. Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • (Unlimited)....ACCESS WEBSITE Over for All Ebooks ................ accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • ACCESS that WEBSITE Over for All Ebooks (Unlimited) ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... DOWNLOAD FULL EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M }
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { https://urlzs.com/UABbn } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • (Unlimited)....ACCESS WEBSITE Over for All Ebooks ................ accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { https://urlzs.com/UABbn } ......................................................................................................................... Download Full EPUB Ebook here { https://urlzs.com/UABbn } ......................................................................................................................... Download Full PDF EBOOK here { https://urlzs.com/UABbn }
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

【DBDA 勉強会 2013 夏】Doing Bayesian Data Analysis Chapter 4: Bayes’ Rule

  1. 1. Doing Bayesian Data Analysis
 Chapter 4: Bayes’ Rule 東京大学 松尾研究室 修士2年" 飯塚修平@tushuhei 2013/08/04 1
  2. 2. 導入 •  あの子がオレのことを見て微笑んだ" •  もしかしてオレに気がある!?" •  残念ながら p(♡|J) ≠ p(☺|♡)." –  p(♡|☺): あの子が微笑んだ時に、あなたに好意がある確率" –  p(☺|♡): あの子があなたに好意があるときに、微笑む確率" •  ベイズの定理によると p(♡|☺) = p(☺|♡)p(♡)/p(☺)" –  p(☺) = Σp(J|θ)p(θ): あなたのことが好きで微笑んだ、あなたが純粋に 面白い顔をしていた、たまたま昨日のお笑い番組を思い出した etc. す べての和であることに注意" –  とりあえず、p(♡)(あの子があなたに好意がある確率)はどれくらい だと思う?(事前確率)" 2013/08/04 2
  3. 3. ベイズの定理 2013/08/04 3 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) 条件付き確率の定義 p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理 ベイズの定理(連続値) p(y, x) = p(y|x)p(x) = p(x p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x| p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) ベイズの定理(離散値) p(y, x) = p(y|x)p(x) = p(x|y)p(y) p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y)
  4. 4. ベイズの定理 2013/08/04 4 p(y|x) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) Posterior   事後確率 Likelihood   尤度   Prior   事前確率   Evidence   証拠   p(y|x) = p(x|y)p(y) p(x) p(x) = y p(x, y) = y p(x|y)p(y) p(y|x) = p(x|y)p(y) y p(x|y)p(y) p(y|x) = p(x|y)p(y) dy p(x|y)p(y) p( |D) = p(D| ) p( ) /p(D) p(D) = d p(D| )p( )Where:
  5. 5. ベイズの定理 2013/08/04 5 モデル自体も  M  としてパラメタに組み込むと、ベイズの定理は、 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) M1 M2 なので、 すなわち、事後確率の比は、証拠の比と事前確率の比の積で表される。   この事前確率の比を Bayers  Factor  と呼ぶ。 p( |D, M) = p(D| , M) p( |M)/p(D|M) p(M1|D) = p(D|M1)p(M1)/p(D) p(M2|D) = p(D|M2)p(M2)/p(D) p(M1|D) p(M2|D) = p(D|M1) p(D|M2) p(M1) p(M2) Bayes  Factor と表せる。ここで、
  6. 6. ベイズの定理 2013/08/04 6 出現する証拠はモデルのパラメタθにしかよらないので、   p(D | , D) = p(D | ) p( |D , D) = p(D | , D)p( |D) d p(D | , D)p( |D) = p(D | )p( |D) d p(D | )p( |D) したがって、 再度テストを行うなど、複数回にわたってデータをサンプリングするときに使える 【複数の証拠  D,  D’  がある場合】  
  7. 7. コイントスの例 •  あなたのコインは公平?それともインチキ?" 2013/08/04 7 H : head, T : tail = p(H) H : head, T : tail = p(H) p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) →下記のように  Prior  (事前確率)  を設定 おそらくちゃんと作 られてるから θ=0.5 " だけど" もしかしたら偽物で 偏ってるかも? ↑   A君の頭のなかの   モデル
  8. 8. コイントスの例 2013/08/04 8 p( ) = 0.25 ( = 0.25, 0.75) 0.5 ( = 0.5) 0 (otherwise) Prior (事前確率) D = 3H, 9T のときLikelihood (尤度) p(D| ) = 3 (1 )9 = 1.2 10 3 ( = 0.25) 2.4 10 4 ( = 0.50) 1.6 10 6 ( = 0.75) 0 (otherwise) データの当てはまり具合
  9. 9. コイントスの例 2013/08/04 9 Posterior (事後確率) ベイズの定理より、 p( |D) = p(D| )p( ) p(D| )p( ) 0.71 ( = 0.25) 0.29 ( = 0.50) 9.0 10 4 ( = 0.75) 0 (otherwise) 合計=1となることに注目。
  10. 10. •  事前確率がもう少し複雑な例を考える" •  ベイズならモデルの比較も簡単!" コイントスの例2 2013/08/04 10 VS simple complex
  11. 11. コイントスの例2 p(D|M) simple complex D = 3H, 9T 0.000416 0.000392 D = 1H, 11T 0.00276 0.00366 2013/08/04 11 モデルMからデータDが   生じる確率
  12. 12. 日常に潜むベイズの考え方 •  「ワトソン君、何度言ったら分かるんだ。起こり得ないことをすべ て取り除いてそれが残ったんだったら、どんなに可能性が低くても、 それが真実なんだよ。」 2013/08/04 12 •  屋根からなんか落ちてきた→「猫かな?」
 今隣の家に子供が遊びにきたらしい→「あ、そっちだね」" 屋根からなんか落ちてきた→ cat かな? p(D| child) が大きいらしい→ p(D| i) = Const.( i = j) であっても、 p( child|D) が小さくなる 「ワトソン君、何度言ったら分かるんだ。p(D| i) = 0( i = j) なら どんなに p( j) > 0 が小さくても p( j|D) = 1 なんだよ。」
  13. 13. Exercise 4.2 •  ある病気と検査の話(条件付き確率あるある)" •  病気の確率変数 θ = J, L(事象「かからない」or「かかる」)" •  p(θ=L) = 0.001: 罹患率は 0.1%" •  検査の結果の確率変数 D=+(陽性), ー(陰性)" •  p(D=+| θ=L) = 0.99: 的中率 99%" •  p(D=+| θ=J) = 0.05: エラー率 5%" •  運悪く、あなたは最初の検査で陽性反応が出てしまいました。" •  不安になってもう一度検査を受けたところ、陰性反応が出ました。" •  さて、このときあなたが病気にかかっている確率は?" •  すなわち、p(θ=L | D1=+, D2=ー) は?" 2013/08/04 13
  14. 14. Exercise 4.2 2013/08/04 14 p( =):|D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| =):)p( = ): |D1 = +) + p(D2 = +| = p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) + p(D2 = +| = (: , D1 = +)p( = (: |D1 = +) = p(D2 = +| =):)p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) θ=L  と D2  についてベイズの定理を適用して p( = ): |D1 = +, D2 = ) = p(D2 = +| = ): , D1 = +)p( = ): |D1 = +) p(D2 = +| = ): , D1 = +)p( =):|D1 = +) + p(D2 = +| = (: , D1 = +)p = p(D2 = +| = ): )p( = ): |D1 = +) p(D2 = +| = ): )p( = ): |D1 = +) + p(D2 = +| = (: )p( = (: |D1 = +) D2  の結果は  D1  とは無関係なので(スライド  p6  参照) あとは各項の値を求める。 = 2.1*10^{-4} = 0.021%

×