Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【DBDA勉強会2013】Doing Bayesian Data Analysis Chapter 9: Bernoulli Likelihood with Hierarchical Prior

2,228 views

Published on

  • DOWNLOAD THAT BOOKS/FILE INTO AVAILABLE FORMAT - (Unlimited) ......................................................................................................................... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes Christian, Classics, Comics, Contemporary, Cookbooks, Art, Biography, Business, Chick Lit, Children's, Manga, Memoir, Music, Science, Science Fiction, Self Help, History, Horror, Humor And Comedy, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ...................................ALL FOR EBOOKS................................................. Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • ACCESS that WEBSITE Over for All Ebooks (Unlimited) ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... DOWNLOAD FULL EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH }
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

【DBDA勉強会2013】Doing Bayesian Data Analysis Chapter 9: Bernoulli Likelihood with Hierarchical Prior

  1. 1. Doing Bayesian Data Analysis 輪読会 Chapter 9 Gunosy Inc. Coffee Yoshida 2013/08/24
  2. 2. 9章 Bernoulli Likelihood with Hierarchical Prior • 目次 – 9.1 A Single Coin from a Single Mint – 9.2 Multiple Coins from a Single Mint – 9.3 Multiple Coins from Multiple Mints – 9.4 Summary – 9.5 R Code – 9.6 Exercises – (mint = 造幣局) 2013/08/24
  3. 3. 8章の内容と9章の内容 • 8章では、独立な2個のパラメータを推定する問 題について考えた – Ex) コインの表裏の確率に関するパラメータは、コイ ン間で影響し合わない • 9章では、従属な2個以上のパラメータを推定す る問題について考える – Ex) あるコインの表裏の確率に関するパラメータは、 コイン工場のパラメータを通して、別のコインの表 裏の確率に関するパラメータに影響を与える 2013/08/24
  4. 4. パラメータとハイパーパラメータ • 2種類のパラメータ – パラメータ : データに直接的に影響を与えるパラメー タ • Ex) コインのパラメータ – ハイパーパラメータ:別のパラメータに影響をあた えることで、間接的にデータに影響を与えるパラ メータ • Ex) コイン工場のパラメータ 2013/08/24
  5. 5. ハイパーパラメータの利点 • パラメータ間の従属関係を考えることの2つの利 点 – 1. 同時事後確率を考えるときに、モデルの構造を変 更しないで良い – 2. 従属関係は、その事後分布から、比較的効率的な モテカルロサンプリングをモチベートする 2013/08/24
  6. 6. 9.1 A SINGLE COIN FROM A SINGLE MINT • コインが1個の場合の尤度と事前確認を復習する • コインの表裏の確率は、ベルヌーイ分布を用い て、以下の式で表せる p ( y | θ ) = bern ( y | θ ) = θy ( 1 – θ ) 1- y ( 表 : y = 1、裏 : y = 0 ) ( θ : コインの表が出る確率に関するパラメータ ) 2013/08/24
  7. 7. パラメータの独立性 • 試行(コイン投げ)ごとに、表裏が出るパラメータ は独立と仮定した • N 回の試行中、 z 回表が出る同じ確率は、以下の式 で表せる p ( y1, y1, …, | θ1, θ2, …, ) = Π p ( yi |θi ) = θz ( 1 - θ )N-z – N = 1 の場合は、前ページの以下の式と同じ p ( y | θ ) = bern ( y | θ ) = θy ( 1 – θ ) 1- y 2013/08/24
  8. 8. パラメータ θ の事前確率 • パラメータ θ の事前確率 p(θ) について考える • コイン投げの例では、 p(θ) として、ベータ分布を仮 定していた • ベータ分布 beta ( θ | a, b ) = θa-1 ( 1 - θ )b-1 / B(a, b) – a, bは、ベータ分布のパラメータ、B(*, *) はベータ関数 – 平均 μ 、サンプルサイズ Z を用いて、a, bは以下のように 表せる a = μ K b = (1-μ) K 2013/08/24
  9. 9. パラメータ θ の事前確率 • サンプルサイズ K は、confidenceに影響を与える • ここでは、K は定数だと考え、事前分布は以下 の式で表す p( θ | μ) = beta ( θ | μK, ( 1–μ)K ) 2013/08/24
  10. 10. hierachical models • μ を定数ではなく、0 ~ 1の値をとる確率変数と 考えるhierachical modelsの領域に入っていく… – μ を定数ではなく、0 ~ 1の値をとる確率変数と考える → コイン工場のコイン作りに対する信念の不確かさを 表す p ( μ ) = beta( μ | Aμ, Bμ ) (Aμ, Bμは定数) Ex) 大きいμ → 表が出やすいコイン作りばかりする工 場 小さいμ → 裏が出やすいコイン作りばかりする工 場2013/08/24
  11. 11. hierachical models • 変数間の関係を表したhierachial modelsの図 – i 番目のコイン投げの表裏 yi は、パラ メータ θ のベルヌーイ分布から生成さ れる – θ は、パラメータ a, b のベータ分布か ら生成される – a, b は、それぞれ μK, (1-μ)K に等しい – μ は、パラメータ Aμ, Bμ のベータ分布 から生成される 2013/08/24
  12. 12. hierachical modelsへのベイズルールの適用 • ベイズルールを適用する p ( θ, μ | y ) = p ( y | θ, μ ) p ( θ, μ ) / p ( y ) = p ( y | θ ) p ( θ | μ ) p (μ) / p ( y ) 2013/08/24
  13. 13. 9.1.1 Posterior via Grid Approximation • 事後分布をGrid Approximationする – θ と μ の値域は、[0, 1]で有限なので、Grid Approximationはtractableで、グラフも簡単に作れる 2013/08/24
  14. 14. Posterior via Grid Approximation 事前分布 • 事前分布の図 – p ( μ ) = beta( μ | 2, 2 ) – p( θ | μ ) = beta( θ | μ100, (1-μ)100) 2013/08/24
  15. 15. Posterior via Grid Approximation事前分布 • μ は、0.5付近をとる確率が大きいが、uncertaintyは大き い(右上の図) • θ は、μ と同じくらいの値を取りやすい(真ん中上と右 下の図) 2013/08/24
  16. 16. Posterior via Grid Approximation尤度 • 尤度の図 – データ D : 表 9 回、裏 3 回 – 尤度 : p ( D | θ ) = θ9 ( 1 – θ )3 2013/08/24
  17. 17. Posterior via Grid Approximation事後確率 • 事後確率の図 2013/08/24
  18. 18. Posterior via Grid Approximation 事後確率 • 事後確率 = 尤度 × 事前確率 = × 2013/08/24
  19. 19. certainty の大きな μ の場合の事前分布 • μ の certainty を0.5周辺で大きくする – p ( μ ) = beta( μ | 20, 20 ) – p ( θ | μ ) = beta( θ | μ6, (1-μ)6 ) 2013/08/24
  20. 20. certainty の大きな μ の場合の尤度 • さっきと同じデータ – データ D : 表 9 回、裏 3 回 – 尤度 : p ( D | θ ) = θ9 ( 1 – θ )3 2013/08/24
  21. 21. certainty の大きな μ の場合の事後分布 • 事後確率の図 – μ は、certainty高かったので、あまり変わらず、θ だ けとんがる 2013/08/24
  22. 22. certainty の大きな μ の場合の事後分布 • 事後確率 = 尤度 × 事前確率 = × 2013/08/24
  23. 23. 9.2 MULTIPLE COINS FROM A SINGLE MINT • 9.1 – コインは1個で、複数回の試行でパラメータ θ は同じ ものだった • 9.2 – コインは複数個で、それぞれ異なるパラメータ θj を 持つ – コインは複数個あるけど、同じmint(工場)で作られ てるとする – 同じmintで作られてるので、パラメータ μ は複数個の コインで同一とする – コインは独立に作られてるので、θjはμに関して条件 付き独立とする 2013/08/24
  24. 24. 9.2 MULTIPLE COINS FROM A SINGLE MINT 9.1では θ, yi → 9.2では θj, yij 2013/08/24
  25. 25. 9.1.2 Posterior via Grid Approximation • 9.1.1の内容を、コインが2個(θ1, θ2)の場合で 行う 2013/08/24
  26. 26. Posterior via Grid Approximation 事前確率 • 事前確率 2013/08/24
  27. 27. Posterior via Grid Approximation 尤度 • 尤度 – データ D1 : 表 3 回、裏 13 回 – データ D2 : 表 4 回、裏 1 回 – 尤度 : p ( D1 | θ1 ) = θ1 3 ( 1 – θ1 )13 – 尤度 : p ( D1 | θ2 ) = θ2 4 ( 1 – θ2 )1 2013/08/24
  28. 28. Posterior via Grid Approximation 事後確率 • 事後確率 – データ数の大きかった 1 の方がデータの平均値に事後 確率も集まりやすい 2013/08/24
  29. 29. Posterior via Grid Approximation 事前確率 μ と θ の依存関係が強い場合 • 事前確率 – μ と θ の依存関係が強い場合 2013/08/24
  30. 30. Posterior via Grid Approximation 事前確率 μ と θ の依存関係が強い場合 • 尤度、データはさっきと同じ – データ D1 : 表 3 回、裏 13 回 – データ D2 : 表 4 回、裏 1 回 – 尤度 : p ( D1 | θ1 ) = θ1 3 ( 1 – θ1 )13 – 尤度 : p ( D1 | θ2 ) = θ2 4 ( 1 – θ2 )1 2013/08/24
  31. 31. Posterior via Grid Approximation 事後確率 μ と θ の依存関係が強い場合 • 事後確率 – さっきよりも θ2 が θ1 の方によってる – μ と θ の依存関係が強いので、μを通して、データの 影響が別のパラメータθへの影響も強くなる 2013/08/24
  32. 32. 9.2.2 Posterior via Monte Carlo Sampling • モデルをより現実的なものにするために、パラ メータ K も導入する – サンプルサイズKは、9.2.1まで定数だった – K が大 → θj は μ に近くなりやすい – K が小 → θj は μ からはなれて広がりやすい – 実際には、 K の値を事前に知ることはできず、「異 なるコインの試行結果が似かよってたら、K は大きい だろう」、「異なるコインの試行結果があんまり似 てなかったら、K は小さいだろう」みたいにという証 拠になる 2013/08/24
  33. 33. 9.2.2 Posterior via Monte Carlo Sampling • パラメータ K (図中ではκ) は、定数ではなくて、事前 分布から生じる(ここでは ガンマ分布を使用) • パラメータは全部で J + 2 個 – θ1 〜 θJ, μ, κ 2013/08/24
  34. 34. ガンマ分布 – s: shape parameter, 分布のな だらかさを表す – r: rate parameter, (=1/scale) – m: s / r – sd: √s / r 2013/08/24
  35. 35. κ の事前分布にガンマ分布を用いた場合 • さっきはK=5で固定してたのを、ガンマ分布の平均を 5.0、標準偏差を0.01にして同じような結果を出してみる 2013/08/24
  36. 36. κ の事前分布にガンマ分布を用いた場合 2013/08/24 • ガンマ分布のサンプルサイズκを75.0に変えてみる • μ と θ1, θ2 の依存関係が強くなる
  37. 37. κ の事前分布にガンマ分布を用いた場合 • コイン3個の試行で、3個とも似たような結果だった場合 • コイン工場のパラメータ μ の推定の確かさは高い • κ の平均値が大きくなる 2013/08/24
  38. 38. κ の事前分布にガンマ分布を用いた場合 2013/08/24 • コイン3個の試行で、3個ともバラバラな結果だった場合 • コイン工場のパラメータ μ の推定の確かさは低い • κ の平均値は小さくなる
  39. 39. 9.2.3 Outliers and Shrinkage of Individual Estimates • 多くのコインが似たような結果を出すと、κ は 大きくなり、θ と μ の依存関係も強くなる – 異なるコインの θ が同じような分布になる 2013/08/24
  40. 40. Outliers and Shrinkage • コイン5個投げて、1個変なコインがいた (Outliers) – κ が小さい時は、θ5 は実際の分布に近づくが、κ が大 きい時は、他のコインの θ の分布に近づく (Shrinkage) 2013/08/24
  41. 41. 9.2.5 Number of Coins and Flips per Coin • データ増やすと、よりcertainにモデル推定が可 能になる • データの増やし方 – コインごとの投げ数を増やす – コインの数を増やす • ハイパーパラメータの推定が目的の場合はこっち • 個々のコインのバイアスではなくて、コイン工場のパラメー タを推定したい時とか 2013/08/24
  42. 42. 9.3 MULTIPLE COINS FROM MULTIPLE MINTS • コイン工場に関するパラメータ μ, κ が工場ごと にことなる場合 • 工場ごとのパラメータが独立な場合と従属な場 合の2つを考える 2013/08/24
  43. 43. 9.3.1 Independent Mints • μc, κc は、コイン毎に異なるが、同じガンマ分布 から生成される μ, κ が同じの場合 μc, κc がバラバラの場合 2013/08/24
  44. 44. 9.3.2 Dependent Mints • μc, κc が、コイン毎に異なり、 異なるガンマ分布から生成さ れる – ガンマ分布のパラメータsc, rcは、 平均 μγ, 標準偏差 σγ で表される – μγ と σγ は一様分布から生じる 2013/08/24

×