Introduction to Statistical Estimation (統計的推定入門)
•Download as PPTX, PDF•
6 likes•1,876 views
Describes statistical estimation in an intuitive manner. Intended for beginners. Covers maximum likelihood, MAP, and Bayesian estimate.
Recommended
More Related Content
What's hot
Viewers also liked
Similar to Introduction to Statistical Estimation (統計的推定入門)
Similar to Introduction to Statistical Estimation (統計的推定入門) (20)
Recently uploaded
Recently uploaded (14)
Introduction to Statistical Estimation (統計的推定入門)
- 7. 確率論の基礎 7
- 8. 確率の表記法の基本 明日の天気を確率的に捉える例。 明日の天気を確率変数xで表す。 晴れをa1で表す。明日晴れる確率は0.6。 小雨をa2で表す。明日小雨の確率は0.3。 大雨をa3で表す。明日大雨の確率は0.1。 問題： これらの知識を三つの等式で表せ。 P( x a1 ) 0.6 P( x a2 ) 0.3 P( x a3 ) 0.1 8
- 9. 確率分布 確率変数xのそれぞれの値に対し、その値が生 じる確率を値として持つ関数 P( x a1 ) 0.6 P( x a2 ) 0.3 P( x a3 ) 0.1 P(x) 9
- 10. 同時確率（同時分布） 複数の事象が同時に起きる確率の分布 P( x a1 , y P( x b1 ) 0.02 a1 , y b2 ) 0.05 P( x a2 , y b1 ) P( x P( x, y ) 0.03 .......... .... am , y bn ) 0.04 10
- 11. 同時確率の例 それぞれの事象が 同時に生じる確率 の分布 明 後晴 すべての事象の確 率を足した時に1 日 になる必要がある の 。 天 雨 気 y 明日の天気 x 晴 雨 0.4 0.1 0.2 0.3 11
- 12. 三つ以上の確率変数の同時確率 確率変数が二つの場合と同じように定義できる 。 P( x a1 , y P( x b1 , z c1 ) 0.006 a1 , y b2 , z c1 ) 0.007 P( x a1 , y b1 , z c2 ) 0.001 .......... .... P( x am , y P( x, y, z ) bn , z ck ) 0.002 12
- 13. 周辺化 N個の確率変数（ここではxとy）に関する分布 である同時確率から、N-1個の確率変数（ここ ではx）の分布を作る操作。 P( x) P( x, y ) y P( x, y b1 ) P( x, y b2 ) ... P( x, y bn ) yについてすべての可能性について考えて確率を 足し合わせたら、xについてだけの確率分布にな る。 13
- 14. 周辺化の例 明日の天気xの確 率分布 P(x) を同 時確率から求め 明 る。 後 晴 日 明後日の天気yの の 確率分布 P(y) を 天 同時確率から求 気 雨 める。 y P(x) 明日の天気x P(y) 晴 雨 0.4 0.1 0.5 0.2 0.3 0.5 0.6 0.4 14
- 15. 条件付き確率 条件付き確率は「確率分布を値とする関数」。 区切り記号「|」の後に条件を入れることで、そ の条件のもとでの確率分布が得られる。 P( x a| y b) 条件付き確率の値は同時確率と周辺確率の商と して求められる。 P( x | y ) P ( x, y ) P( y ) 15
- 16. 条件付き確率の例 明日の天気 が決まった 上での明後 日の天気の 確率分布。 明 後 晴 日 P ( x, y ) の P( y | x) 天 P( x) 気 雨 y P(x) 明日の天気x 晴 雨 P(y) 0.4／0.6 0.1／0.4 = 0.666 = 0.25 0.5 0.2／0.6 0.3／0.4 = 0.333 = 0.75 0.5 0.6 0.4 16
- 17. 条件付き確率と“割合” 条件付き確率の計算では全 体に対する“割合”が求められ ている。 総和 p(x=晴) のうち、 p(x=晴,y=雨)が占める割合が 求められている。 P ( y 雨 | x 晴) P( x 晴, y 雨) P ( x 晴) P x 晴, y 雨 P x 晴 , y 晴 P x 晴, y 雨 明日の 天気x 晴 明 後 晴 日 の 天 気 雨 y P(x) 0.4／0.6 = 0.666 0.2／0.6 = 0.333 0.6 17
- 18. 独立性 xとyが同時に起きる確率（同時確率）がxが起 きる確率とyが起きる確率の積で表せる時、xと yは独立であるという。 P( x, y) P ( x ) P( y ) 18
- 19. 独立性の判定例 血液型xと性格yが以下の分布に従っているとす る。 A 几帳面 性 格 だらしない y 普通 血液型x B O AB 0.12 0.06 0.09 0.03 0.08 0.04 0.06 0.02 0.2 0.1 0.15 0.05 血液型と性格は独立か？ 19
- 21. 条件付き独立性 条件部の値を固定した時に独立である時、条件 付き独立であるという。 P( x, y | z c1 ) P( x, y | z P( x | z c2 ) P ( x, y | z P( x, y | z ) c1 ) P( y | z P( x | z c1 ) c2 ) P( y | z .......... .... ck ) P( x | z c2 ) ck ) P ( y | z ck ) P( x | z ) P( y | z ) 21
- 22. 条件付き独立性の例 x：横浜スタジアムで野球の試合が開催されるか y: 赤レンガパークで野外ライブが開催されるか z: 天候 P( x 開催, y 開催 | z 晴) P( x 開催 | z 晴) P( y 開催 | z 晴) P( x 開催, y 中止 | z 雨) P( x 開催 | z 雨) P( y 中止 | z 雨) などの式が成り立つと考えられる。 22
- 23. 条件付き独立性の例 もしxとyのすべての値について以下の関係式が 満たされていれば、xとyはzのもとで条件付き 独立。 P( x, y | z 晴) P( x, y | z 雨) P( x | z 晴) P( y | z 晴) P( x | z 雨) P( y | z 雨) しかしxとyの値はzを通して関係するので、独 立とは限らない。 23
- 24. 確率の間の関係式のまとめ 同時確率 P x, y 周辺化 周辺確率 P x ,P y 条件付き確率 P( x | y ) 周辺化 P ( x, y ) P( y ) P( x) P( x, y) y 24
- 26. 練習問題１ 回答（同時分布／周辺分 布） 同時分布 P(x,y)、 周辺分布 P(x)、 P(y) は以下のよう に求められる。 P( x) y P( y) x 設定x P(y) 甘い 厳しい 出 る 0.1 0.1 0.2 出 な い 0.2 0.6 0.8 P(x) 0.3 0.7 大 当 P( x, y) た り P ( x, y ) y 26
- 27. 練習問題１ 回答（条件付き確率 ） 大当たりが出た時の 分布は P(x|y) なので P(y)で割る。 大当たりが出た時に 大 出 0.1／0.2 0.1／0.2 = 0.5 設定が甘い確率は る = 0.５ 当 0.5になる。 ※ 設定xをパラメータと すると、これは観測 変数yからパラメータ を推定することの一 例。 設定x P(y) 甘い 厳しい た 出 り な y い P(x) 0.2／0.8 0.6／0.8 = 0.25 = 0.75 0.3 0.2 0.8 0.7 27
- 28. 練習問題１ 回答（独立性） 設定x P(y) 甘い 厳しい xとyは独立ではない 。 P( x, y) P( x ) P( y ) 大 当 た り y 出 る 出 な い P(x) 0.1≠ 0.3×0.2 0.1≠ 0.7×0.2 0.2 0.2≠ 0.3×0.8 0.6≠ 0.7×0.8 0.8 0.3 0.7 28
- 30. 練習問題2 回答 ここでは P(x|y) を載 疾患x P(y) せているが、同様に あり なし P(y|x)も求められる タ あ 0.08／0.2 0.12／0.2 。 xとyは独立である 。 このため、以下が 成り立っている。 P x, y P x| y P y PxP y Px P y ン り パ ク な 質 し y P(x) = 0.4 = 0.6 0.32／0.8 0.48／0.8 = 0.4 = 0.6 0.4 0.2 0.8 0.6 30
- 31. 離散分布と連続分 布 31
- 32. 離散分布と連続分布 離散分布 観測データが離散値を取る。 観測データのそれぞれの値について確率値が定ま る。 • 事象の例： サイコロの目，引いたトランプのスート （マーク） • 分布の例： ベルヌーイ分布、二項分布 連続分布 観測データが連続値を取る。 観測データの値の関数として確率密度が決まる。 • 事象の例： 人間の身長、生物の寿命、測定誤差 • 分布の例： ガウス分布、指数分布 32
- 33. 離散分布の例 試験の正解数 確率 0問 1問 2問 3問 4問 5問 33
- 35. 確率密度 連続値をとる確率変数の分布を考えるため、分割 を細かくしていく。（1年単位→1日単位→1秒単 0.5 0.5 0.5位……） 0 1 2 0 0.5 1 1.5 2 0 0.25 0.5 1 1.25 1.5 1.75 2 「すべての事象の確率を足したら1になる」と いう制約のため、細かく分けるにつれて個々の 事象の生じる確率が小さくなっていく。 連続値の分布を考えるには無限回の分割が必要 であり、個々の事象の生じる確率は0になる。 ゆえに従来の意味での確率分布を定義できない 35
- 38. 確率密度関数を積分すると確率にな る あとx年生きられる確率 5年未満しか生きられない確率＝ この範囲の面積 10年以上11年未満生きる確率＝ この範囲の面積 5年 10年 15年 20年 38
- 40. 標本とパラメータ 40
- 45. サイコロにおけるパラメータ そ の2 1が出やすいイカサマのサイコロの目の確率分布： x 1 μ 15 / 60 P(x|μ) 15 / 60 2 1/6 1/6 3 1/6 1/6 4 1/6 1/6 5 1/6 1/6 6 5 / 60 5 / 60 パラメータは「確率分布を決定する数値の集合 」。 サイコロの目の確率分布はこれらの6つのうち5 つの数字が与えられれば自動的に決定される。 ゆえにそれがサイコロの目の確率分布のパラメ ータとなる。 45
- 46. 連続値確率変数の分布とパラメー タ 有限個の値を取る離散値確率変数であれば、そ れぞれの値が生じる確率を並べることで分布を 完全に定義できる。これらの確率がパラメータ になる。 連続値確率変数の場合、取り得る値の種類が無 限個である（たとえば10と0の間には無限個の 数値が存在する）ため、「それぞれの値におけ る確率密度をすべて並べる」ということができ 余命x 10年 1年 0.1年 0.01年 0.001年 …. ない。 P(x) 0.5 0.7 0.9 0.92 0.96 …. 46
- 48. パラメータと条件付き分布 「観測変数の分布がパラメータによって決定す る」という関係は条件付き確率を使って表現で きる。 【復習】 条件付き確率とは、「値として確率分 布（あるいは確率密度分布）が得られる関数」 であった。 例： ガウス分布（正規分布）を条件付き確率で表 p( x | , 2 ) 1 2 e x 2 2 2 48
- 49. ガウス分布（正規分布） ガウス分布は以下のように定義される連続値確 率変数xの分布である。 P(x) p( x | , 2 ) 1 2 e x 2 2 2 μ x 測定誤差はガウス分布に従うとされることが多 く、様々な場面に現れる。 分布の形はμを中心として左右対称である。σ2 が小さければ細く尖った分布、σ2が大きければ 横に広がった分布になる。 49
- 50. 最尤推定 50
- 51. トランプのスート（マーク）の推 定 ♥ と ♠ しか入っていないトランプを考える。 4枚のカードを選んでおく。その中から一回ご とに戻し、3回引いた。その結果が以下であっ た。 ♥, ♠, ♥ 4枚のカードのスート（ ♥ と ♠ の枚数）はどのよ うになっていると考えるのがよいか？ 51
- 54. トランプに対する最尤法 ♥ をH、♠をSで表す。♥, ♠, ♥ は(H,S,H)Tと表記。 θ=1（つまり♥が1枚、 ♠が3枚）の時に♥, ♠, ♥ が得 られる確率は以下のように表される。 P(x H , S, H T | 1) ♥, ♠, ♥, ♥ がそれぞれθのもとで条件付き独立で生 じたとみなし、以下のように計算できる。 P ( x1 H | 1) P ( x2 S | 1) P ( x3 H | 1) 1 3 1 3 4 4 4 64 他のθについても計算してまとめると以下のように なる。 θ（＝ハートの枚 0 1 2 3 4 数） 54
- 55. 最尤解 尤度関数 P(x|θ) の値を最大にするθを最尤解と 呼ぶ。 さきほどの問題では θ = 3 が最尤解。 55
- 56. 最尤法の例1 ♥ と ♠ しか入っていないトランプから4枚の カードを選んでおく。その中から一回ごとに戻 し、5回引いた。その結果が以下であった。 ♥, ♥ , ♥ , ♥ , ♥ ♥ の枚数をθで表すと、θのそれぞれの値に対 する尤度は以下のようになる。 θ（＝♥の枚数） 0 1 P(x=HHHHH|θ) 0 1 / 1024 2 3 32 / 1024 243 / 1024 4 1 ゆえに ♥ の枚数θに対する最尤解は 4 である 56
- 57. 最尤法の例2 ♣ と ♦ しか入っていないトランプから5枚のカ ードを選んでおく。その中から一回ごとに戻し、 6回引いた。その結果が以下であった。 ♣, ♣, ♦, ♣, ♣, ♦ ♣の枚数をθで表すと、θのそれぞれの値に対 する尤度は以下のようになる。 θ（＝Kの枚数） 0 P(x=KKDKKD|θ) 0 1 2 16 / 56 144 / 56 3 4 324 / 56 256 / 56 5 0 ゆえに♣の枚数θに対する最尤解は 3 である 57
- 60. 離散値パラメータの尤度関数の例 ♥, ♠, ♥ が出た時の♥ の枚数θの尤度関数 尤度p(x|θ) 0 最大値 1 2 3 4 θ 離散値パラメータの尤度関数はヒストグラムで表せ る。 すべてのθについて p(x|θ) を計算して比較すれば最 60
- 61. 連続値パラメータの尤度関数の例 コインが表, 裏, 表, 表と出た時、表が出る確率θ の尤度関数 尤度p(x|θ) 最大値 θ 0.25 0.5 0.75 1.0 連続値パラメータの尤度関数は曲線になる。 最大値を与えるθを求めるにはθで微分して0とお けばよい。 61
- 63. ガウス分布（正規分布） ガウス分布は以下のように定義される連続値確 率変数xの分布である。 P(x) p( x | , 2 ) 1 2 e x 2 2 2 μ x 測定誤差はガウス分布に従うとされることが多 く、様々な場面に現れる。 分布の形はμを中心として左右対称である。σ2 が小さければ細く尖った分布、σ2が大きければ 横に広がった分布になる。 63
- 64. ガウス分布のパラメータ推定の例 ある実験を5回行い、生成された化合物 の重さを測定した所、以下のような数 値（単位ミリグラム）を得た。 1.3 1.1 1.0 1.3 1.3 データがガウス分布に従うと考えた時、 そのμ、すなわち一番起きやすい値は何で あると考えるのが良いか？ データの平均は 1.2。しかしμが1.2である と推定してよいのか？ 64
- 65. ガウス分布のパラメータμの推定 p( x | , 2 ) 1 2 x 2 e 2 P(x) 2 μ x n回試行を行い、それぞれの試行で得ら れた値xiを用いてμを最尤推定する。 尤度関数は以下である。 P ( x1 , x2 ,..., xn | , 2 ) 65
- 66. ガウス分布のパラメータμの推定 各試行（観測変数xi）の間の（μとσ2のもとで の）条件付き独立性を仮定する。 この時、同時確率を積に分解できる。つまり尤 度関数を積に分解できる。 n 2 P( x1 , x2 ,...,xn | , ) 2 P( xi | , ) i 1 n i 1 1 2 2 xi e 2 2 1 2 n n e i 1 2 xi 2 2 66
- 67. ガウス分布のパラメータμの推定 尤度関数 p(x|μ,σ2) をμで微分して0とおく。 n n 1 2 e i 1 2 xi 2 2 0 n xi n 0 i 1 1 n n xi i 1 観測値xiの平均がμの最尤推定量になる。 67
- 68. 対数尤度の最大化 「指数分布族」と呼ばれる確率分布の場合、 尤度ではなく対数尤度 log p(x|θ) を最大化す ることが多い。 対数尤度を使った方が計算が容易になる場 合に使う。 対数関数は単調増加のため、log p(x)が最大 値をとるxはp(x)についても最大値を与える。 ガウス分布や多項分布など、多数の分布が 指数分布族に属す。 68
- 69. 対数の単調増加性の利用 対数関数は単調増加のため、log p(x|θ)の最大値 を与えるθは p(x|θ) の最大値を与えるθと等しい 。 p1 p3 log p2 p2 p(x|θ) p(x|θ)=1 log p3 log p1 69
- 70. 対数尤度の最大化を用いたμの推 定 2 対数尤度関数 log p(x|μ,σ ) をμで微分して0とお く。 2 1 2 n log n i 1 xi 2 2 0 n xi n 0 i 1 ML 1 n n xi i 1 観測値xiの平均がμの最尤推定量になる。 70
- 72. ベイズ統計 72
- 73. 最尤推定とベイズ推定の違い 最尤推定では尤度 p(x|θ) を最大化するθ を求める。 ML : arg max P( x | ) ベイズ推定のひとつであるMAP推定で は事後確率 p(θ|x) を最大化するθを求め る。 MAP : arg max P ( | x) 73
- 74. θの尤度関数はθの確率分布ではない もし P(x|θ) がθの確率分布であれば、θが取り得 るすべての値について P(x|θ) を足したら1にな らなくてはならない。 しかしそのようになっていないことから、 P(x|θ) がθについての確率分布でないことが分か る。 P(x|θ)はxについての確率分布だが、θについて の確率分布ではない。ゆえに「θの尤度関数」 θ（＝♥の枚数） 0 1 2 3 4 と呼ぶ。 P(x=HHHHH|θ) 0 1 / 1024 32 / 1024 243 / 1024 和は 1300 / 1024 になる。 1 74
- 78. ベイズの定理 以下を証明せよ P( | x) P( x | ) P( ) P( x) 78
- 79. ベイズの定理の証明 以下のように証明できる。 P( , x) P( | x) P( x) P( , x) P( x | ) P( ) P( | x) P( x) P( , x) ∴ P( | x) P( x | ) P( ) P( x | ) P( ) P( x) 79
- 80. ある店にあるスロットマシンについて 。 設定が甘ければ、30分で大当たりが出 る確率は0.6。設定が厳しければ、 30分で大当たりが出る確率は0.1。設 定が甘い確率は0.2。 30分で大当たりが出た時、設定が甘い 確率はどれだけか。 同時分布・周辺分布・条件付き分布の 80
- 81. 練習問題3 回答 条件付き分布P(x|θ)と 周辺分布P(θ)を表に すると以下のように なる。 周辺 設定θ 甘い 厳しい P(θ) 0.2 0.8 条件 付き 大 当 た り x 設定θ 甘い 厳しい 出 P(x|θ)= P(x|θ)= る 0.6 0.1 出 P(x|θ)= P(x|θ)= な 0.4 0.9 い 81
- 82. 練習問題3 回答 同時分布 P(x,θ)と 周辺分布P(x)、 P(θ)の表を求める と以下のようにな る。 P( x) P( x, y) y P( x, ) P( x | ) P ( ) 同時 大 当 た り x 設定θ P(x) 甘い 厳しい 出 P(x,θ)= P(x,θ)= 0.2 る 0.12 0.08 出 P(x,θ)= P(x,θ)= な 0.08 0.72 い P(θ) 0.2 0.8 0.8 82
- 83. 練習問題3 回答 条件付き分布P(θ|x) 条件 の表を求めると以 付き 下のようになる。 P ( x, ) P( | x) P( x) P( x | ) P( ) P( x) 30分で大当たりが 出た場合、設定が 甘い確率は0.6 大 当 た り x 設定θ P(x) 甘い 厳しい 出 P(θ|x)= P(θ|x)= る 0.6 0.4 0.2 出 P(θ|x)= P(θ|x)= な 0.1 0.9 い 0.8 83
- 84. ベイズの定理とベイズ推定 ベイズの定理は任意の確率変数xとyについて成 り立つが、特に観測変数xとパラメータθ、事後 分布、事前分布、尤度関数を結び付けるのに使 い、θの分布の推定に利用するのがベイズ推定。 P( | x) P( x | ) P( ) P( x) P(θ|x)： 事後分布 P(θ)： 事前分布 P(x|θ)： 尤度関数 P(x)： 正規化定数（θの関数ではないため「定 84 数」）
- 85. ベイズ推定 ベイズ推定ではパラメータθの事前分布P(θ)を使 うことで、パラメータに関する外部の知識や予 想を組み込むことができる。 例： 「 ♥ しか入っていないということはありえない なぁ」 「 ♥ と ♠ が同じ数入っている確率が一番高いん じゃないだろうか」 85
- 88. ベイズの定理は事前分布と事後分布を 結びつける式 事前分布と事後分布は共にパラメータに関する分 布であり、ベイズの定理で結びつけられている。 P( | x) P( x | ) P( ) P( x) P(θ|x)： 事後分布 P(θ)： 事前分布 P(x|θ)： 尤度関数（モデル） P(x)： 正規化定数（θの関数ではないため「定 数」） 88
- 89. 正規化定数 P(x)は尤度関数P(x|θ)と事前分布P(θ)の積をθにつ いて積分する（あるいは総和をとる）ことで求め られる。 P( x) P( x, ' )d ' P ( x) P ( x, ' ) ' P( x | ' ) P( ' ) ' ゆえにベイズの定理は以下のように表すこともで きる。 P( | x) P( x | ' ) P( ' )d ' P( x | ) P( ) P( x | ' ) P( ' )d ' θ’は積分のための変数であり、θとは異なることに注意 89
- 90. ハイパーパラメータ θが連続パラメータの時、事前分布p(θ)の形を決 めるパラメータαをハイパーパラメータと呼ぶ。 ベイズの定理でαを明示すると以下のようにな る。 P( x | ) P( | ) P( x | ) P( | ) P( | x, ) P( x | ) P( x | ' ) P( ' | )d ' θが連続パラメータの場合、すべてのθに事前確 率を割り当てるのは不可能なため、θの確率分 布が少数のパラメータによって決定されると考 える。 例： θの事前分布にガウス分布を仮定する場合、 ハイパーパラメータαはμ’とσ’2である。（パラ 90
- 91. MAP推定（maximum a posteori estimation) パラメータθの事後分布P(θ|x)はたくさんの情報を 持っているが、情報が多すぎて使いにくいことも 多い。 例： 「この台は設定が甘い確率が 0.6、設定が厳 しい確率が 0.4」と言われるより、「この台は設定 が甘い！」と言い切って欲しい。 つまり「P(θ=甘) = 0.6, P(θ=厳) = 0.4」という答 えよりも「θ=甘」という答えが欲しい。 θに関する推定結果としてひとつの数値だけを求 めるのがMAP推定。 91
- 93. MAP推定と正規化定数 ベイズの定理におけるP(x)はθについて最大化す る時には無視できる。 ゆえに事後確率 P(θ|x) を最大化するθを求めるた めには、P(x|θ)P(θ)を最大化するθを求めれば良い 。 ベイズの定理 P( | x) P( x | ) P( ) P( x) MAP推定 MAP : arg max P( | x) arg max P( x | ) P( ) 93
- 94. ベイズ推定／ＭＡＰ推定／最尤推 定 ベイズ推定ではθの事後分布P(θ|x)全体を求める が、MAP推定ではP(θ|x)を最大にするθの値のみ を求める。 最尤法は事前分布P(θ)を定数（すべてのθについ て同じ値）とおいた場合のMAP推定に等しい。 MAP推定 MAP : arg max P( | x) arg max P( x | ) P( ) ML推定（最尤推定） ML : arg max P( x | ) 94
- 95. ML推定（最尤法）とMAP推定 尤度関数P(x|θ)を最大化するパラメータθを求める のがML推定 maximum likelihood 事後確率P(θ|x)を最大化するパラメータθを求める のがMAP推定 事前分布P(θ|α)も考慮した上で最大化が行われて いることになる。 maximum a posteriori probability 95
- 96. MAP推定の例1 3枚のトランプのうち、何枚かがハートで残り はスペードである。一回ずつ戻しながら2回引 いたところ、ハートが2回出た。しかし3枚とも ハートである確率は低い（ハートの枚数が他で ある確率に比べて1/3である）ことが分かってい る。 θでハートの枚数を表し、この情報（事前知識 ）を事前分布によって以下のように表すことに P 3 1 10 する。 P 0 P 1 P 2 3 10 この時、事後確率 p(θ|x) を最大にするθを求め よ。 96
- 97. MAP解の計算1 PX HH | 0P PX HH | 1P PX HH | 2P PX HH | 3P MAP解はθ=2になる。 0 0 3 0 3 3 10 1 1 3 1 3 3 10 2 2 3 2 3 3 10 3 3 1 3 3 3 10 0 3 90 12 90 9 90 97
- 99. MAP解の計算2 PX 0P PX HH | 1P PX HH | 2P PX HH | HH | 3P MAP解はθ=3になる。 0 0 1 0 0 3 3 4 1 1 1 1 1 3 3 4 36 2 2 1 4 2 3 3 4 36 3 3 1 9 3 3 3 4 36 99
- 100. 尤度／尤度関数と事後確率値／事後分布 P(x H , S, H T | 3) θ = 3 の尤度 x = ♥, ♠, ♥ の生起確率 （ひとつの値に確定） P( 3| x T H , S, H ) θ = 3 の事後確率の値 P(x H , S, H T | ) θ の尤度関数 x = ♥, ♠, ♥ の生起確率 （θの値に依存） P( | x T H , S, H ) θ の事後分布 100