More Related Content
Similar to 基礎からのベイズ統計学 3章(3.1~3.3)
Similar to 基礎からのベイズ統計学 3章(3.1~3.3) (20)
基礎からのベイズ統計学 3章(3.1~3.3)
- 6. ところが、
乗法定理のAiをθをみなして、Biをxとみなして書き換えると、立場が決裂
乗法定理
p(Ai, Bi) = p(Bj | Aj) p(Aj) f(θ, x) = f(x |θ) f(θ)
p(Ai, Bi) = p(Aj | Bj) p(Bj) f(θ, x) = f(θ|x) f(x)
伝統的な統計学では、上記の変換式を原則許さない
伝統的な統計学・・・母数θは道だけど固定された日確率変数
ベイズ統計学・・・f(θ)を母数の分布として導入。母数θは確率変数として扱う
ベイズ統計学では、右辺を等式
でつなぎ、両辺をf(x)で割る
𝑓(𝜃|𝑥) =
𝑓 𝑥 𝜃 𝑓(𝜃)
𝑓(𝑥)
- 7. 分布に関するベイズの定理
𝑓(𝜃|𝑥) =
𝑓 𝑥 𝜃 𝑓(𝜃)
𝑓(𝑥)
𝑓(𝜃|𝑥)・・・事後確率分布
𝑓(𝑥|𝜃)・・・尤度
𝑓(𝜃)・・・事前確率分布
𝑓(𝑥) =
−∞
+∞
𝑓 𝑥 𝜃 𝑓 𝜃 𝑑𝜃
𝑓(𝜃|𝑥) =
𝑓 𝑥 𝜃 𝑓(𝜃)
−∞
+∞
𝑓 𝑥 𝜃 𝑓 𝜃 𝑑𝜃
全確率の公式
- 10. カーネル
確率分布や尤度において、母数と変数を含んだ部分。
確率分布や尤度の本質的な性質を決定する。
赤部分が2項分布の性質を決める。それを強調するために
2項分布の確率関数を下記のように示すこともある。
𝑓(𝜃|𝑥) = 𝑛 𝐶 𝑥 𝜃 𝑥 1 − 𝜃 𝑛−𝑥
(例)2項分布
カーネル
𝑓(𝜃|𝑥) ∝ 𝜃 𝑥 1 − 𝜃 𝑛−𝑥
- 11. 正規化定数
確率分布の母数&変数(?)を含まない部分。
確率分布を確率変数で積分したら1になるようにする。
(参考)
𝑓(𝑥|𝑝, 𝑞) = 𝐵 𝑝, 𝑞 −1 𝑥 𝑝−1 1 − 𝑥 𝑞−1
(例)ベータ分布の確率密度関数
カーネル
𝐵 𝑝, 𝑞 =
0
−1
𝑥 𝑝−1 1 − 𝑥 𝑞−1 𝑑𝑥
正規化定数
𝐵 𝑝, 𝑞 の定義
すべての確率分布は、確率変数で積分すると1になるという性質がある
ので↓↓↓
0
1
𝑓(𝑥|𝑝, 𝑞) =
0
1
𝐵 𝑝, 𝑞 −1
𝑥 𝑝−1
1 − 𝑥 𝑞−1
𝑑𝑥
= 𝐵 𝑝, 𝑞 −1
0
1
𝑥 𝑝−1
1 − 𝑥 𝑞−1
𝑑𝑥 = 1
- 14. 自然共役事前分布
以下の例で、伝統的な統計学とベイズ統計学の違いを
考察しよう
伝統的な統計学
客観的なデータにだけ基づいて勝率を推定⇒Bの勝率 4/7
ベイズ統計学の私的分析
監督の主観も判断材料に利用する。普段はAの方がうまい
けど、たまたま直前の1試合だけをポカしただけかもしれない。
正選手問題
ある高校のテニス部で、次の大会の正選手を1名だけ決めることになりま
した。候補はA,Bの2選手です。ここ数日の正式記録によるとA対Bの戦績
は3勝4敗です。BがAより優勢です。しかし監督は正選手の決定に悩み
ました。それ以前の1週間では8勝2敗ぐらいでAが優勢だと思ったからで
す。しかしこれは正式記録としては全く残っておらず、あくまでも茫然とし
た監督の個人的印象にしかすぎません。監督はAとBのどちらを正選手
に選ぶべきでしょう。
- 16. 自然共役事前分布と尤度の組み合わせ
尤度 事前分布 事後分布
ベルヌイ分布 ベータ分布 ベータ分布
2項分布 ベータ分布 ベータ分布
ポアソン分布 ガンマ分布 ガンマ分布
正規分布の平均 正規分布 正規分布
正規分布の分散 逆ガンマ分布 逆ガンマ分布
尤度がベルヌイ分布や2項分布である場合に、ベータ分布を共役事前分布とし
て利用すると・・・
∝ 𝜃 𝑥 1 − 𝜃 𝑛−𝑥 × 𝜃 𝑝−1 1 − 𝜃 𝑞−1
𝑓(𝜃|𝑥) ∝ 𝑓 𝑥 𝜃 𝑓 𝜃
∝ 𝜃 𝑥+𝑝−1 1 − 𝜃 𝑛−𝑥+𝑞−1
∝ 𝜃 𝑝−1
1 − 𝜃 𝑞−1