2019年演習II．第１章ベイズ推論の考え方 Part 1

第 1 章ベイズ推論の考え方 Part 1
市東亘
西南学院大学経済学部
May 9, 2019
市東亘 (西南学院大学経済学部) 第 1 章ベイズ推論の考え方 Part 1 May 9, 2019 1 / 48

概観
概観
概観
確率の基礎
確率とは?
頻度主義とベイズ主義
同時確率と周辺確率
条件確率
確率的独立
ベイズ統計学入門
ベイズの定理
ベイズの定理の応用
事前確率と事後確率

確率の基礎確率とは?
確率とは?
確率変数が離散値をとる場合の確率の定義
P (X) =
n(X)
n(Ω)
=
事象 X の頻度
全事象の頻度

確率とは?
確率変数が離散値をとる場合の確率の定義
P (X) =
n(X)
n(Ω)
=
事象 X の頻度
全事象の頻度
母集団の場合の数を数えあげれば求まる．

2 枚のコイン同時投げの例
▶ X = { 表裏 }

▶ X = { 表裏 }
▶ Ω = ?

▶ X = { 表裏 }
▶ Ω = { 表裏, 表表, 裏裏 }

▶ X = { 表裏 }
▶ Ω = { 表裏, 表表, 裏裏 }
▶ P (X = { 表裏 }) =?

▶ X = { 表裏 }
▶ Ω = { 表裏, 表表, 裏裏 }
▶ P (X = { 表裏 }) = 1
3

確率の基礎頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）

▶ 標本から推定する場合，繰り返し事象を想定して頻度の割合を求める．

▶ ベイズ主義

▶ ベイズ主義
▶ 観測されたデータから確率を求める．

▶ ベイズ主義
▶ 繰り返し事象を想定しない．

▶ ベイズ主義
▶ 経験主義的．

▶ ベイズ主義
▶ 経験主義的．
▶ ここではベイズ統計を使いながらデータに基づいて確率を計算する方
法を学ぶ．

確率の基礎同時確率と周辺確率
同時確率と周辺確率
西南学院大学の学生 100 人を調査
Y
y1 y2
サークル所属サークル無所属
X
x1 男 30 人 10 人 40 人
x2 女 20 人 40 人 60 人
50 人 50 人 100 人

練習問題 1
それぞれのケースの頻度確率を求め表のセルを埋めよ．
y1 y2
男 x1
女 x2
1

練習問題 1
それぞれのケースの頻度確率を求め表のセルを埋めよ．
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1

練習問題 1
各事象の確率 P (·) は以下の式で表すことができる．
y1 y2
男 x1 P (x1, y1) P (x1, y2) P (x1)
女 x2 P (x2, y1) P (x2, y2) P (x2)
P (y1) P (y2) 1

練習問題 1
y1 y2
男 x1 P (x1, y1) P (x1, y2) P (x1)
女 x2 P (x2, y1) P (x2, y2) P (x2)
P (y1) P (y2) 1
P (xi, yj) は 2 つの事象が同時に生じる確率 ⇒ 同時確率

練習問題 1
y1 y2
男 x1 P (x1, y1) P (x1, y2) P (x1)
女 x2 P (x2, y1) P (x2, y2) P (x2)
P (y1) P (y2) 1
P (xi, yj) は 2 つの事象が同時に生じる確率 ⇒ 同時確率
P (xi)，P (yj) は表のマージンに現れる ⇒ 周辺確率
（Marginal Probability）

同時確率と周辺確率の関係
y1 の列に注目する: P (x1, y1) + P (x2, y1) = P (y1)
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1

y1 の列に注目する: P (x1, y1) + P (x2, y1) = P (y1)
y1 y2
男 x1 30 人 10 人 40 人
女 x2 20 人 40 人 60 人
50 人 50 人 100 人
人数表を見るとその関係が分かる．

x1 の行に注目する: P (x1, y1) + P (x1, y2) = P (x1)
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1

x1 の行に注目する: P (x1, y1) + P (x1, y2) = P (x1)
y1 y2
男 x1 30 人 10 人 40 人
女 x2 20 人 40 人 60 人
50 人 50 人 100 人
人数表を見るとその関係が分かる．

全事象
周辺分布に注目する: P (x1) + P (x2) = 1 全事象の確率
P (x1) = P (x1, y1) + P (x1, y2)
P (x2) = P (x2, y1) + P (x2, y2) より
∑
x
∑
y P (xi, yj) = 1 全事象の確率
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1

全事象
周辺分布に注目する: P (x1) + P (x2) = 1 全事象の確率
P (x1) = P (x1, y1) + P (x1, y2)
P (x2) = P (x2, y1) + P (x2, y2) より
∑
x
∑
y P (xi, yj) = 1 全事象の確率
y1 y2
男 x1 30 人 10 人 40 人
女 x2 20 人 40 人 60 人
50 人 50 人 100 人

同時確率と周辺確率の関係（まとめ）
以上をまとめると，離散値をとる確率変数 X と Y の同時確率 P (x, y) と
周辺確率 P (x), P (y) には以下の関係が成立する．
∑
y
P (x, y) = P (x)
∑
x
P (x, y) = P (y)
∑
x
∑
y
P (x, y) = 1

確率の基礎条件確率
条件確率
西南学院大学の学生全体から無作為に 1 人抽出した時，サークルに入って
いる確率 P (y1)．
P (y1) =
Ny1
N
=
50
100
= 0.5
ただし，N: 西南学院大学の学生 100 人，Nx1 : 男性の数 40 人，Ny1 :
サークルに入っている数 50 人．

条件確率
西南学院大学の学生全体から無作為に 1 人抽出した時，サークルに入って
いる確率 P (y1)．
P (y1) =
Ny1
N
=
50
100
= 0.5
ただし，N: 西南学院大学の学生 100 人，Nx1 : 男性の数 40 人，Ny1 :
サークルに入っている数 50 人．
P (y1) は，母集団 N 人の中から y1 を選出する確率．

条件確率
今度は，母集団全体の代わりに，サークル（y1）に入っている人だけを集
め，その部分集団の中からランダムに選ばれた人が男性（x1）である確率
を求める．
=⇒ P (x1|y1) これを条件確率と呼ぶ

条件確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人

条件確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人
=
Nx1y1
Ny1

条件確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人
=
Nx1y1
Ny1
=
Nx1y1 /N
Ny1 /N

条件確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人
=
Nx1y1
Ny1
=
Nx1y1 /N
Ny1 /N
=
P (x1, y1)
P (y1)

条件確率と同時確率の関係
以上より，条件確率と同時確率の間には以下の式が成立する．
P (x1|y1) =
P (x1, y1)
P (y1)
↔ P (x1, y1) = P (x1|y1)P (y1)

確率的独立
確率的独立
▶ 通常，P (x1|y1) と P (x1) は等しくならない．

確率的独立
確率的独立
▶ これは，y1 が生起したかどうかの情報は，事象 x1 が生起するかどう
かという予測に影響を与えることを意味する．

確率的独立
確率的独立
▶ 一方，P (x1|y1) = P (x1) ならば，y1 に関する情報は，x1 の生起に
対して何の推測も与えないことになる．

確率的独立
確率的独立
↓
このとき，x1 と y1 は確率的に独立！

確率的独立
確率的独立
↓
このとき，x1 と y1 は確率的に独立！
P (x1|y1) = P (x1)

確率的独立
確率的独立
x1 と y1 が確率的に独立なら，P (x1|y1) = P (x1)．
P (x1, y1) = P (x1|y1)P (y1)
= P (x1)P (y1)

確率的独立
確率的独立
x1 と y1 が確率的に独立なら，P (x1|y1) = P (x1)．
P (x1, y1) = P (x1|y1)P (y1)
= P (x1)P (y1)
同時確率は 2 つの事象の確率の積で表される．

確率的独立
練習問題 2
西南の例で「サークル所属」と「性別」は独立か？
男 0.3 0.1 0.4
女 0.2 0.4 0.6
0.5 0.5 1

確率的独立
練習問題 2
男 0.3 0.1 0.4
女 0.2 0.4 0.6
0.5 0.5 1
P (サークル所属 | 男) = 0.75，
P (サークル所属 | 女) = 0.33，P (サークル所属) = 0.5
P (男 | サークル無所属) = 0.2，P (男) = 0.4
P (女 | サークル無所属) = 0.8，P (女) = 0.6

確率的独立
練習問題 2
男 30 人 10 人 40 人
女 20 人 40 人 60 人
50 人 50 人 100 人
⇔ 2 つの事象は独立ではない．

ベイズ統計学入門ベイズの定理
ベイズの定理
条件確率の条件を入れ替える定理．
P (x1|y1) =
P (x1, y1)
P (y1)

ベイズの定理
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)

ベイズの定理
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)
=
P (y1|x1)P (x1)
P (y1)

ベイズの定理
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)
=
P (y1|x1)P (x1)
P (y1)
▶ 左辺と右辺で，条件確率の順番が入れ替わっている!

ベイズの定理
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)
=
P (y1|x1)P (x1)
P (y1)
▶ 左辺と右辺で，条件確率の順番が入れ替わっている!
▶ 同時確率に事象の順番が関係ないという性質（交換可能性）が仮定さ
れている．

ベイズ統計学入門ベイズの定理の応用
ベイズの定理の応用 1
昇進試験の合否に人種差別は存在するか？
不合格合格計
白人 53 206 259
黒人 22 26 48
計 75 232 307
どのような確率を求めたら人種差別の有無を判定できるだろうか？

不合格合格計
白人 53 206 259
黒人 22 26 48
計 75 232 307
どのような確率を求めたら人種差別の有無を判定できるだろうか？考えら
れる確率は以下の 8 種類．
P (合格)，P (不合格)，P (黒人)，P (白人)
P (黒人 | 合格)，P (合格 | 黒人)
P (白人 | 合格)，P (合格 | 白人)

不合格合格計
白人 53 206 259
黒人 22 26 48
計 75 232 307
一般に観察されるのは以下確率．大きく差別されているように見える．
P (黒人 | 合格) = 26/232 = 0.11
P (白人 | 合格) = 206/232 = 0.89

不合格合格計
白人 53 206 259
黒人 22 26 48
計 75 232 307
正しくは以下の確率を比較すべき！
P (合格 | 黒人)
P (合格 | 白人)

不合格合格計
白人 53 206 259
黒人 22 26 48
計 75 232 307
差別はそんなに大きくない．
P (合格 | 黒人) = 26/48 = 0.54
P (合格 | 白人) = 206/259 = 0.80

昇進試験合格者に占める黒人と白人の割合は幹部の人種構成比率から把握
できるが，人種毎の合格率は公表されない．
P (黒人 | 合格) 観察できる
P (合格 | 黒人) 観察できない
つまり，観察できるのは下の表のみ．
不合格合格計
白人 ? 206 259
黒人 ? 26 48
計 75 232 307

昇進試験合格者に占める黒人と白人の割合は幹部の人種構成比率から把握
できるが，人種毎の合格率は公表されない．
P (黒人 | 合格) 観察できる
P (合格 | 黒人) 観察できない
つまり，観察できるのは下の表のみ．
不合格合格計
白人 ? 206 259
黒人 ? 26 48
計 75 232 307
ベイズの定理を使えば，条件確率の順番を入れ替えられる！

ベイズの定理を使って条件確率の順番を入れ替えてみよう．
P (合格 | 黒人) =
P (合格, 黒人)
P (黒人)
=
P (黒人, 合格)
P (黒人)
=
P (黒人 | 合格)P (合格)
P (黒人)
P (合格) は一般社員に占める幹部の割合から求まる．
P (黒人) は人口構成から求まる．

ある検査は病気にかかっている人を 98%の確率で正しく陽性と判定する．
一方，5%の確率で病気にかかっていない人を誤って陽性と判定する．この
病気の罹患率は 3%であることが知られている．
この検査を受けた人が陽性判定を受けた時，その人が実際に病気である確
率を求めよ．

ある検査は病気にかかっている人を 98%の確率で正しく陽性と判定する．
一方，5%の確率で病気にかかっていない人を誤って陽性と判定する．この
病気の罹患率は 3%であることが知られている．
この検査を受けた人が陽性判定を受けた時，その人が実際に病気である確
率を求めよ．
情報をまとめてみる
▶ P (病気 | 陽性) =？
▶ P (陽性 | 病気) = 0.98
▶ P (陽性 | 元気) = 0.05
▶ P (病気) = 0.03，P (元気) = 0.97

与えられた情報
▶ P (病気 | 陽性) =？
▶ P (陽性 | 病気) = 0.98
▶ P (陽性 | 元気) = 0.05
▶ P (病気) = 0.03，P (元気) = 0.97

P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)

P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性)

P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性)
=
P (陽性, 元気) + P (陽性, 病気)

P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性)
=
=
P (陽性 | 元気)P (元気) + P (陽性 | 病気)P (病気)

P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性)
=
=
P (陽性 | 元気)P (元気) + P (陽性 | 病気)P (病気)
=
0.98 × 0.03
0.98 × 0.03 + 0.05 × 0.97
=
294
779
≈ 38%

ベイズ統計学入門事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ P (H|D): Data が観測された後の事後的な確率．
⇒ 事後確率

P (H|D) =
P (D|H)P (H)
P (D)
▶ P (H): Data が観測される前の仮説 H が生起する確率．
⇒ 事前確率

P (H|D) =
P (D|H)P (H)
P (D)
▶ 統計的推定では仮説 H が正しいとして統計モデルを組み立てる．

P (H|D) =
P (D|H)P (H)
P (D)
▶ 統計的推定では仮説 H が正しいとして統計モデルを組み立てる．
▶ P (D|H) は，統計モデル（仮説）の下でデータが従う分布を表す．

P (H|D) =
P (D|H)P (H)
P (D)
⇒ 統計モデルの分布関数を表す．

P (H|D) =
P (D|H)P (H)
P (D)
⇒ 統計モデルの分布関数を表す．
⇒ 尤度

P (H|D) =
P (D|H)P (H)
P (D)
▶ P (D): P (D|H) の H について積分したもの = 周辺確率．
⇒ 周辺尤度

ベイズ統計学入門ベイズ更新
ベイズ更新
▶ 機械学習で使われるナイーブベイズ（単純ベイズ）という学習器の基
礎であるベイズ更新を学ぶ．

ベイズ更新
▶ データが追加的に観測されるたびに，事後確率を更新していき，予測
精度を高める機械学習アルゴリズム．

ベイズ更新
▶ データが追加的に観測されるたびに，事後確率を更新していき，予測
精度を高める機械学習アルゴリズム．
▶ 応用例．スパムフィルタ，地震予知，故障予測．

ベイズ更新
問題
見た目が同じ 2 つの壷にそれぞれ 5 つずつ玉が入っている．壷 1 には赤玉
4 つと白玉 1 つが，壷 2 には赤玉 2 つと白玉 3 つが入っている．目隠しを
した状態で壷を選び，その壷から無作為に玉を 1 つ取り出しては戻すとい
う操作を 3 回行うと，順に赤，赤，白の玉が出た．この壷が壷 1 である確率
を求めよ．

頻度論で解く
観察された事象の頻度と，全事象の頻度との比で求まる．場合分けの問題．

頻度論で解く
▶ 壷 1 から赤赤白を取り出す方法は 4 × 4 × 1 = 16 通り．

頻度論で解く

頻度論で解く
▶ 全事象は 28 通り．

頻度論で解く
▶ 全事象は 28 通り．
従って，壷 1 である確率は
16
28
=
4
7
．

ベイズの定理を使って解く
求めたい確率は「赤赤白」というデータが与えられた時の「壷 1」という事
象が生起する確率．

⇒ P (壷 1| 赤赤白)

⇒ P (壷 1| 赤赤白)
P (壷 1| 赤赤白) =
P (壷 1, 赤赤白)
P (赤赤白)
=
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)

⇒ P (壷 1| 赤赤白)
P (壷 1| 赤赤白) =
P (壷 1, 赤赤白)
P (赤赤白)
=
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
個別の確率は頻度主義で求める．

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =
6 × 6 × 4
10 × 10 × 10
=
18
125

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =
6 × 6 × 4
10 × 10 × 10
=
18
125
故に，P (壷 1| 赤赤白) =
16
125
·
1
2
·
125
18
=
4
9

P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =
6 × 6 × 4
10 × 10 × 10
=
18
125
故に，P (壷 1| 赤赤白) =
16
125
·
1
2
·
125
18
=
4
9
頻度主義の解と一致しない！

▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！

▶ P (赤赤白) = 6×6×4
10×10×10
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．

▶ P (赤赤白) = 6×6×4
10×10×10
▶ 正しくは，1 つの壷から 3 つ取り出すけれども壷の条件がない確率．

▶ P (赤赤白) = 6×6×4
10×10×10
P (赤赤白) =

▶ P (赤赤白) = 6×6×4
10×10×10
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)

▶ P (赤赤白) = 6×6×4
10×10×10
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)
= P (赤赤白 | 壷 1)P (壷 1) + P (赤赤白 | 壷 2)P (壷 2)

▶ P (赤赤白) = 6×6×4
10×10×10
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)
= P (赤赤白 | 壷 1)P (壷 1) + P (赤赤白 | 壷 2)P (壷 2)
=
(
16
125
+
12
125
)
1
2
=
14
125

▶ P (赤赤白) = 6×6×4
10×10×10
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)
= P (赤赤白 | 壷 1)P (壷 1) + P (赤赤白 | 壷 2)P (壷 2)
=
(
16
125
+
12
125
)
1
2
=
14
125
これを使うと同じ解を得る！
P (壷 1| 赤赤白) =
16
125
·
1
2
·
125
14
=
4
7

ベイズ更新で解く
いよいよベイズ更新という新しい考え方を学ぶ．これは機械学習の単純ベ
イズ法の基本となる考え方なので完璧に身につけておこう！

ベイズ更新とは
▶ データが 1 つずつ観測された時点で確率を更新していき，最終的な
データが観測された時に，求めたい複数データが与えられた時の条件
確率を求める方法．

▶ P (壷 1| 赤赤白) の計算方法．

最初に赤が出る ⇒ 壷 1 の確率を計算

⇒ 次に赤が出る ⇒ 壷 1 の確率をアップデート

⇒ 次に白が出る ⇒ 壷 1 の確率をアップデート

⇒ 次に白が出る ⇒ 壷 1 の確率をアップデート
⇒ P (壷 1| 赤赤白) が求まる．

▶ 多くのデータを処理しなければならない時，一度に全て処理するので
はなく，利用可能になったデータを使って求めたい確率を逐次更新し
ていき，最終的な確率を求めることができる．

▶ データが利用可能になるごとに確率を更新していくさまは，データを
使って学習していくさまと似ている．

=⇒ 機械学習

=⇒ 機械学習
▶ スパムフィルタのように，メールを受け取るごとにスパムメールの確
率をアップデートすることで，より正確にスパムメールを選り分ける
ことができる．大量のメールからスパムメールの確率モデルを一気に
作るより効率的．

壺から取り出す 3 つの玉の問題
壷から取り出す 3 つの玉の問題をベイズ更新を用いて解く．

1 回目の取り出し
▶ 赤玉が取り出されたので，それが壷 1 から取り出された確率を求める．

▶ 与えられた情報から，赤玉が壷 1 内で分布する尤度 P (赤 | 壷 1) は
知っている．

▶ 与えられた情報から，赤玉が壷 1 内で分布する尤度 P (赤 | 壷 1) は
知っている．
▶ そこでベイズの定理を使って条件確率を入れ替える．
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)

1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)
▶ 分母 P (赤) を計算する際の母集団は何であったかというと，2 つの壷
の中身を混ぜた状態ではなく，1 つの壷から取り出した時に赤玉が出
る確率だ．ただし，どちらの壷か条件がない場合の確率であったこと
を思い出そう．

P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)
▶ 分母 P (赤) を計算する際の母集団は何であったかというと，2 つの壷
の中身を混ぜた状態ではなく，1 つの壷から取り出した時に赤玉が出
る確率だ．ただし，どちらの壷か条件がない場合の確率であったこと
を思い出そう．
⇒ 壷に関して積分した周辺尤度．

P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)
▶ 分母を計算できる形式に変形する．
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)

P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
▶ ここで分子の P (壷 1) について考える．

P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
出した確率．
▶ つまり，データである赤玉が観測される前の状態で，「壷 1 から玉が取
り出される」という仮説が正しい確率．

P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
出した確率．
▶ つまり，データである赤玉が観測される前の状態で，「壷 1 から玉が取
り出される」という仮説が正しい確率．
=⇒ 事前確率

▶ 我々の問題では区別できない壷が 2 つあるので P (壷 1) は 1/2 と求
まるが，スパムメールやガン検査の問題では仮説の事前確率が求まる
とは限らない．

▶ ベイズ更新では事前確率をとりあえず主観的に定めて，新しいデータ
が利用可能になるごとに，尤もらしい事前確率にアップデートしてい
くというアプローチを取る．

▶ どちらの壷が有力かわからないので，ここでは同様に確からしいとし
て P (壷 1) = 1/2 とする．

▶ どちらの壷が有力かわからないので，ここでは同様に確からしいとし
て P (壷 1) = 1/2 とする．
=⇒ 「理由不十分の原則」ではとりあえず等確率とする．

▶ 再び赤玉が取り出されたので，それが壷 1 から取り出された確率
P2(壷 1| 赤) を求める．

P2(壷 1| 赤) =
P (赤 | 壷 1)P2(壷 1)
P (赤 | 壷 1)P2(壷 1) + P (赤 | 壷 2)P2(壷 2)
=
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
▶ ベイズ更新のポイントは，2 回目の事前確率 P2(壷 i) に，1 回目の
データが観測された後の Hypothesis 壷 i の確率である事後確率
P1(壷 i| 赤) を使用する点．

▶ 従って 2 回目の赤玉が観測された後の事後確率は以下で求まる．
P2(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
=

P2(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
=
4
5
· 2
3
4
5
· 2
3
+ 2
5
· 1
3
=
4
5

P2(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
=
4
5
· 2
3
4
5
· 2
3
+ 2
5
· 1
3
=
4
5
▶ 1 回目のもう一つの事後確率 P1(壷 2| 赤) も求めておく必要がある点
に注意．ただし，今回は 2 事象しかなく排反事象になるので，
1 − P1(壷 2| 赤) で求まる．

▶ 最後は白玉が取り出される．
▶ 自分で最終的な事後確率を求めてみよ．
P3(壷 1| 白) =

P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)

P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P3(壷 1) + P (白 | 壷 2)P3(壷 2)

P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P3(壷 1) + P (白 | 壷 2)P3(壷 2)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P2(壷 1| 赤) + P (白 | 壷 2)P2(壷 2| 赤)

P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P3(壷 1) + P (白 | 壷 2)P3(壷 2)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P2(壷 1| 赤) + P (白 | 壷 2)P2(壷 2| 赤)
=
4
7
他の計算方法と同じ結果を得る！

考察
▶ 事前確率 P1(壷 1) を 1/2 と置いたが，もしこの値を 1/3 とすれば当
然異なる結果を得ることになる．

考察
▶ つまりベイズ統計学は事前確率に分析者の主観を許容する．これが科
学的な客観性を重んじる学界から長らく冷遇されてきた理由である．

考察
▶ つまりベイズ統計学は事前確率に分析者の主観を許容する．これが科
学的な客観性を重んじる学界から長らく冷遇されてきた理由である．
▶ 今回はたまたま事前確率が頻度論の確率と一致していたため，頻度論
の解と同じになった．

考察
▶ 主観が介入するとはいえ，大量のデータが利用可能ならば確率はデー
タに合わせて更新されていき，データをよく反映した事後確率に到達
することができる．

考察
▶ 主観が介入するとはいえ，大量のデータが利用可能ならば確率はデー
タに合わせて更新されていき，データをよく反映した事後確率に到達
することができる．
▶ 大量のデータ処理が必要な現代社会ではむしろベイズ統計学が見直さ
れている．

考察
▶ 最後になぜベイズ更新で他の 2 つの方法と同じ結果が得られたのか考
えてみよう．
P3(壷 1| 白) =
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P2(壷 1| 赤) + P (白 | 壷 2)P2(壷 2| 赤)
（P2(·|·) に代入）
=
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤)
分母共通
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤)
分母共通
+ P (白 | 壷 2)P (赤 | 壷 2)P1(壷 2| 赤)
分母共通
=
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤)
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤) + P (白 | 壷 2)P (赤 | 壷 2)P1(壷 2| 赤)
（分母約分）
=
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1)
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1) + P (白 | 壷 2)P (赤 | 壷 2)P (赤 | 壷 2)P1(壷 2)
（同様に P1(·|·) を置き換えた結果）

考察
▶ 今回の問題では，各玉が出る確率は取り出す順番や前に出た玉に依存
せず独立であった．

考察
▶ したがって，P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) は，壷 1 を条件と
した時に赤赤白が同時に生起した確率に等しい（独立事象の同時確率
は単独事象の積）．

考察
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) = P (赤 ∩ 赤 ∩ 白 | 壷 1)

考察
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) = P (赤 ∩ 赤 ∩ 白 | 壷 1)
▶ これを前の式に代入してみる．

まとめ
▶ それぞれの事象が独立であったためにベイズ更新の答えが，頻度論や，
事象を同時に扱ったベイズ定理の解き方と一致した．

まとめ
▶ 式 (6) から (7) への変形で用いた最初の事前確率 P1(·) の値が，頻度
論の 1/2 と等しかったため答えが一致した．

まとめ
▶ ベイズ更新を採用するということは，各事象が独立に分布していない
限り近似計算となる．

まとめ
▶ ベイズ更新を採用するということは，各事象が独立に分布していない
限り近似計算となる．
=⇒ 非常にナイーブな前提の上に成り立っている．

2019年演習II．第１章ベイズ推論の考え方 Part 1

Recommended

Recommended

More Related Content

More from Wataru Shito

More from Wataru Shito (20)