第 1 章 ベイズ推論の考え方 Part 1
市東 亘
西南学院大学 経済学部
May 9, 2019
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 1 / 48

概観
概観
概観
確率の基礎
確率とは?
頻度主義とベイズ主義
同時確率と周辺確率
条件確率
確率的独立
ベイズ統計学入門
ベイズの定理
ベイズの定理の応用
事前確率と事後確率
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 2 / 48

確率の基礎 確率とは?
確率とは?
確率変数が離散値をとる場合の確率の定義
P (X) =
n(X)
n(Ω)
=
事象 X の頻度
全事象の頻度
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 3 / 48

確率の基礎 確率とは?
確率とは?
確率変数が離散値をとる場合の確率の定義
P (X) =
n(X)
n(Ω)
=
事象 X の頻度
全事象の頻度
母集団の場合の数を数えあげれば求まる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 3 / 48

確率の基礎 確率とは?
2 枚のコイン同時投げの例
▶ X = { 表裏 }
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 4 / 48

確率の基礎 確率とは?
2 枚のコイン同時投げの例
▶ X = { 表裏 }
▶ Ω = ?
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 4 / 48

確率の基礎 確率とは?
2 枚のコイン同時投げの例
▶ X = { 表裏 }
▶ Ω = { 表裏, 表表, 裏裏 }
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 4 / 48

確率の基礎 確率とは?
2 枚のコイン同時投げの例
▶ X = { 表裏 }
▶ Ω = { 表裏, 表表, 裏裏 }
▶ P (X = { 表裏 }) =?
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 4 / 48

確率の基礎 確率とは?
2 枚のコイン同時投げの例
▶ X = { 表裏 }
▶ Ω = { 表裏, 表表, 裏裏 }
▶ P (X = { 表裏 }) = 1
3
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 4 / 48

確率の基礎 頻度主義とベイズ主義
頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 5 / 48

確率の基礎 頻度主義とベイズ主義
頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）
▶ 標本から推定する場合，繰り返し事象を想定して頻度の割合を求める．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 5 / 48

確率の基礎 頻度主義とベイズ主義
頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）
▶ 標本から推定する場合，繰り返し事象を想定して頻度の割合を求める．
▶ ベイズ主義
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 5 / 48

確率の基礎 頻度主義とベイズ主義
頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）
▶ 標本から推定する場合，繰り返し事象を想定して頻度の割合を求める．
▶ ベイズ主義
▶ 観測されたデータから確率を求める．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 5 / 48

確率の基礎 頻度主義とベイズ主義
頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）
▶ 標本から推定する場合，繰り返し事象を想定して頻度の割合を求める．
▶ ベイズ主義
▶ 観測されたデータから確率を求める．
▶ 繰り返し事象を想定しない．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 5 / 48

確率の基礎 頻度主義とベイズ主義
頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）
▶ 標本から推定する場合，繰り返し事象を想定して頻度の割合を求める．
▶ ベイズ主義
▶ 観測されたデータから確率を求める．
▶ 繰り返し事象を想定しない．
▶ 経験主義的．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 5 / 48

確率の基礎 頻度主義とベイズ主義
頻度主義とベイズ主義
▶ 頻度主義（フィッシャー，ネイマン）
▶ 標本から推定する場合，繰り返し事象を想定して頻度の割合を求める．
▶ ベイズ主義
▶ 観測されたデータから確率を求める．
▶ 繰り返し事象を想定しない．
▶ 経験主義的．
▶ ここではベイズ統計を使いながらデータに基づいて確率を計算する方
法を学ぶ．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 5 / 48

確率の基礎 同時確率と周辺確率
同時確率と周辺確率
西南学院大学の学生 100 人を調査
Y
y1 y2
サークル所属 サークル無所属
X
x1 男 30 人 10 人 40 人
x2 女 20 人 40 人 60 人
50 人 50 人 100 人
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 6 / 48

確率の基礎 同時確率と周辺確率
練習問題 1
それぞれのケースの頻度確率を求め表のセルを埋めよ．
サークル所属 サークル無所属
y1 y2
男 x1
女 x2
1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 7 / 48

確率の基礎 同時確率と周辺確率
練習問題 1
それぞれのケースの頻度確率を求め表のセルを埋めよ．
サークル所属 サークル無所属
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 7 / 48

確率の基礎 同時確率と周辺確率
練習問題 1
各事象の確率 P (·) は以下の式で表すことができる．
サークル所属 サークル無所属
y1 y2
男 x1 P (x1, y1) P (x1, y2) P (x1)
女 x2 P (x2, y1) P (x2, y2) P (x2)
P (y1) P (y2) 1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 7 / 48

確率の基礎 同時確率と周辺確率
練習問題 1
各事象の確率 P (·) は以下の式で表すことができる．
サークル所属 サークル無所属
y1 y2
男 x1 P (x1, y1) P (x1, y2) P (x1)
女 x2 P (x2, y1) P (x2, y2) P (x2)
P (y1) P (y2) 1
P (xi, yj) は 2 つの事象が同時に生じる確率 ⇒ 同時確率
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 7 / 48

確率の基礎 同時確率と周辺確率
練習問題 1
各事象の確率 P (·) は以下の式で表すことができる．
サークル所属 サークル無所属
y1 y2
男 x1 P (x1, y1) P (x1, y2) P (x1)
女 x2 P (x2, y1) P (x2, y2) P (x2)
P (y1) P (y2) 1
P (xi, yj) は 2 つの事象が同時に生じる確率 ⇒ 同時確率
P (xi)，P (yj) は表のマージンに現れる ⇒ 周辺確率
（Marginal Probability）
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 7 / 48

確率の基礎 同時確率と周辺確率
同時確率と周辺確率の関係
y1 の列に注目する: P (x1, y1) + P (x2, y1) = P (y1)
サークル所属 サークル無所属
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 8 / 48

確率の基礎 同時確率と周辺確率
同時確率と周辺確率の関係
y1 の列に注目する: P (x1, y1) + P (x2, y1) = P (y1)
サークル所属 サークル無所属
y1 y2
男 x1 30 人 10 人 40 人
女 x2 20 人 40 人 60 人
50 人 50 人 100 人
人数表を見るとその関係が分かる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 8 / 48

確率の基礎 同時確率と周辺確率
同時確率と周辺確率の関係
x1 の行に注目する: P (x1, y1) + P (x1, y2) = P (x1)
サークル所属 サークル無所属
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 9 / 48

確率の基礎 同時確率と周辺確率
同時確率と周辺確率の関係
x1 の行に注目する: P (x1, y1) + P (x1, y2) = P (x1)
サークル所属 サークル無所属
y1 y2
男 x1 30 人 10 人 40 人
女 x2 20 人 40 人 60 人
50 人 50 人 100 人
人数表を見るとその関係が分かる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 9 / 48

確率の基礎 同時確率と周辺確率
全事象
周辺分布に注目する: P (x1) + P (x2) = 1 全事象の確率
P (x1) = P (x1, y1) + P (x1, y2)
P (x2) = P (x2, y1) + P (x2, y2) より
∑
x
∑
y P (xi, yj) = 1 全事象の確率
サークル所属 サークル無所属
y1 y2
男 x1 0.3 0.1 0.4
女 x2 0.2 0.4 0.6
0.5 0.5 1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 10 / 48

確率の基礎 同時確率と周辺確率
全事象
周辺分布に注目する: P (x1) + P (x2) = 1 全事象の確率
P (x1) = P (x1, y1) + P (x1, y2)
P (x2) = P (x2, y1) + P (x2, y2) より
∑
x
∑
y P (xi, yj) = 1 全事象の確率
サークル所属 サークル無所属
y1 y2
男 x1 30 人 10 人 40 人
女 x2 20 人 40 人 60 人
50 人 50 人 100 人
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 10 / 48

確率の基礎 同時確率と周辺確率
同時確率と周辺確率の関係（まとめ）
以上をまとめると，離散値をとる確率変数 X と Y の同時確率 P (x, y) と
周辺確率 P (x), P (y) には以下の関係が成立する．
∑
y
P (x, y) = P (x)
∑
x
P (x, y) = P (y)
∑
x
∑
y
P (x, y) = 1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 11 / 48

確率の基礎 条件確率
条件確率
西南学院大学の学生全体から無作為に 1 人抽出した時，サークルに入って
いる確率 P (y1)．
P (y1) =
Ny1
N
=
50
100
= 0.5
ただし，N: 西南学院大学の学生 100 人，Nx1 : 男性の数 40 人，Ny1 :
サークルに入っている数 50 人．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 12 / 48

確率の基礎 条件確率
条件確率
西南学院大学の学生全体から無作為に 1 人抽出した時，サークルに入って
いる確率 P (y1)．
P (y1) =
Ny1
N
=
50
100
= 0.5
ただし，N: 西南学院大学の学生 100 人，Nx1 : 男性の数 40 人，Ny1 :
サークルに入っている数 50 人．
P (y1) は，母集団 N 人の中から y1 を選出する確率．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 12 / 48

確率の基礎 条件確率
条件確率
今度は，母集団全体の代わりに，サークル（y1）に入っている人だけを集
め，その部分集団の中からランダムに選ばれた人が男性（x1）である確率
を求める．
=⇒ P (x1|y1) これを条件確率と呼ぶ
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 13 / 48

確率の基礎 条件確率
条件確率
今度は，母集団全体の代わりに，サークル（y1）に入っている人だけを集
め，その部分集団の中からランダムに選ばれた人が男性（x1）である確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 13 / 48

確率の基礎 条件確率
条件確率
今度は，母集団全体の代わりに，サークル（y1）に入っている人だけを集
め，その部分集団の中からランダムに選ばれた人が男性（x1）である確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人
=
Nx1y1
Ny1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 13 / 48

確率の基礎 条件確率
条件確率
今度は，母集団全体の代わりに，サークル（y1）に入っている人だけを集
め，その部分集団の中からランダムに選ばれた人が男性（x1）である確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人
=
Nx1y1
Ny1
=
Nx1y1 /N
Ny1 /N
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 13 / 48

確率の基礎 条件確率
条件確率
今度は，母集団全体の代わりに，サークル（y1）に入っている人だけを集
め，その部分集団の中からランダムに選ばれた人が男性（x1）である確率
を求める．
=⇒ P (x1|y1) =
30 人
50 人
=
Nx1y1
Ny1
=
Nx1y1 /N
Ny1 /N
=
P (x1, y1)
P (y1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 13 / 48

確率の基礎 条件確率
条件確率と同時確率の関係
以上より，条件確率と同時確率の間には以下の式が成立する．
P (x1|y1) =
P (x1, y1)
P (y1)
↔ P (x1, y1) = P (x1|y1)P (y1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 14 / 48

確率的独立
確率的独立
▶ 通常，P (x1|y1) と P (x1) は等しくならない．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 15 / 48

確率的独立
確率的独立
▶ 通常，P (x1|y1) と P (x1) は等しくならない．
▶ これは，y1 が生起したかどうかの情報は，事象 x1 が生起するかどう
かという予測に影響を与えることを意味する．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 15 / 48

確率的独立
確率的独立
▶ 通常，P (x1|y1) と P (x1) は等しくならない．
▶ これは，y1 が生起したかどうかの情報は，事象 x1 が生起するかどう
かという予測に影響を与えることを意味する．
▶ 一方，P (x1|y1) = P (x1) ならば，y1 に関する情報は，x1 の生起に
対して何の推測も与えないことになる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 15 / 48

確率的独立
確率的独立
▶ 通常，P (x1|y1) と P (x1) は等しくならない．
▶ これは，y1 が生起したかどうかの情報は，事象 x1 が生起するかどう
かという予測に影響を与えることを意味する．
▶ 一方，P (x1|y1) = P (x1) ならば，y1 に関する情報は，x1 の生起に
対して何の推測も与えないことになる．
↓
このとき，x1 と y1 は確率的に独立！
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 15 / 48

確率的独立
確率的独立
▶ 通常，P (x1|y1) と P (x1) は等しくならない．
▶ これは，y1 が生起したかどうかの情報は，事象 x1 が生起するかどう
かという予測に影響を与えることを意味する．
▶ 一方，P (x1|y1) = P (x1) ならば，y1 に関する情報は，x1 の生起に
対して何の推測も与えないことになる．
↓
このとき，x1 と y1 は確率的に独立！
P (x1|y1) = P (x1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 15 / 48

確率的独立
確率的独立
x1 と y1 が確率的に独立なら，P (x1|y1) = P (x1)．
P (x1, y1) = P (x1|y1)P (y1)
= P (x1)P (y1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 16 / 48

確率的独立
確率的独立
x1 と y1 が確率的に独立なら，P (x1|y1) = P (x1)．
P (x1, y1) = P (x1|y1)P (y1)
= P (x1)P (y1)
同時確率は 2 つの事象の確率の積で表される．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 16 / 48

確率的独立
練習問題 2
西南の例で「サークル所属」と「性別」は独立か？
サークル所属 サークル無所属
男 0.3 0.1 0.4
女 0.2 0.4 0.6
0.5 0.5 1
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 17 / 48

確率的独立
練習問題 2
西南の例で「サークル所属」と「性別」は独立か？
サークル所属 サークル無所属
男 0.3 0.1 0.4
女 0.2 0.4 0.6
0.5 0.5 1
P (サークル所属 | 男) = 0.75，
P (サークル所属 | 女) = 0.33，P (サークル所属) = 0.5
P (男 | サークル無所属) = 0.2，P (男) = 0.4
P (女 | サークル無所属) = 0.8，P (女) = 0.6
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 17 / 48

確率的独立
練習問題 2
西南の例で「サークル所属」と「性別」は独立か？
サークル所属 サークル無所属
男 30 人 10 人 40 人
女 20 人 40 人 60 人
50 人 50 人 100 人
⇔ 2 つの事象は独立ではない．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 17 / 48

ベイズ統計学入門 ベイズの定理
ベイズの定理
条件確率の条件を入れ替える定理．
P (x1|y1) =
P (x1, y1)
P (y1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 18 / 48

ベイズ統計学入門 ベイズの定理
ベイズの定理
条件確率の条件を入れ替える定理．
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 18 / 48

ベイズ統計学入門 ベイズの定理
ベイズの定理
条件確率の条件を入れ替える定理．
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)
=
P (y1|x1)P (x1)
P (y1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 18 / 48

ベイズ統計学入門 ベイズの定理
ベイズの定理
条件確率の条件を入れ替える定理．
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)
=
P (y1|x1)P (x1)
P (y1)
▶ 左辺と右辺で，条件確率の順番が入れ替わっている!
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 18 / 48

ベイズ統計学入門 ベイズの定理
ベイズの定理
条件確率の条件を入れ替える定理．
P (x1|y1) =
P (x1, y1)
P (y1)
=
P (y1, x1)
P (y1)
=
P (y1|x1)P (x1)
P (y1)
▶ 左辺と右辺で，条件確率の順番が入れ替わっている!
▶ 同時確率に事象の順番が関係ないという性質（交換可能性）が仮定さ
れている．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 18 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
昇進試験の合否に人種差別は存在するか？
不合格 合格 計
白人 53 206 259
黒人 22 26 48
計 75 232 307
どのような確率を求めたら人種差別の有無を判定できるだろうか？
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 19 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
昇進試験の合否に人種差別は存在するか？
不合格 合格 計
白人 53 206 259
黒人 22 26 48
計 75 232 307
どのような確率を求めたら人種差別の有無を判定できるだろうか？ 考えら
れる確率は以下の 8 種類．
P (合格)，P (不合格)，P (黒人)，P (白人)
P (黒人 | 合格)，P (合格 | 黒人)
P (白人 | 合格)，P (合格 | 白人)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 19 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
昇進試験の合否に人種差別は存在するか？
不合格 合格 計
白人 53 206 259
黒人 22 26 48
計 75 232 307
一般に観察されるのは以下確率．大きく差別されているように見える．
P (黒人 | 合格) = 26/232 = 0.11
P (白人 | 合格) = 206/232 = 0.89
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 19 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
昇進試験の合否に人種差別は存在するか？
不合格 合格 計
白人 53 206 259
黒人 22 26 48
計 75 232 307
正しくは以下の確率を比較すべき！
P (合格 | 黒人)
P (合格 | 白人)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 19 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
昇進試験の合否に人種差別は存在するか？
不合格 合格 計
白人 53 206 259
黒人 22 26 48
計 75 232 307
差別はそんなに大きくない．
P (合格 | 黒人) = 26/48 = 0.54
P (合格 | 白人) = 206/259 = 0.80
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 19 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
昇進試験合格者に占める黒人と白人の割合は幹部の人種構成比率から把握
できるが，人種毎の合格率は公表されない．
P (黒人 | 合格) 観察できる
P (合格 | 黒人) 観察できない
つまり，観察できるのは下の表のみ．
不合格 合格 計
白人 ? 206 259
黒人 ? 26 48
計 75 232 307
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 20 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
昇進試験合格者に占める黒人と白人の割合は幹部の人種構成比率から把握
できるが，人種毎の合格率は公表されない．
P (黒人 | 合格) 観察できる
P (合格 | 黒人) 観察できない
つまり，観察できるのは下の表のみ．
不合格 合格 計
白人 ? 206 259
黒人 ? 26 48
計 75 232 307
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 20 / 48
ベイズの定理を使えば，条件確率の順番を入れ替えられる！

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 1
ベイズの定理を使って条件確率の順番を入れ替えてみよう．
P (合格 | 黒人) =
P (合格, 黒人)
P (黒人)
=
P (黒人, 合格)
P (黒人)
=
P (黒人 | 合格)P (合格)
P (黒人)
P (合格) は一般社員に占める幹部の割合から求まる．
P (黒人) は人口構成から求まる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 21 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
ある検査は病気にかかっている人を 98%の確率で正しく陽性と判定する．
一方，5%の確率で病気にかかっていない人を誤って陽性と判定する．この
病気の罹患率は 3%であることが知られている．
この検査を受けた人が陽性判定を受けた時，その人が実際に病気である確
率を求めよ．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 22 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
ある検査は病気にかかっている人を 98%の確率で正しく陽性と判定する．
一方，5%の確率で病気にかかっていない人を誤って陽性と判定する．この
病気の罹患率は 3%であることが知られている．
この検査を受けた人が陽性判定を受けた時，その人が実際に病気である確
率を求めよ．
情報をまとめてみる
▶ P (病気 | 陽性) =？
▶ P (陽性 | 病気) = 0.98
▶ P (陽性 | 元気) = 0.05
▶ P (病気) = 0.03，P (元気) = 0.97
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 22 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
与えられた情報
▶ P (病気 | 陽性) =？
▶ P (陽性 | 病気) = 0.98
▶ P (陽性 | 元気) = 0.05
▶ P (病気) = 0.03，P (元気) = 0.97
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 23 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 23 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 23 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性, 元気) + P (陽性, 病気)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 23 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性, 元気) + P (陽性, 病気)
=
P (陽性 | 病気)P (病気)
P (陽性 | 元気)P (元気) + P (陽性 | 病気)P (病気)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 23 / 48

ベイズ統計学入門 ベイズの定理の応用
ベイズの定理の応用 2
P (病気 | 陽性) =
P (病気, 陽性)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性)
=
P (陽性 | 病気)P (病気)
P (陽性, 元気) + P (陽性, 病気)
=
P (陽性 | 病気)P (病気)
P (陽性 | 元気)P (元気) + P (陽性 | 病気)P (病気)
=
0.98 × 0.03
0.98 × 0.03 + 0.05 × 0.97
=
294
779
≈ 38%
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 23 / 48

ベイズ統計学入門 事前確率と事後確率
事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ P (H|D): Data が観測された後の事後的な確率．
⇒ 事後確率
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 24 / 48

ベイズ統計学入門 事前確率と事後確率
事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ P (H): Data が観測される前の仮説 H が生起する確率．
⇒ 事前確率
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 24 / 48

ベイズ統計学入門 事前確率と事後確率
事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ 統計的推定では仮説 H が正しいとして統計モデルを組み立てる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 24 / 48

ベイズ統計学入門 事前確率と事後確率
事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ 統計的推定では仮説 H が正しいとして統計モデルを組み立てる．
▶ P (D|H) は，統計モデル（仮説）の下でデータが従う分布を表す．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 24 / 48

ベイズ統計学入門 事前確率と事後確率
事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ P (D|H) は，統計モデル（仮説）の下でデータが従う分布を表す．
⇒ 統計モデルの分布関数を表す．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 24 / 48

ベイズ統計学入門 事前確率と事後確率
事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ P (D|H) は，統計モデル（仮説）の下でデータが従う分布を表す．
⇒ 統計モデルの分布関数を表す．
⇒ 尤度
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 24 / 48

ベイズ統計学入門 事前確率と事後確率
事前確率と事後確率
我々は，Data が観測された時に，Hypothesis がどれくらい確からしいの
か，その確率 P (H|D) を知りたい．
P (H|D) =
P (D|H)P (H)
P (D)
▶ P (D): P (D|H) の H について積分したもの = 周辺確率．
⇒ 周辺尤度
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 24 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新
▶ 機械学習で使われるナイーブベイズ（単純ベイズ）という学習器の基
礎であるベイズ更新を学ぶ．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 25 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新
▶ 機械学習で使われるナイーブベイズ（単純ベイズ）という学習器の基
礎であるベイズ更新を学ぶ．
▶ データが追加的に観測されるたびに，事後確率を更新していき，予測
精度を高める機械学習アルゴリズム．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 25 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新
▶ 機械学習で使われるナイーブベイズ（単純ベイズ）という学習器の基
礎であるベイズ更新を学ぶ．
▶ データが追加的に観測されるたびに，事後確率を更新していき，予測
精度を高める機械学習アルゴリズム．
▶ 応用例．スパムフィルタ，地震予知，故障予測．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 25 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新
問題
見た目が同じ 2 つの壷にそれぞれ 5 つずつ玉が入っている．壷 1 には赤玉
4 つと白玉 1 つが，壷 2 には赤玉 2 つと白玉 3 つが入っている．目隠しを
した状態で壷を選び，その壷から無作為に玉を 1 つ取り出しては戻すとい
う操作を 3 回行うと，順に赤，赤，白の玉が出た．この壷が壷 1 である確率
を求めよ．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 26 / 48

ベイズ統計学入門 ベイズ更新
頻度論で解く
観察された事象の頻度と，全事象の頻度との比で求まる．場合分けの問題．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 27 / 48

ベイズ統計学入門 ベイズ更新
頻度論で解く
観察された事象の頻度と，全事象の頻度との比で求まる．場合分けの問題．
▶ 壷 1 から赤赤白を取り出す方法は 4 × 4 × 1 = 16 通り．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 27 / 48

ベイズ統計学入門 ベイズ更新
頻度論で解く
観察された事象の頻度と，全事象の頻度との比で求まる．場合分けの問題．
▶ 壷 1 から赤赤白を取り出す方法は 4 × 4 × 1 = 16 通り．
▶ 壷 2 から赤赤白を取り出す方法は 2 × 2 × 3 = 12 通り．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 27 / 48

ベイズ統計学入門 ベイズ更新
頻度論で解く
観察された事象の頻度と，全事象の頻度との比で求まる．場合分けの問題．
▶ 壷 1 から赤赤白を取り出す方法は 4 × 4 × 1 = 16 通り．
▶ 壷 2 から赤赤白を取り出す方法は 2 × 2 × 3 = 12 通り．
▶ 全事象は 28 通り．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 27 / 48

ベイズ統計学入門 ベイズ更新
頻度論で解く
観察された事象の頻度と，全事象の頻度との比で求まる．場合分けの問題．
▶ 壷 1 から赤赤白を取り出す方法は 4 × 4 × 1 = 16 通り．
▶ 壷 2 から赤赤白を取り出す方法は 2 × 2 × 3 = 12 通り．
▶ 全事象は 28 通り．
従って，壷 1 である確率は
16
28
=
4
7
．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 27 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
求めたい確率は「赤赤白」というデータが与えられた時の「壷 1」という事
象が生起する確率．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 28 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
求めたい確率は「赤赤白」というデータが与えられた時の「壷 1」という事
象が生起する確率．
⇒ P (壷 1| 赤赤白)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 28 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
求めたい確率は「赤赤白」というデータが与えられた時の「壷 1」という事
象が生起する確率．
⇒ P (壷 1| 赤赤白)
P (壷 1| 赤赤白) =
P (壷 1, 赤赤白)
P (赤赤白)
=
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 28 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
求めたい確率は「赤赤白」というデータが与えられた時の「壷 1」という事
象が生起する確率．
⇒ P (壷 1| 赤赤白)
P (壷 1| 赤赤白) =
P (壷 1, 赤赤白)
P (赤赤白)
=
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
個別の確率は頻度主義で求める．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 28 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =
6 × 6 × 4
10 × 10 × 10
=
18
125
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =
6 × 6 × 4
10 × 10 × 10
=
18
125
故に，P (壷 1| 赤赤白) =
16
125
·
1
2
·
125
18
=
4
9
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
P (壷 1| 赤赤白) =
P (赤赤白 | 壷 1)P (壷 1)
P (赤赤白)
P (赤赤白 | 壷 1) =
16 通り
125 通り
P (壷 1) =
1
2
P (赤赤白) =
6 × 6 × 4
10 × 10 × 10
=
18
125
故に，P (壷 1| 赤赤白) =
16
125
·
1
2
·
125
18
=
4
9
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 29 / 48
頻度主義の解と一致しない！

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．
▶ 正しくは，1 つの壷から 3 つ取り出すけれども壷の条件がない確率．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．
▶ 正しくは，1 つの壷から 3 つ取り出すけれども壷の条件がない確率．
P (赤赤白) =
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．
▶ 正しくは，1 つの壷から 3 つ取り出すけれども壷の条件がない確率．
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．
▶ 正しくは，1 つの壷から 3 つ取り出すけれども壷の条件がない確率．
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)
= P (赤赤白 | 壷 1)P (壷 1) + P (赤赤白 | 壷 2)P (壷 2)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．
▶ 正しくは，1 つの壷から 3 つ取り出すけれども壷の条件がない確率．
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)
= P (赤赤白 | 壷 1)P (壷 1) + P (赤赤白 | 壷 2)P (壷 2)
=
(
16
125
+
12
125
)
1
2
=
14
125
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズの定理を使って解く
▶ P (赤赤白) = 6×6×4
10×10×10
の計算が間違えている！
▶ 上の計算は 2 つの壷の中身を混ぜた状態で，赤赤白を取り出す確率．
▶ 正しくは，1 つの壷から 3 つ取り出すけれども壷の条件がない確率．
P (赤赤白) = P (赤赤白, 壷 1) + P (赤赤白, 壷 2)
= P (赤赤白 | 壷 1)P (壷 1) + P (赤赤白 | 壷 2)P (壷 2)
=
(
16
125
+
12
125
)
1
2
=
14
125
これを使うと同じ解を得る！
P (壷 1| 赤赤白) =
16
125
·
1
2
·
125
14
=
4
7
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 30 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新で解く
いよいよベイズ更新という新しい考え方を学ぶ．これは機械学習の単純ベ
イズ法の基本となる考え方なので完璧に身につけておこう！
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 31 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ データが 1 つずつ観測された時点で確率を更新していき，最終的な
データが観測された時に，求めたい複数データが与えられた時の条件
確率を求める方法．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 32 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ データが 1 つずつ観測された時点で確率を更新していき，最終的な
データが観測された時に，求めたい複数データが与えられた時の条件
確率を求める方法．
▶ P (壷 1| 赤赤白) の計算方法．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 32 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ データが 1 つずつ観測された時点で確率を更新していき，最終的な
データが観測された時に，求めたい複数データが与えられた時の条件
確率を求める方法．
▶ P (壷 1| 赤赤白) の計算方法．
最初に赤が出る ⇒ 壷 1 の確率を計算
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 32 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ データが 1 つずつ観測された時点で確率を更新していき，最終的な
データが観測された時に，求めたい複数データが与えられた時の条件
確率を求める方法．
▶ P (壷 1| 赤赤白) の計算方法．
最初に赤が出る ⇒ 壷 1 の確率を計算
⇒ 次に赤が出る ⇒ 壷 1 の確率をアップデート
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 32 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ データが 1 つずつ観測された時点で確率を更新していき，最終的な
データが観測された時に，求めたい複数データが与えられた時の条件
確率を求める方法．
▶ P (壷 1| 赤赤白) の計算方法．
最初に赤が出る ⇒ 壷 1 の確率を計算
⇒ 次に赤が出る ⇒ 壷 1 の確率をアップデート
⇒ 次に白が出る ⇒ 壷 1 の確率をアップデート
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 32 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ データが 1 つずつ観測された時点で確率を更新していき，最終的な
データが観測された時に，求めたい複数データが与えられた時の条件
確率を求める方法．
▶ P (壷 1| 赤赤白) の計算方法．
最初に赤が出る ⇒ 壷 1 の確率を計算
⇒ 次に赤が出る ⇒ 壷 1 の確率をアップデート
⇒ 次に白が出る ⇒ 壷 1 の確率をアップデート
⇒ P (壷 1| 赤赤白) が求まる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 32 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ 多くのデータを処理しなければならない時，一度に全て処理するので
はなく，利用可能になったデータを使って求めたい確率を逐次更新し
ていき，最終的な確率を求めることができる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 33 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ 多くのデータを処理しなければならない時，一度に全て処理するので
はなく，利用可能になったデータを使って求めたい確率を逐次更新し
ていき，最終的な確率を求めることができる．
▶ データが利用可能になるごとに確率を更新していくさまは，データを
使って学習していくさまと似ている．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 33 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ 多くのデータを処理しなければならない時，一度に全て処理するので
はなく，利用可能になったデータを使って求めたい確率を逐次更新し
ていき，最終的な確率を求めることができる．
▶ データが利用可能になるごとに確率を更新していくさまは，データを
使って学習していくさまと似ている．
=⇒ 機械学習
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 33 / 48

ベイズ統計学入門 ベイズ更新
ベイズ更新とは
▶ 多くのデータを処理しなければならない時，一度に全て処理するので
はなく，利用可能になったデータを使って求めたい確率を逐次更新し
ていき，最終的な確率を求めることができる．
▶ データが利用可能になるごとに確率を更新していくさまは，データを
使って学習していくさまと似ている．
=⇒ 機械学習
▶ スパムフィルタのように，メールを受け取るごとにスパムメールの確
率をアップデートすることで，より正確にスパムメールを選り分ける
ことができる．大量のメールからスパムメールの確率モデルを一気に
作るより効率的．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 33 / 48

ベイズ統計学入門 ベイズ更新
壺から取り出す 3 つの玉の問題
壷から取り出す 3 つの玉の問題をベイズ更新を用いて解く．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 34 / 48

ベイズ統計学入門 ベイズ更新
壺から取り出す 3 つの玉の問題
壷から取り出す 3 つの玉の問題をベイズ更新を用いて解く．
1 回目の取り出し
▶ 赤玉が取り出されたので，それが壷 1 から取り出された確率を求める．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 34 / 48

ベイズ統計学入門 ベイズ更新
壺から取り出す 3 つの玉の問題
壷から取り出す 3 つの玉の問題をベイズ更新を用いて解く．
1 回目の取り出し
▶ 赤玉が取り出されたので，それが壷 1 から取り出された確率を求める．
▶ 与えられた情報から，赤玉が壷 1 内で分布する尤度 P (赤 | 壷 1) は
知っている．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 34 / 48

ベイズ統計学入門 ベイズ更新
壺から取り出す 3 つの玉の問題
壷から取り出す 3 つの玉の問題をベイズ更新を用いて解く．
1 回目の取り出し
▶ 赤玉が取り出されたので，それが壷 1 から取り出された確率を求める．
▶ 与えられた情報から，赤玉が壷 1 内で分布する尤度 P (赤 | 壷 1) は
知っている．
▶ そこでベイズの定理を使って条件確率を入れ替える．
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 34 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)
▶ 分母 P (赤) を計算する際の母集団は何であったかというと，2 つの壷
の中身を混ぜた状態ではなく，1 つの壷から取り出した時に赤玉が出
る確率だ．ただし，どちらの壷か条件がない場合の確率であったこと
を思い出そう．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 35 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)
▶ 分母 P (赤) を計算する際の母集団は何であったかというと，2 つの壷
の中身を混ぜた状態ではなく，1 つの壷から取り出した時に赤玉が出
る確率だ．ただし，どちらの壷か条件がない場合の確率であったこと
を思い出そう．
⇒ 壷に関して積分した周辺尤度．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 35 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤)
▶ 分母を計算できる形式に変形する．
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 35 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
▶ ここで分子の P (壷 1) について考える．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 36 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
▶ ここで分子の P (壷 1) について考える．
▶ 我々が求めたかった条件確率 P (壷 1| 赤) の Hypothesis 部分だけを抽
出した確率．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 36 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
▶ ここで分子の P (壷 1) について考える．
▶ 我々が求めたかった条件確率 P (壷 1| 赤) の Hypothesis 部分だけを抽
出した確率．
▶ つまり，データである赤玉が観測される前の状態で，「壷 1 から玉が取
り出される」という仮説が正しい確率．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 36 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
P (壷 1| 赤) =
P (赤 | 壷 1)P (壷 1)
P (赤 | 壷 1)P (壷 1) + P (赤 | 壷 2)P (壷 2)
▶ ここで分子の P (壷 1) について考える．
▶ 我々が求めたかった条件確率 P (壷 1| 赤) の Hypothesis 部分だけを抽
出した確率．
▶ つまり，データである赤玉が観測される前の状態で，「壷 1 から玉が取
り出される」という仮説が正しい確率．
=⇒ 事前確率
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 36 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
▶ 我々の問題では区別できない壷が 2 つあるので P (壷 1) は 1/2 と求
まるが，スパムメールやガン検査の問題では仮説の事前確率が求まる
とは限らない．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 37 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
▶ 我々の問題では区別できない壷が 2 つあるので P (壷 1) は 1/2 と求
まるが，スパムメールやガン検査の問題では仮説の事前確率が求まる
とは限らない．
▶ ベイズ更新では事前確率をとりあえず主観的に定めて，新しいデータ
が利用可能になるごとに，尤もらしい事前確率にアップデートしてい
くというアプローチを取る．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 37 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
▶ 我々の問題では区別できない壷が 2 つあるので P (壷 1) は 1/2 と求
まるが，スパムメールやガン検査の問題では仮説の事前確率が求まる
とは限らない．
▶ ベイズ更新では事前確率をとりあえず主観的に定めて，新しいデータ
が利用可能になるごとに，尤もらしい事前確率にアップデートしてい
くというアプローチを取る．
▶ どちらの壷が有力かわからないので，ここでは同様に確からしいとし
て P (壷 1) = 1/2 とする．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 37 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（続き）
▶ 我々の問題では区別できない壷が 2 つあるので P (壷 1) は 1/2 と求
まるが，スパムメールやガン検査の問題では仮説の事前確率が求まる
とは限らない．
▶ ベイズ更新では事前確率をとりあえず主観的に定めて，新しいデータ
が利用可能になるごとに，尤もらしい事前確率にアップデートしてい
くというアプローチを取る．
▶ どちらの壷が有力かわからないので，ここでは同様に確からしいとし
て P (壷 1) = 1/2 とする．
=⇒ 「理由不十分の原則」ではとりあえず等確率とする．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 37 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（まとめ）
第 1 回目の取り出し後に「壷 1 から取り出した確率」を推定した結果を
P1(壷 1| 赤)，1 回目に想定した事前確率を P1(壷 1) で表すと以下を得る．
P1(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1)
P (赤 | 壷 1)P1(壷 1) + P (赤 | 壷 2)P1(壷 2)
=
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 38 / 48

ベイズ統計学入門 ベイズ更新
1 回目の取り出し（まとめ）
第 1 回目の取り出し後に「壷 1 から取り出した確率」を推定した結果を
P1(壷 1| 赤)，1 回目に想定した事前確率を P1(壷 1) で表すと以下を得る．
P1(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1)
P (赤 | 壷 1)P1(壷 1) + P (赤 | 壷 2)P1(壷 2)
=
4
5
· 1
2
4
5
· 1
2
+ 2
5
· 1
2
=
2
3
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 38 / 48

ベイズ統計学入門 ベイズ更新
2 回目の取り出し
▶ 再び赤玉が取り出されたので，それが壷 1 から取り出された確率
P2(壷 1| 赤) を求める．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 39 / 48

ベイズ統計学入門 ベイズ更新
2 回目の取り出し
▶ 再び赤玉が取り出されたので，それが壷 1 から取り出された確率
P2(壷 1| 赤) を求める．
▶ ただし，先ほど事前確率をその都度更新するとしたので，2 回目の推定
で使用する事前確率を P2(·) とする．
P2(壷 1| 赤) =
P (赤 | 壷 1)P2(壷 1)
P2(赤)
=
P (赤 | 壷 1)P2(壷 1)
P (赤 | 壷 1)P2(壷 1) + P (赤 | 壷 2)P2(壷 2)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 39 / 48

ベイズ統計学入門 ベイズ更新
2 回目の取り出し（続き）
P2(壷 1| 赤) =
P (赤 | 壷 1)P2(壷 1)
P (赤 | 壷 1)P2(壷 1) + P (赤 | 壷 2)P2(壷 2)
▶ ベイズ更新のポイントは，2 回目の事前確率 P2(壷 i) に，1 回目の
データが観測された後の Hypothesis 壷 i の確率である事後確率
P1(壷 i| 赤) を使用する点．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 40 / 48

ベイズ統計学入門 ベイズ更新
2 回目の取り出し（続き）
P2(壷 1| 赤) =
P (赤 | 壷 1)P2(壷 1)
P (赤 | 壷 1)P2(壷 1) + P (赤 | 壷 2)P2(壷 2)
=
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
▶ ベイズ更新のポイントは，2 回目の事前確率 P2(壷 i) に，1 回目の
データが観測された後の Hypothesis 壷 i の確率である事後確率
P1(壷 i| 赤) を使用する点．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 40 / 48

ベイズ統計学入門 ベイズ更新
2 回目の取り出し（まとめ）
▶ 従って 2 回目の赤玉が観測された後の事後確率は以下で求まる．
P2(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
=
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 41 / 48

ベイズ統計学入門 ベイズ更新
2 回目の取り出し（まとめ）
▶ 従って 2 回目の赤玉が観測された後の事後確率は以下で求まる．
P2(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
=
4
5
· 2
3
4
5
· 2
3
+ 2
5
· 1
3
=
4
5
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 41 / 48

ベイズ統計学入門 ベイズ更新
2 回目の取り出し（まとめ）
▶ 従って 2 回目の赤玉が観測された後の事後確率は以下で求まる．
P2(壷 1| 赤) =
P (赤 | 壷 1)P1(壷 1| 赤)
P (赤 | 壷 1)P1(壷 1| 赤) + P (赤 | 壷 2)P1(壷 2| 赤)
=
4
5
· 2
3
4
5
· 2
3
+ 2
5
· 1
3
=
4
5
▶ 1 回目のもう一つの事後確率 P1(壷 2| 赤) も求めておく必要がある点
に注意．ただし，今回は 2 事象しかなく排反事象になるので，
1 − P1(壷 2| 赤) で求まる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 41 / 48

ベイズ統計学入門 ベイズ更新
3 回目の取り出し
▶ 最後は白玉が取り出される．
▶ 自分で最終的な事後確率を求めてみよ．
P3(壷 1| 白) =
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 42 / 48

ベイズ統計学入門 ベイズ更新
3 回目の取り出し
▶ 最後は白玉が取り出される．
▶ 自分で最終的な事後確率を求めてみよ．
P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 42 / 48

ベイズ統計学入門 ベイズ更新
3 回目の取り出し
▶ 最後は白玉が取り出される．
▶ 自分で最終的な事後確率を求めてみよ．
P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P3(壷 1) + P (白 | 壷 2)P3(壷 2)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 42 / 48

ベイズ統計学入門 ベイズ更新
3 回目の取り出し
▶ 最後は白玉が取り出される．
▶ 自分で最終的な事後確率を求めてみよ．
P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P3(壷 1) + P (白 | 壷 2)P3(壷 2)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P2(壷 1| 赤) + P (白 | 壷 2)P2(壷 2| 赤)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 42 / 48

ベイズ統計学入門 ベイズ更新
3 回目の取り出し
▶ 最後は白玉が取り出される．
▶ 自分で最終的な事後確率を求めてみよ．
P3(壷 1| 白) =
P (白 | 壷 1)P3(壷 1)
P3(白)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P3(壷 1) + P (白 | 壷 2)P3(壷 2)
=
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P2(壷 1| 赤) + P (白 | 壷 2)P2(壷 2| 赤)
=
4
7
他の計算方法と同じ結果を得る！
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 42 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 事前確率 P1(壷 1) を 1/2 と置いたが，もしこの値を 1/3 とすれば当
然異なる結果を得ることになる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 43 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 事前確率 P1(壷 1) を 1/2 と置いたが，もしこの値を 1/3 とすれば当
然異なる結果を得ることになる．
▶ つまりベイズ統計学は事前確率に分析者の主観を許容する．これが科
学的な客観性を重んじる学界から長らく冷遇されてきた理由である．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 43 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 事前確率 P1(壷 1) を 1/2 と置いたが，もしこの値を 1/3 とすれば当
然異なる結果を得ることになる．
▶ つまりベイズ統計学は事前確率に分析者の主観を許容する．これが科
学的な客観性を重んじる学界から長らく冷遇されてきた理由である．
▶ 今回はたまたま事前確率が頻度論の確率と一致していたため，頻度論
の解と同じになった．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 43 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 主観が介入するとはいえ，大量のデータが利用可能ならば確率はデー
タに合わせて更新されていき，データをよく反映した事後確率に到達
することができる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 44 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 主観が介入するとはいえ，大量のデータが利用可能ならば確率はデー
タに合わせて更新されていき，データをよく反映した事後確率に到達
することができる．
▶ 大量のデータ処理が必要な現代社会ではむしろベイズ統計学が見直さ
れている．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 44 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 最後になぜベイズ更新で他の 2 つの方法と同じ結果が得られたのか考
えてみよう．
P3(壷 1| 白) =
P (白 | 壷 1)P2(壷 1| 赤)
P (白 | 壷 1)P2(壷 1| 赤) + P (白 | 壷 2)P2(壷 2| 赤)
（P2(·|·) に代入）
=
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤)
分母共通
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤)
分母共通
+ P (白 | 壷 2)P (赤 | 壷 2)P1(壷 2| 赤)
分母共通
=
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤)
P (白 | 壷 1)P (赤 | 壷 1)P1(壷 1| 赤) + P (白 | 壷 2)P (赤 | 壷 2)P1(壷 2| 赤)
（分母約分）
=
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1)
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1) + P (白 | 壷 2)P (赤 | 壷 2)P (赤 | 壷 2)P1(壷 2)
（同様に P1(·|·) を置き換えた結果）
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 45 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 今回の問題では，各玉が出る確率は取り出す順番や前に出た玉に依存
せず独立であった．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 46 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 今回の問題では，各玉が出る確率は取り出す順番や前に出た玉に依存
せず独立であった．
▶ したがって，P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) は，壷 1 を条件と
した時に赤赤白が同時に生起した確率に等しい（独立事象の同時確率
は単独事象の積）．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 46 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 今回の問題では，各玉が出る確率は取り出す順番や前に出た玉に依存
せず独立であった．
▶ したがって，P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) は，壷 1 を条件と
した時に赤赤白が同時に生起した確率に等しい（独立事象の同時確率
は単独事象の積）．
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) = P (赤 ∩ 赤 ∩ 白 | 壷 1)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 46 / 48

ベイズ統計学入門 ベイズ更新
考察
▶ 今回の問題では，各玉が出る確率は取り出す順番や前に出た玉に依存
せず独立であった．
▶ したがって，P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) は，壷 1 を条件と
した時に赤赤白が同時に生起した確率に等しい（独立事象の同時確率
は単独事象の積）．
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1) = P (赤 ∩ 赤 ∩ 白 | 壷 1)
▶ これを前の式に代入してみる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 46 / 48

ベイズ統計学入門 ベイズ更新
考察
P3(壷 1| 白) =
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1)
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1) + P (白 | 壷 2)P (赤 | 壷 2)P (赤 | 壷 2)P1(壷 2)
(5)
=
P (赤 ∩ 赤 ∩ 白 | 壷 1)P1(壷 1)
P (赤 ∩ 赤 ∩ 白 | 壷 1)P1(壷 1) + P (赤 ∩ 赤 ∩ 白 | 壷 2)P1(壷 2)
(6)
=
P (赤 ∩ 赤 ∩ 白 ∩ 壷 1)
P (赤 ∩ 赤 ∩ 白 ∩ 壷 1) + P (赤 ∩ 赤 ∩ 白 ∩ 壷 2)
(7)
=
P (赤 ∩ 赤 ∩ 白 ∩ 壷 1)
P (赤 ∩ 赤 ∩ 白)
(8)
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 47 / 48

ベイズ統計学入門 ベイズ更新
考察
P3(壷 1| 白) =
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1)
P (白 | 壷 1)P (赤 | 壷 1)P (赤 | 壷 1)P1(壷 1) + P (白 | 壷 2)P (赤 | 壷 2)P (赤 | 壷 2)P1(壷 2)
(5)
=
P (赤 ∩ 赤 ∩ 白 | 壷 1)P1(壷 1)
P (赤 ∩ 赤 ∩ 白 | 壷 1)P1(壷 1) + P (赤 ∩ 赤 ∩ 白 | 壷 2)P1(壷 2)
(6)
=
P (赤 ∩ 赤 ∩ 白 ∩ 壷 1)
P (赤 ∩ 赤 ∩ 白 ∩ 壷 1) + P (赤 ∩ 赤 ∩ 白 ∩ 壷 2)
(7)
=
P (赤 ∩ 赤 ∩ 白 ∩ 壷 1)
P (赤 ∩ 赤 ∩ 白)
(8)
まさに頻度論の計算方法に他ならない!
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 47 / 48

ベイズ統計学入門 ベイズ更新
まとめ
▶ それぞれの事象が独立であったためにベイズ更新の答えが，頻度論や，
事象を同時に扱ったベイズ定理の解き方と一致した．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 48 / 48

ベイズ統計学入門 ベイズ更新
まとめ
▶ それぞれの事象が独立であったためにベイズ更新の答えが，頻度論や，
事象を同時に扱ったベイズ定理の解き方と一致した．
▶ 式 (6) から (7) への変形で用いた最初の事前確率 P1(·) の値が，頻度
論の 1/2 と等しかったため答えが一致した．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 48 / 48

ベイズ統計学入門 ベイズ更新
まとめ
▶ それぞれの事象が独立であったためにベイズ更新の答えが，頻度論や，
事象を同時に扱ったベイズ定理の解き方と一致した．
▶ 式 (6) から (7) への変形で用いた最初の事前確率 P1(·) の値が，頻度
論の 1/2 と等しかったため答えが一致した．
▶ ベイズ更新を採用するということは，各事象が独立に分布していない
限り近似計算となる．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 48 / 48

ベイズ統計学入門 ベイズ更新
まとめ
▶ それぞれの事象が独立であったためにベイズ更新の答えが，頻度論や，
事象を同時に扱ったベイズ定理の解き方と一致した．
▶ 式 (6) から (7) への変形で用いた最初の事前確率 P1(·) の値が，頻度
論の 1/2 と等しかったため答えが一致した．
▶ ベイズ更新を採用するということは，各事象が独立に分布していない
限り近似計算となる．
=⇒ 非常にナイーブな前提の上に成り立っている．
市東 亘 (西南学院大学 経済学部) 第 1 章 ベイズ推論の考え方 Part 1 May 9, 2019 48 / 48