『基礎からのベイズ統計学 ハミルトニアンモンテカルロ法による実践的入門』の4章の4.3をまとめて授業で発表した資料．

1. 基礎からのベイズ統計学: ハミルトニアン
モンテカルロ法による実践的入門
4.3. 定常分布への収束
山城 広周

2. 用いる本
2
この本の4.3から

3. 表記
𝑝𝑖
𝑡
= 𝑝 𝑋 𝑡 = 𝑖
𝑋 𝑡 の確率分布は𝒑 𝑡 = (𝑝1
𝑡
, 𝑝2
𝑡
, 𝑝3
𝑡
)
ex) 𝑋 1
の確率分布は𝒑 1
= (0.6,0.25, 0.15)
3

4. 𝑡 ≥ 2の状態を考える
全確率の公式(1.25)を適用
𝑝 𝑋 2 = 𝑗 = ෍
𝑖=1
3
𝜋 𝑋 2 = 𝑗 𝑋 1 = 𝑖 𝑝(𝑋 1 = 𝑖)
ex)2日目に紋のネクタイを着用する確率
𝑝1
2
= 0.3 × 0.6 + 0.1 × 0.25 + 0.2 × 0.15 = 0.235
他の柄も考えると
𝒑 2 = (0.235, 0.395, 0.37)
4
𝑝 𝐵𝑗 = ෍
𝑖=1
𝑎
𝑝 𝐵𝑗 𝐴𝑖 𝑝 𝐴𝑖
𝒑 2 = 𝒑 1 𝝅

5. 𝑡 ≥ 2の状態を考える
𝑡日目の任意のネクタイの柄に関して
𝑝 𝑋 𝑡
= 𝑗 = ෍
𝑖=1
3
𝜋 𝑋 𝑡
= 𝑗 𝑋 𝑡−1
= 𝑖 𝑝(𝑋 𝑡−1
= 𝑖)
によって順番に計算可能
確率過程の遷移(transition, or 推移)
5

6. これ最終的にどうなるの？？？？
𝑡 ≥ 2の状態を考える
6

7. 𝑡 ≥ 2の状態を考える
7

8. 𝑡 ≥ 2の状態を考える
8

9. 𝑡 ≥ 2の状態を考える
9

10. 𝑡 ≥ 2の状態を考える
10

11. 𝑡 ≥ 2の状態を考える
11
変化なくね…?

12. 変化してないか確かめる
𝒑 7 = (0.167, 0.500, 0.333)の紋の確率を考える
𝑝1
8
= 0.3 × 0.167 + 0.1 × 0.5 + 0.2 × 0.333 = 0.167
12

13. 変化してないか確かめる
𝒑 7 = (0.167, 0.500, 0.333)の紋の確率を考える
𝑝1
8
= 0.3 × 0.167 + 0.1 × 0.5 + 0.2 × 0.333 = 0.167
7日目以降は「紋:縞:玉=0.167:0.5:0.33」
Pythonで計算するとt=13まで変化してるけど
変化しない𝒑を定常分布(stationary distribution)
あるいは不変分布(invariant distribution)
13
𝒑 = 𝒑𝝅

14. 変化してないか確かめる
14
この挙動を→
定常分布への収束
バーンイン(burn-in, 焼き入れ)期間𝐵
ネクタイ問題の場合𝐵 = 6

15. 初期の確率(𝒑 1 = (0.6, 0.25, 0.15))を変えると??
15

16. 初期の確率(𝒑 1 = (0.6, 0.25, 0.15))を変えると??
16

17. 初期の確率(𝒑 1 = (0.6, 0.25, 0.15))を変えると??
17
なんだかんだ収束してる

18. 収束する条件
遷移核と初期状態が
• 既約的(irreducible)
• 非周期的(aperiodic)
• 正再帰的(positive recurrent)
の条件下で定常分布に収束
収束するけどt =100000000000000000000000000000とかかも
18

19. 既約的(irreducible)
遷移核𝝅のすべての𝑖, 𝑗 ∈ 𝜒に対して 𝝅 𝑛
𝑖𝑗 > 0を
満たす有限の𝑛が存在 ( 𝝅 𝑛
𝑖𝑗は𝝅 𝑛の第(𝑖, 𝑗)要素)
マルコフ連鎖は既約である
ex)
19
𝝅 =
0.6 0.4 0.0
0.3 0.7 0.0
0.2 0.2 0.6
状態1→状態3
状態2→状態3

20. 非周期的(aperiodic)
マルコフ連鎖の状態が一定の周期を持ってない
ex)
20
𝝅 =
0.0 1.0 0.0
0.5 0.0 0.5
0.0 1.0 0.0

21. 正再帰的(positive recurrent)
21
状態𝑖から𝑗への初到達時間を𝑇𝑖𝑗とする
𝑖から𝑖への再帰確率は𝑃 𝑇𝑖𝑖 < ∞
平均再帰時間𝐸(𝑇𝑖𝑖)として定義

22. 収束する条件
遷移核と初期状態が
• 既約的(irreducible)
• 非周期的(aperiodic)
• 正再帰的(positive recurrent)
の条件下で定常分布に収束
収束するけどt =100000000000000000000000000000とかかも
22
不変分布が一意に定まる
エルゴード的マルコフ連鎖
既約的かつ不変分布になる𝝅

23. 以上
23