PRML 8.2 条件付き独立性

PRML読書会第10回
8.2 条件付き性

2010-01-09
SUHARA YOSHIHIKO
(id:sleepy_yoshi)

目次
• 8.2 条件付き性
– 8.2.1 3つのグラフの
• 8.2.2 有向分 (d分 )

1

条件付き性 (1)
• 変数a, b, cを考える．bとcが与えられたときに，aの
条件付き分布がbの値に依存しない

p (a | b, c) = p(a | c)

⇒ cが与えられた下で，aはbに対して条件付き

3

演習8.8
• a b, c | d ならば a b|d
解)
p ( a , b , c | d ) = p ( a | d ) p (b , c | d )

cについて周辺化

p ( a , b | d ) = p ( a | d ) p (b | d )

∴a b|d
5

8.2.1 3 のラフの

6

8.2.1 3ノードから成るグラフ
• ３つの構造
– (1) tail-to-tail
– (2) head-to-tail
– (3) head-to-head

• 「弁明」現象

7

(1) tail-to-tail
c tail-to-tail tail

a b
head
p(a, b, c) = p(a | c) p(b | c) p(c)
どの変数も観測されていない場合に
aとbのを確かめる (両辺をcに関して周辺化)

p(a, b) = ∑ p(a | c) p(b | c) p(c)
c
⇒ p(a)p(b)に分解可能 ( a b |φ ) 9

tail-to-tail: 経の遮断
• cを観測することにより，経を遮断 (block) し，
aとbとを条件付きにする
c

a b

p(a, b | c) = p(a | c) p(b | c)
ポイント１
tail-to-tailのノードを観測すれば，
ふたつのノードの遮断でる 11

(2) head-to-tail

12

(2) head-to-tail
a c b

head-to-tail

p(a, b, c) = p(a)(c | a) p(b | c)
どの変数も観測されていない場合にaとbのを確かめる

p (a, b) = p (a)∑ p(c | a) p (b | c) = p(a) p(b | a)
c

⇒ p(a)p(b)に分解可能 ( a b |φ )
13

head-to-tail: 変数cの観測
p(a, b, c)
p ( a, b | c ) = ベイズの
p (c )
p(a) p (c | a) p(b | c)
=
p (c )
= p(a | c) p(b | c)

よって条件付きがかれる

a b|c 14

head-to-tail: 経の遮断
• cを観測することにより，経を遮断 (block) し，
aとbとを条件付きにする
a c b

p(a, b, c) = p(a | c)(b | c)

ポイント２
head-to-tailのノードを観測すれば，
ふたつのノードの遮断でる 15

(3) head-to-head

16

(3) ead-to-head
a b

head-to-
c head

p(a, b, c) = p(a) p(b) p(c | a, b)
どの変数も観測されていない場合にaとbのを確かめる

p (a, b) = p(a) p(b)
⇒ p(a)p(b)に分解可能 ( a b |φ )
17

head-to-head: 経の遮断解
a b

c
p(a) p(b) p(c | a, b)
p ( a, b | c ) =
p (c )

ポイント３
head-to-headのノードを観測すると，
ふたつのノードのの遮断が解かれる 19

head-to-headの子孫の観測
依存関係の発生
a b

c

d
ポイント４
head-to-headかその子孫のうちいずれか
を観測すると，経の遮断が解かれる
(⇒ 演習8.10)
20

「弁明」現象

24

のタンクモデル
• ののモデル B F
– バッテリの状態 B {1, 0}
– タンクの状態 F {1, 0}
– G {1, 0} G

バッテリとタンクがタンクとバッテリの状態が
満タンである事確与えられた際のが満タンを指す確
p( B = 1) = 0.9 p(G = 1 | B = 1, F = 1) = 0.8
p( F = 1) = 0.9 p(G = 1 | B = 1, F = 0) = 0.2
p(G = 1 | B = 0, F = 1) = 0.2
p(G = 1 | B = 0, F = 0) = 0.1

何も観測していないとき，
タンクが空である確 p(F=0) = 0.1 25

観測による確の変化
が空を指している事実を観測

B ベイズのより
F
p(G = 0 | F = 0) p( F = 0)
p( F = 0 | G = 0) =
p(G = 0)
G
p(G = 0) = ∑ ∑ p(G = 0 | B, F ) p( B) p( F ) = 0.315
B∈{0 ,1} F ∈{0 ,1}

p(G = 0 | F = 0) = ∑ p(G = 0 | B, F = 0) p( B) = 0.81
B∈{0 ,1}

0.81× 0.1
∴ ≅ 0.257 p( F = 0 | G = 0) > p( F = 0)
0.315
観測によってタンクが空である可能性が高くなる 26

「弁明」現象
つづいてバッテリがれていること (B=0) を観測
B F p( F = 0 | G = 0, B = 0)
P(G = 0 | F = 0, B = 0) p( F = 0)
= ≅ 0.111
G ∑F∈{0,1} p(G = 0 | B = 0, F ) p( F )
バッテリの観測によってタンクが空である確が
0.257から0.111に下がった

バッテリがれているという事実が，
が空を指していることを「弁明」している

※1 Gの代わりにGの子孫を観測しても起こる
※2 バッテリがれていても，が0を指しているという事実
がとなり，事確 p(F=0)よりも大きい 27

補足:B, G観測後の事後確

p( F , G, B) = p( F , G | B) p( B) = p( F | G, B) p(G | B) p( B)

= p(G, B | F ) p( F ) = p(G | F , B) p( B | F ) p( F )
p(B)

p(G = 0 | B = 0, F = 0) p( B = 0) p( F = 0)
p( F = 0 | G = 0, B = 0) =
∑ p(G = 0 | B = 0, F ) p( B = 0) p( F )
F ∈{0 ,1}
Σの外に出て打ち消す

p(G = 0 | F = 0, B = 0) p( F = 0)
= ≅ 0.111
∑F∈{0,1} p(G = 0 | B = 0, F ) p( F )
28

アンケート
• “explain away” あなたならどう訳す?
– (1) 弁明 (現象) 1名
– (2) 釈明 (現象) 1名
– (3) 言い逃れ (現象) 1名
– (4) 説明を加えて明らかにする現象 5名
– (5) (他人がフォローするので) 弁護 (現象) 7名
– (6) 真犯人が現れました現象
– (その他自由回答)

PRML読書会的には「弁護」現象となりました
30

8.2.1のポイントまとめ

31

ポイント１
tail-to-tailのノードを観測すれば，
ふたつのノードの遮断でる
ポイント２
head-to-tailのノードを観測すれば，
ふたつのノードの遮断でる

ポイント３
head-to-headのノードを観測すると，
ふたつのノードのの遮断が解かれる
ポイント４
head-to-headかその子孫のうちいずれか
を観測すると，経の遮断が解かれる 32

8.2.2 分 (D分 )
今までの話を一般化

33

有向分
• グラフの有向分
– A, B, Cを重複のないノード集合とする
– 条件付き性 A B | C を調べたい
⇒ Aの任意のノードからBの任意のノードまで全ての経
が遮断されていることを確認する

A B

C 34

経の遮断条件
• 以下の条件のいずれかを満たすノードを含む経
は遮断されている

(a) 集合Cに含まれるノードであって，経に含まれ
る矢印がそこでhead-to-tailあるいはtail-to-tailである

(b) 経に含まれる矢印がそのノードでhead-to-headで
あり，自身あるいはそのすべての子孫いずれもが集
合Cに含まれない

• 全ての経が遮断されていれば，AはCによって
Bから有向分され，A B | C を満たす
35

1)
有向分
• aからbの経を調べる a f
できないか?

e b

c
1. fによって遮断されない
⇒ tail-to-tailかつ観測されていないため
2. eによって遮断されない
⇒ head-to-headだが，子孫のcが観測されているため

このグラフからでは条件付き性は導けない
36

2)
• aからbの経を調べる a f

e b

c
1. fによって遮断される
⇒ tail-to-tailかつ観測されているため

2. eによっても遮断される
⇒ head-to-headかつ，いずれの子孫が観測されていないため

条件付き a b | f が成する
37

同分布データの場合
1.2.4節の同分布 (i.i.d.) の
• 1変ガウス分布の事後分布を得る
– 下記のグラフより p(μ,x) = p(x|μ)p(μ)

μ μ

x1 xN または xn
…
N

μを条件付け変数となすと，任意のxiとxi≠jの経がtail-to-tailの
観測済みノードμのため，すべての経が遮断される
⇒ μが与えられた下で観測値D = {x1, ..., xN} はである

p ( D | µ ) = ∏ p ( xn | µ )
n =1 38

図8.7の
• ¥hat{t}からtnに対する任意の経において，wはtail-
to-tailであるため，以下の条件付き性が成する

ˆ
t tn | w

つまり多項式係数wで条件つけら
れた下で，¥hat{t}の予測分布は
訓練データtnに対して

一訓練データをして係数w上の事後分布を決め
てしまえば，訓練データを捨ててしまってよい 39

ナイーブベイズモデル
• ナイーブベイズモデルのグラフ構造
– 観測変数x = (x1,...xD)T
– クラスベクトルz = (z1, ..., zK)

zを観測すると，xiとxj (j≠i)
との間のが遮断される
ナイーブベイズ仮説
クラスzで条件付けると
変数x1, ...xDがいに

zを観測せずにzに関して周辺化すると，
xiとxj (j≠i) へのの遮断解かれる
i.e.,
p(x)を各成分x1,...,xDに関して
D
p(x) ≠ ∏ p( xi )
分解できないことを意味する i 40

ナイーブベイズモデルの
• ベクトルxに変数と変数がするような
場合にも使える
⇒ 変数それれに対してなモデルをする

2値観測値には実数値には
ベルヌーイ分布ガウス分布

D
p( y | x) = arg max p( y )∏ p( xi | y )
y∈Y i

様々な分布の組み合わせが可能
41

有向分
2つの方法によって得られる分布の集合は等価である
(1) 有向分解 (directed factorization)
– 同時分布の因数分解から得られる分布の集合
K
p(x) = ∏ p( xk | pa k ) (8.5)
k =1

(2) 有向分 (directed separation)
– グラフの経遮断を調べて得られる分布の集合

43

マルコフブランケット

44

マルコフブランケット (1/2)
• D個のノードを持つグラフで表現される同時分布
p(x1, ..., xD) と，変数xiに対応するノード上の，他ノー
ドxj≠iで条件付けられた条件付き分布を考える
p(a|b,c) =
p(x1 ,..., x D ) p(a,b,c) / p(b,c)
p(x i | x{ j ≠i} ) =
∫ p(x ,..., x )dx
1 D i
x k ≠i
∏ p(x | pa ) k k
x i ∉ pa k
= k
xiに依存しないノードは積分の外
∫ ∏ p(x | pa )dx
k
k k i に出て分子と打ち消しあう

p(x i | pa i ) xiの親ノードに依存
p(x k | pa k ) xi (の子)と共同親に依存 (誤植? 下巻p.95, 原書p.382)
45

マルコフブランケット (2/2)
• xiをグラフから条件付きにするためのノード集合 (⇒ 演習8.9)

共同親
(co-parent)

• 共同親がな由
⇒ 子の観測により遮断が解かれるため
共同親
xi

head-to-headノードが観測 (ポイント3) 46

演習8.9
• マルコフブランケットを条件付けることにより，xiが全
てのノードから条件付き

親ノード集合:
tail-to-tail or head-to-rail
かつ観測 ⇒ 遮断

子ノード集合:
(1) head-to-tail
かつ観測 ⇒ 遮断
(2) head-to-head
かつ観測 + 共同親も観測
⇒ 遮断 47

本節のまとめ

48

本節のまとめ
• 3ノードのグラフ
– tail-to-tail
– head-to-tail
– head-to-head
• 「弁明」現象

• 有向分
– 3ノードグラフの性質を一般化
• 有向分
– 有向分解 (8.5) と有向分で得られる条件付き性は一
• マルコフブランケット

49

PRML 8.2 条件付き独立性

More Related Content

What's hot

Similar to PRML 8.2 条件付き独立性

More from sleepy_yoshi

PRML 8.2 条件付き独立性