Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
PRML読書会第10回
 8.2 条件付き               性

       2010-01-09
   SUHARA YOSHIHIKO
    (id:sleepy_yoshi)
目次
• 8.2 条件付き     性
  – 8.2.1 3つのグラフの
• 8.2.2 有向分   (d分 )




                      1
8.2



      2
条件付き                 性 (1)
• 変数a, b, cを考える.bとcが与えられたときに,aの
  条件付き分布がbの値に依存しない

        p (a | b, c) = p(a | c)

⇒ cが与えられた下...
条件付き                   性 (2)
• cで条件付けられたaおよびbの同時分布を考える
                             p(a,b)=p(a|b)p(b)

     p(a, b | c) = ...
演習8.8
•   a    b, c | d    ならば        a      b|d
解)
        p ( a , b , c | d ) = p ( a | d ) p (b , c | d )

     cについて周辺...
8.2.1 3 の ラフの



                6
8.2.1 3ノードから成るグラフ
• 3つの構造
 – (1) tail-to-tail
 – (2) head-to-tail
 – (3) head-to-head


• 「弁明」現象




                     ...
(1) tail-to-tail



                   8
(1) tail-to-tail
                      c       tail-to-tail    tail


              a                      b
             ...
tail-to-tail: 変数cの観測
•   の   を変数cで条件付ける
                                        p(a,b,c)
                     p(a, b, c)  ...
tail-to-tail: 経 の遮断
• cを観測することにより,経 を遮断 (block) し,
  aとbとを条件付き  にする
                   c


            a                  ...
(2) head-to-tail



                   12
(2) head-to-tail
                a        c           b

                             head-to-tail

          p(a, b, c) =...
head-to-tail: 変数cの観測
•    の    を変数cで条件付ける
                     p(a, b, c)
    p ( a, b | c ) =                  ベイズの
     ...
head-to-tail: 経 の遮断
• cを観測することにより,経 を遮断 (block) し,
  aとbとを条件付き  にする
          a        c        b



        p(a, b, c) = ...
(3) head-to-head



                   16
(3) ead-to-head
             a                   b


                              head-to-
                    c         ...
head-to-head: 変数cの観測
•    の     を変数cで条件付ける
                     p(a, b, c)
    p ( a, b | c ) =
                       p (...
head-to-head: 経 の遮断解
                a                   b



                       c
                         p(a) p(b) ...
head-to-headの子孫の観測
                          依存関係の発生
              a       b



                  c


                  d
...
演習8.10 (1/2)
                 a                   b


                        c

                        d
     p(a, b, c,...
演習8.10 (2/2)
a      b|d     の確認

dで条件づける
                      p(a, b, c, d ) p(a) p(b) p(c | a, b) p(d | c)
    p(a, b, c...
演習8.10の考察
• head-to-headノードの子孫である変数zを観測しても,
  変数の周辺化によって変数cの観測と同じ効果が発生

a            b    p(a, b, c,... | z )
            ...
「弁明」現象



         24
の       タンクモデル
•    の          のモデル             B             F
    – バッテリの状態 B {1, 0}
    –   タンクの状態 F {1, 0}
    –      ...
観測による確 の変化
         が空を指している事実を観測

B                          ベイズの          より
                  F
                       ...
「弁明」現象
つづいてバッテリが れていること (B=0) を観測
B       F       p( F = 0 | G = 0, B = 0)
                P(G = 0 | F = 0, B = 0) p( F = ...
補足:B, G観測後の事後確

   p( F , G, B) = p( F , G | B) p( B) = p( F | G, B) p(G | B) p( B)

               = p(G, B | F ) p( F ) ...
突然ですが



        29
アンケート
• “explain away” あなたならどう訳す?
 –   (1) 弁明 (現象) 1名
 –   (2) 釈明 (現象) 1名
 –   (3) 言い逃れ (現象) 1名
 –   (4) 説明を加えて明らかにする現象 5名...
8.2.1のポイントまとめ



                31
ポイント1
        tail-to-tailのノードを観測すれば,
        ふたつのノードの          遮断で る
ポイント2
    head-to-tailのノードを観測すれば,
    ふたつのノードの      ...
8.2.2       分   (D分 )
        今までの話を一般化




                        33
有向分
• グラフの有向分
 – A, B, Cを重複のないノード集合とする
 – 条件付き      性 A B | C を調べたい
 ⇒ Aの任意のノードからBの任意のノードまで全ての経
     が遮断されていることを確認する

    ...
経 の遮断条件
• 以下の条件のいずれかを満たすノードを含む経
   は遮断されている

(a) 集合Cに含まれるノードであって,経 に含まれ
    る矢印がそこでhead-to-tailあるいはtail-to-tailである

(b) 経 ...
1)
                                       有向分
• aからbの経 を調べる        a        f
                                      できないか?...
2)
 • aからbの経 を調べる             a        f

                               e        b

                               c
1. f...
同分布データの場合
1.2.4節の 同分布 (i.i.d.) の
• 1変 ガウス分布の        事後分布を得る
  – 下記のグラフより p(μ,x) = p(x|μ)p(μ)


            μ              ...
図8.7の
• ¥hat{t}からtnに対する任意の経 において,wはtail-
  to-tailであるため,以下の条件付き  性が成 する


                     ˆ
                     t tn...
ナイーブベイズモデル
• ナイーブベイズモデルのグラフ構造
 – 観測変数x = (x1,...xD)T
 – クラスベクトルz = (z1, ..., zK)

 zを観測すると,xiとxj (j≠i)
 との間の  が遮断される
     ...
ナイーブベイズモデルの
•   ベクトルxに 変数と  変数が                               するような
 場合にも使える
⇒ 変数それ れに対して  なモデルを                          ...
分



    42
有向分
2つの方法によって得られる分布の集合は等価である
(1) 有向分解 (directed factorization)
  – 同時分布の因数分解から得られる分布の集合
               K
       p(x) = ∏ p...
マルコフブランケット



             44
マルコフブランケット (1/2)
• D個のノードを持つグラフで表現される同時分布
  p(x1, ..., xD) と,変数xiに対応するノード上の,他ノー
  ドxj≠iで条件付けられた条件付き分布を考える
                ...
マルコフブランケット (2/2)
• xiをグラフから条件付き     にするためのノード            集合 (⇒ 演習8.9)


                            共同親
                  ...
演習8.9
• マルコフブランケットを条件付けることにより,xiが全
  てのノードから条件付き

               親ノード集合:
               tail-to-tail or head-to-rail
     ...
本節のまとめ



         48
本節のまとめ
• 3ノードのグラフ
 – tail-to-tail
 – head-to-tail
 – head-to-head
• 「弁明」現象

• 有向分
 – 3ノードグラフの性質を一般化
• 有向分
 – 有向分解 (8.5) と有...
おしまい



       50
Upcoming SlideShare
Loading in …5
×

PRML 8.2 条件付き独立性

13,817 views

Published on

PRML生駒読書会第10回の発表資料

Published in: Technology
  • Dating direct: ❤❤❤ http://bit.ly/36cXjBY ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating for everyone is here: ❤❤❤ http://bit.ly/36cXjBY ❤❤❤
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

PRML 8.2 条件付き独立性

  1. 1. PRML読書会第10回 8.2 条件付き 性 2010-01-09 SUHARA YOSHIHIKO (id:sleepy_yoshi)
  2. 2. 目次 • 8.2 条件付き 性 – 8.2.1 3つのグラフの • 8.2.2 有向分 (d分 ) 1
  3. 3. 8.2 2
  4. 4. 条件付き 性 (1) • 変数a, b, cを考える.bとcが与えられたときに,aの 条件付き分布がbの値に依存しない p (a | b, c) = p(a | c) ⇒ cが与えられた下で,aはbに対して条件付き 3
  5. 5. 条件付き 性 (2) • cで条件付けられたaおよびbの同時分布を考える p(a,b)=p(a|b)p(b) p(a, b | c) = p(a | b, c) p(b | c) = p(a | c) p(b | c) ⇒ cが与えられたとき,aおよびbが 的に である 記法: a b|c cが与えられた際に,aがbに対して条件付き 4
  6. 6. 演習8.8 • a b, c | d ならば a b|d 解) p ( a , b , c | d ) = p ( a | d ) p (b , c | d ) cについて周辺化 p ( a , b | d ) = p ( a | d ) p (b | d ) ∴a b|d 5
  7. 7. 8.2.1 3 の ラフの 6
  8. 8. 8.2.1 3ノードから成るグラフ • 3つの構造 – (1) tail-to-tail – (2) head-to-tail – (3) head-to-head • 「弁明」現象 7
  9. 9. (1) tail-to-tail 8
  10. 10. (1) tail-to-tail c tail-to-tail tail a b head p(a, b, c) = p(a | c) p(b | c) p(c) どの変数も観測されていない場合に aとbの を確かめる (両辺をcに関して周辺化) p(a, b) = ∑ p(a | c) p(b | c) p(c) c ⇒ p(a)p(b)に分解 可能 ( a b |φ ) 9
  11. 11. tail-to-tail: 変数cの観測 • の を変数cで条件付ける p(a,b,c) p(a, b, c) = p(a,b|c)p(c) p ( a, b | c ) = p (c ) = p(a | c) p(b | c) よって条件付き が かれる a b|c 10
  12. 12. tail-to-tail: 経 の遮断 • cを観測することにより,経 を遮断 (block) し, aとbとを条件付き にする c a b p(a, b | c) = p(a | c) p(b | c) ポイント1 tail-to-tailのノードを観測すれば, ふたつのノードの 遮断で る 11
  13. 13. (2) head-to-tail 12
  14. 14. (2) head-to-tail a c b head-to-tail p(a, b, c) = p(a)(c | a) p(b | c) どの変数も観測されていない場合にaとbの を確かめる p (a, b) = p (a)∑ p(c | a) p (b | c) = p(a) p(b | a) c ⇒ p(a)p(b)に分解 可能 ( a b |φ ) 13
  15. 15. head-to-tail: 変数cの観測 • の を変数cで条件付ける p(a, b, c) p ( a, b | c ) = ベイズの p (c ) p(a) p (c | a) p(b | c) = p (c ) = p(a | c) p(b | c) よって条件付き が かれる a b|c 14
  16. 16. head-to-tail: 経 の遮断 • cを観測することにより,経 を遮断 (block) し, aとbとを条件付き にする a c b p(a, b, c) = p(a | c)(b | c) ポイント2 head-to-tailのノードを観測すれば, ふたつのノードの 遮断で る 15
  17. 17. (3) head-to-head 16
  18. 18. (3) ead-to-head a b head-to- c head p(a, b, c) = p(a) p(b) p(c | a, b) どの変数も観測されていない場合にaとbの を確かめる p (a, b) = p(a) p(b) ⇒ p(a)p(b)に分解可能 ( a b |φ ) 17
  19. 19. head-to-head: 変数cの観測 • の を変数cで条件付ける p(a, b, c) p ( a, b | c ) = p (c ) p(a ) p(b)(c | a, b) = p (c ) p(a|c)p(b|c)に因数分解できないため, 条件付き ではない a b|c 18
  20. 20. head-to-head: 経 の遮断解 a b c p(a) p(b) p(c | a, b) p ( a, b | c ) = p (c ) ポイント3 head-to-headのノードを観測すると, ふたつのノードの の遮断が解かれる 19
  21. 21. head-to-headの子孫の観測 依存関係の発生 a b c d ポイント4 head-to-headかその子孫のうちいずれか を観測すると,経 の遮断が解かれる (⇒ 演習8.10) 20
  22. 22. 演習8.10 (1/2) a b c d p(a, b, c, d ) = p(a) p(b) p(c | a, b) p(d | c) a b |φ の確認 変数c, dについて周辺化 p(a, b) = p(a) p(b)∑∑ p(c | a, b) p(d | c) d c = p(a) p(b)∑ p(d | a, b) = p(a) p(b) 21 d
  23. 23. 演習8.10 (2/2) a b|d の確認 dで条件づける p(a, b, c, d ) p(a) p(b) p(c | a, b) p(d | c) p(a, b, c | d ) = = p (d ) p(d ) 変数cに関して周辺化 p(a ) p(b)∑ p (c | a, b) p(d | c) p ( a, b | d ) = c p(d ) p (a ) p(b) p(d | a, b) = ≠ p (a | d ) p(b | d ) p(d ) 22
  24. 24. 演習8.10の考察 • head-to-headノードの子孫である変数zを観測しても, 変数の周辺化によって変数cの観測と同じ効果が発生 a b p(a, b, c,... | z ) p(a ) p(b) p (c | a, b)... p ( z | ...) = c p( z ) 周辺化 p(a ) p (b) p ( z | a, b) … 周辺化 p ( a, b | z ) = p( z ) z 23
  25. 25. 「弁明」現象 24
  26. 26. の タンクモデル • の のモデル B F – バッテリの状態 B {1, 0} – タンクの状態 F {1, 0} – G {1, 0} G バッテリと タンクが タンクとバッテリの状態が 満タンである事 確 与えられた際の が満タンを指す確 p( B = 1) = 0.9 p(G = 1 | B = 1, F = 1) = 0.8 p( F = 1) = 0.9 p(G = 1 | B = 1, F = 0) = 0.2 p(G = 1 | B = 0, F = 1) = 0.2 p(G = 1 | B = 0, F = 0) = 0.1 何も観測していないとき, タンクが空である確 p(F=0) = 0.1 25
  27. 27. 観測による確 の変化 が空を指している事実を観測 B ベイズの より F p(G = 0 | F = 0) p( F = 0) p( F = 0 | G = 0) = p(G = 0) G p(G = 0) = ∑ ∑ p(G = 0 | B, F ) p( B) p( F ) = 0.315 B∈{0 ,1} F ∈{0 ,1} p(G = 0 | F = 0) = ∑ p(G = 0 | B, F = 0) p( B) = 0.81 B∈{0 ,1} 0.81× 0.1 ∴ ≅ 0.257 p( F = 0 | G = 0) > p( F = 0) 0.315 観測によってタンクが空である可能性が高くなる 26
  28. 28. 「弁明」現象 つづいてバッテリが れていること (B=0) を観測 B F p( F = 0 | G = 0, B = 0) P(G = 0 | F = 0, B = 0) p( F = 0) = ≅ 0.111 G ∑F∈{0,1} p(G = 0 | B = 0, F ) p( F ) バッテリの観測によってタンクが空である確 が 0.257から0.111に下がった バッテリが れているという事実が, が空を指していることを「弁明」している ※1 Gの代わりにGの子孫を観測しても起こる ※2 バッテリが れていても, が0を指しているという事実 が となり,事 確 p(F=0)よりも大きい 27
  29. 29. 補足:B, G観測後の事後確 p( F , G, B) = p( F , G | B) p( B) = p( F | G, B) p(G | B) p( B) = p(G, B | F ) p( F ) = p(G | F , B) p( B | F ) p( F ) p(B) p(G = 0 | B = 0, F = 0) p( B = 0) p( F = 0) p( F = 0 | G = 0, B = 0) = ∑ p(G = 0 | B = 0, F ) p( B = 0) p( F ) F ∈{0 ,1} Σの外に出て打ち消す p(G = 0 | F = 0, B = 0) p( F = 0) = ≅ 0.111 ∑F∈{0,1} p(G = 0 | B = 0, F ) p( F ) 28
  30. 30. 突然ですが 29
  31. 31. アンケート • “explain away” あなたならどう訳す? – (1) 弁明 (現象) 1名 – (2) 釈明 (現象) 1名 – (3) 言い逃れ (現象) 1名 – (4) 説明を加えて明らかにする現象 5名 – (5) (他人がフォローするので) 弁護 (現象) 7名 – (6) 真犯人が現れました現象 – (その他自由回答) PRML読書会的には「弁護」現象となりました 30
  32. 32. 8.2.1のポイントまとめ 31
  33. 33. ポイント1 tail-to-tailのノードを観測すれば, ふたつのノードの 遮断で る ポイント2 head-to-tailのノードを観測すれば, ふたつのノードの 遮断で る ポイント3 head-to-headのノードを観測すると, ふたつのノードの の遮断が解かれる ポイント4 head-to-headかその子孫のうちいずれか を観測すると,経 の遮断が解かれる 32
  34. 34. 8.2.2 分 (D分 ) 今までの話を一般化 33
  35. 35. 有向分 • グラフの有向分 – A, B, Cを重複のないノード集合とする – 条件付き 性 A B | C を調べたい ⇒ Aの任意のノードからBの任意のノードまで全ての経 が遮断されていることを確認する A B C 34
  36. 36. 経 の遮断条件 • 以下の条件のいずれかを満たすノードを含む経 は遮断されている (a) 集合Cに含まれるノードであって,経 に含まれ る矢印がそこでhead-to-tailあるいはtail-to-tailである (b) 経 に含まれる矢印がそのノードでhead-to-headで あり,自身あるいはそのすべての子孫いずれもが集 合Cに含まれない • 全ての経 が遮断されていれば,AはCによって Bから有向分 され,A B | C を満たす 35
  37. 37. 1) 有向分 • aからbの経 を調べる a f できないか? e b c 1. fによって遮断されない ⇒ tail-to-tailかつ観測されていないため 2. eによって遮断されない ⇒ head-to-headだが,子孫のcが観測されているため このグラフからでは条件付き 性は導けない 36
  38. 38. 2) • aからbの経 を調べる a f e b c 1. fによって遮断される ⇒ tail-to-tailかつ観測されているため 2. eによっても遮断される ⇒ head-to-headかつ,いずれの子孫が観測されていないため 条件付き a b | f が成 する 37
  39. 39. 同分布データの場合 1.2.4節の 同分布 (i.i.d.) の • 1変 ガウス分布の 事後分布を得る – 下記のグラフより p(μ,x) = p(x|μ)p(μ) μ μ x1 xN または xn … N μを条件付け変数と なすと,任意のxiとxi≠jの経 がtail-to-tailの 観測済みノードμのため,すべての経 が遮断される ⇒ μが与えられた下で観測値D = {x1, ..., xN} は である p ( D | µ ) = ∏ p ( xn | µ ) n =1 38
  40. 40. 図8.7の • ¥hat{t}からtnに対する任意の経 において,wはtail- to-tailであるため,以下の条件付き 性が成 する ˆ t tn | w つまり多項式係数wで条件つけら れた下で,¥hat{t}の予測分布は 訓練データtnに対して 一 訓練データを して係数w上の事後分布を決め てしまえば,訓練データを捨ててしまってよい 39
  41. 41. ナイーブベイズモデル • ナイーブベイズモデルのグラフ構造 – 観測変数x = (x1,...xD)T – クラスベクトルz = (z1, ..., zK) zを観測すると,xiとxj (j≠i) との間の が遮断される ナイーブベイズ仮説 クラスzで条件付けると 変数x1, ...xDが いに zを観測せずにzに関して周辺化すると, xiとxj (j≠i) への の遮断 解かれる i.e., p(x)を各成分x1,...,xDに関して D p(x) ≠ ∏ p( xi ) 分解できないことを意味する i 40
  42. 42. ナイーブベイズモデルの • ベクトルxに 変数と 変数が するような 場合にも使える ⇒ 変数それ れに対して なモデルを する 2値観測値には 実数値には ベルヌーイ分布 ガウス分布 D p( y | x) = arg max p( y )∏ p( xi | y ) y∈Y i 様々な分布の組み合わせが可能 41
  43. 43. 分 42
  44. 44. 有向分 2つの方法によって得られる分布の集合は等価である (1) 有向分解 (directed factorization) – 同時分布の因数分解から得られる分布の集合 K p(x) = ∏ p( xk | pa k ) (8.5) k =1 (2) 有向分 (directed separation) – グラフの経 遮断を調べて得られる分布の集合 43
  45. 45. マルコフブランケット 44
  46. 46. マルコフブランケット (1/2) • D個のノードを持つグラフで表現される同時分布 p(x1, ..., xD) と,変数xiに対応するノード上の,他ノー ドxj≠iで条件付けられた条件付き分布を考える p(a|b,c) = p(x1 ,..., x D ) p(a,b,c) / p(b,c) p(x i | x{ j ≠i} ) = ∫ p(x ,..., x )dx 1 D i x k ≠i ∏ p(x | pa ) k k x i ∉ pa k = k xiに依存しないノードは積分の外 ∫ ∏ p(x | pa )dx k k k i に出て分子と打ち消しあう p(x i | pa i ) xiの親ノードに依存 p(x k | pa k ) xi (の子)と共同親に依存 (誤植? 下巻p.95, 原書p.382) 45
  47. 47. マルコフブランケット (2/2) • xiをグラフから条件付き にするためのノード 集合 (⇒ 演習8.9) 共同親 (co-parent) • 共同親が な 由 ⇒ 子の観測により遮断が解かれるため 共同親 xi head-to-headノードが観測 (ポイント3) 46
  48. 48. 演習8.9 • マルコフブランケットを条件付けることにより,xiが全 てのノードから条件付き 親ノード集合: tail-to-tail or head-to-rail かつ観測 ⇒ 遮断 子ノード集合: (1) head-to-tail かつ観測 ⇒ 遮断 (2) head-to-head かつ観測 + 共同親も観測 ⇒ 遮断 47
  49. 49. 本節のまとめ 48
  50. 50. 本節のまとめ • 3ノードのグラフ – tail-to-tail – head-to-tail – head-to-head • 「弁明」現象 • 有向分 – 3ノードグラフの性質を一般化 • 有向分 – 有向分解 (8.5) と有向分 で得られる条件付き 性は一 • マルコフブランケット 49
  51. 51. おしまい 50

×