1. PRML勉強会(第10回)
8.3 マルコフ確率場
坪坂 正志
Twitter/hatena id : tsubosaka
Mail: m{dot}tsubosaka@gmail.com
2010/2/14 PRML勉強会第9回 1

2. 発表概要
• マルコフ確率場とは
– 条件付き独立性(8.3.1)
– 分解特性(8.3.2)
• 有向グラフとの関係(8.3.4)
• 応用例
– 画像のノイズ除去(8.3.3)
2010/2/14 PRML勉強会第9回 2

3. マルコフ確率場
(Markov Random Field)
• マルコフネットワーク(Markov network)、無向
グラフィカルモデルなどとも呼ばれる
• 変数に対応するノード集合とノード対を接続
するリンク集合から成る
• 前節のグラフィカルモデルと違い、リンクは向
きを持たない
2010/2/14 PRML勉強会第9回 3

4. 条件付き独立性
• 任意の集合A,B,Cに対し, Aの任意のノードとB
の任意のノードを結ぶ全ての経路が集合Cの
ノードを必ず尐なくとも一つを通るならば
が成立する
• このとき集合Aと集合Bは集合Cによって遮断
(blocked)されている
2010/2/14 PRML勉強会第9回 4

5. 条件付き独立性
• グラフ上で集合Cに属するノードを取り除いた
時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条
件付き独立性が成り立つ
B
A
C
2010/2/14 PRML勉強会第9回 5

6. 条件付き独立性
• グラフ上で集合Cに属するノードを取り除いた
時に集合Aの任意のノードと集合Bの任意の
ノードとを接続する経路が存在しなければ条
件付き独立性が成り立つ
B
A
C
2010/2/14 PRML勉強会第9回 6

7. 条件付き独立性
• 有向グラフの場合と違って「弁明」現象は起き
ない
A B A B
C C
2010/2/14 PRML勉強会第9回 7

8. マルコフブランケット
• ノードとその隣接するノードだけで条件づけら
れた下で残りの全てのノードに対して条件付
き独立となる(Markov property)
図8.28
2010/2/14 PRML勉強会第9回 8

9. 分解特性
• 条件付き独立性に対応する分解を考える
• 今直接接続されない2つのノード につい
て見た時に
が成立する
• この条件付き独立性が成立するためには
が 同じ因子に含まれないように同時分
布が因数分解されなければならない
2010/2/14 PRML勉強会第9回 9

10. クリーク
• 分解を説明するには、クリークを導入すると
便利
• クリーク: ノードの部分集合でその中で完全グ
ラフとなっているようなもの
• 極大クリーク: クリークで新たに1つノードを追
加するとクリークでなくなるもの
2010/2/14 PRML勉強会第9回 10

11. クリークの例
• 極大クリークは と
の2つ
• また図のグラフィカルモデルにおいては
の形で分解されている必要がある
2010/2/14 PRML勉強会第9回 11

12. クリークを用いた分解
• 同時分布を因数分解したときの各因子を極大クリー
クCが含む集合上の関数とする
• すなわち
(8.39)
の形で書ける
• ここで は極大クリーク上のポテンシャル
関数でZは規格化定数 (分配関数)であり、以下で与
えられる
(8.40)
2010/2/14 PRML勉強会第9回 12

13. ポテンシャル関数
• ポテンシャル関数 は0以上であればよい。
(狭義に正の方が扱いやすいことが多い)
• 確率的解釈が可能とは限らない、このため積は正し
く規格化されないので(8.40)のような規格化定数が
必要
• 狭義に正を保障するには指数関数を用いると便利
ここで をエネルギー関数と呼び、この指数
関数表現をボルツマン分布と呼ぶ
2010/2/14 PRML勉強会第9回 13

14. 規格化定数
• 有向グラフの場合と違い、規格化因子を陽に
導入する必要がある
• M個のK状態離散変数ノードを持つモデルの
場合K^M個の状態に関する足し算が必要
• 条件付き分布を計算する際は周辺分布の比
をとるだけなので不要
2010/2/14 PRML勉強会第9回 14

15. 分解の正当性
• グラフ上の分離特性から読み取れる条件付き独立性の集合
と矛盾しないすべての分布集合:
• 極大クリーク上のポテンシャル関数を用いて(8.39)の形に因
数分解される分布の集合 :
• このとき
(Hammersley-Clifford Theorem, Clifford 1990)
2010/2/14 PRML勉強会第9回 15

16. 有向グラフとの関係
• 有向グラフを無向グラフに変換する
– ジャンクションツリーアルゴリズムなどで有用(8.4
節)
– 逆はあまり行われない
• 一般に条件付き独立性は完全には保存され
ない
– リンクの追加を最小限に抑える方法：モラル化
2010/2/14 PRML勉強会第9回 16

17. 鎖の場合
無向グラフ化
対応付けができる
Z=1
2010/2/14 PRML勉強会第9回 17

18. 1つ以上の親を持つ場合
無向グラフ化
有向グラフでの条件付き独立性は失われている
2010/2/14 PRML勉強会第9回 18

19. 独立性の表現
• 与えられた変数に関する分布をPとする
• グラフGがPに対する依存性マップ(D-map)
– Pが満たす条件付き独立性をグラフGがもれなく
表現する場合.
• グラフGがPに対する独立性マップ(I-map)
– Gが表現する独立性がすべてPによって満たされ
る
• D-mapかつI-map => 完全マップ
2010/2/14 PRML勉強会第9回 19

20. 独立性の表現
• 有向グラフで表現できるが無向グラフで表現
できない分布が存在する(図8.35)
– 逆も成立する(図8.36)
• 無向グラフでも有向グラフでも表現できない
分布も存在する
• 無向グラフ+有向グラフを含んだ枠組み
=> 連鎖グラフ(chain graph)
– 連鎖グラフでも表現できない分布もある
2010/2/14 PRML勉強会第9回 20

21. 具体例 画像のノイズ除去
• ピクセル値が{+1,-1}の2種で構成される画像
のノイズ除去を考える
• 観測画像 :
• ノイズなし画像 :
• 観測画像は真の画像の一部がランダムに反
転したことによって得られたとする
2010/2/14 PRML勉強会第9回 21

22. 元画像
ノイズ画像 ICM
グラフカット
2010/2/14 PRML勉強会第9回 22

23. マルコフ確率場モデル
• ノイズレベルが低い場合、ノイズな
し画像のピクセルと観測画像のピ
クセルに強い相関がある
• 隣接ピクセルにも強い相関がある
観測画像
ノイズなし画像
2010/2/14 PRML勉強会第9回 23

24. エネルギー関数の設計
• 観測画像と元の画像に強い相関がある
– で表す。同符号のとき低いエネルギー
(高い確率) 異符号のとき高いエネルギーを持つ
• 隣接ピクセル に相関がある
– で表す。
• ピクセル値自体の事前確率
– で表す。
2010/2/14 PRML勉強会第9回 24

25. 同時分布
• エネルギー関数 (8.42)
• 同時分布 (8.43)
2010/2/14 PRML勉強会第9回 25

26. 条件付き分布
• 観測値が固定された場合
より、条件付き分布が暗に決定される
• (8.43)を最大化する を求めればよい
– 統計物理学でいうイジングモデルの例
– ICM(iterated conditional modes, 反復条件付き
モード)
2010/2/14 PRML勉強会第9回 26

27. ICM
1. 変数 を初期化(例えば とする)
2. ノード を1つ選択
1. 他のノードを固定した状態で の2つの可能な状
態における全エネルギーを評価し、エネルギーが小
さくなる方に状態を設定する
3. 一定の収束条件を満たすまで2を繰り返す
• 2での選択方法は規則的でもランダムでもよい
• 全ての点において変数値が変更されない場合
局所最大点に収束している
2010/2/14 PRML勉強会第9回 27

28. 演習 8.13
• (8.42)から に関する項のみを取り出すと
でこれを について計算すれば
良い
2010/2/14 PRML勉強会第9回 28

29. より効率的なアルゴリズム
• max-productアルゴリズム (8.4節)
– ICMより良い解を与える
– 大域的解を必ずしも得られるわけではない
• グラフカットアルゴリズム [石川 2007]
– 大域的最大解が得られる
– 一般のエネルギー関数に用いることができるわ
けではない
2010/2/14 PRML勉強会第9回 29

30. Related work
• 判別モデルへの応用
– Logistic回帰, CRF[鹿島2006, Laerty 2001, Sutton
2007]
• モデルに従うデータの生成
– サンプリング[Salakhutdinov 2010]
2010/2/14 PRML勉強会第9回 30

31. 参考資料
• [石川 2007]石川 博: チュートリアル「グラフカット」,情報処理学会研究報
告,2007
• [鹿島 2006] 鹿島 久嗣、坪井 祐太、工藤 拓: 言語処理における識別モデ
ルの発展 -- HMMからCRFまで --, 言語処理学会第12回年次大会(NLP
2006)チュートリアル, 2006
• [宮川 1997] 宮川雅巳: グラフィカルモデリング (統計ライブラリー) , 朝倉
書店, 1997
• [Laerty 2001] J. Laerty, A. McCallum, and F. Pereira: Conditional random
fields: Probabilistic models for segmenting and labeling sequence data. In
Proceedings of the 18th International Conference on Machine Learning,
2001
• [Sutton 2007] Charles Sutton, Andrew McCallum: An Introduction to
Conditional Random Fields for Relational Learning, In Introduction to
Statistical Relational Learning, MIT Press, 2007
• [Salakhutdinov 2010] Ruslan Salakhutdinov, Geoffrey Hinton: Replicated
Softmax: an Undirected Topic Model, In Advances in Neural Information
Processing Systems 22, 2010
2010/2/14 PRML勉強会第9回 31