Prml Reading Group 10 8.3

4,987 views

Published on

  • Be the first to comment

Prml Reading Group 10 8.3

  1. 1. PRML勉強会(第10回) 8.3 マルコフ確率場 坪坂 正志 Twitter/hatena id : tsubosaka Mail: m{dot}tsubosaka@gmail.com 2010/2/14 PRML勉強会第9回 1
  2. 2. 発表概要 • マルコフ確率場とは – 条件付き独立性(8.3.1) – 分解特性(8.3.2) • 有向グラフとの関係(8.3.4) • 応用例 – 画像のノイズ除去(8.3.3) 2010/2/14 PRML勉強会第9回 2
  3. 3. マルコフ確率場 (Markov Random Field) • マルコフネットワーク(Markov network)、無向 グラフィカルモデルなどとも呼ばれる • 変数に対応するノード集合とノード対を接続 するリンク集合から成る • 前節のグラフィカルモデルと違い、リンクは向 きを持たない 2010/2/14 PRML勉強会第9回 3
  4. 4. 条件付き独立性 • 任意の集合A,B,Cに対し, Aの任意のノードとB の任意のノードを結ぶ全ての経路が集合Cの ノードを必ず尐なくとも一つを通るならば が成立する • このとき集合Aと集合Bは集合Cによって遮断 (blocked)されている 2010/2/14 PRML勉強会第9回 4
  5. 5. 条件付き独立性 • グラフ上で集合Cに属するノードを取り除いた 時に集合Aの任意のノードと集合Bの任意の ノードとを接続する経路が存在しなければ条 件付き独立性が成り立つ B A C 2010/2/14 PRML勉強会第9回 5
  6. 6. 条件付き独立性 • グラフ上で集合Cに属するノードを取り除いた 時に集合Aの任意のノードと集合Bの任意の ノードとを接続する経路が存在しなければ条 件付き独立性が成り立つ B A C 2010/2/14 PRML勉強会第9回 6
  7. 7. 条件付き独立性 • 有向グラフの場合と違って「弁明」現象は起き ない A B A B C C 2010/2/14 PRML勉強会第9回 7
  8. 8. マルコフブランケット • ノードとその隣接するノードだけで条件づけら れた下で残りの全てのノードに対して条件付 き独立となる(Markov property) 図8.28 2010/2/14 PRML勉強会第9回 8
  9. 9. 分解特性 • 条件付き独立性に対応する分解を考える • 今直接接続されない2つのノード につい て見た時に が成立する • この条件付き独立性が成立するためには が 同じ因子に含まれないように同時分 布が因数分解されなければならない 2010/2/14 PRML勉強会第9回 9
  10. 10. クリーク • 分解を説明するには、クリークを導入すると 便利 • クリーク: ノードの部分集合でその中で完全グ ラフとなっているようなもの • 極大クリーク: クリークで新たに1つノードを追 加するとクリークでなくなるもの 2010/2/14 PRML勉強会第9回 10
  11. 11. クリークの例 • 極大クリークは と の2つ • また図のグラフィカルモデルにおいては の形で分解されている必要がある 2010/2/14 PRML勉強会第9回 11
  12. 12. クリークを用いた分解 • 同時分布を因数分解したときの各因子を極大クリー クCが含む集合上の関数とする • すなわち (8.39) の形で書ける • ここで は極大クリーク上のポテンシャル 関数でZは規格化定数 (分配関数)であり、以下で与 えられる (8.40) 2010/2/14 PRML勉強会第9回 12
  13. 13. ポテンシャル関数 • ポテンシャル関数 は0以上であればよい。 (狭義に正の方が扱いやすいことが多い) • 確率的解釈が可能とは限らない、このため積は正し く規格化されないので(8.40)のような規格化定数が 必要 • 狭義に正を保障するには指数関数を用いると便利 ここで をエネルギー関数と呼び、この指数 関数表現をボルツマン分布と呼ぶ 2010/2/14 PRML勉強会第9回 13
  14. 14. 規格化定数 • 有向グラフの場合と違い、規格化因子を陽に 導入する必要がある • M個のK状態離散変数ノードを持つモデルの 場合K^M個の状態に関する足し算が必要 • 条件付き分布を計算する際は周辺分布の比 をとるだけなので不要 2010/2/14 PRML勉強会第9回 14
  15. 15. 分解の正当性 • グラフ上の分離特性から読み取れる条件付き独立性の集合 と矛盾しないすべての分布集合: • 極大クリーク上のポテンシャル関数を用いて(8.39)の形に因 数分解される分布の集合 : • このとき (Hammersley-Clifford Theorem, Clifford 1990) 2010/2/14 PRML勉強会第9回 15
  16. 16. 有向グラフとの関係 • 有向グラフを無向グラフに変換する – ジャンクションツリーアルゴリズムなどで有用(8.4 節) – 逆はあまり行われない • 一般に条件付き独立性は完全には保存され ない – リンクの追加を最小限に抑える方法:モラル化 2010/2/14 PRML勉強会第9回 16
  17. 17. 鎖の場合 無向グラフ化 対応付けができる Z=1 2010/2/14 PRML勉強会第9回 17
  18. 18. 1つ以上の親を持つ場合 無向グラフ化 有向グラフでの条件付き独立性は失われている 2010/2/14 PRML勉強会第9回 18
  19. 19. 独立性の表現 • 与えられた変数に関する分布をPとする • グラフGがPに対する依存性マップ(D-map) – Pが満たす条件付き独立性をグラフGがもれなく 表現する場合. • グラフGがPに対する独立性マップ(I-map) – Gが表現する独立性がすべてPによって満たされ る • D-mapかつI-map => 完全マップ 2010/2/14 PRML勉強会第9回 19
  20. 20. 独立性の表現 • 有向グラフで表現できるが無向グラフで表現 できない分布が存在する(図8.35) – 逆も成立する(図8.36) • 無向グラフでも有向グラフでも表現できない 分布も存在する • 無向グラフ+有向グラフを含んだ枠組み => 連鎖グラフ(chain graph) – 連鎖グラフでも表現できない分布もある 2010/2/14 PRML勉強会第9回 20
  21. 21. 具体例 画像のノイズ除去 • ピクセル値が{+1,-1}の2種で構成される画像 のノイズ除去を考える • 観測画像 : • ノイズなし画像 : • 観測画像は真の画像の一部がランダムに反 転したことによって得られたとする 2010/2/14 PRML勉強会第9回 21
  22. 22. 元画像 ノイズ画像 ICM グラフカット 2010/2/14 PRML勉強会第9回 22
  23. 23. マルコフ確率場モデル • ノイズレベルが低い場合、ノイズな し画像のピクセルと観測画像のピ クセルに強い相関がある • 隣接ピクセルにも強い相関がある 観測画像 ノイズなし画像 2010/2/14 PRML勉強会第9回 23
  24. 24. エネルギー関数の設計 • 観測画像と元の画像に強い相関がある – で表す。同符号のとき低いエネルギー (高い確率) 異符号のとき高いエネルギーを持つ • 隣接ピクセル に相関がある – で表す。 • ピクセル値自体の事前確率 – で表す。 2010/2/14 PRML勉強会第9回 24
  25. 25. 同時分布 • エネルギー関数 (8.42) • 同時分布 (8.43) 2010/2/14 PRML勉強会第9回 25
  26. 26. 条件付き分布 • 観測値が固定された場合 より、条件付き分布が暗に決定される • (8.43)を最大化する を求めればよい – 統計物理学でいうイジングモデルの例 – ICM(iterated conditional modes, 反復条件付き モード) 2010/2/14 PRML勉強会第9回 26
  27. 27. ICM 1. 変数 を初期化(例えば とする) 2. ノード を1つ選択 1. 他のノードを固定した状態で の2つの可能な状 態における全エネルギーを評価し、エネルギーが小 さくなる方に状態を設定する 3. 一定の収束条件を満たすまで2を繰り返す • 2での選択方法は規則的でもランダムでもよい • 全ての点において変数値が変更されない場合 局所最大点に収束している 2010/2/14 PRML勉強会第9回 27
  28. 28. 演習 8.13 • (8.42)から に関する項のみを取り出すと でこれを について計算すれば 良い 2010/2/14 PRML勉強会第9回 28
  29. 29. より効率的なアルゴリズム • max-productアルゴリズム (8.4節) – ICMより良い解を与える – 大域的解を必ずしも得られるわけではない • グラフカットアルゴリズム [石川 2007] – 大域的最大解が得られる – 一般のエネルギー関数に用いることができるわ けではない 2010/2/14 PRML勉強会第9回 29
  30. 30. Related work • 判別モデルへの応用 – Logistic回帰, CRF[鹿島2006, Laerty 2001, Sutton 2007] • モデルに従うデータの生成 – サンプリング[Salakhutdinov 2010] 2010/2/14 PRML勉強会第9回 30
  31. 31. 参考資料 • [石川 2007]石川 博: チュートリアル「グラフカット」,情報処理学会研究報 告,2007 • [鹿島 2006] 鹿島 久嗣、坪井 祐太、工藤 拓: 言語処理における識別モデ ルの発展 -- HMMからCRFまで --, 言語処理学会第12回年次大会(NLP 2006)チュートリアル, 2006 • [宮川 1997] 宮川雅巳: グラフィカルモデリング (統計ライブラリー) , 朝倉 書店, 1997 • [Laerty 2001] J. Laerty, A. McCallum, and F. Pereira: Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the 18th International Conference on Machine Learning, 2001 • [Sutton 2007] Charles Sutton, Andrew McCallum: An Introduction to Conditional Random Fields for Relational Learning, In Introduction to Statistical Relational Learning, MIT Press, 2007 • [Salakhutdinov 2010] Ruslan Salakhutdinov, Geoffrey Hinton: Replicated Softmax: an Undirected Topic Model, In Advances in Neural Information Processing Systems 22, 2010 2010/2/14 PRML勉強会第9回 31

×