Your SlideShare is downloading. ×
0
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Prml Reading Group 10 8.3
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Prml Reading Group 10 8.3

4,121

Published on

0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
4,121
On Slideshare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
66
Comments
0
Likes
4
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. PRML勉強会(第10回) 8.3 マルコフ確率場 坪坂 正志 Twitter/hatena id : tsubosaka Mail: m{dot}tsubosaka@gmail.com 2010/2/14 PRML勉強会第9回 1
  • 2. 発表概要 • マルコフ確率場とは – 条件付き独立性(8.3.1) – 分解特性(8.3.2) • 有向グラフとの関係(8.3.4) • 応用例 – 画像のノイズ除去(8.3.3) 2010/2/14 PRML勉強会第9回 2
  • 3. マルコフ確率場 (Markov Random Field) • マルコフネットワーク(Markov network)、無向 グラフィカルモデルなどとも呼ばれる • 変数に対応するノード集合とノード対を接続 するリンク集合から成る • 前節のグラフィカルモデルと違い、リンクは向 きを持たない 2010/2/14 PRML勉強会第9回 3
  • 4. 条件付き独立性 • 任意の集合A,B,Cに対し, Aの任意のノードとB の任意のノードを結ぶ全ての経路が集合Cの ノードを必ず尐なくとも一つを通るならば が成立する • このとき集合Aと集合Bは集合Cによって遮断 (blocked)されている 2010/2/14 PRML勉強会第9回 4
  • 5. 条件付き独立性 • グラフ上で集合Cに属するノードを取り除いた 時に集合Aの任意のノードと集合Bの任意の ノードとを接続する経路が存在しなければ条 件付き独立性が成り立つ B A C 2010/2/14 PRML勉強会第9回 5
  • 6. 条件付き独立性 • グラフ上で集合Cに属するノードを取り除いた 時に集合Aの任意のノードと集合Bの任意の ノードとを接続する経路が存在しなければ条 件付き独立性が成り立つ B A C 2010/2/14 PRML勉強会第9回 6
  • 7. 条件付き独立性 • 有向グラフの場合と違って「弁明」現象は起き ない A B A B C C 2010/2/14 PRML勉強会第9回 7
  • 8. マルコフブランケット • ノードとその隣接するノードだけで条件づけら れた下で残りの全てのノードに対して条件付 き独立となる(Markov property) 図8.28 2010/2/14 PRML勉強会第9回 8
  • 9. 分解特性 • 条件付き独立性に対応する分解を考える • 今直接接続されない2つのノード につい て見た時に が成立する • この条件付き独立性が成立するためには が 同じ因子に含まれないように同時分 布が因数分解されなければならない 2010/2/14 PRML勉強会第9回 9
  • 10. クリーク • 分解を説明するには、クリークを導入すると 便利 • クリーク: ノードの部分集合でその中で完全グ ラフとなっているようなもの • 極大クリーク: クリークで新たに1つノードを追 加するとクリークでなくなるもの 2010/2/14 PRML勉強会第9回 10
  • 11. クリークの例 • 極大クリークは と の2つ • また図のグラフィカルモデルにおいては の形で分解されている必要がある 2010/2/14 PRML勉強会第9回 11
  • 12. クリークを用いた分解 • 同時分布を因数分解したときの各因子を極大クリー クCが含む集合上の関数とする • すなわち (8.39) の形で書ける • ここで は極大クリーク上のポテンシャル 関数でZは規格化定数 (分配関数)であり、以下で与 えられる (8.40) 2010/2/14 PRML勉強会第9回 12
  • 13. ポテンシャル関数 • ポテンシャル関数 は0以上であればよい。 (狭義に正の方が扱いやすいことが多い) • 確率的解釈が可能とは限らない、このため積は正し く規格化されないので(8.40)のような規格化定数が 必要 • 狭義に正を保障するには指数関数を用いると便利 ここで をエネルギー関数と呼び、この指数 関数表現をボルツマン分布と呼ぶ 2010/2/14 PRML勉強会第9回 13
  • 14. 規格化定数 • 有向グラフの場合と違い、規格化因子を陽に 導入する必要がある • M個のK状態離散変数ノードを持つモデルの 場合K^M個の状態に関する足し算が必要 • 条件付き分布を計算する際は周辺分布の比 をとるだけなので不要 2010/2/14 PRML勉強会第9回 14
  • 15. 分解の正当性 • グラフ上の分離特性から読み取れる条件付き独立性の集合 と矛盾しないすべての分布集合: • 極大クリーク上のポテンシャル関数を用いて(8.39)の形に因 数分解される分布の集合 : • このとき (Hammersley-Clifford Theorem, Clifford 1990) 2010/2/14 PRML勉強会第9回 15
  • 16. 有向グラフとの関係 • 有向グラフを無向グラフに変換する – ジャンクションツリーアルゴリズムなどで有用(8.4 節) – 逆はあまり行われない • 一般に条件付き独立性は完全には保存され ない – リンクの追加を最小限に抑える方法:モラル化 2010/2/14 PRML勉強会第9回 16
  • 17. 鎖の場合 無向グラフ化 対応付けができる Z=1 2010/2/14 PRML勉強会第9回 17
  • 18. 1つ以上の親を持つ場合 無向グラフ化 有向グラフでの条件付き独立性は失われている 2010/2/14 PRML勉強会第9回 18
  • 19. 独立性の表現 • 与えられた変数に関する分布をPとする • グラフGがPに対する依存性マップ(D-map) – Pが満たす条件付き独立性をグラフGがもれなく 表現する場合. • グラフGがPに対する独立性マップ(I-map) – Gが表現する独立性がすべてPによって満たされ る • D-mapかつI-map => 完全マップ 2010/2/14 PRML勉強会第9回 19
  • 20. 独立性の表現 • 有向グラフで表現できるが無向グラフで表現 できない分布が存在する(図8.35) – 逆も成立する(図8.36) • 無向グラフでも有向グラフでも表現できない 分布も存在する • 無向グラフ+有向グラフを含んだ枠組み => 連鎖グラフ(chain graph) – 連鎖グラフでも表現できない分布もある 2010/2/14 PRML勉強会第9回 20
  • 21. 具体例 画像のノイズ除去 • ピクセル値が{+1,-1}の2種で構成される画像 のノイズ除去を考える • 観測画像 : • ノイズなし画像 : • 観測画像は真の画像の一部がランダムに反 転したことによって得られたとする 2010/2/14 PRML勉強会第9回 21
  • 22. 元画像 ノイズ画像 ICM グラフカット 2010/2/14 PRML勉強会第9回 22
  • 23. マルコフ確率場モデル • ノイズレベルが低い場合、ノイズな し画像のピクセルと観測画像のピ クセルに強い相関がある • 隣接ピクセルにも強い相関がある 観測画像 ノイズなし画像 2010/2/14 PRML勉強会第9回 23
  • 24. エネルギー関数の設計 • 観測画像と元の画像に強い相関がある – で表す。同符号のとき低いエネルギー (高い確率) 異符号のとき高いエネルギーを持つ • 隣接ピクセル に相関がある – で表す。 • ピクセル値自体の事前確率 – で表す。 2010/2/14 PRML勉強会第9回 24
  • 25. 同時分布 • エネルギー関数 (8.42) • 同時分布 (8.43) 2010/2/14 PRML勉強会第9回 25
  • 26. 条件付き分布 • 観測値が固定された場合 より、条件付き分布が暗に決定される • (8.43)を最大化する を求めればよい – 統計物理学でいうイジングモデルの例 – ICM(iterated conditional modes, 反復条件付き モード) 2010/2/14 PRML勉強会第9回 26
  • 27. ICM 1. 変数 を初期化(例えば とする) 2. ノード を1つ選択 1. 他のノードを固定した状態で の2つの可能な状 態における全エネルギーを評価し、エネルギーが小 さくなる方に状態を設定する 3. 一定の収束条件を満たすまで2を繰り返す • 2での選択方法は規則的でもランダムでもよい • 全ての点において変数値が変更されない場合 局所最大点に収束している 2010/2/14 PRML勉強会第9回 27
  • 28. 演習 8.13 • (8.42)から に関する項のみを取り出すと でこれを について計算すれば 良い 2010/2/14 PRML勉強会第9回 28
  • 29. より効率的なアルゴリズム • max-productアルゴリズム (8.4節) – ICMより良い解を与える – 大域的解を必ずしも得られるわけではない • グラフカットアルゴリズム [石川 2007] – 大域的最大解が得られる – 一般のエネルギー関数に用いることができるわ けではない 2010/2/14 PRML勉強会第9回 29
  • 30. Related work • 判別モデルへの応用 – Logistic回帰, CRF[鹿島2006, Laerty 2001, Sutton 2007] • モデルに従うデータの生成 – サンプリング[Salakhutdinov 2010] 2010/2/14 PRML勉強会第9回 30
  • 31. 参考資料 • [石川 2007]石川 博: チュートリアル「グラフカット」,情報処理学会研究報 告,2007 • [鹿島 2006] 鹿島 久嗣、坪井 祐太、工藤 拓: 言語処理における識別モデ ルの発展 -- HMMからCRFまで --, 言語処理学会第12回年次大会(NLP 2006)チュートリアル, 2006 • [宮川 1997] 宮川雅巳: グラフィカルモデリング (統計ライブラリー) , 朝倉 書店, 1997 • [Laerty 2001] J. Laerty, A. McCallum, and F. Pereira: Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In Proceedings of the 18th International Conference on Machine Learning, 2001 • [Sutton 2007] Charles Sutton, Andrew McCallum: An Introduction to Conditional Random Fields for Relational Learning, In Introduction to Statistical Relational Learning, MIT Press, 2007 • [Salakhutdinov 2010] Ruslan Salakhutdinov, Geoffrey Hinton: Replicated Softmax: an Undirected Topic Model, In Advances in Neural Information Processing Systems 22, 2010 2010/2/14 PRML勉強会第9回 31

×