誤字脱字や不足が多々あり。あとで修正します

1. 8.4 グラフィカルモデリングにおける推論
8.4.1 連鎖における推論
8.4.2 木
8.4.3 因子グラフ
8.4.4 積和アルゴリズム
２０１３／8／２4
@K5_sem
PRML読書会

2. グラフィカルモデルとは？[1/2]
●
確率分布の図式的な表現
●
確率モデルの構造を視覚化することで、新しいモデ
ルの設計方針を決めるのに役立つ
●
グラフ構造を調べることで、モデルの性質(ex.条件
付き独立性)に関する知見が得られる
●
推論や学習の実行には複雑な計算が必要となるが、
数学的な表現を暗に伴うグラフ上の操作として表現
できる
– 推論問題を解く際には、有向グラフや無向グラフを因子
グラフ(8.4.3)に変換すると便利なことが多い

3. グラフィカルモデルとは？[2/2]
●
種類
●
グラフのリンクが特定の方向性を持ち矢印で描かれ
るもの
– ベイジアンネットワークor有向グラフィカルモデル
– 確率変数間の因果関係を表現
●
グラフのリンクが特定の方向性を持たないもの
– マルコフ確率場(8.3)or無向グラフィカルモデル
– 確率変数間の緩い束縛関係を表現

4. 概要[1/2]
●
8.4ではグラフィカルモデルにおける推論の
問題について考える
●
8.4～8.4.1の流れ
●
8.4
– グラフィカルモデルにおける推論問題の簡単な例
●
ベイズの定理のグラフ表現
●
8.4.1
– グラフィカルモデルにおける推論問題の複雑な例
●
マルコフ連鎖のグラフ表現→メッセージの定義と性質

5. 概要[2/2]
●
8.4.2と8.4.3は8.4.4以降のための準備
●
8.4.2
– ノードの連鎖の一般的な構造の紹介→木構造グラフ
●
決定木は14.4参照
●
8.4.3
– 変数と因子関係を規定するのみ。
●
積和アルゴリズム(8.4.4)の理解に有用。ただしどのように因数
分解されるかは一意に解釈できない。
●
8.4.4
– 木構造グラフにおける効率的かつ厳密な推論を可能にす
るアルゴリズムを因子グラフを利用して導出

6. 8.4[1/6]
●
グラフィカルモデルにおける推論
●
グラフのいくつかのノードが観測値に固定されたと
き、残ったノード(のうちのいくつか)に関する事前
分布を知りたい(計算で求めたい)
●
グラフ構造を利用して局所的なメッセージの伝
播を用いて厳密推論を行う
●
近似推論は10章で紹介

7. 8.4[2/6]
●
2変数x,y上の同時分布
p(x,y)＝p(x)p(y|x) →図8.37(a)
●
2変数x,y上の同時分布でyを観測 →図8.37(b)
●
潜在変数xの周辺分布p(x)を事前分布と考え
て、p(x)に対するx上の事後分布を推論
●
ベイズの定理を用いてp(x|y)を求める問題(8.48式)
に帰着
●
同時分布なので図8.37(c)の場合も同様の計算で推
論可能

8. 8.4.1[1/5]
●
8.4のような単純な問題ではなくもう少し複雑
な問題として、図8-32に示されるノードの連
鎖を考える。
●
同時分布，周辺分布を求めるために，あるノー
ドに対するメッセージがグラフを伝播すると解
釈する
●
条件付き独立性を利用して計算をラクにする＝
メッセージパッシングの利点

9. 8.4.1[2/5]
●
8.50式をゴリ押し計算した場合
●
すべての場合の同時分布を計算し、後でそれらを足
し合わせる(K個の状態を取るN個の確率変数に大し
て周辺分布を求めたい)と、xの取り得る状態の数は
K^N個である→計算量はO(K^N)である!!

10. 8.4.1[3/6]
●
グラフィカルモデルの条件付独立性を利用した場合
●
一つの周辺分布に関してO(NK^2)で計算すること
ができる。木をなめていく(メッセージをパッシン
グしていく)ときに値を保存していくと、往復する
だけでN個の周辺分布を計算することができ、
O(NK^2)のままで計算できてしまう!!
– N個の周辺分布が欲しい→O(N^2K^2)のような
無駄な計算しなくていい

11. 11
8.4.1[4/6]局所的なメッセージ伝播
– μα: 前向きに伝わるメッセージ
– μβ: 後ろ向きに伝わるメッセージ
p xN
=
1
Z
μa
xn
μβ
xn

∑ ∑
− −






= −−
1 2
),()( 1,1
n nx x
nnnnna xxx ψµ
∑
−
−−−=
1
)(),( 11,1
nx
nnnnn xxx αµψ
∑ ∑
+ +






= ++
1 2
),()( 11,
n nx x
nnnnn xxx ψµβ
∑
+
+++=
1
)(),( 111,
nx
nnnnn xxx βµψ
前向き 後ろ向き
Z=∑
xn
μa
xn
μβ
 xn

規格化係数
両側からxnに向けてメッセージパッシングを繰り返す!!～O(k)

12. 12
8.4.1[5/6]
連鎖上の全てのノードに対しての推論
• 伝播中すべてのメッセージを保存
(1) メッセージμαをx1からxNまで前向きに伝播
(2) メッセージμβをxNからx1まで後ろ向きに伝播
)( 1−na xµ )( na xµ )( Na xµ)( 2xaµ )( 1+na xµ
)( 1−nxβµ )( nxβµ )( 1−Nxβµ)( 1xβµ )( 2−nxβµ
(8.54)∑=
nx
nnan xx
Z
xp )()(
1
)( βµµ
任意のノードの周辺分布を式(8.54)を用いて計算可能
※1 計算量は1つのノードに対する計算量の2倍
※2 Zは都合のよいノードで計算すればよい

13. 8.4.1[6/6]
●
グラフ上のいくつかのノードが観測されている場合
●
変数の和を計算するのではなく、観測値を固定
●
連鎖状の2つの隣接ノードに関するどうJ分布を求めた
い場合
●
1つのノードの周辺分布を計算する問題に帰着(演習
8.15)
ノードの連鎖から成るグラフでは、連鎖に沿った
メッセージの伝播と解釈できるアルゴリズムを用
いることによって、ノード数に線形な時間で効率
的に厳密推論が実行できた!!

14. 8.4.2[1/3]
●
ノードの連鎖からなるグラフ(マルコフ連鎖)に
では、ノード数に線形な時間で効率的に厳密推
論が実行可能
●
木構造グラフにおいても、連鎖についてのメッ
セージパッシングを一般化さえできれば、同様
の厳密推論(局所的なメッセージパッシングによる推論)が
実行可能
●
積和アルゴリズムを用いることで実現できる!!
→詳細は(8.4.4)

15. 8.4.2[2/3]
●
無向グラフにおける木の定義 ※図8.39(a)
●
任意のノードの組の間に唯一の経路が存在するグラフ
●
有向グラフにおける木の定義 ※図8.39(b)
●
根(root)ノード(親を持たないノード)を1つだけ持ち、
他のすべてのノードはそれぞれ親を1つずつ持つグラフ
●
有向木のモラルグラフは必ず必ず無向木
– 有向木→無向木の変換で、モラル化(あるノードのすべての親
ノードをリンク(P.104))によるリンク付加が不要

16. 8.4.2[3/3]
●
多重木 図8.39(c)
●
2つ以上の親を持つノードが存在するが、任意の2ノード間
の(矢印の方向を無視した)経路が1つしかない有向グラフ
●
親を持たないノードを複数持つ
●
親ノードをモラル化して得られる無向グラフはループを持
つ
※ある辺の両端点が等しい→ループ/自己ループ
2頂点間に複数の辺がある→多重辺(multiedge)
ループも多重辺も含まないグラフ→単純グラフ(simple graph)
ループや多重辺を含むグラフ→多重グラフ(multigraph)

17. 8.4.3[1/]
●
変数を表現するノード(○)に因子そのものに対
応するノード(■)を付け加えることで、有向グ
ラフ((8.5式))および無向グラフ((8.39)式)を因
子の集合の積として陽に表現する(因数分解)
(8.59)式
●
8.4.2では「有向グラフおよび無向グラフは、多く
の変数に依存する大域的な関数それぞれが(局所的
な)変数の部分集合のみに依存する関数(因子)の集
合の積として表現される」ことを示す
p x=∏
s
fs
 xs


18. 18
因子グラフの例
• この因数分解のグラフ表現
)(),(),(),()( 3322121 xfxxfxxfxxfp dcba=x
無向グラフ表現では，これらの積は
ひとつのポテンシャル関数に統合された
⇒ 因子グラフではより詳細な情報が表現される
変数ノー
ド
因子ノー
ド

19. 19
有向グラフからの変換
(1) ノードに対応する変数ノードを作る
(2) 条件付き分布に対応する因子を付け加える
(3) 適切なリンクを加える
),|()()(
),,(
21321
321
xxxpxpxp
xxxf
=
)()( 11 xpxfa =
)()( 22 xpxfb =
),|(),,( 213321 xxxpxxxfc =
これはダメ? なぜ?
条件付き分布
に着目

20. 20
無向グラフからの変換
(1) 各ノードに対応する変数ノードを作る
(2) 極大クリークxsに対応する因子ノードを加える
),,(),,( 321321 xxxxxxf ψ=
),,(
),(),,(
321
32321
xxx
xxfxxxf ba
ψ=
),(),,(),(),,( 3232132321 xxxxxxxfxxxf ba ψψ≠
注意点

21. 21
局所的な閉路を持つグラフ
• 有向グラフにおいて，適切な因子関数を設定するこ
とにより局所的な閉路を除去可能
),|()|()(),,( 213121321 xxxpxxpxpxxxf =

22. 22
複数の因子グラフによる表現
• 複数の因子グラフが，ひとつの有向グラフ／無向グラフを表
現することがある
),,()( 321 xxxfp =x
),(),(),()( 323121 xxfxxfxxfp cba=x
何の条件付き独立性も表現しない

23. 8.4.4[1/]
●
連鎖についてのメッセージパッシング(8.4.1に
おける推論)を一般化した積和(sum-product)
アルゴリズムの導出(因子グラフ(8.4.3)の枠組みを利用)
●
これを修正したのがmax-sumアルゴリズム(8.4.5)
●
一般化のために因子グラフ(8.4.3)を使う
●
有向グラフと無向グラフを同時に扱う
– ループなし有向グラフの場合は”確率伝播法”と呼ばれる

24. 8.4.4[2/]
●
前提
●
モデルの持つすべての変数は離散的である
– 連続変数に拡張したものは13.3(線形動的システム)
●
グラフは無向木、有向木、多重木のいずれか
– これらを変換してできる因子グラフは木構造を持つ
●
因子グラフの数式(再掲)
(8.59)式p x=∏
s
fs
 xs


25. 8.4.4[3/]
●
目的×２
●
周辺分布((8.61)式)を求めるための効率よい厳密推
論アルゴリズムを得ること
●
すべての周辺分布を計算したい場合に、計算の重複
をなくして効率化すること

26. 8.4.4[4/]
周辺分布((8.61)式)を求める
●
(8.59)式をxに到達するまで通る各因子ノード
によってグループ化→(8.62)式
●
8.62式を8.61式に代入して和と積を入れ替え
→求める周辺分布が”ノードxに入ってくるすべ
てのメッセージの積”になる 図8.46
●
メッセージを計算→因数分解(8.65を8.64に代
入)→8.66式
●
「○→■へのメッセージ」を定義→8.67式

27. 8.4.4[5/]
周辺分布((8.61)式)を求める
●
導出された8.66式
●
ある因子ノード(■)からある変数ノード(○)へ、そ
れらのリンクを伝わって送ら れるメッセージを計
算～図8.47
●
○→■へのメッセージ(8.67式で定義)を計算→
一時変数FとGの消去
●
Gを求める(8.68式)→8.68を8.67に代入～8.69式
が得られる→8.66および8.69よりFとGを消去

28. 8.4.4[6/]
周辺分布((8.61)式)を求める
●
目的は「グラフの構造を利用して変数ノードx
に関する周辺分布を計算する」こと
●
葉ノードが変数ノード(○)の場合→8.70式
●
葉ノードが因子ノード(■)の場合→8.71式
– 1.(8.70)と(8.71)より葉ノードからメッセージ開始
– 2.(8.66)と(8.69)を再帰的に適用してメッセージ伝播
– 3.根ノードに到達するまで2を続ける
※各ノードは1つを除いて全ての隣接ノードから受け取った時点
でメッセージを送ることができる

29. 8.4.4[7/]
すべての周辺分布を効率的に計算
●
一つの因子に関連する変数集合上の周辺分布を
計算したい
→ある因子に関連する変数上の周辺分布が、そ
の因子ノードに到達するすべてのメッセージ
と、そのノードに対応する(局所的な)因子との
積で与えられる→8.72式(演習8.21)

30. 8.4.4[8/]
すべての周辺分布を効率的に計算
●
4ノード(変数)因子グラフを考える(図8.51)
●
求めたい周辺分布は8.73式
●
X3を根ノードとして選ぶ
●
8.74式～8.79式を得る。
●
メッセージの流れは図8.52。各ノードでのｍ殺
セージは8.80～8.85で与えられる
●
各メッセージを8.63に代入→8.86式を得る

31. まとめ[1/]
●
グラフの構造を利用することで、多くのアルゴ
リズムが局所的なメッセージのグラフ全体にお
ける伝播として表現可能(周辺分布のパラメー
タ推定を効率よく行なえる)
●
ノードの連鎖からなるグラフ(マルコフ連鎖)で
は、連鎖に沿ったメッセージの伝播と解釈でき
るアルゴリズムを用いることで、ノード数に線
形な時間で効率的に厳密推論が実行可能

32. まとめ[2/]
●
木構造グラフでも局所的なメッセージパッシン
グによって、同様に厳密推論が実行可能(一つ
の周辺分布ではなく、全ての周辺分布も木を往
復するだけで推論可能)
●

33. 参考資料
●
syou6162さんのブログ
●
http://d.hatena.ne.jp/syou6162/20100206/1265429309
●
yatsutaさんのブログ
●
http://d.hatena.ne.jp/yatsuta/20100207/1265546980
●
nokunoさんのブログ
●
http://d.hatena.ne.jp/nokuno/20100206/1265467760
●
sleepy_yoshiさんのブログ(＆発表資料)
●
http://d.hatena.ne.jp/sleepy_yoshi/20100206/p1
– 図をたくさん拝借しました。ありがとうございました。