More Related Content
More from sleepy_yoshi (20)
PRML復々習レーン#13 前回までのあらすじ
- 3. 前回の範囲
• 8章 グラフィカルモデル
– 8.1 ベイジアンネットワーク
• 8.1.1 例:多項式曲線フィッティング
• 8.1.2 生成モデル
• 8.1.3 離散変数
• 8.1.4 線形ガウスモデル
– 8.2 条件付き独立性
• 8.2.1 3つのグラフの例
• 8.2.2 有効分離 (D分離)
– 8.3 マルコフ確率場
• 8.3.1 条件付き独立性
• 8.3.2 分解特性
• 8.3.3 例: 画像のノイズ除去
• 8.3.4 有向グラフとの関係
– 8.4 グラフィカルモデルにおける推論
• 8.4.1 連鎖における推論
• 8.4.2 木
• 8.4.3 因子グラフ
• 8.4.4 積和アルゴリズム
• 8.4.5 max-sum アルゴリズム
• 8.4.6 一般のグラフにおける厳密推論
• 8.4.7 ループあり確率伝播
• 8.4.8 グラフ構造の学習
3
前回の範囲
- 6. 8.2.1 3つのグラフの例
tail-to-tail, head-to-tail, head-to-head
の3パターンがある
• 観測されると条件付き独立: tail-to-tail, head-to-tail
• 観測されないと条件付き独立: head-to-head
• 覚え方: 観測されたノードに矢印の頭 (head) がついているか,矢印のおしり (tail)
がついているか
ポイントだよ
6
条件付き独立 条件付き独立 条件付き独立じゃない!
- 8. 8.2.2 有向分離 (D分離)
一般のグラフにおいてもさきほどの例から
得られた結果を用いて条件付き独立性を論じられる
• 排他的なノード集合A, B, Cを考える.以下の条件のうちいずれかを満た
す経路は遮断されている
– 集合Cに含まれるノードであって,経路に含まれる矢印がそこでhead-to-tailあ
るいはtail-to-tailである
– 経路に含まれる矢印がそのノードでhead-to-headであり,自身あるいはその
すべての子孫のいずれもが集合Cに含まれない
• マルコフブランケット
– あるノードをネットワークから孤立させるために観測が必要なノード集合
ポイントだよ
8
𝑎 ⊥ 𝑏|𝑓?
𝑎 ⊥ 𝑏|𝑒?
𝑎 ⊥ 𝑏|𝑓?
𝑎 ⊥ 𝑏|𝑒?
- 13. 8.3.3 例: 画像のノイズ除去
無向グラフを用いた簡単な例
• 以下をモデル化
– 隣接したノードが同じ値を持つ方が低いエネルギーを持つ
– 潜在ノードと観測ノードが同じ値を持つ方が低いエネルギーを持つ
• 反復条件付きモード (ICM) で解く
– 他の潜在変数を固定して対象とする潜在変数の値がエネルギーが小さい方に更新
– グリーディな探索であるため,大域的最適解が得られない
• ほんとうは...
– 全ノードの確率変数の組み合わせ 2#𝑛𝑜𝑑𝑒
の中からエネルギー関数が最小(=同時確率が
最大)になるものを見つけたい
– グラフカットアルゴリズムならばそれが可能
ポイントだよ
13
- 17. 8.4.1 連鎖における推論
連鎖グラフにおいては,あるノードを中心として
前向きに伝えるメッセージと後ろ向きに伝わるメッセージの
和で計算可能
𝑝 𝑥 𝑛 = … … 𝑝(𝒙)
𝑁𝑥 𝑛+1𝑥 𝑛−1𝑥1
=
1
𝑍
𝜓 𝑛−1,𝑛 𝑥 𝑛−1, 𝑥 𝑛 … 𝜓2,3 𝑥2, 𝑥3 𝜓1,2 𝑥1, 𝑥2
𝑥1𝑥2𝑥 𝑛−1
𝜓 𝑛,𝑛+1 𝑥 𝑛, 𝑥 𝑛+1 … 𝜓 𝑁−1,𝑁 𝑥 𝑁−1, 𝑥 𝑁
𝑥 𝑁𝑥 𝑛+1
⋯
ポイントだよ
17
𝜇 𝛼 𝑥 𝑛
𝜇 𝛽 𝑥 𝑛