Your SlideShare is downloading. ×
0
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

PRML復々習レーン#14 前回までのあらすじ

941

Published on

PRML復々習レーン#14 前回までのあらすじ資料

PRML復々習レーン#14 前回までのあらすじ資料

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
941
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
12
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. PRML復々習レーン#14(再) 前回までのあらすじ 2013-10-05 Yoshihiko Suhara @sleepy_yoshi v.1.0
  • 2. 前回のおさらい • 復々習レーンの復習を10分程度でやります – 得られた結論にポイントを絞る – 「よーするに」な内容 • 好きなところをたくさん喋る • よくわからないところは誤魔化す • まちがってたら指摘してください • 目的 ポイントだよ ポイントだよ ポイント小僧の向きに意味はありません – 前回の復習 – 不参加の方に流れを伝えるため – 自分自身の勉強のため 2
  • 3. 前回の範囲 • 8章 グラフィカルモデル – 8.1 ベイジアンネットワーク • • • • 8.1.1 例:多項式曲線フィッティング 8.1.2 生成モデル 8.1.3 離散変数 8.1.4 線形ガウスモデル – 8.2 条件付き独立性 • • 8.2.1 3つのグラフの例 8.2.2 有効分離 (D分離) – 8.3 マルコフ確率場 • • • • 8.3.1 条件付き独立性 8.3.2 分解特性 8.3.3 例: 画像のノイズ除去 8.3.4 有向グラフとの関係 – 8.4 グラフィカルモデルにおける推論 • • • • • • • • 8.4.1 連鎖における推論 8.4.2 木 8.4.3 因子グラフ 8.4.4 積和アルゴリズム 8.4.5 max-sum アルゴリズム 8.4.6 一般のグラフにおける厳密推論 8.4.7 ループあり確率伝播 8.4.8 グラフ構造の学習 前回の範囲 3
  • 4. 8.4 グラフィカルモデルによる推論 4
  • 5. 8.4 グラフィカルモデルにおける推論 ポイントだよ グラフのいくつかのノードの値が観測された場合に 残りのノードに関する事後分布を計算する • 局所的なメッセージがグラフ全体にわたる伝播として 表現できる – 本節では厳密推論の方法について論じる • (1) 無向グラフを一般化した因子グラフ • (2) 周辺分布が欲しいときには積和アルゴリズム • (3) 最大の同時確率とその変数組が欲しいときには max-sum アルゴリズム 5
  • 6. 8.4.1 連鎖における推論 ポイントだよ 連鎖グラフにおいては,あるノードを中心として 前向きに伝えるメッセージと後ろ向きに伝わるメッセージの 和で計算可能 𝑝 𝑥𝑛 = … 𝑥1 = 1 𝑍 … 𝑥 𝑛−1 𝑥 𝑛+1 𝜓 𝑛−1,𝑛 𝑥 𝑛−1 , 𝑥 𝑛 … 𝑥 𝑛−1 𝑁 𝜓2,3 𝑥2 , 𝑥3 𝑥2 𝜓1,2 𝑥1 , 𝑥2 𝑥1 𝜓 𝑛,𝑛+1 𝑥 𝑛 , 𝑥 𝑛+1 … 𝑥 𝑛+1 𝑝(𝒙) 𝜓 𝑁−1,𝑁 𝑥 𝑁−1 , 𝑥 𝑁 ⋯ 𝜇𝛼 𝑥𝑛 𝑥𝑁 𝜇𝛽 𝑥𝑛 6
  • 7. 8.4.2 木 ポイントだよ 有向木⇔無向木は相互に変換可能 • なお複数の親を持つ多重木の場合には,モラル 化によってループができる • しかし,因子グラフに変換すると問題がなくなる 7
  • 8. 8.4.3 因子グラフ ポイントだよ 無向グラフにおけるノードとポテンシャル関数を 変数(○)と因子(■)に分けて記述するグラフ • 同じノード集合に対して複数の因子を用意することが可能 – この点が無向グラフと異なるため,無向グラフは因子グラフの特殊形 と解釈することが可能 • 無向グラフから因子グラフへの変換例 8
  • 9. 8.4.4 積和アルゴリズム ポイントだよ メッセージパッシングによって任意の確率変数の 周辺分布を効率的に求める手法 • 因子から変数へのメッセージ – 当該変数の子孫(因子)ノードが含まれる全ての因子の積を当該変数以外で周辺化したもの • 変数から因子へのメッセージ – 当該因子の子(変数)ノードの子孫(因子)ノードが含まれる全ての因子の積を当該子(変数) ノード以外で周辺化したもの 𝜇 𝑓𝑠 →𝑥 𝑥 ≡ 図8.47 修正版 𝐹𝑠 𝑥, 𝑿 𝑠 𝑋𝑠 𝐹 𝑙1 𝑥 𝑚 , 𝑋 ※ ここで𝐹𝑠 𝑥, 𝑿 𝑠 は変数集合𝑿 𝑠 を含む因子すべての積 𝑚𝑙1 … … … 𝐹𝑙 𝑥 𝑚 , 𝑋 𝑚𝑙 𝜇𝑥 𝑚 →𝑓 𝑠 𝑥 𝑚 ≡ 𝐺 𝑚 𝑥 𝑚 , 𝑿 𝑠𝑚 𝑋 𝑠𝑚 𝐺 𝑚 𝑥 𝑚 , 𝑿 𝑠𝑚 = 𝐹𝑙 𝑥 𝑚 , 𝑿 𝑙∈ne 𝑥 𝑚 ∖𝑓𝑠 𝑚𝑙 9
  • 10. 8.4.5 max-sumアルゴリズム ポイントだよ メッセージパッシングによって最大の同時確率 およびその確率変数の組を発見する手法 だいたいこんなノリ • 同時確率の最大値が欲しいわー  積和アルゴリズムにおけるsumをmaxに置き換え  max-product アルゴリズム • 確率の掛け算たくさんやるとアンダーフロー怖いわー  logとって max-sum アルゴリズム • 最大値を与える確率変数が複数あるわー  最大値を与えた確率変数を覚えておいて,最後のノードで最大値を与える変数か らバックトラックする (Viterbiアルゴリズム) 10
  • 11. 8.4.6 一般のグラフにおける厳密推論 ポイントだよ 閉路を持つグラフからジャンクションツリーの作成 することにより,厳密推論を可能とする • ジャンクションツリー – クリークをノード,共有された変数をリンクとするツリー – 積和アルゴリズムと同等のメッセージパッシングによって推論 ジャンクションツリー リンクを追加 (三角分割) してクリークを作成 A A, B, D (B, D) B D C B, C, D クリークに対応するノードを用意 クリーク間で共有されたノードを リンクとする 11
  • 12. 8.4.7 ループあり確率伝播 ポイントだよ ループを持ったグラフィカルモデルに メッセージパッシングを適用する方法 • ループあり確率伝播 – 問題点: 何度も同じ情報が伝わってしまう  – そこでメッセージパッシングのスケジュールをうまく設定する • スケジュール手法の例 – フラッディングスケジュール • 各時刻において両方向にメッセージ送信 – 直列メッセージ • 各時刻において1つのメッセージのみ送信 – 保留メッセージのみ送信 • 保留メッセージ: 他のリンクから受け取っている何らかのメッセージ • 木構造グラフでは両方向に伝達された時点で必ず終了 12
  • 13. 8.4.8 グラフ構造の学習 ポイントだよ グラフ構造の学習を用いた周辺確率の推論には 各構造のエビデンスを利用する • グラフ構造の学習 – ベイズ的にはグラフ構造の事後分布を利用し,その分布の平均を用 いて予測分布を求める – グラフ構造に対する事前分布 𝑝 𝑚 が与えられていると 𝑝 𝑚 𝐷 ∝ 𝑝 𝑚 𝑝(𝐷|𝑚) • 欠点 –  潜在変数の周辺化が必要であるため,𝑝 𝐷 𝑚 の計算が大変 –  グラフ構造の数はノード数に対して指数的に増加するため,探索 も大変 13
  • 14. 補足: (8.89)式のmax関数 • これっていいんだっけ? という議論 max 𝑝(𝒙) = max ⋯ max 𝑝(𝒙) 𝒙 𝑥1 𝑥𝑀 • 結論: – たぶんよい – max関数は関数から関数への写像 • スカラー値=恒等写像 14
  • 15. つづく さぁ今日も一日 がんばるぞ 15

×