Chap08 1 125. 8章 グラフィカルモデル 加法定理 乗法定理 これまでの確率論 で成り立っていた どんな複雑なモデルでも定式化して解くことができる 確率的グラフィカルモデル 解析に使うと とても便利 確率分布の図式的な表現 特徴 1:確率モデル構造の視覚化する方法を提供、新モデル設計方針の決定支援 2:グラフ構造から条件付き独立性などのモデル性質に関する知見を得る 3:精巧なモデルで推論や学習を実行するのにグラフ上の操作として表現 数学的な表現も兼ねている 6. グラフ リンク(辺、弧) ノード(頂点) グラフ:リンクによって接続されたノードの集まり 確率的グラフィカルモデル :確率変数 :変数間の確率的関係 確率的グラフィカルモデルでのグラフ 「全確率変数上の同時分布が、一部の変数のみに依存する因子の積として どのように分解可能か」を表現する 8. 一般的な議論に関する資料 1.Whittaker, J. (1990) Graphical Models in Applied Multivariate Statistics. Wiley. 2.Lauritzen, S.L. (1996) Graphical Models. Oxford University Press 3.Jensen, F. V. (1996). An Introduction to Bayesian Networks. UCL Press 4.Castillo, E., J. M. Gutierrez, and A. S. Hadi (1997). Expert Systems and Probabilistic Network Modes. Springer. 5.Jordan, M. I. (1999). Learning in Graphical Models. MIT Press. 6.Cowell, R. G., A. P. Dawid, S. L. Lauritzen, and D. J. Spiegelhalter (1999). Probabilistic Networks and Expert Systems. Springer 7.Jordan, M. I. (2007) An Introduction to Probabilistic Graphical Models. In preparatioA 1 2 4 5 6 15. 有向非循環グラフ(DAG) directed acyclic graph あるノードから出発して矢印に従って進んだ後、 また初めのノードに戻ってくるような閉じた閉路 有向閉路 有向非循環グラフ 有向閉路を持たない = 大きい番号を持つノードから小さい番号を持つノードへの リンクが存在しないようにノードを順序付けられる 16. 演習8.2(基本) 問 有向グラフにおいて、すべてのノードについて、自分より小さい番号を 持つノードに向かうリンクが存在しないようにノードを順序付けることが できるなら、有向閉路は存在しないことを示せ グラフのノードがノードから小さい番号のノードまで行く 辺がない順番のようなものである有向グラフについて考察する。 また、次にノードの部分集合がグラフの有向閉路であるならば、 この有向閉路に属するのは同じ番号である性質を満たさなければならない。 エッジの向きに閉路を横断するならば、始めのノードで 終わらなければならないので、ノード順は単調増加することができない。 次の閉路は有向閉路であるはずがない 19. プレートによるコンパクトな表現 入力データ x=(x1,...,xN)T ノイズの分散 σ2 分布の精度パラメータ(ハイパーパラメータ) α モデルのパラメータも陽に書いた方が便利な場合もある グラフ表現でも描くことができる グラフ表現を描く際の慣例 確率変数:塗りつぶさない円 決定的パラメータ:塗りつぶされた小さい円 確率変数 Fig.8.5 26. 全変数上のサンプルを得る 特定の形の分布からサンプル値を発生させる方法がある 11章で説明 p(x1) p(x2) p(x1) p(x1,x2) = p(x1)p(x2|x1) ・・・ p(xn) p(x2) p(x1) p(x1,x2,x3,...,xn) =p(x1) p(x2|x1)p(x3|x2)・・・p(xn|xn-1) ・・・ 全変数上の同時分布に従うサンプルを 1つ発生させたことになる 目的達成 p(xK) p(xn) p(x1,x2,x3,...,xk) =p(x1) p(x2|x1) p(x3|x2)・・・p(xk|xk-1) 27. 一部の変数上のサンプルを得る 一部の変数集合上の周辺分布に従うサンプルを得たい場合 p(x4) p(x1) p(x2) p(x3) 同時分布p(x1,x2,x3,x4)に従うサンプル p(x1) p(x2) 同時分布p(x1,x2)に従うサンプル 分布p(x2,x4)に従うサンプル 他の値 は捨てる p(x2,x4) =p(x1) p(x2|x1) p(x1) p(x2|x1) p(x3|x2)p(x4|x3) 確率モデルの実際のアプリケーションでは 潜在変数の重要な役割 x4 x1 x2 x3 観測変数上の複雑な形の分布を より単純な条件付き分布から作られた モデルを使って表現することにある 末端ノードに対応する大きい番号 が割り振られた変数 小さい変数が 振られたノード 観測値 潜在変数 観測データを発生する過程を表現している 29. 生成モデル 図8.8は観測データが生成される因果過程を表現している 生成モデル 多項式回帰モデルは生成モデルではない 理由 ・入力変数xに関する確率分布を与えられていない ・人工的なデータ点を生成できない 少し複雑になるが適切な事前分布p(x)を導入することで 多項式回帰モデルを生成モデルにすることが可能 複雑な同時分布を単純な要素から構成するため だけに導入してもOK 伝承サンプリングを生成モデルに適用 観測データの生成過程を模倣して観測データと 全く同じ確率分布に従う「架空」のデータを発生 実用上、そのモデルによって表現される確率分布の形を理解する上で有効 Pearl,J. (1988). Probabilistic Reasoning in Intelligent Systems. Morgan Kaufmann 30. 参考文献 宮川雅巳 グラフィカルモデリング、朝倉書店、1997.3 尾上守夫(監訳)パターン識別、新技術コミュニケーションズ、2001.2 http://www.amazon.co.jp/gp/product/0471917508/ref=sib_rdr_dp http://books.google.co.jp/books?id=mGQWkx4guhAC&dq=graphical+models+lauritzen&printsec=frontcover&source=bn&hl=ja&ei=MxMdS-KrGpeXkQWA6q3SAw&sa=X&oi=book_result&ct=result&resnum=4&ved=0CCMQ6AEwAw#v=onepage&q=&f=false http://books.google.co.jp/books?id=L1kHa-Sb2y0C&printsec=frontcover&dq=expertsystems+and+probabilistic+networkmodels&as_brr=3#v=onepage&q=&f=false http://mitpress.mit.edu/catalog/item/default.asp?sid=702DE355-3E33-4B90-AF51-83300BD3BE68&ttype=2&tid=8141 http://www.cis.upenn.edu/~mkearns/papers/barbados/jordan-tut.pdf http://www.cs.berkeley.edu/~jordan/ http://people.cs.ubc.ca/~murphyk/Bayes/bayes.html http://ssli.ee.washington.edu/courses/ee512/lecs/lectures.html http://www-users.cs.york.ac.uk/~jc/teaching/agm/