SlideShare a Scribd company logo

PRML 8.2 条件付き独立性

PRML生駒読書会第10回の発表資料

1 of 51
Download to read offline
PRML読書会第10回
 8.2 条件付き               性

       2010-01-09
   SUHARA YOSHIHIKO
    (id:sleepy_yoshi)
目次
• 8.2 条件付き     性
  – 8.2.1 3つのグラフの
• 8.2.2 有向分   (d分 )




                      1
8.2



      2
条件付き                 性 (1)
• 変数a, b, cを考える.bとcが与えられたときに,aの
  条件付き分布がbの値に依存しない

        p (a | b, c) = p(a | c)

⇒ cが与えられた下で,aはbに対して条件付き




                                    3
条件付き                   性 (2)
• cで条件付けられたaおよびbの同時分布を考える
                             p(a,b)=p(a|b)p(b)

     p(a, b | c) = p(a | b, c) p(b | c)
                 = p(a | c) p(b | c)

⇒ cが与えられたとき,aおよびbが                  的に       である


  記法:   a    b|c
  cが与えられた際に,aがbに対して条件付き
                                                   4
演習8.8
•   a    b, c | d    ならば        a      b|d
解)
        p ( a , b , c | d ) = p ( a | d ) p (b , c | d )

     cについて周辺化

        p ( a , b | d ) = p ( a | d ) p (b | d )

        ∴a        b|d
                                                           5

Recommended

PRML輪読#8
PRML輪読#8PRML輪読#8
PRML輪読#8matsuolab
 
研究室内PRML勉強会 8章1節
研究室内PRML勉強会 8章1節研究室内PRML勉強会 8章1節
研究室内PRML勉強会 8章1節Koji Matsuda
 
PRML輪読#11
PRML輪読#11PRML輪読#11
PRML輪読#11matsuolab
 
PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3matsuolab
 
変分ベイズ法の説明
変分ベイズ法の説明変分ベイズ法の説明
変分ベイズ法の説明Haruka Ozaki
 
PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」PRML第9章「混合モデルとEM」
PRML第9章「混合モデルとEM」Keisuke Sugawara
 

More Related Content

What's hot

深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)Masahiro Suzuki
 
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定Akira Masuda
 
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)Takao Yamanaka
 
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数Deep Learning JP
 
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布Nagayoshi Yamashita
 
PRML輪読#10
PRML輪読#10PRML輪読#10
PRML輪読#10matsuolab
 
PRML輪読#13
PRML輪読#13PRML輪読#13
PRML輪読#13matsuolab
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2matsuolab
 
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~. .
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理Taiji Suzuki
 
PRML輪読#9
PRML輪読#9PRML輪読#9
PRML輪読#9matsuolab
 
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章Shushi Namba
 
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学Ken'ichi Matsui
 
Granger因果による 時系列データの因果推定(因果フェス2015)
Granger因果による時系列データの因果推定(因果フェス2015)Granger因果による時系列データの因果推定(因果フェス2015)
Granger因果による 時系列データの因果推定(因果フェス2015)Takashi J OZAKI
 
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布Junya Saito
 
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシンYuta Sugii
 
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話Classi.corp
 
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333Issei Kurahashi
 
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向ohken
 

What's hot (20)

深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)深層生成モデルと世界モデル(2020/11/20版)
深層生成モデルと世界モデル(2020/11/20版)
 
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
 
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
 
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
 
[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数[DL輪読会]Deep Learning 第2章 線形代数
[DL輪読会]Deep Learning 第2章 線形代数
 
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
パターン認識と機械学習(PRML)第2章 確率分布 2.3 ガウス分布
 
PRML輪読#10
PRML輪読#10PRML輪読#10
PRML輪読#10
 
PRML輪読#13
PRML輪読#13PRML輪読#13
PRML輪読#13
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
 
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
MCMCサンプルの使い方 ~見る・決める・探す・発生させる~
 
深層学習の数理
深層学習の数理深層学習の数理
深層学習の数理
 
PRML輪読#9
PRML輪読#9PRML輪読#9
PRML輪読#9
 
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
StanとRでベイズ統計モデリング読書会(Osaka.stan) 第6章
 
15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学15分でわかる(範囲の)ベイズ統計学
15分でわかる(範囲の)ベイズ統計学
 
Granger因果による 時系列データの因果推定(因果フェス2015)
Granger因果による時系列データの因果推定(因果フェス2015)Granger因果による時系列データの因果推定(因果フェス2015)
Granger因果による 時系列データの因果推定(因果フェス2015)
 
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
 
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
 
pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話pymcとpystanでベイズ推定してみた話
pymcとpystanでベイズ推定してみた話
 
統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333統計的因果推論 勉強用 isseing333
統計的因果推論 勉強用 isseing333
 
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
 

More from sleepy_yoshi

KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on TwitterKDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twittersleepy_yoshi
 
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking MeasuresKDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measuressleepy_yoshi
 
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじPRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじPRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじPRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじPRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじsleepy_yoshi
 
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic modelsICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic modelssleepy_yoshi
 
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and RecommendationSEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendationsleepy_yoshi
 
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-sleepy_yoshi
 
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじPRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじsleepy_yoshi
 
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するSMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するsleepy_yoshi
 
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじPRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5sleepy_yoshi
 
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1sleepy_yoshi
 
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじPRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじsleepy_yoshi
 
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to RankSIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Ranksleepy_yoshi
 
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5sleepy_yoshi
 
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...sleepy_yoshi
 
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5sleepy_yoshi
 

More from sleepy_yoshi (20)

KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on TwitterKDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
 
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking MeasuresKDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
 
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじPRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
 
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじPRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
 
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじPRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
 
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじPRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
 
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic modelsICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
 
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and RecommendationSEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
 
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
 
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじPRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
 
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するSMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
 
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじPRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
 
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
 
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
 
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじPRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
 
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
 
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to RankSIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
 
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
 
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
 
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
 

Recently uploaded

HarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdf
HarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdfHarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdf
HarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdfMatsushita Laboratory
 
オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)
オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)
オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)Kanta Sasaki
 
20240222_Neko_IoTLT_vol9_kitazaki_v1.pdf
20240222_Neko_IoTLT_vol9_kitazaki_v1.pdf20240222_Neko_IoTLT_vol9_kitazaki_v1.pdf
20240222_Neko_IoTLT_vol9_kitazaki_v1.pdfAyachika Kitazaki
 
AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。
AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。
AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。iPride Co., Ltd.
 
scikit-learn以外の分類器でpipelineを作ってみた! いずみん
scikit-learn以外の分類器でpipelineを作ってみた! いずみんscikit-learn以外の分類器でpipelineを作ってみた! いずみん
scikit-learn以外の分類器でpipelineを作ってみた! いずみんtoshinori622
 
解説: Token Extensions - Solana Developer Hub Online #SolDevHub
解説: Token Extensions - Solana Developer Hub Online #SolDevHub解説: Token Extensions - Solana Developer Hub Online #SolDevHub
解説: Token Extensions - Solana Developer Hub Online #SolDevHubK Kinzal
 

Recently uploaded (6)

HarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdf
HarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdfHarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdf
HarukiShinkawa_果樹農家が期待する行動への変容を促す仕掛け設計のための収穫作業体験者の行動観察とモデル化_仕掛学2024.pdf
 
オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)
オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)
オリジナルNFTを発行するブロックチェーン開発ハンズオン(NFTの発行に必要なツールから実装まで)
 
20240222_Neko_IoTLT_vol9_kitazaki_v1.pdf
20240222_Neko_IoTLT_vol9_kitazaki_v1.pdf20240222_Neko_IoTLT_vol9_kitazaki_v1.pdf
20240222_Neko_IoTLT_vol9_kitazaki_v1.pdf
 
AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。
AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。
AWS (Amazon Web Services) を勉強してみる おさらい 2024/02/16の勉強会で発表されたものです。
 
scikit-learn以外の分類器でpipelineを作ってみた! いずみん
scikit-learn以外の分類器でpipelineを作ってみた! いずみんscikit-learn以外の分類器でpipelineを作ってみた! いずみん
scikit-learn以外の分類器でpipelineを作ってみた! いずみん
 
解説: Token Extensions - Solana Developer Hub Online #SolDevHub
解説: Token Extensions - Solana Developer Hub Online #SolDevHub解説: Token Extensions - Solana Developer Hub Online #SolDevHub
解説: Token Extensions - Solana Developer Hub Online #SolDevHub
 

PRML 8.2 条件付き独立性

  • 1. PRML読書会第10回 8.2 条件付き 性 2010-01-09 SUHARA YOSHIHIKO (id:sleepy_yoshi)
  • 2. 目次 • 8.2 条件付き 性 – 8.2.1 3つのグラフの • 8.2.2 有向分 (d分 ) 1
  • 3. 8.2 2
  • 4. 条件付き 性 (1) • 変数a, b, cを考える.bとcが与えられたときに,aの 条件付き分布がbの値に依存しない p (a | b, c) = p(a | c) ⇒ cが与えられた下で,aはbに対して条件付き 3
  • 5. 条件付き 性 (2) • cで条件付けられたaおよびbの同時分布を考える p(a,b)=p(a|b)p(b) p(a, b | c) = p(a | b, c) p(b | c) = p(a | c) p(b | c) ⇒ cが与えられたとき,aおよびbが 的に である 記法: a b|c cが与えられた際に,aがbに対して条件付き 4
  • 6. 演習8.8 • a b, c | d ならば a b|d 解) p ( a , b , c | d ) = p ( a | d ) p (b , c | d ) cについて周辺化 p ( a , b | d ) = p ( a | d ) p (b | d ) ∴a b|d 5
  • 7. 8.2.1 3 の ラフの 6
  • 8. 8.2.1 3ノードから成るグラフ • 3つの構造 – (1) tail-to-tail – (2) head-to-tail – (3) head-to-head • 「弁明」現象 7
  • 10. (1) tail-to-tail c tail-to-tail tail a b head p(a, b, c) = p(a | c) p(b | c) p(c) どの変数も観測されていない場合に aとbの を確かめる (両辺をcに関して周辺化) p(a, b) = ∑ p(a | c) p(b | c) p(c) c ⇒ p(a)p(b)に分解 可能 ( a b |φ ) 9
  • 11. tail-to-tail: 変数cの観測 • の を変数cで条件付ける p(a,b,c) p(a, b, c) = p(a,b|c)p(c) p ( a, b | c ) = p (c ) = p(a | c) p(b | c) よって条件付き が かれる a b|c 10
  • 12. tail-to-tail: 経 の遮断 • cを観測することにより,経 を遮断 (block) し, aとbとを条件付き にする c a b p(a, b | c) = p(a | c) p(b | c) ポイント1 tail-to-tailのノードを観測すれば, ふたつのノードの 遮断で る 11
  • 14. (2) head-to-tail a c b head-to-tail p(a, b, c) = p(a)(c | a) p(b | c) どの変数も観測されていない場合にaとbの を確かめる p (a, b) = p (a)∑ p(c | a) p (b | c) = p(a) p(b | a) c ⇒ p(a)p(b)に分解 可能 ( a b |φ ) 13
  • 15. head-to-tail: 変数cの観測 • の を変数cで条件付ける p(a, b, c) p ( a, b | c ) = ベイズの p (c ) p(a) p (c | a) p(b | c) = p (c ) = p(a | c) p(b | c) よって条件付き が かれる a b|c 14
  • 16. head-to-tail: 経 の遮断 • cを観測することにより,経 を遮断 (block) し, aとbとを条件付き にする a c b p(a, b, c) = p(a | c)(b | c) ポイント2 head-to-tailのノードを観測すれば, ふたつのノードの 遮断で る 15
  • 18. (3) ead-to-head a b head-to- c head p(a, b, c) = p(a) p(b) p(c | a, b) どの変数も観測されていない場合にaとbの を確かめる p (a, b) = p(a) p(b) ⇒ p(a)p(b)に分解可能 ( a b |φ ) 17
  • 19. head-to-head: 変数cの観測 • の を変数cで条件付ける p(a, b, c) p ( a, b | c ) = p (c ) p(a ) p(b)(c | a, b) = p (c ) p(a|c)p(b|c)に因数分解できないため, 条件付き ではない a b|c 18
  • 20. head-to-head: 経 の遮断解 a b c p(a) p(b) p(c | a, b) p ( a, b | c ) = p (c ) ポイント3 head-to-headのノードを観測すると, ふたつのノードの の遮断が解かれる 19
  • 21. head-to-headの子孫の観測 依存関係の発生 a b c d ポイント4 head-to-headかその子孫のうちいずれか を観測すると,経 の遮断が解かれる (⇒ 演習8.10) 20
  • 22. 演習8.10 (1/2) a b c d p(a, b, c, d ) = p(a) p(b) p(c | a, b) p(d | c) a b |φ の確認 変数c, dについて周辺化 p(a, b) = p(a) p(b)∑∑ p(c | a, b) p(d | c) d c = p(a) p(b)∑ p(d | a, b) = p(a) p(b) 21 d
  • 23. 演習8.10 (2/2) a b|d の確認 dで条件づける p(a, b, c, d ) p(a) p(b) p(c | a, b) p(d | c) p(a, b, c | d ) = = p (d ) p(d ) 変数cに関して周辺化 p(a ) p(b)∑ p (c | a, b) p(d | c) p ( a, b | d ) = c p(d ) p (a ) p(b) p(d | a, b) = ≠ p (a | d ) p(b | d ) p(d ) 22
  • 24. 演習8.10の考察 • head-to-headノードの子孫である変数zを観測しても, 変数の周辺化によって変数cの観測と同じ効果が発生 a b p(a, b, c,... | z ) p(a ) p(b) p (c | a, b)... p ( z | ...) = c p( z ) 周辺化 p(a ) p (b) p ( z | a, b) … 周辺化 p ( a, b | z ) = p( z ) z 23
  • 26. タンクモデル • の のモデル B F – バッテリの状態 B {1, 0} – タンクの状態 F {1, 0} – G {1, 0} G バッテリと タンクが タンクとバッテリの状態が 満タンである事 確 与えられた際の が満タンを指す確 p( B = 1) = 0.9 p(G = 1 | B = 1, F = 1) = 0.8 p( F = 1) = 0.9 p(G = 1 | B = 1, F = 0) = 0.2 p(G = 1 | B = 0, F = 1) = 0.2 p(G = 1 | B = 0, F = 0) = 0.1 何も観測していないとき, タンクが空である確 p(F=0) = 0.1 25
  • 27. 観測による確 の変化 が空を指している事実を観測 B ベイズの より F p(G = 0 | F = 0) p( F = 0) p( F = 0 | G = 0) = p(G = 0) G p(G = 0) = ∑ ∑ p(G = 0 | B, F ) p( B) p( F ) = 0.315 B∈{0 ,1} F ∈{0 ,1} p(G = 0 | F = 0) = ∑ p(G = 0 | B, F = 0) p( B) = 0.81 B∈{0 ,1} 0.81× 0.1 ∴ ≅ 0.257 p( F = 0 | G = 0) > p( F = 0) 0.315 観測によってタンクが空である可能性が高くなる 26
  • 28. 「弁明」現象 つづいてバッテリが れていること (B=0) を観測 B F p( F = 0 | G = 0, B = 0) P(G = 0 | F = 0, B = 0) p( F = 0) = ≅ 0.111 G ∑F∈{0,1} p(G = 0 | B = 0, F ) p( F ) バッテリの観測によってタンクが空である確 が 0.257から0.111に下がった バッテリが れているという事実が, が空を指していることを「弁明」している ※1 Gの代わりにGの子孫を観測しても起こる ※2 バッテリが れていても, が0を指しているという事実 が となり,事 確 p(F=0)よりも大きい 27
  • 29. 補足:B, G観測後の事後確 p( F , G, B) = p( F , G | B) p( B) = p( F | G, B) p(G | B) p( B) = p(G, B | F ) p( F ) = p(G | F , B) p( B | F ) p( F ) p(B) p(G = 0 | B = 0, F = 0) p( B = 0) p( F = 0) p( F = 0 | G = 0, B = 0) = ∑ p(G = 0 | B = 0, F ) p( B = 0) p( F ) F ∈{0 ,1} Σの外に出て打ち消す p(G = 0 | F = 0, B = 0) p( F = 0) = ≅ 0.111 ∑F∈{0,1} p(G = 0 | B = 0, F ) p( F ) 28
  • 31. アンケート • “explain away” あなたならどう訳す? – (1) 弁明 (現象) 1名 – (2) 釈明 (現象) 1名 – (3) 言い逃れ (現象) 1名 – (4) 説明を加えて明らかにする現象 5名 – (5) (他人がフォローするので) 弁護 (現象) 7名 – (6) 真犯人が現れました現象 – (その他自由回答) PRML読書会的には「弁護」現象となりました 30
  • 33. ポイント1 tail-to-tailのノードを観測すれば, ふたつのノードの 遮断で る ポイント2 head-to-tailのノードを観測すれば, ふたつのノードの 遮断で る ポイント3 head-to-headのノードを観測すると, ふたつのノードの の遮断が解かれる ポイント4 head-to-headかその子孫のうちいずれか を観測すると,経 の遮断が解かれる 32
  • 34. 8.2.2 分 (D分 ) 今までの話を一般化 33
  • 35. 有向分 • グラフの有向分 – A, B, Cを重複のないノード集合とする – 条件付き 性 A B | C を調べたい ⇒ Aの任意のノードからBの任意のノードまで全ての経 が遮断されていることを確認する A B C 34
  • 36. 経 の遮断条件 • 以下の条件のいずれかを満たすノードを含む経 は遮断されている (a) 集合Cに含まれるノードであって,経 に含まれ る矢印がそこでhead-to-tailあるいはtail-to-tailである (b) 経 に含まれる矢印がそのノードでhead-to-headで あり,自身あるいはそのすべての子孫いずれもが集 合Cに含まれない • 全ての経 が遮断されていれば,AはCによって Bから有向分 され,A B | C を満たす 35
  • 37. 1) 有向分 • aからbの経 を調べる a f できないか? e b c 1. fによって遮断されない ⇒ tail-to-tailかつ観測されていないため 2. eによって遮断されない ⇒ head-to-headだが,子孫のcが観測されているため このグラフからでは条件付き 性は導けない 36
  • 38. 2) • aからbの経 を調べる a f e b c 1. fによって遮断される ⇒ tail-to-tailかつ観測されているため 2. eによっても遮断される ⇒ head-to-headかつ,いずれの子孫が観測されていないため 条件付き a b | f が成 する 37
  • 39. 同分布データの場合 1.2.4節の 同分布 (i.i.d.) の • 1変 ガウス分布の 事後分布を得る – 下記のグラフより p(μ,x) = p(x|μ)p(μ) μ μ x1 xN または xn … N μを条件付け変数と なすと,任意のxiとxi≠jの経 がtail-to-tailの 観測済みノードμのため,すべての経 が遮断される ⇒ μが与えられた下で観測値D = {x1, ..., xN} は である p ( D | µ ) = ∏ p ( xn | µ ) n =1 38
  • 40. 図8.7の • ¥hat{t}からtnに対する任意の経 において,wはtail- to-tailであるため,以下の条件付き 性が成 する ˆ t tn | w つまり多項式係数wで条件つけら れた下で,¥hat{t}の予測分布は 訓練データtnに対して 一 訓練データを して係数w上の事後分布を決め てしまえば,訓練データを捨ててしまってよい 39
  • 41. ナイーブベイズモデル • ナイーブベイズモデルのグラフ構造 – 観測変数x = (x1,...xD)T – クラスベクトルz = (z1, ..., zK) zを観測すると,xiとxj (j≠i) との間の が遮断される ナイーブベイズ仮説 クラスzで条件付けると 変数x1, ...xDが いに zを観測せずにzに関して周辺化すると, xiとxj (j≠i) への の遮断 解かれる i.e., p(x)を各成分x1,...,xDに関して D p(x) ≠ ∏ p( xi ) 分解できないことを意味する i 40
  • 42. ナイーブベイズモデルの • ベクトルxに 変数と 変数が するような 場合にも使える ⇒ 変数それ れに対して なモデルを する 2値観測値には 実数値には ベルヌーイ分布 ガウス分布 D p( y | x) = arg max p( y )∏ p( xi | y ) y∈Y i 様々な分布の組み合わせが可能 41
  • 43. 42
  • 44. 有向分 2つの方法によって得られる分布の集合は等価である (1) 有向分解 (directed factorization) – 同時分布の因数分解から得られる分布の集合 K p(x) = ∏ p( xk | pa k ) (8.5) k =1 (2) 有向分 (directed separation) – グラフの経 遮断を調べて得られる分布の集合 43
  • 46. マルコフブランケット (1/2) • D個のノードを持つグラフで表現される同時分布 p(x1, ..., xD) と,変数xiに対応するノード上の,他ノー ドxj≠iで条件付けられた条件付き分布を考える p(a|b,c) = p(x1 ,..., x D ) p(a,b,c) / p(b,c) p(x i | x{ j ≠i} ) = ∫ p(x ,..., x )dx 1 D i x k ≠i ∏ p(x | pa ) k k x i ∉ pa k = k xiに依存しないノードは積分の外 ∫ ∏ p(x | pa )dx k k k i に出て分子と打ち消しあう p(x i | pa i ) xiの親ノードに依存 p(x k | pa k ) xi (の子)と共同親に依存 (誤植? 下巻p.95, 原書p.382) 45
  • 47. マルコフブランケット (2/2) • xiをグラフから条件付き にするためのノード 集合 (⇒ 演習8.9) 共同親 (co-parent) • 共同親が な 由 ⇒ 子の観測により遮断が解かれるため 共同親 xi head-to-headノードが観測 (ポイント3) 46
  • 48. 演習8.9 • マルコフブランケットを条件付けることにより,xiが全 てのノードから条件付き 親ノード集合: tail-to-tail or head-to-rail かつ観測 ⇒ 遮断 子ノード集合: (1) head-to-tail かつ観測 ⇒ 遮断 (2) head-to-head かつ観測 + 共同親も観測 ⇒ 遮断 47
  • 50. 本節のまとめ • 3ノードのグラフ – tail-to-tail – head-to-tail – head-to-head • 「弁明」現象 • 有向分 – 3ノードグラフの性質を一般化 • 有向分 – 有向分解 (8.5) と有向分 で得られる条件付き 性は一 • マルコフブランケット 49