Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

非ガウス性を利用した 因果構造探索

3,215 views

Published on

2015年日本生態学会関東地区会シンポジウム 「非ガウス性/非線形性/非対称性からの因果推論手法:その使いどころ・原理・実装を学ぶ」

Published in: Science
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

非ガウス性を利用した 因果構造探索

  1. 1. 非ガウス性を利用した 因果構造探索 清水昌平 大阪大学 産業科学研究所 2015年日本生態学会関東地区会シンポジウム 「非ガウス性/非線形性/非対称性からの因果推論手法:その使いどころ・原理・実装を学ぶ」 参考文献 https://sites.google.com/site/sshimizu06/home/lingampapers
  2. 2. Abstract • 因果構造探索 – 介入のないデータから因果関係を推定 – 難しさ: 時間情報なし + 疑似相関 • 使いどころ – 因果方向に関する仮説を評価したい – 背景知識が乏しいので、仮説を探索したい • 原理 – データの非ガウス性を利用(して独立性を評価) • 実装 – 発展中 (TETRADなど) 2 変数1 変数3 変数4 変数2 因果グラフ
  3. 3. 使いどころ 仮説探索ツール
  4. 4. 使い方 その1: 因果方向に関する仮説を比較 • 抑うつ気分と睡眠障害 (Rosenström+, 2012) • TV視聴時間と腹囲 (Helajärvi+2014) • VAAAとPAAP (von Eye+2012) 4 抑うつ 気分 睡眠障害 抑うつ 気分 睡眠障害 ? or どれ? データ行列X 推定抑うつ気分 睡眠障害 人1, 人2, …, 人1689 疫学調査 抑うつ 気分 睡眠障害 or
  5. 5. 使い方 その2: 背景知識がない時に因果仮説を探索 • 2つの条件で違うのはどこ?(Mill-Finnerty+ 2014, NeuroImage) • 因果仮説の構築支援 5 VMPFC DLPFC Ant. Cing Caudate Accumbens Insula VMPFC DLPFC Ant. Cing Caudate Accumbens Insula 異なる条件で 異なる因果構造 Positive framing Negative framing fMRI 脳活動計測
  6. 6. 使い方 その3: 背景知識がない時に因果仮説を探索 • 原因変数選択 (cf. Maathuis+10; Campomanes+14; Bottou+14) • 「説明」変数を原因系, 結果系, 無関係に三分割 – lassoは原因と結果を区別しない (疑似相関も区別しない) 6 変数11 ターゲット 変数 変数200 変数1 変数30 変数20 変数150 原因系 結果系 変数3 変数300 無関係
  7. 7. 適用事例が増えてきている 7 化学: Campomanes+14, J. Am. Chem. Soc. 経済学: Moneta+12, Oxford B Econ. Stat. 脳: Mills-Finnerty+14, NeuroImage 利益(t) 雇用(t) 売上(t) R&D(t) 雇用(t+1) 売上(t+1) R&D(t+1) 利益(t+1) 雇用(t+2) 売上(t+2) R&D(t+2) 利益(t+2) 疫学: Rosenstrom+12, PLOS ONE 抑うつ気分 睡眠障害 抑うつ気分 睡眠障害 or ? 問題点も浮かび上がってきていて、方法論研究も増えている 他: 気象学(インドの降水量と植物の生育: Niyogi+10)、ソーシャルネットワーク(サイズ,Ballings+15)
  8. 8. 因果探索が何とかしたいこと 疑似相関
  9. 9. チョコレート消費量と ノーベル賞受賞者数には正の相関 9 Chocolate Consumption, Cognitive Function, and Nobel Laureates Franz H. Messerli, (2012), New England Journal of Medicine (Occasional Notes) 2002-2011チョコレートの消費量 ノ ー ベ ル 賞 受 賞 者 の 数 相関係数: 0.791 P値 < 0.0001
  10. 10. チョコレートをたくさん食べさせれば 受賞者が増えるのか?(因果関係) • No, 疑似相関かも (Maurage+2013, J. Nutrition) 10 チョコ 賞 ?チョコ 賞 or GDP GDP チョコ 賞 or GDP 相関係数 0.791 P値 < 0.001 複数の因果関係が そのような相関関係を与えるギャップ チョコ 賞 潜在共通原因 潜在共通原因 潜在共通原因 (相関関係)
  11. 11. ギャップが埋まる場合はある? 11 「3つのうち, どれがよいか」データから言える場合はある? チョコ 賞 ?チョコ 賞 or GDP GDP チョコ 賞 or GDP 潜在共通原因 潜在共通原因 潜在共通原因 3つのモデルは, 相関係数は同じかも, しかし それ以外に違うところがあるのでは? 非ガウス構造に違い どんな仮定が必要? データ分布の情報をすべて利用
  12. 12. 因果探索のフレームワーク チョコ 賞 GDP 潜在共通原因    yy xx efxgy efgx ,, ,   構造方程式モデル
  13. 13. 構造方程式モデル (SEM) (Bollen, 1989; Pearl, 2000) • データ生成過程を記述する道具 13 y x f    yy xx efxgy efgx ,, ,   データ生成過程 1. どういう関数で決まるか ey ex 式で 2. 外生変数はどういう分布か ex,ey, f の分布 y x 観測変数の分布 構造方程式モデル  yxp , 分 布 決 ま る
  14. 14. 反実仮想モデルに基づく因果 (Neyman, 1923; Rubin, 1974) • 患者集団(ゼウス、ヘラ、アテナ、アポロン...たくさん) – 「もしも全員に薬を飲ませた場合の治癒する割合」 ≠「もしも全員に飲ませなかった場合の治癒する割合」 ⇒「この集団において、投薬は治癒の原因」 • 薬を飲ませるという介入をdo記号で: do(薬=飲む) 3日後 薬 治癒の 割合 治癒の 割合 なし ? 患者集団 14
  15. 15. 因果効果(介入効果) (Rubin, 1974; Pearl, 2000) • xの値をcからdに(外的に)変化させた時に、 yの値が平均的にどのくらい変化するか 15 y x f ey ex      cxdoyEdxdoyE  ||:)( 因果効果平均  cd  - 線形の場合 yy xx efxy efx     xy b b b 注: yをxに回帰しても, 回帰係数 ≠ b (潜在共通原因fを無視してはだめ)
  16. 16. の計算 16 y x f ey ex yy xx efxy efx     xy b b y x f ey yy efxy x    y b b  cxdo xの値を強制的にcにする c c   cxdoyE |下のモデルでの E(y) が   cxdoyE |
  17. 17. 逆に、yを変化させたら? 17 y x f ex      cydoxEdydoxE  ||:)( 因果効果平均    y efx xxx 0 c 注: yをxに回帰しても, 回帰係数 ≠ 0 (潜在共通原因fを無視してはだめ) 相関に基づいて因果を定義しちゃだめ c
  18. 18. 因果探索の基本問題 18 潜在共通原因 f 潜在共通原因f 潜在共通原因f    yy xx efgy efygx , ,,      yy xx efxgy efgx ,, ,      yy xx efgy efgx , ,   データ行列 x y ~i.i.d. p x, y( ) obs.1 仮定: どれかが データを生成 問題: どれが生成 したかを推定 obs.nobs.2 … y x f y x f y x f ey ex ey ex ey ex ex,ey, f の分布ex,ey, f の分布 ex,ey, f の分布 構 造 方 程 式 モ デ ル 構 造 方 程 式 モ デ ル 構 造 方 程 式 モ デ ル
  19. 19. 因果探索: 3つのアプローチ 1. ノンパラ – 関数形にも分布にも仮定おかず  どれかわからない 2. パラメトリック – 線形+ガウス分布  どれかわからない 3. セミパラ – 線形+非ガウス分布  どれかわかる 19 潜在共通原因f 潜在共通原因f 潜在共通原因f    yy xx efgy efygx , ,,      yy xx efxgy efgx ,, ,      yy xx efgy efgx , ,   y x f y x f y x f ey ex ey ex ey ex ex,ey, f の分布ex,ey, f の分布 ex,ey, f の分布 構 造 方 程 式 モ デ ル 構 造 方 程 式 モ デ ル 構 造 方 程 式 モ デ ル
  20. 20. 1. 時間情報がないときに因果方向を推定 2. 潜在共通原因への対処 20 Major challenges x1 x2 ?x1 x2 or x1 x2 ?x1 x2 or f1 f1
  21. 21. 因果方向推定の原理 潜在共通原因が「ない」場合を例に
  22. 22. 潜在共通原因は「ない」 • GDPは、潜在共通原因でない(他にもない): • 観測して分析に含める 22 チョコ 賞 GDP チョコ 賞 GDP チョコ 賞 GDP チョコ 賞 GDP
  23. 23. • 2つのモデルを比較(因果方向が反対): – x1とx2どちらが先に生成されたか知らない • モデル1と2が識別可能な条件 (Dodge+00; Shimizu+2006) – e1 or e2が非ガウス – e1 と e2が独立 (潜在共通原因なし) と は外生(誤差)変数(連続) 2変数の場合 23 or 21212 11 exbx ex   22 12121 ex exbx   モデル1: モデル2: x1 x2 e1 e2 1e 2e x1 x2 e1 e2
  24. 24. 識別可能: 方向が違えば分布が違う 𝑒1, 𝑒2がガウス 𝑒1, 𝑒2が非ガウス (一様分布) モデル1: モデル2: x1 x2 x1 x2 e1 e2 x1 x2 e1 e2 x1 x2 x1 x2 x1 x2 212 11 8.0 exx ex   22 121 8.0 ex exx       1varvar 21  xx     ,021  eEeE 24 相関係数は どれも0.8
  25. 25. 非ガウス性が、推定にどう役立つか? 25 21212 11 exbx ex   モデル 1: x1 x2 e1 e2 真 結果x2を原因x1に回帰 原因x1を結果x2に回帰 2 1212 1 1 12 2 )1( 2 )var( ),cov( e xbx x x xx xr    は独立と )1( 211 )( rex  残差   )var( var )var( ),cov( 1 )var( ),cov( 2 121 1 2 2121 2 2 21 1 )2( 1 x xb e x xxb x x xx xr          はと )2( 121212 )( reebx  2e 従属 021 b ガウスだと 無相関=独立
  26. 26. 独立と無相関 • 変数xとyが「独立」: • xとyが「無相関」: • 「独立」の方が強い条件: 制約がたくさん • 相互情報量(の近似)で独立性を評価 – Hyvarinen97; Bach+02; Gretton+05; Kraskov+04       0 yExExyE            0 ygExfEygxfE 任意の有界な関数fとgについて 26
  27. 27. • Linear Non-Gaussian Acyclic Model (LiNGAM) (Shimizu, Hoyer, Hyvarinen, & Kerminen, 2006) • データXから因果方向, 係数が識別可能 • PCで数百変数はokな推定アルゴリズムあり 多変数でも 27 i ij jiji exbx   x1 x2 x3 21b 23b13b 2e 3e 1e - 非巡回 - 非ガウス外生変数(誤差) ei - ei は互いに独立 (潜在共通原因なし) eBxx or
  28. 28. 拡張モデル
  29. 29. 時系列 (Hyvarinen, Zhang, Shimizu & Hoyer, 2010) • LiNGAM+自己回帰モデル – 測定間隔に比して • 速い影響:LiNGAM • 遅い影響:自己回帰モデル – 構造型ベクトル自己回帰モデル (Swanson & Granger, 1997) – 組み合わせは変えてよい • LiNGAM  巡回LiNGAM )()()( 0 ttt k exBx     x1(t)x1(t-1) x2(t-1) x2(t) e1(t-1) e2(t-1) e1(t) e2(t) 29
  30. 30. 時系列モデルの識別 • x(t)について解く (自己回帰モデルに変形) • Innovation vector n(t) 30 )()()( 0 ttt k exBx      )( 1 0 1 1 0 )()()()()( t k ttt nM eBIxBBIx         )()()( 0 tt enBI  )()()( 0 ttt enBn  LiNGAMモデル
  31. 31. 時系列モデルの推定の例 • 2段階推定 (Hyvarinen+2010) 1. ベクトル自己回帰 2. ベクトル自己回帰の残差にLiNGAM • パス係数行列B と自己回帰行列Mの関係 31 )()()( 0 ttt k exBx       0for0   MBIB  自己回帰行列:M
  32. 32. 巡回モデル (Lacerda et al., 2008; Hyvarinen & Smith, 2013) • ループありのモデル: • 識別性の十分条件 – Bの固有値の絶対値が1より小さい(平衡状態にある) – ループが交わらない – 自己ループなし x1 x2 e1 e2 x5 e5 x4e4 x3e3 32 i ij jiji exbx  
  33. 33. • 「非線形+加法の外生変数」のモデル • いくつかの非線形性と外生変数の分布を除いて識別 可能 (Zhang & Hyvarinen, 2009; Peters et al., 2014) • Open problem: どこまで緩められるか? セミパラ ほかの例       iiiii iiii i x kki exffx exfx exfx i      の親 の親 の親 1, 1 2, -- Hoyer et al. (2008) -- Zhang et al. (2009) 1. 2. 33 3. -- Imoto et al. (2002)
  34. 34. 適用例 潜在共通原因は「ない」と仮定 (とりあえず無視)
  35. 35. 経済学 35 Moneta+12, Oxford Bulletin of Economics and Statistics 利益(t) 雇用(t) 売上(t) R&D(t) 雇用(t+1) 売上(t+1) R&D(t+1) 利益(t+1) 雇用(t+2) 売上(t+2) R&D(t+2) 利益(t+2) )()()( 0 ttt k exBx    AR+LiNGAM: Growth rate = log( x(t) ) – log ( x(t-1) ) を解析
  36. 36. Moneta+12; Brenner+15 における検討項目 • 非ガウスかの検定 – 観測変数+外生変数のガウス性検定 • 外生変数(誤差)間の独立性評価 – 当てはまりが悪い -> 棄却 … • 係数の有意性検定 (因果構造は固定) • 因果構造が安定しているかの確認 – ブートストラップ 36
  37. 37. 神経科学: 異なる条件で比べる • fMRIデータから脳内因果ネットワーク 37 Mills-Finnerty+14, NeuroImage Liu+15, J. Affective Disorders 異なる実験条件 双極性うつ患者 単極性うつ患者
  38. 38. 異なる条件で比べる • 因果グラフが正しいかというより、 同じか違うか(Glymour+15, British Journal for the Philosophy of Science) 38
  39. 39. ガウスと非ガウスが混在 • PCアルゴリズム(or GES)+LiNGAM – Hoyer+08UAI; Ramsey+11NeuroImage 39 ○は誤差項がガウス □が誤差項が非ガウス 真 PC +LiNGAM
  40. 40. 実装例 著者がたいがいcode公開(再現性) しかし、使いやすいさは重視されていない そんな中
  41. 41. ソフトウェア: TETRAD 41 http://www.phil.cmu.edu/tetrad/ LiNGAM系
  42. 42. ソフトウェア • Center for Causal Discovery – Univ. Pittsburgh + CMU (2014年9月より) • 方法論研究と実質科学研究のループ – Brain, Cancer, Lung: Big dataから因果知識 • ソフトウェア公開 – TETRAD+α • 参考: LiNGAM code – sites.google.com/site/sshimizu06/lingam 42 https://www.ccd.pitt.edu/
  43. 43. 時系列モデル用プログラム • 「非ガウス」構造型ベクトル自己回帰モデル – R codes by Doris Entner • Moneta+12の分析を再現できる – https://sites.google.com/site/dorisentner/publications/VARLiNGAM – Matlab codes by Luca Faes • http://www.science.unitn.it/biophysicslab/research/sigpro/eMVAR.html 43 経済学: Moneta+12, Oxford B Econ. Stat. 利益(t) 雇用(t) 売上(t) R&D(t) 雇用(t+1) 売上(t+1) R&D(t+1) 利益(t+1) 雇用(t+2) 売上(t+2) R&D(t+2) 利益(t+2) )()()( 0 ttt k exBx    
  44. 44. 潜在共通原因がある場合
  45. 45. • 潜在共通原因 を追加 (非ガウス) i ij jij Q q qiqii exbfx   1  潜在共通原因がある場合の LiNGAMモデル (Hoyer, Shimizu+, 2008) 45 ただし は独立),,1( Qqfq  qf x1 x2 2e1e 1f 2f 2121 1 222 1 1 111 exbfx efx Q q qq Q q qq         11 22 切片
  46. 46. 独立としても一般性を失わない (全体が線形非巡回なら) 独立な潜在共通原因 i ij jij Q q qiqii exbfx   1  46 x1 x2 2e1e 1f e 2f e x1 x2 2e1e 1 :1 f ef 2 :2 f ef 1f 2f 従属な潜在共通原因                               2 1 2221 11 2221 11 2 1 00 2 1 f f aa a e e aa a f f f f
  47. 47. 潜在共通原因を陽にモデリング するアプローチ 推定アプローチ その1
  48. 48. 識別可能: 方向が違えば分布が違う • Hoyer, Shimizu, Kerminen and Palviainen (2008) • 忠実性+潜在共通原因の数Qが既知 48 x1 x2 f1 x1 x2 or fQ f1 fQ … … 2e1e2e1e 2121 1 222 1 1 111 exbfx efx Q q qq Q q qq         2 1 222 1212 1 111 efx exbfx Q q qq Q q qq         1x1x 2x2x
  49. 49. 潜在共通原因を陽にモデリング • モデル選択 – 最尤推定 or ベイズ推定 (Hoyer+, 2008; Henao & Winther, 2011) • 外生変数eの分布:混合ガウスなど – 係数の事前分布にスパースな分布 – 潜在共通原因の数を特定する必要 – 大変 49 x1 x2 f1 fQ … 2e1e2121 1 222 1 1 111 exbfx efx Q q qq Q q qq        
  50. 50. 潜在共通原因を陽にモデリング しないアプローチ S. Shimizu and K. Bollen. Journal of Machine Learning Research, 15: 2629-2652, 2014. 推定アプローチ その2
  51. 51. )( 2 m  観測は, 切片 が異なるかもしれない LiNGAMモデルから生成される )( 22 m   )1( 1x )1( 2x )( 2 m x )1( 1x )( 2 )( 121 1 )( 22 )( 2 mm Q q m qq m exbfx    Key idea (1/2) • 潜在共通原因ありのLiNGAMの別の見方: 51 x1 x2 f1 fQ… 2e1e )1( 2e)1( 1e )( 2 m e)( 1 m e …… 21b 21b 21b )( 22 m   )1( 22   m-番目の観測:
  52. 52. Key idea (2/2) • 潜在共通原因の和を, 観測固有の切片として モデル化: • 潜在共通原因を陽にモデリングしない – 潜在共通原因の数Qも係数 も推定不要 52 )( 2 m  )( 2 )( 121 1 )( 22 )( 2 mm Q q m qq m exbfx   m-番目の観測: q2 観測固有の切片 線形の場合は, 潜在共通原因fqの影響が 切片の違いとして現れる
  53. 53. • 因果方向の異なるモデルを周辺尤度で比較: • 追加パラメータたくさん – 混合モデル(やマルチレベルモデル)と同様 • 観測固有の切片 に事前分布 (informative) • 他パラメータ not very informative: 分散の大きいガウス • p(e1), p(e2): e.g., ラプラス, 混合ガウス etc. )()( 121 )( 22 )( 2 )( 1 )( 11 )( 1 m i mmm mmm exbx ex     ベイズでモデル選択 53 ),,1;2,1()( nmim i  )(m i Model 3 (x1  x2) )( 2 )( 22 )( 2 )( 1 )( 212 )( 11 )( 1 mmm mmmm ex exbx     Model 4 (x1  x2)
  54. 54. 観測固有の切片の事前分布の一例 • 動機: 中心極限定理 – よりたくさんの独立な変数の和は, よりガウスに • ベル型の分布で近似: ガウスやt分布 • ハイパーパラメータも周辺尤度で選択: 経験ベイズ – • 小さい : 切片が似てる 54    Q q m qq m Q q m qq m ff 1 )( 2 )( 2 1 )( 1 )( 1 ,  ~)( 2 )( 1       m m   ガウス分布 (標準偏差 , 相関 )1221, )},(sd0.1,),(sd2.0,0{ lll xx   }9.0,,1.0,0{12   21,
  55. 55. まとめ
  56. 56. 非ガウス性を利用した 因果構造探索 • 因果仮説探索ツール • 関数形に制約を入れてみる – 因果方向推定+疑似相関に対処 • 実装:発展中 (TETRADなど) • 今が「チャンス」? – 方法論の論文:120~140件 (「ふつうの」離散まだ) – 応用論文: 30~40件 56

×