Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

環境分野における"EBPM"の可能性と危うさ:他山の石として

6,240 views

Published on

某勉強会@高等教育関係での発表内容です。いきおい批判的なトーンですが、雑な議論やハイプが嫌いなだけで、EBPMやRCT自体が嫌いなわけではありません。

Published in: Science
  • Be the first to comment

環境分野における"EBPM"の可能性と危うさ:他山の石として

  1. 1. 環境分野における”EBPM”の可能性 と危うさ: 他⼭の⽯として 某⾼等教育系勉強会@2019/10/18(⾦) @国⽴環境研究所 環境リスク・健康研究センター 林岳彦
  2. 2. ⾃⼰紹介|どんな研究をしているのか ⽣態リスク評価、確率的リスク分析、因果推論 Yij θAlgae σjMeans SDθFish Sensitivity differences among taxonomic groups Normal distributions Log(NOEC) Parameters were estimated by MCMC simulations θInvertebrate 階層ベイズモデルとモンテカルロシミュレーションを ⽤いた化学物質の⽣態リスクの定量化とリスク⽐較 Hayashi & Kashiwagi (2009) Hayashi & Kashiwagi (2010) Monte Carlo Analysis EPAF = F µECD - µSSD sECD 2 + sSSD 2 æ è ç ç ö ø ÷ ÷ µECD µSSDsECD sSSD Calculation of predictive distribution of EPAF Posterior distributions of ECD parameters Posterior distributions of SSD parameters Results: Quantitative Risk Comparison Median and 90% range of EPAF log10(EPAF) Large Risk→←Small Risk Chemicals Ammonia Copper Nickel Zinc Hayashi and Kashiwagi (2011)
  3. 3. ⾃⼰紹介|どんな研究をしているのか 『はじめてのバックドア基準』 (Pearlの関数的因果モデルの解説) ⽣態リスク評価、確率的リスク分析、因果推論 ネオニコチノイド系農薬の ⾚トンボへの影響の因果推論 !",$ = &",$ − &"(),$ &"(),$ = +) ,-./)," − ,-./),"() + ⋯ + +2 ,-./2," − ,-./2,"() ++" 3-45" + 6)7)," + ⋯ + 6878," 背景知識からの因果モデルの構築 バックドア基準に基づく 統計モデルの構築 因果効果の推定
  4. 4. ⾃⼰紹介|どんな研究をしているのか 社会対話・協働推進オフィス@国環研 林は準コアメンバー的な⽴場で⽐較的STS的な問題意識での 社会対話の実践を⽬指して参加している @taiwa_kankyo の twitterアカウント
  5. 5. 本⽇の話をするにあたっての スタンスの説明 林は⾼等教育分野のEBPMについて特別に 何かを語れるわけではない あくまで主に環境分野からの⾒解として語 らせてください その中での重なる部分/重ならない部分か ら「⾼等教育におけるEBPM」へのヒント が⾒えてくれば
  6. 6. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか? 序. 背景として考えていること:”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること: “エビデンス、コンテクスト/ナラティブ、規 範的検討のベストミックスへ”
  7. 7. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか? 序. 背景として考えていること:”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること: “エビデンス、コンテクスト/ナラティブ、規 範的検討のベストミックスへ”
  8. 8. 2019/3/11 14:00-16:45@国⽴環境研究所 エビデンスは棍棒ではない --- われわれは価値/規範と公共政策に ついていかに語りうるのか (0) 林岳彦(国⽴環境研・環境リスク健康研究センター) 『規範的リスク分析を待ちながら --- 趣旨説明』 (1) 佐野亘(京都⼤学・地球環境学堂) 『なぜ規範的政策分析か?−公共政策学における価値と規範』 (2) 江守正多(国⽴環境研・地球環境研究センター) 『気候科学は社会の価値にどう向き合うか』 (3) 加納寛之(⼤阪⼤学・⼈間科学研究科) 『環境分野におけるエビデンスに基づく政策形成の適⽤に向けて: エビデンス概念 の整理と評価軸の検討』 (4) 村上道夫(福島県⽴医科⼤学医学部健康リスクコミュニケーション学講座) 『リスクと"価値":福島災害後の経験から』
  9. 9. 集会当⽇の趣旨説明 (ここから)
  10. 10. 本集会の趣旨説明 林岳彦 @国環研リスク健康C/対話オフィス
  11. 11. 「リスク学は価値/倫理の重要性 を無視している」
  12. 12. リスク学系の研究者の⼤部分は 価値・倫理は重要だと 本気で考えてますよ (*ただし⼈による) いやいやいやいや
  13. 13. でも 価値・規範の問題にどうやって コミットすれば良いのか よくわからない ところはたしかにある
  14. 14. また、 価値・規範の問題は われわれの守備範囲ではないと 思っているところはある
  15. 15. たとえば われわれが 省庁の(”下”の⽅の)検討会で テクニカルな議論をして
  16. 16. 価値・規範については “上”の委員会で議論する ものですよね
  17. 17. と思っていた時期もありました
  18. 18. でも“上”の委員会でも 価値・規範の専⾨的な 議論なんてしてない
  19. 19. そもそも 価値・規範の議論についての 専⾨性のある委員も⼊っていない (*ただし場合による)
  20. 20. つまり 政策形成において 価値・規範についての 専⾨的で公的な議論は 誰もしていないのである
  21. 21. 本当にそれでよいのか?
  22. 22. 解題: “エビデンスは棍棒ではない”
  23. 23. エビデンスを⽣産する側の 研究者としてはやっぱり “エビデンス”は⺠主的意思決定の 役に⽴ってほしい
  24. 24. “エビデンス”が 意⾒の異なる陣営を雑に叩くための “棍棒”として使われるのを ⾒るのは 悲しい
  25. 25. “バット”が野球をするために あるように “エビデンス”は⺠主的意思決定の ためにある それで⼈を叩かないで
  26. 26. でもなんかもしかしたら “バット”も”エビデンス”も それを⼿にしたら 思わず振り回したくなるような アフォーダンス(モノのあり⽅としての誘引⼒) をもっているのかも
  27. 27. “バット”だけを⼿にするから 叩き合いになるのでは? もしかしたら
  28. 28. “バット”だけでなく “ボールとグローブ”も ⼀緒に渡せたら?
  29. 29. “エビデンス”と⼀緒に “規範的分析”を渡せたら もう少し対話的な 議論になったりする? もしかしたら
  30. 30. “エビデンス”を⼿にしたときに 思わず対話的な議論がしたくなる そんな “エビデンスのアフォーダンス設計” みたいなことを⼀度 考えてみるのは どうだろうか
  31. 31. 解題: “エビデンスは棍棒ではない”
  32. 32. 集会当⽇の趣旨説明 (ここまで)
  33. 33. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか? 序. 背景として考えていること:”エビデンス は棍棒ではない”(Science-Policy Interface) 結. 結局のところ背景として考えていること: “エビデンス、コンテクスト/ナラティブ、規 範的検討のベストミックスへ”
  34. 34. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか? 序. 背景として考えていること:”エビデンス は棍棒ではない”(Science-Policy Interface) 結. 結局のところ背景として考えていること: “エビデンス、コンテクスト/ナラティブ、規 範的検討のベストミックスへ”
  35. 35. ⼤阪⼤学⼤学院 ⼈間科学研究科 環境分野へのEBPMの導⼊に向けての 概念とフレームワークの整備 加納寛之 国⽴環境研究所 環境リスク・健康センター 林岳彦 I. *同内容の英語論⽂をEnvironmental Science and Policy誌に投稿中
  36. 36. 課題発⾒のための視点×制度化段階マトリックス (⼀枚紙の配布資料) Phase 前制度化段階 制度化段階 ポスト制度化段階 フレームワークの運⽤ Perspective ⽅法論的厳格性 問題の学術的な理解について不明瞭な点が多い。(Pre- R) 問題の学術的な標準的な理解が確⽴する。 (Mid-R) 研究がさらに進み、問題の細部の解明が進む。 (Post-R) エビデンスの提供者(科 学者・専⾨家等)がエビ デンスを評価・伝達す る際に念頭に置く必要 のある参照項⽬ 当該問題に関わるそのとき得られる知⾒が、どのような⼿法によって得られた ものかを明⽰し、エビデンスとしての有効性を評価しているか? エビデンスを創出する科学的⽅法論や研究デザインの強みと限界を明⽰してい るか? ⼀貫性 エビデンス間の関係性を検討できるほど学術研究が進展 していない。(Pre-C) エビデンス間の関係性が検討できるようになる。 (Mid-C) より詳細にエビデンス間の関係性を検討することが可能 になる。 (Post-C) 研究の進展に応じて、エビデンスの主張、不確実性、影響・被影響関係の整合 性の把握に努めているか? 最終的な結論を⽀持/留保する論拠の各々に対し、関連するエビデンスの主張、 不確実性、影響・被影響関係を体系的に把握しようと努めているか? 近接性 科学的知⾒の政策的意義が不明確であり、研究成果が政 策形成に結びつき難い。(Pre-P) 研究が進むことでエビデンスの基準が確⽴し、研 究成果と政策対象の関連性が把握しやすくなる。 それに伴い、政策的対応のガイドラインが整備さ れる。(Mid-P) 問題がプロトコルやガイドラインに則って理解されるこ とで、そこから逸脱する事象が切り捨てられる傾向が⾒ られるようになる。(Post-P) エビデンスの提供者が、 エビデンスを政策に適 ⽤に際し、活⽤者と協 調するために念頭に置 く必要がある参照項⽬エビデンスの内容と政策対象の関連性はあるか? 近接性が想定できない場合、近接性の⽋如に⾃覚的か? エビデンスの内容と政策対象の関連性はあるか? 近接性の射程について⾃覚 し、射程の外部に対して総合的な考慮をしているか? 社会的適切性 当該問題に関するエビデンスが⼗分にない状況において、 個別ケースごとに科学者や研究グループの社会的価値判 断が要求される。(Pre-A) エビデンスの⽣産に関わる科学的⽅法論やエビデ ンス基準に社会的価値判断が反映される。(Mid-A) 制度設計の⽔準に社会的価値判断が反映される。(Post- A) エビデンスの提供者が エビデンスの創出・活 ⽤に際し、念頭に置く 必要のある参照項⽬ エビデンスの欠如を理由に、過小な政策的対応になって いないか?ある仮説を採用、棄却、保留する判断を、そ の判断が招く社会的帰結の深刻度を考慮して決定してい るか? 型に嵌った判断に終始しないで、その都度、当該 問題に対する研究デザインの意義を検討している か? フレーミングの限界を認識し、必要に応じて再課題化を 促しているか? 正統性 研究者による⾃発的な研究や、原因究明のための委託研 究に対する政治的関与のあり⽅が問われる。(Pre-L) エビデンスの基準の設定と運⽤に対する政治的関 与のあり⽅が問われる。(Mid-L) 科学的⾒解の統制における議論の進め⽅や研究者の選定 の仕⽅に対する政治的影響のあり⽅が問われる。(Post- L) エビデンスの提供者が、 エビデンスの創出と運 ⽤が置かれる環境に関 し、念頭に置く必要の ある参照項⽬ 当該問題の理解を深めるために様々な可能性を顕在化し ようと働きかけているか?過剰なエビデンスの⽔準が課 されることで、政策的対応の不作為が免れていないか? エビデンスの要求レベルを不当に操作することで、 過剰な政治的⾃律性が許容されていないか?利益 相反に注意を払っているか? 都合の良い専⾨家の選別を通して、特定の政策路線の強 化を促していないか? 軸の関係性 エビデンスの⽅法論的厳格性や⼀貫性に関し不明瞭な点 が多いため、エビデンスと政策対象との近接性が測り難 い。この段階では、エビデンスレベルに縛られない予防 的対策も考慮する必要があり、社会的適切性と正統性は しばしば緊張関係にある。すなわち、政策決定の根拠と して科学者の社会的価値判断を重視することは正統性を 侵⾷する危険性があるが、政策判断を科学者側に課すこ とで説明責任の転化を招く危険性もある。 ⽅法論的厳格性と⼀貫性の点でエビデンスの質が 向上することで、近接性の判断も可能になる。た だし、エビデンスの質と近接性はしばしばトレー ドオフの関係にある。これら前者⼆つの科学的視 点と近接性のバランスは純粋に科学的に決められ るわけではなく、社会的適切性や正統性の視点に 照らし合わされて決まられる。 研究が進み⽅法論的厳格性と⼀貫性に関して質の⾼いエ ビデンスの創出が可能になることで、より詳細に近接性 を測れたり、適切な課題設定が可能になる。ただし、気 候変動問題のように、問題の性質によっては正統性の視 点が他の視点に⽐べ前⾯に出ることで、近接性や社会的 適切性に関する問題の捉え⽅をも規定するようになる。 (※フレームワーク⾃体が政 策プロセスを評価する第三 者のための参照項⽬として 機能することを想定してい る)
  37. 37. 背景| ”EBPM”の世界的なムーブメント 参考⽂献:三菱UFJリサーチ&コンサルティング(2016) 『エビデンスで変わる政策形成』 英国での動き(“EBPM”の前段的活動) ・EBM; コクラン共同計画(1993-) RCTを中⼼とした臨床試験等の系統的レビューに より、有効な治療施策の情報を統合 「根拠に基づく医療(Evidence-Based Medicine) 」に よる医療実践の標準化と普及へ - - ・キャンベル共同計画(1999-) 社会政策(教育・刑事司法・社会福祉)の分野に おける⽐較試験の系統的レビューによる統合 -
  38. 38. 背景| ”EBPM”の世界的なムーブメント 政策効果に関するエビデンスの構築・伝達・利⽤を 促進するための“What Works Centre”を設置・拡⼤ 英国での動き(“EBPM”の導⼊と拡⼤) 労働党ブレア政権(1997年-)から導⼊され、保守 党キャメロン政権でも継続(背景に財政難もあり) ■ ■ ・取り扱っている政策分野は、教育、貧困・格 差解消、地域経済活性化、福祉等 ・予算は政府機関から出資されていることが多 いが、政府とは独⽴した運営形態 (“Arm’s Length”の距離感) 参考⽂献:三菱UFJリサーチ&コンサルティング(2016) 『エビデンスで変わる政策形成』
  39. 39. 背景| ”EBPM”の世界的なムーブメント 1960年代のジョンソン政権の社会事業を契機に RCTによる評価が取り⼊られ始める 2000年代には教育と開発経済分野においてRCTに よる効果検証が盛んに導⼊される ⽶国での動き(“EBPM”の前段) ・ 1980-90年代において「RCTの⻩⾦期」 予算配分要件となる効果検証のデファクトスタンダードがRCTであった →1996年の社会保障改⾰法を契機に予算の裁量が州に移譲され下⽕に ・ ・ 参考⽂献:三菱UFJリサーチ&コンサルティング(2016) 『エビデンスで変わる政策形成』
  40. 40. 背景| ”EBPM”の世界的なムーブメント ・2017年に超党派の動きにより『エビデンスに基づく 政策形成のための基盤法』が導⼊ 今後、各省庁は毎年「エビデンス構築計画」を⽴て 主任データ官と主任評価官の任命を⾏うこととなる (Foundations for Evidence-Based Policymaking Act of 2017) ⽶国での動き(“EBPM”の導⼊と拡⼤) オバマ政権&OMBの主導で事業への補助⾦の分配や 予算要求等において質の⾼いエビデンスを要件とす る取り組みが導⼊ "No evidence, no money"という新たな⾏政的ルール が⼀部定着しつつある ・ 参考⽂献:三菱UFJリサーチ&コンサルティング(2016) 『エビデンスで変わる政策形成』
  41. 41. 背景| ”EBPM”の世界的なムーブメント ■ ⽇本でのEBPM推進の動き ・統計改⾰会議H29最終取りまとめにおける提⾔ 政策評価・⾏政事業レビュー等での EBPMの実践 ユーザーの視点に⽴った統計システムの 再構築と利活⽤促進(関連:オープンデータ) 政府横断的なEBPM推進機能(EBPM推進委員会) 各府省EBPM推進統括官の創設 H30年度より各省庁の課室でもEBPM推進の具体 的な取り組みが開始(H30年度は"始動の年")
  42. 42. 背景| ”EBPM”の世界的なムーブメント 1.EBPM(証拠に基づく政策立案)推進体制の構築 EBPM(証拠に基づく政策立案)を推進する体制を政府内に構築 これにより、政策部局による統計・データの利活用と統計部局によるニーズを反映した統計・デー タの改善が連動する「EBPMサイクル」を確立 エビデンス・ベースト・ポリシー・メイキング 2 「第3回統計改⾰推進会議」配布資料より抜粋
  43. 43. 背景| ”EBPM”の世界的なムーブメント ■ EBPMは医療分野や教育分野を中⼼に進展 「環境分野におけるEBPM」には先⾏分野の取 り組み⽅をそのまま適⽤できるとは限らない RCTなどの実験的アプローチが倫理的 あるいは技術的に困難 ・ データの取得⾃体が困難なことも多い・ 原因と結果の関係が⼤きく不確実・ 「環境分野におけるEBPM」は世界的にも これから開拓される段階のテーマ 環境分野 の特徴
  44. 44. ⽬次|本⽇の報告の⽬的と流れ (1)これまでに確⽴したEBPMの特徴 (2)環境分野のエビデンスの種類と役割 (3)エビデンス評価に不可⽋な視点軸 (4)科学の政治の相互作⽤段階の関係 ■ 環境分野に「エビデンスに基づく政策形成」 の考え⽅を適⽤するために: について考察し、環境分野でのEBPMを議論し 課題発⾒のためのフレームワークを提⽰する
  45. 45. ⽬次|本⽇の報告の⽬的と流れ (1)これまでに確⽴したEBPMの特徴 (2)環境分野のエビデンスの種類と役割 (3)エビデンス評価の概念軸 (4)エビデンスと科学の制度化段階の関係 ■ 環境分野に「エビデンスに基づく政策形成」 の考え⽅を適⽤するために: について考察し、理論枠組みの整備を⾏う
  46. 46. (1) 特徴|“近年流⾏している”EBPMの特徴(1/2) ■ 狭義の/広義の”EBPM概念”が併存・混在する “EBPM”の定義 by OECD (2007)(1) 政策オプションの中から決定し選択する際に、現在最 も有益なエビデンスを誠実かつ明確に活⽤すること OECD (2007) Knowledge Management: Evidence in Education ‒ Linking Research and Policy より引⽤ “EBPM”の定義 by 内閣官房⾏政改⾰推進本部(2) https://www.kantei.go.jp/jp/singi/toukeikaikaku/kanjikai/dai5/siryou1.pdfより引⽤(下線部ママ) 証拠に基づく政策⽴案(EBPM)とは、(1)政策⽬的を明確 化させ、(2)その⽬的のため本当に効果が上がる⾏政⼿ 段は何かなど、「政策の基本的な枠組み」を証拠に基 づいて明確にするための取組
  47. 47. (1) 特徴|“近年流⾏している”EBPMの特徴(1/2) ■ ⾮常に狭い概念範囲が想定されることも多い ⾮常に限定された"エビデンス"概念の使⽤・ ⾮常に限定された"政策形成"概念の使⽤・ 本報告では上記の狭い概念定義に基づくEBPMを ”狭義のEBPM ”と呼ぶ エビデンス=政策効果に関する統計的因果推論に よる分析結果(ランダム化⽐較試験によるものを理想とする) ( “政策形成”は本来とても広い概念であるのに) 「政策効果のインパクト評価」のみが考慮内 「政策形成」全体からみると「効果の評価・検証」のフェーズはそのほんの⼀ 部に過ぎないので、"EBPM"というより"EBPT(esting)"のほうがより実態に近い EBPM推進の予算配分ではしばしば狭いエビデンス概念に基づく要件化が⾏われる
  48. 48. (1) 特徴|"近年流⾏している"EBPMの特徴(2/2) ■ “エビデンスヒエラルキー”がとかく強調されがち エビデンスの質 = 因果関係の特定能⼒ 序列化可能で⼀次元的な“エビデンス観”が根強い ・ 質が低い 質が⾼い ランダム化⽐較試験・メタアナリシス 擬似実験・⾃然実験 純粋な観察研究 専⾨家意⾒
  49. 49. ⽬次|本⽇の報告の⽬的と流れ (1)これまでに確⽴したEBPMの特徴 (2)環境分野のエビデンスの種類と役割 (3)エビデンス評価の概念軸 (4)エビデンスと科学の制度化段階の関係 ■ 環境分野に「エビデンスに基づく政策形成」 の考え⽅を適⽤するために: について考察し、理論枠組みの整備を⾏う
  50. 50. (2) 種類と役割|環境分野のエビデンスの特徴(1/3) ■ 多様な"政策に資するエビデンス"がある “エビデンスヒエラルキー”の外側にあるもの・ 政策効果そのものに関わるものではないもの・ - 気候モデルを使ったシミュレーションの結果 - 蜜や花粉への農薬残留濃度データからのモンテカルロ シミュレーションによる曝露濃度推定の結果 etc... - 地表気温、対流圏気温、成層圏オゾン等の観測データ - ⽣物毒性試験、毒性機序の⽣理学的知⾒、放射性物質 の環境中動態測定 etc... 狭い“エビデンス”概念では捉えきれない要素が多い
  51. 51. (2) 種類と役割|環境分野のエビデンスの特徴(2/3) ■ “多様なエビデンス”が総合的に判断される - 多様なエビデンスを網羅的に参照し、メリットとデメ リット、不確実性をオープンにしながら、専⾨家によ る総合的な判断により最終的な結論を導出 環境政策における意思決定ではエビデンスヒエラ ルキーだけが重視されての判断は⼀般に稀である ・ “Weight of Evidence” アプローチ 制度化の進展した分野では「良いエビデンス」を 規定する合意されたプロトコルによる判断も多⽤ ・ ⾮ヒエラルキー的・多次元的な“エビデンス観” e.g., WHO (2009) (⼀⽅で、不明瞭な意思決定を⽣み出す要因となりうる)
  52. 52. (2) 種類と役割|環境分野のエビデンスの特徴(3/3) ■ “⽴法事実型”エビデンスが中⼼ “効果検証型”エビデンス:政策アウトカムの検証・ - 環境分野でのエビデンスは”評価・検証”以前の 政策形成過程で役割を果たすことが多い “狭義のEBPM”で念頭に置かれるエビデンスはこちら “⽴法事実型”エビデンス:政策形成・実施の⼟台・ -「現状がどのようで、これからどのように、何が起こ り得るか」の認識の共有に資する - 殆どの⼈の「”エビデンス”が重要」はこちらを念頭 (また現実として先ず危機的な事態なのもこちら) -「What Works (何が有効か)」がモットー
  53. 53. (2) 種類と役割|まとめと含意(1/2) ■「狭義のEBPM」は狭い概念定義をもち、⼀次元 的なエビデンス観が根強い ■ 環境分野での”エビデンス”とその取扱いの あり⽅は(良くも悪くも)多様である “狭義のEBPM”のスコープを環境研究⼀般にその まま持ち込んでも、環境研究のスコープとは⾃然 には重ならない スコープの違いを認識し、その「重ね合わせ」の 吟味と意義の摺り合わせがまず重要である
  54. 54. (2)種類と役割|まとめと含意(2/2) 「EBPM」の「狭義」と「広義」のスコープを区 別しないことは、単なる混乱の原因というだけで なく、環境規制においては実害のもととなりうる たとえば、(コンセンサスベースの)環境規制に おいてエビデンスヒエラルキーの要件がより強く 求められることにより、環境規制が⾻抜きにされ ることに繋がりかねない (e.g. 環境規制の正当化 に必要となるエビデンスレベルの不当な引き上げ) 今後に「環境政策におけるエビデンスの利⽤」の 議論をしていく上で、いちど広い観点からの概念 整理をしておくことが有⽤である
  55. 55. ⽬次|本⽇の報告の⽬的と流れ (1)これまでに確⽴したEBPMの特徴 (2)環境分野のエビデンスの種類と役割 (3)エビデンス評価に不可⽋な視点軸 (4)科学の政治の相互作⽤段階の関係 ■ 環境分野に「エビデンスに基づく政策形成」 の考え⽅を適⽤するために: について考察し、環境分野でのEBPMを議論し 課題発⾒のためのフレームワークを提⽰する
  56. 56. (3) 評価の視点軸|先⾏研究 • 科学的知⾒の⽣産に着⽬ CRELE: Credibility Relevance Legitimacy ACTA: Applicability Comprehensiveness Timing Accessibility Cash et al. 2003 など • 科学的知⾒の活⽤に着⽬ Dunn and Laing 2017 など 科学-政策境界(SPI)の研究では、エビデンスの有効性 を広い視点から考える重要性が指摘されてきた ■ 知識の信頼性(=質)の他に、 政策課題との関連性や、知識 ⽣産が特定の利害に与してい ないことが重要 活⽤者の視点から、知識 の応⽤可能性や包括性、 知識獲得のタイミング、 アクセス性を考慮するこ とが重要 エビデンス評価は”⽣産”と”利⽤”の双⽅に関わる
  57. 57. (3) 評価の視点軸|概念軸の全体像 ■■ 先⾏研究を踏まえた上で以下の5軸を考慮 ①⽅法論的厳格性 ②総体的⼀貫性 ③⽂脈的近接性 ④社会的適切性 ⑤政治的正統性 Scientificな視点 Social/Poli^calな視点 エビデンスの⽣産から活⽤に渡り“ヌケモレ”の ないエビデンス検討の基盤が必要 ・
  58. 58. (3) 評価の視点軸|⽅法論的厳格性 ■⽅法論的厳格性:「科学的⽅法論の質」の視点 科学的⽅法論の質の違いを認識することが重要 帰納的推論の質:“エビデンスヒエラルキー” - 帰納的推論に関する⽅法論的厳格性 ・ 理論・シミュレーション研究の質・ 計測の質・ - 演繹的論理の内的整合性(体系内部での⾃⼰検証はしばしば困難) - 計測に関する⽅法論的・技術的適切性 ⼀貫性・近接性・適切性・正当性を保証しない(後述) 独⽴な観察事実等との整合による検証(→”総体的⼀貫性”) 技術認証やガイダンス等による標準化による質の担保
  59. 59. (3) 評価の視点軸|総体的⼀貫性 ■総体的⼀貫性:「複数の知⾒の整合性」の視点 多様なエビデンスの相互関係の頑健な評価が重要 質的に異なりうる複数のエビデンスの”アンサンブ ル評価” ・ - 多様なエビデンスを網羅的に参照し、メリットとデメ リット、不確実性をオープンにしながら、専⾨家によ る総合的な判断により最終的な結論を導出 “Weight of Evidence” アプローチ e.g., WHO (2009) - シミュレーション結果と、独⽴に得られた観察事実の 整合をもってエビデンスの総体的な頑健性を評価 ロバストネス評価
  60. 60. (3) 評価の視点軸|⽂脈的近接性 ■⽂脈的近接性:「政策課題との近接性」の視点 ⽶国のある地域における 少⼈数学級に関する⼩規 模なRCTの推定結果 具体的な政策課題の⽂脈から⾒た「外的妥当性・ ⼀般化可能性・外挿可能性」といった概念に対応 ⽶国のある地域における 少⼈数学級に対する⼤規 模な導⼊ ⽶国の異なる地域におけ る少⼈数学級に対する⼤ 規模な導⼊ ⽇本における少⼈数学級 に対する⼤規模な導⼊ 近接性⼤ ? ?? ??? 近接性⼩ RCTであっても・・
  61. 61. (3) 評価の視点軸|⽂脈的近接性 ■⽂脈的近接性:「政策課題との近接性」の視点 エビデンスの科学的な質だけではなく政策課題と の⽂脈的な近接性の程度を吟味することが重要 *⼀般に、⽅法論的厳格性と近接性はトレードオフの関係 →レギュラトリーサイエンスの中⼼テーマ システムとドメイン間での近接性:質的に異なる モデルシステム間での”距離” ・ ドメイン間での近接性:同質システム間での”距離”・ (例)エビデンス:⽶国での少⼈数学級のRCTの結果 ↔ 政策課題:⽇本での少⼈数学級の導⼊ (例)マウス毒性試験でのハーダー腺腫瘍への影響結果 ↔ 政策課題:ヒト健康リスクの管理基準の設定
  62. 62. (3) 評価の視点軸|社会的適切性 ■社会的適切性:「ELSIやメタ的合⽬的性」の視点 エビデンス創出・活⽤のEthical, Legal, Social Issues・ メタ的合⽬的性とフレーミングの適切性・ - (例)動物実験によるデータ取得の認可 - (例)統計検定で偽陰性/偽陽性のどちらを避けるかの判 断は過⼩/過剰規制の問題と直結する - 階層的なズレ: 上位⽬標と個別政策の⽬標の不⼀致 - ⽔平的なズレ: 特定の政策⽬標の追求と他の価値・利害と の衝突(例:集団平均効果では有効だが⼀部のヒトに強く有害) EBPMではtacticsの話に終始しがちだがそもそもの Strategy/フレーミング設定の適切性の吟味が重要
  63. 63. (3) 評価の視点軸|社会的適切性 ■社会的適切性:「ELSIやメタ的合⽬的性」の視点 例:良い教育/学区を求めて転居することが学⼒/ ⽣涯年収を上昇させる ・ 教育の公的役割の考慮は? EBPMの名のもとにstrategy不在のまま計測可能な tacticsのリストだけが充実するのはやや倒錯的 ⾼等教育における達成すべきValueとは何か?という議論が ⼤学/社会の中で議論されないままEBPM的コスパ⼀覧表で いろいろ”再編”されてしまっていいのか? (C.f., 原⼦⼒業界による”リスクコミュニケーション”)
  64. 64. (3) 評価の視点軸|政治的正統性 ■政治的正統性:「運⽤のガバナンス」の視点 ポピュリズムと専⾨家⽀配の間のバランスと ⼿続き的公正性を認識することが重要 市⺠/政策⽴案者/専⾨家の⾮対称性とバランス・ 政治的正統化の正と負の側⾯・ - エビデンスの偏重は専⾨家⽀配による弊害をもたらしうる - ⼀⽅、エビデンスの軽視は⾮合理的な意思決定や責任者不 在のポピュリズムの原因となりうる - 財政的な援助や、国等の統計調査が豊富にあることは政策 の基盤となるエビデンスを充実させる - ⼀⽅、政治的な意図をもった援助は”Policy-Based Evidence Making”へと転倒しうる
  65. 65. (3) 評価の視点軸|政治的正統性 ■政治的正統性:「運⽤のガバナンス」の視点 正統性を考える上では利益相反の考慮も重要である・ 例:タバコ業界はタバコの害が⼩さいことを⽰す⽅ 向の研究を⻑年⽀援し続けてきた たとえ個々の研究⾃体は適切に⾏われていたと しても、研究テーマの選択の段階で既に⼤きな 偏りが⽣じうることが⼤問題 たとえば近年ベネッセが⽂科省案件に⾷い込みすぎ的な状況が 散⾒されるが、たとえばPolicy-Makingを視野に⼊れた研究/活 動においてベネッセから資⾦提供を受けてRCT等を進めること に利益相反的な問題はないのか?EBPMにおける正統性/利益 相反の問題についてどこかでちゃんと議論しているのか?
  66. 66. (3) 評価の視点軸|考察 (1/2) ■■ “狭義のEBPM”の射程を⾒極めることが重要 ②総体的⼀貫性 ③⽂脈的近接性 ④社会的適切性 ⑤政治的正統性 Scientificな視点 Social/Poli^calな視点 ①⽅法論的厳格性 個々のエビデンスの⽅法論的 厳格性の考慮は重要であり 研究者はその質の吟味に対し て⼤きな責任を果たすべき であると同時に それはエビデンスの捉える上 での諸観点のうちの⼀つでし かないことの⾃覚も重要
  67. 67. (3) 評価の視点軸|考察 (2/2) ■ 科学と政策の双⽅との関連性をいかに担保するかと いう視点が、政策形成の中で意識される必要がある ②総体的⼀貫性 ①⽅法論的厳格性 ④社会的適切性 ⑤政治的正統性 Scientificな視点 Social/Politicalな視点 ③⽂脈的近接性 環境分野の”エビデンス”を議論する上ではレギュ ラトリーサイエンスに関わるこの部分が特に重要
  68. 68. ⽬次|本⽇の報告の⽬的と流れ (1)これまでに確⽴したEBPMの特徴 (2)環境分野のエビデンスの種類と役割 (3)エビデンス評価の概念軸 (4)エビデンスと科学の制度化段階の関係 ■ 環境分野に「エビデンスに基づく政策形成」 の考え⽅を適⽤するために: について考察し、理論枠組みの整備を⾏う
  69. 69. (4) 科学の制度化|科学と政治の相互作⽤段階 前パラダイム段階: 問題の学術的・社会的な外延が不明瞭 パラダイム段階: 問題の学術的解明が終わり、制度化が進⾏ ポストパラダイム段階: 制度外の問題の再認知と再調査 エビデンスの活⽤が置かれる状況は科学の制度化の 段階に依存する。化学物質過敏症の場合(cf. ⽴⽯ 2011) ・ ・ ・ - エビデンスに関するプロトコルが確⽴する。(プロトコルの外部が切り 捨てられる) - 診断基準の確⽴、症状を誘発する物質の特定、化学物質濃度の測定技 術の確⽴、化学物質に対する規制、標準的な治療法の確⽴が進む。 - 様々な可能性を表に出すために⾊々なエビデンスが検討対象になる - これまでの治療・対策の枠組みで溢れ落ちてきたアレルギーや⼼⾝疾 患、慢性疲労性症候群と化学物質過敏症の関連性が指摘される - 確⽴したエビデンスのプロトコルが運⽤される。 - 原因物質や判断基準が明確になったことで、「基準値を満たす」ことが 「化学物質過敏症ではない」こととして扱われることが問題となる。 ■ EBPMの実装における論点は制度化段階により異なる(次⾴)
  70. 70. 課題発⾒のための視点×制度化段階マトリックス (⼀枚紙の配布資料) Phase 前制度化段階 制度化段階 ポスト制度化段階 フレームワークの運⽤ Perspective ⽅法論的厳格性 問題の学術的な理解について不明瞭な点が多い。(Pre- R) 問題の学術的な標準的な理解が確⽴する。 (Mid-R) 研究がさらに進み、問題の細部の解明が進む。 (Post-R) エビデンスの提供者(科 学者・専⾨家等)がエビ デンスを評価・伝達す る際に念頭に置く必要 のある参照項⽬ 当該問題に関わるそのとき得られる知⾒が、どのような⼿法によって得られた ものかを明⽰し、エビデンスとしての有効性を評価しているか? エビデンスを創出する科学的⽅法論や研究デザインの強みと限界を明⽰してい るか? ⼀貫性 エビデンス間の関係性を検討できるほど学術研究が進展 していない。(Pre-C) エビデンス間の関係性が検討できるようになる。 (Mid-C) より詳細にエビデンス間の関係性を検討することが可能 になる。 (Post-C) 研究の進展に応じて、エビデンスの主張、不確実性、影響・被影響関係の整合 性の把握に努めているか? 最終的な結論を⽀持/留保する論拠の各々に対し、関連するエビデンスの主張、 不確実性、影響・被影響関係を体系的に把握しようと努めているか? 近接性 科学的知⾒の政策的意義が不明確であり、研究成果が政 策形成に結びつき難い。(Pre-P) 研究が進むことでエビデンスの基準が確⽴し、研 究成果と政策対象の関連性が把握しやすくなる。 それに伴い、政策的対応のガイドラインが整備さ れる。(Mid-P) 問題がプロトコルやガイドラインに則って理解されるこ とで、そこから逸脱する事象が切り捨てられる傾向が⾒ られるようになる。(Post-P) エビデンスの提供者が、 エビデンスを政策に適 ⽤に際し、活⽤者と協 調するために念頭に置 く必要がある参照項⽬エビデンスの内容と政策対象の関連性はあるか? 近接性が想定できない場合、近接性の⽋如に⾃覚的か? エビデンスの内容と政策対象の関連性はあるか? 近接性の射程について⾃覚 し、射程の外部に対して総合的な考慮をしているか? 社会的適切性 当該問題に関するエビデンスが⼗分にない状況において、 個別ケースごとに科学者や研究グループの社会的価値判 断が要求される。(Pre-A) エビデンスの⽣産に関わる科学的⽅法論やエビデ ンス基準に社会的価値判断が反映される。(Mid-A) 制度設計の⽔準に社会的価値判断が反映される。(Post- A) エビデンスの提供者が エビデンスの創出・活 ⽤に際し、念頭に置く 必要のある参照項⽬ エビデンスの欠如を理由に、過小な政策的対応になって いないか?ある仮説を採用、棄却、保留する判断を、そ の判断が招く社会的帰結の深刻度を考慮して決定してい るか? 型に嵌った判断に終始しないで、その都度、当該 問題に対する研究デザインの意義を検討している か? フレーミングの限界を認識し、必要に応じて再課題化を 促しているか? 正統性 研究者による⾃発的な研究や、原因究明のための委託研 究に対する政治的関与のあり⽅が問われる。(Pre-L) エビデンスの基準の設定と運⽤に対する政治的関 与のあり⽅が問われる。(Mid-L) 科学的⾒解の統制における議論の進め⽅や研究者の選定 の仕⽅に対する政治的影響のあり⽅が問われる。(Post- L) エビデンスの提供者が、 エビデンスの創出と運 ⽤が置かれる環境に関 し、念頭に置く必要の ある参照項⽬ 当該問題の理解を深めるために様々な可能性を顕在化し ようと働きかけているか?過剰なエビデンスの⽔準が課 されることで、政策的対応の不作為が免れていないか? エビデンスの要求レベルを不当に操作することで、 過剰な政治的⾃律性が許容されていないか?利益 相反に注意を払っているか? 都合の良い専⾨家の選別を通して、特定の政策路線の強 化を促していないか? 軸の関係性 エビデンスの⽅法論的厳格性や⼀貫性に関し不明瞭な点 が多いため、エビデンスと政策対象との近接性が測り難 い。この段階では、エビデンスレベルに縛られない予防 的対策も考慮する必要があり、社会的適切性と正統性は しばしば緊張関係にある。すなわち、政策決定の根拠と して科学者の社会的価値判断を重視することは正統性を 侵⾷する危険性があるが、政策判断を科学者側に課すこ とで説明責任の転化を招く危険性もある。 ⽅法論的厳格性と⼀貫性の点でエビデンスの質が 向上することで、近接性の判断も可能になる。た だし、エビデンスの質と近接性はしばしばトレー ドオフの関係にある。これら前者⼆つの科学的視 点と近接性のバランスは純粋に科学的に決められ るわけではなく、社会的適切性や正統性の視点に 照らし合わされて決まられる。 研究が進み⽅法論的厳格性と⼀貫性に関して質の⾼いエ ビデンスの創出が可能になることで、より詳細に近接性 を測れたり、適切な課題設定が可能になる。ただし、気 候変動問題のように、問題の性質によっては正統性の視 点が他の視点に⽐べ前⾯に出ることで、近接性や社会的 適切性に関する問題の捉え⽅をも規定するようになる。 (※フレームワーク⾃体が政 策プロセスを評価する第三 者のための参照項⽬として 機能することを想定してい る)
  71. 71. まとめと私的雑感 狭義の/広義の”EBPM概念”が併存・混在するが、 しばしば⾮常に狭い”Evidence“と”Policy Making”の 範囲にスコープが限定されている “EBPM”概念は現状かなり”ill-defined”である ■■ “狭義のEBPM” については”What Works”という 語で表した⽅が適切&機能的であると思う ・ ・ 英国では実際そういう⽤法になっている 広くとると「そりゃそうですよね」という⼀般論 狭くとると「その話が通⽤するの特定範囲の政策課題だけだよね」
  72. 72. まとめと私的雑感 エビデンスの質と妥当性の両⽅をカバーする視点 が必要 ■■ EBPMの推進により社会的議論がスキップされ る危険性に注意が必要 ・ とりあえずEvidence-Informed Policy Makingに呼 称を変えるべき ・ たとえば「価値の議論をスキップしたい」という⾏政側の潜在 的欲望は⼤きく、”エビデンスレベル決戦主義”が無批判に歓迎 されうる局⾯はかなりある 欧州では”EIPM”の呼称も⼀般的なものとなっている 科学的・社会的視点も含めた総合レビューを きちんとやることが結局⼀番重要なのでは? ・ 公共政策学からの貢献も期待したいところ
  73. 73. まとめと私的雑感 エビデンスの政策利⽤のあり⽅は、科学-政治の 制度化段階を踏まえての理解と検討が必要 ■ 狭義と広義のEBPM概念が混線すると、 What Works的な狭 い相場観がその適⽤可能範囲外にも持ち込まれることに よる実害が⽣じうる “狭義のエビデンス”がなくても対応すべき局⾯はいくら でもある c.f., 課題発⾒のための視点×制度化段階マトリックス そもそも(⽔俣病などをルーツにもつ)環境分野において は「何をエビデンスと呼ぶか」は政治/権⼒的に極めて sensitiveな含意を持ちうる問題という認識があり、その感 覚から⾒ると正直なところ⼀部の社会科学者/経済学者の エビデンス観は⾮常にナイーブで危ういものに⾒える
  74. 74. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか? 序. 背景として考えていること:”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること: “エビデンス、コンテクスト/ナラティブ、規 範的検討のベストミックスへ”
  75. 75. 国⽴環境研究所 環境リスク・健康センター 林岳彦 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか?
  76. 76. ノーベル賞のtwitterアカウントより引⽤ デュフロによるRCT⼊⾨(最近邦訳がでた)
  77. 77. 2015年ノーベル経済学賞 科学哲学の⼤御所
  78. 78. (on web)
  79. 79. II. EBPMにおけるRCTの捉えられ⽅を考える:⽬次 Evidence-Based Policy Makingの”往路”と”復路” 往路におけるRCTの最強性、と幾つかの但し書き 復路におけるRCT:”内弁慶”は外に出れるか ”スナップショット”としてのRCTの限界・ EBMよりもかなり⾼い外的妥当性の壁・ 不均⼀性, 交互作⽤, 媒介・ “ジャーナル共同体”の中から⾒るか、外から⾒るか 測定エンドポイントの政策的有効性・ “Treatment”の実質的な再現可能性・ メカニズム的⻫⼀性、概念的同⼀性・
  80. 80. Evidence-Based Policy Makingの”往路”と”復路” 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 復路では移設可能性/外的 妥当性が問題となる EBPMは個⼈→集団→個⼈をわたる過程である■
  81. 81. 往路におけるRCTの最強性、と幾つかの但し書き RCTの最強性:交絡によるバイアスを除去する⼿法 の中で、必要とする仮定が最も少ない ■ 無作為化による交絡の除去はあくまで”on average”で達成されるものであることに注意 (Chance confoundingがある可能性は常にある) ・ 測定における交絡のleakage(ホーソン効果等)や中途 脱落等による⽋測の問題は別途対処が必要 ・ 適切な対処には結局⼀定のドメイン知識 が必要 RCTであれば⾃動的に質の⾼いエビデンスが 得られるというのは短絡的な理解 ただし: →
  82. 82. 復路におけるRCT:”内弁慶”は外に出れるか ■ EBMよりもかなり⾼い外的妥当性の壁 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量 “往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 元ネタのEBMedicineは⼀定の ⽣物学的⻫⼀性を想定しうる 点で、EBPMと⼤きく異なる * ? ? ? ? ?
  83. 83. 【科学哲学っぽい補⾜スライド】 反事実条件⽂による因果定義の特徴 “⽔がからからになり、林の居室の花は枯れた” もし林が⽔をあげていたら、居室の花は枯れ なかっただろう もしドナルド・トランプが⽔をあげていたら、 居室の花は枯れなかっただろう 林が⽔をあげなかったことが原因 トランプが⽔をあげなかったことが原因 (A) (B) 反事実条件⽂の内部には仮想的状況間の”距離” についての情報が皆無(どちらが現実に近いかを考えるために は⽣成メカニズムと集団の特性の分布に関する情報が必要) ←この⽂も真! ←この⽂は真
  84. 84. 復路におけるRCT:”内弁慶”は外に出れるか ■ EBMよりもかなり⾼い外的妥当性の壁 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量 “往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 元ネタのEBMedicineは⼀定の ⽣物学的⻫⼀性を想定しうる 点で、EBPMと⼤きく異なる 「往路最強」かもしれないが、その強みのモデルフリー 性⾃体が”復路”での⼤きな脆弱性を⽣む * ⼀般にRCTの内部には異なる状況 間の”距離”に対する情報が皆無 ? ? ? ? ?
  85. 85. 復路におけるRCT:”内弁慶”は外に出れるか ”スナップショット”としてのRCTの限界■ RCTが⽰すのは「特定の時間・場所・対象におけ るインパクトのスナップショット」でしかない 外的妥当性の問題→ ⻑期効果・波及効果・効果の分配の問題→ ・システム的な平衡状態を考慮していない ・開発経済学(におけるたとえば初等教育)は⽐較的社 会的システム的制約が緩いテーマかも? ・安定/衰退国における教育/労働のような社会システ ムの制約が強い系においてどこまで有効か? メタ分析ができればある程度の⾒通しはつくが・・
  86. 86. 復路におけるRCT:”内弁慶”は外に出れるか ”スナップショット”としてのRCTの限界■ RCTが⽰すのは「特定の時間・場所・対象におけ るインパクトのスナップショット」でしかない 外的妥当性の問題→ ⻑期効果・波及効果・効果の分配の問題→ 例えば、RCTの例ではないけれども、「“⼤卒の賃⾦ プレミアム”により将来の税収は増加する(ので⼤学 教育への公的投資は正当化される」というロジック (例; 中澤渉『⽇本の公教育』)は、総賃⾦にゼロサ ム性があるだけで成り⽴たなくなるのでは?(⼤卒 インパクトの局所的効果だけ⾒てもまともな議論に ならないのではないか) メタ分析ができればある程度の⾒通しはつくが・・
  87. 87. 復路におけるRCT:”内弁慶”は外に出れるか メカニズムと媒介の重要性■ 1747年 対照実験によりシトラスが船員の壊⾎病を防ぐ 効果が確認 シトラス→”酸味”→壊⾎病(の防⽌) Pearl and Mackenzie (2018)の記述に基づく 1800’s 英国海軍ではシトラス積載により壊⾎病は過去 のものに しかしmediatorの取り違えにより悲劇が・・・ シトラス→レモン→ライム→加熱濃縮ライムジュース へと代替されていった(代替のたびにビタミンが減っていく・・) 1900年前後の極地探検にて壊⾎病による死者が多発 本当のmediatorはビタミンC 柑橘の効果⾃体が疑問視され無視されるように・・
  88. 88. 復路におけるRCT:”内弁慶”は外に出れるか メカニズムと媒介の重要性■ シトラス→”酸味”→壊⾎病(の防⽌) しかしmediatorの取り違えにより悲劇が・・・ シトラス→レモン→ライム→加熱濃縮ライムジュース へと代替されていった(代替のたびにビタミンが減っていく・・) 状況が多様な“復路”の現場において”処理”の同⼀ 性の担保は必ずしも簡単な話ではない e.g., RCTが⾏われた”意識の⾼い”学校と同⼀の ”処理”を普通の学校で実現できるのか? 異なる対象/⽂脈における“処理”の同⼀性の担保 は質的な理解度(”why it works”)に依存する Pearl and Mackenzie (2018)の記述に基づく
  89. 89. 復路におけるRCT:”内弁慶”は外に出れるか ■ 測定エンドポイントの政策的有効性 RCTで測定したもの/測定可能なものがベスト/ 重要な⽅策とは限らない 深く考えずに「測定されたものを優先」する ことは、しばしばPolicy-Based Evidence Making の温床となる(「何を測定するか」はしばしば強い 政治性を帯びうることに強い注意が必要!) 結局のところ「何を測定すべきか」を適切に判 断するためには確かな質的な知識が必要である c.f., ⼤学改⾰
  90. 90. 復路におけるRCT:”内弁慶”は外に出れるか ■ 介⼊のコンテクスト/ナラティブ的な意味の重要性 個人 集団A 集団A’ 集団Σ 集団因果効果の 推定量 “往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … トークンto タイプ タイプto トークン 例えばリスク・コミュニケーションの 現場では「数値」のナラティブ内での 位置づけまでの考慮が必要となる 往路で”誤差”として⽚付けた「断⽚的なもの」に ”復路”でふたたび向き合うべきときがある
  91. 91. “ジャーナル共同体”の中から⾒るか、外から⾒るか ■「往路における確かな前進」というレトリック 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 論⽂を書くことを⽣業とする「研究者」 という⼈種はしばしば”往路”までのこと しか真剣に考えていない 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … トークンto タイプ タイプto トークン 研究者は”丘の上”で論⽂を書く 本来は、EBPMの質はその”weakest chain”に規定される
  92. 92. “ジャーナル共同体”の中から⾒るか、外から⾒るか 「取るに⾜らない事項に対する美しいエビデンス」 のほうが 「本質的な事項に対する汚いエビデンス」 よりも評価されがち ■“ジャーナル共同体”における評価のバイアス エビデンスヒエラルキー/学術誌のIFヒエラルキー を内⾯化した⼈々により 「取るに⾜らない事項に対する美しいエビデンス」 で世界が溢れがち 公共政策の側からみると倒錯的な事態である ⾼IF雑誌に載ることとそのエビデンスの政策的重要性は別の話
  93. 93. (on web)
  94. 94. II. EBPMにおけるRCT:まとめ 単体のRCTだけから”what works”について強く⾔ えることは実はそんなにない メカニズムやmodifierや対象集団についての適切 な質的理解(“why it works”)と紐付けば強⼒ “エビデンスヒエラルキーの最上位”であること が政策形成における重要さにリニアに結びつく と考えるのはあまりにも短絡的 本来はEBPMの質はその”weakest chain”で規定される RCTは強⼒な⼿法であることは間違いない (がハイプの引き倒しはよろしくない)
  95. 95. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか? 序. 背景として考えていること:”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること: “エビデンス、コンテクスト/ナラティブ、規 範的検討のベストミックスへ”
  96. 96. (再)Evidence-Based Policy Makingの”往路”と”復路” 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 復路では移設可能性/外的 妥当性が問題となる EBPMは個⼈→集団→個⼈をわたる過程である■
  97. 97. (再)“ジャーナル共同体”の中から⾒るか、外から⾒るか ■「往路における確かな前進」というレトリック 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 論⽂を書くことを⽣業とする「研究者」 という⼈種はしばしば”往路”までのこと しか真剣に考えていない 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … トークンto タイプ タイプto トークン 研究者は”丘の上”で論⽂を書く 本来は、EBPMの質はその”weakest chain”で規定される
  98. 98. (再)課題発⾒のための視点×制度化段階マトリックス (⼀枚紙の配布資料) Phase 前制度化段階 制度化段階 ポスト制度化段階 フレームワークの運⽤ Perspective ⽅法論的厳格性 問題の学術的な理解について不明瞭な点が多い。(Pre- R) 問題の学術的な標準的な理解が確⽴する。 (Mid-R) 研究がさらに進み、問題の細部の解明が進む。 (Post-R) エビデンスの提供者(科 学者・専⾨家等)がエビ デンスを評価・伝達す る際に念頭に置く必要 のある参照項⽬ 当該問題に関わるそのとき得られる知⾒が、どのような⼿法によって得られた ものかを明⽰し、エビデンスとしての有効性を評価しているか? エビデンスを創出する科学的⽅法論や研究デザインの強みと限界を明⽰してい るか? ⼀貫性 エビデンス間の関係性を検討できるほど学術研究が進展 していない。(Pre-C) エビデンス間の関係性が検討できるようになる。 (Mid-C) より詳細にエビデンス間の関係性を検討することが可能 になる。 (Post-C) 研究の進展に応じて、エビデンスの主張、不確実性、影響・被影響関係の整合 性の把握に努めているか? 最終的な結論を⽀持/留保する論拠の各々に対し、関連するエビデンスの主張、 不確実性、影響・被影響関係を体系的に把握しようと努めているか? 近接性 科学的知⾒の政策的意義が不明確であり、研究成果が政 策形成に結びつき難い。(Pre-P) 研究が進むことでエビデンスの基準が確⽴し、研 究成果と政策対象の関連性が把握しやすくなる。 それに伴い、政策的対応のガイドラインが整備さ れる。(Mid-P) 問題がプロトコルやガイドラインに則って理解されるこ とで、そこから逸脱する事象が切り捨てられる傾向が⾒ られるようになる。(Post-P) エビデンスの提供者が、 エビデンスを政策に適 ⽤に際し、活⽤者と協 調するために念頭に置 く必要がある参照項⽬エビデンスの内容と政策対象の関連性はあるか? 近接性が想定できない場合、近接性の⽋如に⾃覚的か? エビデンスの内容と政策対象の関連性はあるか? 近接性の射程について⾃覚 し、射程の外部に対して総合的な考慮をしているか? 社会的適切性 当該問題に関するエビデンスが⼗分にない状況において、 個別ケースごとに科学者や研究グループの社会的価値判 断が要求される。(Pre-A) エビデンスの⽣産に関わる科学的⽅法論やエビデ ンス基準に社会的価値判断が反映される。(Mid-A) 制度設計の⽔準に社会的価値判断が反映される。(Post- A) エビデンスの提供者が エビデンスの創出・活 ⽤に際し、念頭に置く 必要のある参照項⽬ エビデンスの欠如を理由に、過小な政策的対応になって いないか?ある仮説を採用、棄却、保留する判断を、そ の判断が招く社会的帰結の深刻度を考慮して決定してい るか? 型に嵌った判断に終始しないで、その都度、当該 問題に対する研究デザインの意義を検討している か? フレーミングの限界を認識し、必要に応じて再課題化を 促しているか? 正統性 研究者による⾃発的な研究や、原因究明のための委託研 究に対する政治的関与のあり⽅が問われる。(Pre-L) エビデンスの基準の設定と運⽤に対する政治的関 与のあり⽅が問われる。(Mid-L) 科学的⾒解の統制における議論の進め⽅や研究者の選定 の仕⽅に対する政治的影響のあり⽅が問われる。(Post- L) エビデンスの提供者が、 エビデンスの創出と運 ⽤が置かれる環境に関 し、念頭に置く必要の ある参照項⽬ 当該問題の理解を深めるために様々な可能性を顕在化し ようと働きかけているか?過剰なエビデンスの⽔準が課 されることで、政策的対応の不作為が免れていないか? エビデンスの要求レベルを不当に操作することで、 過剰な政治的⾃律性が許容されていないか?利益 相反に注意を払っているか? 都合の良い専⾨家の選別を通して、特定の政策路線の強 化を促していないか? 軸の関係性 エビデンスの⽅法論的厳格性や⼀貫性に関し不明瞭な点 が多いため、エビデンスと政策対象との近接性が測り難 い。この段階では、エビデンスレベルに縛られない予防 的対策も考慮する必要があり、社会的適切性と正統性は しばしば緊張関係にある。すなわち、政策決定の根拠と して科学者の社会的価値判断を重視することは正統性を 侵⾷する危険性があるが、政策判断を科学者側に課すこ とで説明責任の転化を招く危険性もある。 ⽅法論的厳格性と⼀貫性の点でエビデンスの質が 向上することで、近接性の判断も可能になる。た だし、エビデンスの質と近接性はしばしばトレー ドオフの関係にある。これら前者⼆つの科学的視 点と近接性のバランスは純粋に科学的に決められ るわけではなく、社会的適切性や正統性の視点に 照らし合わされて決まられる。 研究が進み⽅法論的厳格性と⼀貫性に関して質の⾼いエ ビデンスの創出が可能になることで、より詳細に近接性 を測れたり、適切な課題設定が可能になる。ただし、気 候変動問題のように、問題の性質によっては正統性の視 点が他の視点に⽐べ前⾯に出ることで、近接性や社会的 適切性に関する問題の捉え⽅をも規定するようになる。 (※フレームワーク⾃体が政 策プロセスを評価する第三 者のための参照項⽬として 機能することを想定してい る)
  99. 99. エビデンス コンテクスト/ナラティブ 規範的検討 やっぱり結局のところこの全てが重要である (上記3要素にわたるgapの明確化とgap-fillingの作業が本質である) とアカデミアの⼈間こそがいま⾔わねばならぬの ではなかろうか Evidence-Informed Policy Makingに向けて “総合的検討”を可能とするincentiveやperspectiveがあるの はアカデミアの⼈間だけだと思う

×