エビデンス階層・外的妥当性・因果推論 2017年9月24日第23回日英・英語教育学会研究大会 シンポジウム「英語教育実践・政策におけるエビデンス」

1. エビデンス階層
外的妥当性
因果推論
寺沢拓敬
関西学院大学社会学部
terasawat@kwansei.ac.jp
2017年9月24日第23回日英・英語教育学会研究大会
シンポジウム「英語教育実践・政策におけるエビデンス」

2. 「エビデンス」の注意すべき用法
「処遇→結果」モデル
特定の処遇（例：指導法、カリキュラム）が、
被介入者（例：生徒）に何らかの成果（アウトカム）
を生じさせるか否かに注目
【ポイント】
•「客観的であれば何でもよい」わけではない
•「数値目標（達成目標）」とは異なる
2

3. EBEPの背景
EBM/EBAの教育政策への応用：EBEP
• US: 教育省教育科学研究所 What Works Clearinghouse
• UK: ロンドン大学教育研究所 (IOE) Evidence for Policy and
Practice Information and Coordinating Centre, or the EPPI-Centre
医療の枠組み転用をめぐるジレンマ
• 教育哲学者らは懐疑的 (Bridges et al. 2009)
• 「エビデンスによる教育予算の傾斜配分」
• 応用言語学者も懐疑的（Mitchell, 2000; Pachler, 2003）
3
 Bridges, D., Smeyers, P. & Smith, R., (ed.). (2009). Evidence-based education policy: What
evidence? What basis? Whose Policy?. John Wiley & Sons.
 Mitchell, R. 2000. ‘Applied linguistics and evidence-based classroom practice: The case of
foreign language grammar pedagogy,’ Applied Linguistics 21/3: 281–303.
 Pachler, N. 2003. ‘Foreign language teaching as an evidence-based profession?’ The Language
Learning Journal 27/1: 4–14.

4. 介入
基礎科学
基礎科学
基礎科学
結果
基礎科学
基礎科学
基礎科学
科学的推論
介入
論争中の科学
レトリック
常識
結果
論争中の科学
レトリック
常識
科学的推論
医療 vs. 教育
医療 (EBM)
教育

5. リサーチデザイン向上のために
リサーチデザイン洗練のヒントのためのEBA
• 予算の配分原理として使うのは最悪
• だが、リサーチデザインの
質向上には使える

6. エビデンスと利権
伝道師型リサーチャーは、自分の提案する手法を、自分で検証して「効果
がある」と言う
伝道師 vs. 監査
Treatmentの提案と
outcome の検証
未分離 分離
医療 例、製薬会社付きの研究者
一般的な医学者の
イメージ
語学教育
例、文科省御用学者。
自作教材の提案者。
信奉する教授法がある研究者。
一般的な教育学者
のイメージ
↑利権者参入は許容されているが、厳格な制約（例、学会のガ
イドライン、厚労省の認可）によりバランス維持
無法地帯

7. 7
Allen (2001)
Brown (2002)
Clark (2003)
Davis (2004)Evans (2005)
Fisher (2006)
Garcia (2007)
Harris (2008)
Allen et al. (2011)
Brown et al. (2012)
Clark et al. (2013) Allen (2001)
Brown (2002)
Clark (2003)
Davis (2004)
Evans (2005)
Fisher (2006)
Garcia (2007)
Harris (2008)
Allen et al. (2011)
Brown et al. (2012)
Clark et al. (2013)
研究者はみんな頑張ってる
みんなちがってみんないい
みんな頑張ってるのはわかるが
いいものはいい（優）
ダメなものはダメ（劣）

8. 2011 OCEBM levels of evidence
How common is the
problem?
Does this intervention
help? (Treatment benefits)
Lv. 1 (top) Local and current random
sample surveys (or censuses)
Systematic review of randomised
trials or n-of-1 trials
Lv. 2 Systematic review of surveys
that allow matching to local
circumstances
Randomised trial or observational
study with dramatic effect
Lv. 3 Local non-random sample Non-randomised controlled
cohort/follow-up study
Lv. 4 Case-series Case-series, case-control studies,
or historically controlled studies
Lv. 5 (bottom) n/a Mechanism-based reasoning
8

9. 9
Generalizable －
Generalizable +
Causality +Causality －
G++/C+ 無作為抽出調
査、かつ、共変量を適切
に調整した観察研究
G+/C+ バイアス考慮の
抽出、かつ、共変量を適
切に調整した観察研究
G-/C+ 便宜抽出調査、
かつ、共変量を適切に調
整した観察研究
G+/C- バイアス考慮の
抽出調査、かつ、共変量
を調整していない研究
G-/C- 便宜抽出調査、
かつ、共変量を調整し
ていない観察研究
メカニズムに基づく
根拠づけ（i.e. 机上
の推論）

10. エビデンスの質を決める2つの原理
(1) 外的妥当性 (generalisability)
サンプルを越えた集団（e.g. 母集団）にどれだけ一般化できるか
1. 再現性
系統的レビューによる一貫性確認 ＞ 系統的レビュー ＞ 研究単体
2. 代表性
無作為抽出 ＞ バイアスに考慮した抽出 ＞ 便宜抽出
10

11. (2) 因果推論
11
処遇X アウトカムY
交絡因子M
因果効果
交絡因子の事前調整
無作為割付
交絡因子の事後調整
重回帰、ANCOVA
SEM、マッチング、傾向スコア
操作変数法
NG: t検定、分散分析
因果効果の推定精度（バイアス混入防止度）
1. 純粋な実験（RCT）＞ 共変量調整 ＞ 共変量未調整