2013全国英語教育学会WS公開用スライド
•
3 likes•6,526 views
2013年08月11日（日）全国英語教育学会第39回北海道研究大会でのワークショップ 『英語教育実践と研究の接点―研究の在り方と手法―』での私の担当箇所である， 「ARELE掲載論文に見る英語教育研究の現在—テーマと研究法—」のスライドです。 参考文献などはこちらをご覧下さい。 http://mizumot.com/lablog/archives/883
More Related Content
Viewers also liked
Viewers also liked (14)
2013全国英語教育学会WS公開用スライド
- 1. Photo by JonathanCohen http://www.flickr.com/photos/34580986@N03/4985041197/ ARELE掲載論文に見る 英語教育研究の現在 水本 篤（関西大学） 浦野 研（北海学園大学） —テーマと研究法— 全国英語教育学会第39回北海道研究大会 ワークショップ （2013/08/11） 「英語教育実践と研究の接点―研究の在り方と手法―」
- 6. 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
- 8. Review •ナラティブ・レビュー Research Timeline (Language Teaching) •メタ分析 •特定のジャーナル以外（総括的）
- 9. 特定のジャーナルのReview •中部地区英語教育学会（CELES） - 研究のタイプと研究領域 松川 (1991) 424本 → 平野 (2011) 963本 - 研究法 浦野 (2012)，田中 (2012)，亘理 (2012)
- 10. 特定のジャーナルのReview •大学英語教育学会（JACET） 寺沢 (2010) 1970~2004年の316本 「学習者の内的なメカニズムに焦点 化した実証研究が非常に多い。」 → 量的で（一部）偏った教育研究
- 12. 特定のジャーナルのReview •JALT（全国語学教育学会） Stapleton and Collett (2010) JALT Journal 30年分297本 著者の国籍，研究法，対象学校種別， トピック
- 13. 特定のジャーナルのReview •JALT（全国語学教育学会） Stapleton (2013) JALT National Conference 1978~2010年までの30年間のデータ テーマの変化，キーワード， 他学術会議との比較，引用の多い研究者
- 14. 特定のジャーナルのReview •Modern Language Journal（海外誌） Megnan (2005) 1996~2005年までの10年間のデータ 国ごとの投稿者，掲載率， 研究法（8割が量的，2割が質的）
- 15. 特定のジャーナルのReview •全国英語教育学会（JASELE） 柳瀬 (2013) ARELE 2002~2011年度 JACET Journal, Applied Linguistics と比較。 「リフレクティブな英語教育」（質的研究） に関するキーワードが明らかに少ない。
- 16. なぜ今？
- 17. なぜ今？ JASELE 40年 （2014年 全国英語教育学会40周年記念誌） LET 50年 JALT 30年 JACET 50年 TESOL since 1960s
- 18. “(R)eview studies ... serve as a summary of where a given field has been, and to project where it may head” (Stapleton, 2013).
- 19. 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
- 20. 2. 3. 研究 4. 研究法 1. 先⾏研究
- 22. 英語タイトルとアブストラクト •対象 450 本 •総語数 79,743 •異なり語数 5,152 •機能語，数字などは削除
- 24. 最頻語
- 36. 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
- 37. 究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
- 42. 1-本質・目的・意義・歴史など 2-教科課程論 8-教師論 5-教材・メディア論 7-学習者論 6-学力・評価論 4-教授方法論 9-関連諸科学 3-教授内容論 掲載本数 (k = 450) 0 50 100 150 136 90 79 58 36 21 14 13 3
- 43. 1-本質・目的・意義・歴史など 2-教科課程論 8-教師論 5-教材・メディア論 7-学習者論 6-学力・評価論 4-教授方法論 9-関連諸科学 3-教授内容論 100%換算 0 5 10 15 20 25 30 35 01-12号 13-24号
- 45. 歴史 各国の英語教育 教師教育 その他 授業形態 メディア 学力 教師 文化 カリキュラム 教材 教授法 学習指導 指導技術 言語学 学習者要因 評価・テスト 心理言語学 言語材料 4技能 掲載本数 (k = 450) 0 10 20 30 40 50 60 70 66 60 50 50 36 35 34 22 17 15 10 10 9 8 6 6 5 5 3 3
- 46. 歴史 各国の英語教育 教師教育 その他 授業形態 メディア 学力 教師 文化 カリキュラム 教材 教授法 学習指導 指導技術 言語学 学習者要因 評価・テスト 心理言語学 言語材料 4技能 100%換算 0 5 10 15 01-12号 13-24号
- 48. 言語政策 音声 教員 リスニング 文法 動機づけ スピーキング 教材 学習者 ライティング 評価・テスト 語彙 リーディング 言語習得・心理言語学 授業・指導法 掲載本数 (k = 450) 0 20 40 60 80 100 85 76 51 43 39 29 21 19 16 16 15 13 13 11 3
- 49. 言語政策 音声 教員 リスニング 文法 動機づけ スピーキング 教材 学習者 ライティング 評価・テスト 語彙 リーディング 言語習得・心理言語学 授業・指導法 100%換算 0 5 10 15 20 25 01-12号 13-24号
- 50. テーマとトピックまとめ • リーディング，語彙，評価・テストが 増えており，全体としても多い。 • 授業・指導法は減少傾向。 • 指導法よりも「学習者の内的なメカニ ズムに興味」（寺沢, 2010）という指摘 に当てはまる。
- 53. 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
- 54. 究法 2. 3. 研究 4. 研究法 5. 効果量 検定⼒
- 59. 理論研究 実践報告 調査報告 実証研究 掲載本数 (k = 450) 0 50 100 150 200 250 300 350 335 41 37 37
- 60. 理論研究 実践報告 調査報告 実証研究 100%換算 0 20 40 60 80 01-12号 13-24号
- 62. その他 大学 高校 中学校 小学校 幼児 掲載本数 (k = 450) 0 50 100 150 200 250 2 16 45 82 211 85
- 63. その他 大学 高校 中学校 小学校 幼児 100%換算 0 10 20 30 40 50 01-12号 13-24号
- 65. その他 検証 探索 掲載本数（理論研究37本以外計413本） 0 50 100 150 200 250 300 350 329 58 26
- 66. その他 検証 探索 100%換算（理論研究37本以外計413本） 0 20 40 60 80 01-12号 13-24号
- 68. その他 ミックス 質 量 掲載本数（理論研究37本以外計413本） 0 50 100 150 200 250 300 350 341 13 31 28
- 69. その他 ミックス 質 量 100%換算（理論研究37本以外計413本） 0 20 40 60 80 01-12号 13-24号
- 71. 介入なし 介入あり 掲載本数（理論研究37本以外計413本） 0 50 100 150 200 250 300 350 329 84
- 72. 介入なし 介入あり 100%換算（理論研究37本以外計413本） 0 20 40 60 80 100 01-12号 13-24号
- 75. 提案 • 研究法に対して意識を高める • 本当に「探索的」な研究？ • 「質の良い」質的研究・実践報告 • 学会として「リフレクティブな 英語教育」のサポート（柳瀬, 2013）
- 78. 構造構成主義における量的研究と質的研究の位置づけ 住 (2012, p. 248)
- 79. 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
- 80. 3. 研究 4. 研究法 5. 効果量 検定⼒
- 81. その他 ミックス 質 量 掲載本数（理論研究37本以外計413本） 0 50 100 150 200 250 300 350 341 13 31 28 量的研究が 82.5%
- 82. • 平均値（mean: M） • 標準偏差（standard deviation: SD） 記述統計 (descriptive statistics)
- 83. よくある表
- 85. 平均30点，標準偏差10点
- 87. 推測統計
- 89. p 値は「差がない」確率 p < .001
- 90. 95% 5% p = .03（3%） p < .05（0.05以下） p < .05 であれば統計的に有意な差あり p 値は「差がない」確率
- 94. • 統計的検定の問題点 - サンプルサイズが影響。 - 有意差あり・なしのみの判断。 - p 値は実質的な差を示さない。 効果量（Effect Size）
- 95. • 効果量（Effect Size） - サンプルサイズに影響されない。 - 効果の大小を示す。 - 実質的な差を確認できる。 • APA 6th では報告が「不可欠」
- 96. 効果量 d = 0.2 効果量 d = 0.2
- 97. M = 30 SD = 10
- 98. M = 30 SD = 10 M = 32 SD = 10
- 99. M = 30 SD = 10 M = 32 SD = 10 2/10 = 0.2 d = 0.2 （効果量小）
- 100. M = 30 SD = 10 M = 35 SD = 10 5/10 = 0.5 d = 0.5 （効果量中）
- 101. M = 30 SD = 10 M = 38 SD = 10 8/10 = 0.8 d = 0.8 （効果量大）
- 104. • Yes and no. - サンプリングの影響 - p 値は再現性がない（unreliable） - しかし数十年は使用される... 統計的検定は必要ない？ • 効果量と信頼区間の報告
- 105. エラーバーは95%CI Comparison 1 Mean 40455055606570 1 2 n = 20 n = 20 p = .12 d = 0.5 Comparison 2 Mean 40455055606570 1 2 n = 200 n = 200 p < .001 d = 0.5 差のCI 差のCI 0 5 0 5
- 106. エラーバーは95%CI Comparison 1 Mean 40455055606570 1 2 n = 20 n = 20 p = .75 d = 0.1 Comparison 2 Mean 40455055606570 1 2 n = 2000 n = 2000 p < .001 d = 0.1 差のCI 差のCI 1 0 1 0
- 108. 2群の比較，各群32名，効果量 d = 0.5 Cumming (2012)のプログラムを使用
- 109. • シミュレーション - 1つのグループに32名（計64名） - d は 0.5（効果量中） - p < .05 となったのは50%程度 d = 0.5 なのに有意差なし？ → 検定力（power）が足りない
- 110. • 本当に差がある場合に，有意差を 検出することができる力。 • 0 ~ 1の範囲の値（100%） • Cohen (1988) は 0.8 (80%) を提唱。 検定力（statistical power）
- 111. • シミュレーション - 1つのグループに32名（計64名） - d は 0.5（効果量中） - p < .05 となったのは50%程度 先ほどの例
- 112. 2群の比較，各群32名，効果量 d = 0.5
- 113. 本当は差があるはずなのに = d は 0.5（効果量中） p < .05 となったのは50%程度 検定力 = 0.5
- 115. • 有意水準 (α) • サンプルサイズ • 効果量 • 検定力 統計的検定における4つの要素
- 116. 4つのうち3つがわかれば残り1つが決まる
- 120. • シミュレーション - 1つのグループに32名（計64名） - d は 0.5（効果量中） - p < .05 となったのは50%程度 先ほどの例
- 121. 検定力 0.5
- 123. 検定力 0.8で1群につき 64名必要
- 124. 2群の比較，各群32名，効果量 d = 0.5
- 125. 2群の比較，各群64名，効果量 d = 0.5
- 126. ここまでのまとめ • p 値は再現性を考えるとひどい指標。 • 信頼区間がベター（結果を蓄積）。 • 実質的な差や効果を見るのは「効果量」 • 検定にこだわるのなら「検定力」を確認。 • 1回の研究で言える事は非常に少ない。
- 127. “A picture is worth a thousand p values.” (Loftus, 1993) Comparison 1 Mean 40455055606570 1 2 n = 20 n = 20 p = .12 d = 0.5 Comparison 2 Mean 40455055606570 1 2 n = 200 n = 200 p < .001 d = 0.5
- 129. 印南（2012） メタ分析のお手本
- 133. (A) 処置群・対照群デザイン Treatment Contrast 統制群（Control） 実験群（Experimental） 該当論文数：28
- 134. (B) 事前・事後テストデザイン Pretest Posttest 該当論文数：24
- 136. (A) 処置群・対照群デザイン Treatment Contrast 統制群（Control） 実験群（Experimental） 該当論文数：28
- 138. (B) 事前・事後テストデザイン Pretest Posttest 該当論文数：24
- 141. 統合した効果量 (B) 事前・事後テストデザイン Cumming (2012, p. 294) ※ (A) の計算で得られる d と同じ値になる
- 142. RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン
- 143. RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン 全体 (random effects model) d (g) = 0.76 [95%CI = 0.59, 0.93] fixed effects model d = 0.70 [0.65, 0.76]
- 144. RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン 学校種別ごと (mixed effects model) JH (k = 8): d = 0.89 [0.47, 1.31] SH (k = 8): d = 0.69 [0.43, 0.95] UNI (k = 33): d = 0.78 [0.61, 0.92]
- 145. RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン 対象スキルごと (mixed effects model) G (k = 12): d = 0.38 [0.07, 0.68] L (k = 7): d = 1.50 [1.07, 1.92] R (k = 17): d = 0.90 [0.63, 1.17] S (k = 2): d = 0.88 [0.02, 1.74] V (k = 25): d = 0.64 [0.42, 0.86]
- 146. +1SD−1SD d = 0.76 対照群 処置群
- 149. メタ分析で得られた効果量を使って 検定力を0.8以上にするためには？ • d = 0.76（メタ分析で得られた効果量） • α = .05（two-sided） • Power = 0.8（目標検定力） (A) 処置群・対照群デザイン n = 28.17086NOTE: n is number in *each* group
- 150. (B) 事前・事後テストデザイン RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study
- 151. RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 全体 (random effects model) d (g) = 1.00 [95%CI = 0.79, 1.23] fixed effects model d = 0.67 [0.63, 0.71]
- 152. RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 学校種別ごと (mixed effects model) ELE (k = 15): d = 2.06 [1.70, 2.43] JH (k = 10): d = 1.02 [0.63, 1.42] SH (k = 38): d = 0.63 [0.44, 0.83] UNI (k = 22): d = 0.81 [0.54, 1.09]
- 153. RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 対象スキルごと (mixed effects model) G (k = 10): d = 0.41 [-0.01, 0.83] L (k = 17): d = 1.99 [1.63, 2.35] R (k = 36): d = 0.71 [0.49, 0.93] S (k = 7): d = 0.51 [-0.11, 0.93]
- 154. RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 対象スキルごと (mixed effects model) V (k = 13): d = 1.23 [0.89, 1.64] W (k = 1): d = 0.42 [-0.91, 1.76] M (k = 1): d = 0.57 [-0.75, 1.87]
- 155. +1SD−1SD d = 1.00 Pretest Posttest
- 156. 検定力分析の結果 •87の対象データ中，検定力が 0.8以上：57ケース（65.5%） •87の対象データ中，検定力が 0.5以下：20ケース（22.9%） (B) 事前・事後テストデザイン
- 158. メタ分析で得られた効果量を使って 検定力を0.8以上にするためには？ • d = 1.00（メタ分析で得られた効果量） • α = .05（two-sided） • Power = 0.8（目標検定力） n = 9.93785 (B) 事前・事後テストデザイン
- 160. 効果量と検定力まとめ •効果量は大きめ → 誇るべき研究・実践の蓄積 •検定力は低いものが多い → p 値の再現性は疑問
- 163. 「再現に必要な情報」はこちらを参照
- 164. Porte (2012)
- 165. 竹内・水本 (2012) Q: 「研究を行う際には，先行研究で欠け ている部分を見つけて，それまでに行わ れていない研究をすべきだと指導教官に いわれました。興味のある内容には，す でに似たような研究があるのですがどう すればよいでしょうか。」(pp. 340–341)
- 166. A: 「良い追試は，リサーチデザインのき ちんと練られていない独創的な研究より も，分野としての発展に貢献する可能性 が高い」(p. 342) → 無理な基礎研究デザインを現場に持ち 込まず，実践のReplicationをもっと推奨すべき。 （もしくは関心に応じて質的な方法を）
- 167. まとめることを考えましょう
- 168. 地区学会の紀要 • 北海道英語教育学会（8号） • 東北英語教育学会（30号） • 関東甲信越英語教育学会（27号） • 中部地区英語教育学会（42号） • 関西英語教育学会（36号） • 中国地区英語教育学会（43号） • 四国英語教育学会（32号） • 九州英語教育学会（40号）