2013全国英語教育学会WS公開用スライド
Upcoming SlideShare
Loading in...5
×
 

2013全国英語教育学会WS公開用スライド

on

  • 3,546 views

2013年08月11日(日)全国英語教育学会第39回北海道研究大会でのワークショップ

2013年08月11日(日)全国英語教育学会第39回北海道研究大会でのワークショップ
『英語教育実践と研究の接点―研究の在り方と手法―』での私の担当箇所である,
「ARELE掲載論文に見る英語教育研究の現在—テーマと研究法—」のスライドです。

参考文献などはこちらをご覧下さい。
http://mizumot.com/lablog/archives/883

Statistics

Views

Total Views
3,546
Views on SlideShare
1,114
Embed Views
2,432

Actions

Likes
1
Downloads
23
Comments
0

9 Embeds 2,432

http://mizumot.com 1823
http://www.urano-ken.com 594
http://cloud.feedly.com 6
http://www.feedspot.com 4
https://twitter.com 1
http://feedly.com 1
http://webcache.googleusercontent.com 1
https://www.google.co.jp 1
http://translate.googleusercontent.com 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

CC Attribution-ShareAlike LicenseCC Attribution-ShareAlike License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

2013全国英語教育学会WS公開用スライド 2013全国英語教育学会WS公開用スライド Presentation Transcript

  • Photo by JonathanCohen http://www.flickr.com/photos/34580986@N03/4985041197/ ARELE掲載論文に見る 英語教育研究の現在 水本 篤(関西大学) 浦野 研(北海学園大学) —テーマと研究法— 全国英語教育学会第39回北海道研究大会 ワークショップ (2013/08/11) 「英語教育実践と研究の接点―研究の在り方と手法―」
  • 1990年第1号発行 2013年第24号
  • 第24号 (2013) までの 掲載論文総数 479本
  • 今回の分析対象 CiNiiで公開されているもののみ 450本
  • 目的 ARELE掲載論文のキーワード, テーマ・トピック,研究法を 調べ,現在までの英語教育研究の 傾向を探り,今後の提案を行う。
  • 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
  • 研究法 2. 3. 研究 1. 先⾏研究
  • Review •ナラティブ・レビュー Research Timeline (Language Teaching) •メタ分析 •特定のジャーナル以外(総括的)
  • 特定のジャーナルのReview •中部地区英語教育学会(CELES) - 研究のタイプと研究領域  松川 (1991) 424本 → 平野 (2011) 963本 - 研究法 浦野 (2012),田中 (2012),亘理 (2012)
  • 特定のジャーナルのReview •大学英語教育学会(JACET) 寺沢 (2010) 1970~2004年の316本 「学習者の内的なメカニズムに焦点 化した実証研究が非常に多い。」 → 量的で(一部)偏った教育研究
  • 特定のジャーナルのReview •外国語教育メディア学会(LET) 高橋 (2010) 1961の1号~2009年の46号 LLの研究・実践報告にはじまり, CALL,マルチメディア,学習者主体 に多様化するまでの変遷。
  • 特定のジャーナルのReview •JALT(全国語学教育学会) Stapleton and Collett (2010) JALT Journal 30年分297本 著者の国籍,研究法,対象学校種別, トピック
  • 特定のジャーナルのReview •JALT(全国語学教育学会) Stapleton (2013) JALT National Conference 1978~2010年までの30年間のデータ テーマの変化,キーワード,  他学術会議との比較,引用の多い研究者
  • 特定のジャーナルのReview •Modern Language Journal(海外誌) Megnan (2005) 1996~2005年までの10年間のデータ 国ごとの投稿者,掲載率,  研究法(8割が量的,2割が質的)
  • 特定のジャーナルのReview •全国英語教育学会(JASELE) 柳瀬 (2013) ARELE 2002~2011年度 JACET Journal, Applied Linguistics と比較。 「リフレクティブな英語教育」(質的研究) に関するキーワードが明らかに少ない。
  • なぜ今?
  • なぜ今? JASELE 40年 (2014年 全国英語教育学会40周年記念誌) LET 50年 JALT 30年 JACET 50年 TESOL since 1960s
  • “(R)eview studies ... serve as a summary of where a given field has been, and to project where it may head” (Stapleton, 2013).
  • 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
  • 2. 3. 研究 4. 研究法 1. 先⾏研究
  • 英語タイトルとアブストラクト •対象 450 本 •総語数 79,743 •異なり語数 5,152 •機能語,数字などは削除
  • 使用したソフト: CasualConc https://sites.google.com/site/casualconcj/ &
  • 最頻語
  • http://www.wordle.net/
  • 2-gram (bi-gram)を用いた ネットワーク分析 (頻度10以上)
  • 文法 テスト・評価 ライティング 語彙 参加者 単語 学習者関連 指導 リーディング 方略 コミュニケーション 研究 論文 分析・結果 レキシコン 入試
  • 論文 表現 テーマ トピック 心理言語
  • 合計頻度が30以上の300語(行) × ARELE 1~24号(列)
  • v11 v2 v1 v10 v12 v8 v5 v4 v6 v9 v3 v7 v23 v22 v21 v24 v18 v20 v19 v15 v16 v13 v14 v17 050010001500200025003000 Height クラスター分析(ウォード法・ユークリッド距離)
  • v11 v2 v1 v10 v12 v8 v5 v4 v6 v9 v3 v7 v23 v22 v21 v24 v18 v20 v19 v15 v16 v13 v14 v17 050010001500200025003000 Height 1-12号 (前半) 13-24号 (後半)
  • v11 v2 v1 v10 v12 v8 v5 v4 v6 v9 v3 v7 v23 v22 v21 v24 v18 v20 v19 v15 v16 v13 v14 v17 050010001500200025003000 Height より前半らしい communication AETs cloze paper intonation competence communicative voice team discussion より後半らしい participant vocabulary read inference proficiency word repetition recall cue motivation 特 徴 語
  • キーワードの分析まとめ •英語タイトルとアブストラクトに キーワードやトピックが現れる。 •前半12号までと後半13号以降に 明らかな違い。
  • 提案 •アブストラクトを読めば何を したかわかるように書く。 •キーワードがあるほうが良い。
  • 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
  • 究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
  • テーマとトピック •対象 450 本 前半(01-12号)160本 後半(13-24号)290本
  • テーマとトピック (1)「中部地区英語教育学会 紀要」の研究10領域 (2) サブカテゴリーの 「主な内容」 http://www.celes.info/wp/wp-content/uploads/editorial_policy_2013.pdf
  • テーマとトピック (3) 全国英語教育学会の 全国大会で用いられて いる14のカテゴリー
  • テーマとトピック (1)「中部地区英語教育学会 紀要」の研究10領域 (2) サブカテゴリーの 「主な内容」 http://www.celes.info/wp/wp-content/uploads/editorial_policy_2013.pdf
  • 1-本質・目的・意義・歴史など 2-教科課程論 8-教師論 5-教材・メディア論 7-学習者論 6-学力・評価論 4-教授方法論 9-関連諸科学 3-教授内容論 掲載本数 (k = 450) 0 50 100 150 136 90 79 58 36 21 14 13 3
  • 1-本質・目的・意義・歴史など 2-教科課程論 8-教師論 5-教材・メディア論 7-学習者論 6-学力・評価論 4-教授方法論 9-関連諸科学 3-教授内容論 100%換算 0 5 10 15 20 25 30 35 01-12号 13-24号
  • テーマとトピック (1)「中部地区英語教育学会 紀要」の研究10領域 (2) サブカテゴリーの 「主な内容」 http://www.celes.info/wp/wp-content/uploads/editorial_policy_2013.pdf
  • 歴史 各国の英語教育 教師教育 その他 授業形態 メディア 学力 教師 文化 カリキュラム 教材 教授法 学習指導 指導技術 言語学 学習者要因 評価・テスト 心理言語学 言語材料 4技能 掲載本数 (k = 450) 0 10 20 30 40 50 60 70 66 60 50 50 36 35 34 22 17 15 10 10 9 8 6 6 5 5 3 3
  • 歴史 各国の英語教育 教師教育 その他 授業形態 メディア 学力 教師 文化 カリキュラム 教材 教授法 学習指導 指導技術 言語学 学習者要因 評価・テスト 心理言語学 言語材料 4技能 100%換算 0 5 10 15 01-12号 13-24号
  • テーマとトピック (3) 全国英語教育学会の 全国大会で用いられて いる14のカテゴリー
  • 言語政策 音声 教員 リスニング 文法 動機づけ スピーキング 教材 学習者 ライティング 評価・テスト 語彙 リーディング 言語習得・心理言語学 授業・指導法 掲載本数 (k = 450) 0 20 40 60 80 100 85 76 51 43 39 29 21 19 16 16 15 13 13 11 3
  • 言語政策 音声 教員 リスニング 文法 動機づけ スピーキング 教材 学習者 ライティング 評価・テスト 語彙 リーディング 言語習得・心理言語学 授業・指導法 100%換算 0 5 10 15 20 25 01-12号 13-24号
  • テーマとトピックまとめ • リーディング,語彙,評価・テストが 増えており,全体としても多い。 • 授業・指導法は減少傾向。 • 指導法よりも「学習者の内的なメカニ ズムに興味」(寺沢, 2010)という指摘 に当てはまる。
  • 「読解プロセス,読み手やテクストの影 響要因リーディング能力や語彙力の構成 要素,単語認知等がより具体的に議論さ れるようになり,また音読,速読,多読 に関する研究及び実践の知見や成果がよ り検討されるようになった結果であると いえよう」(平野, 2011, p. 311)。
  • 提案 •「英語教育」学会紀要としては テーマに少し偏りがある。 •指針を持って多様な内容を。 •授業や指導法に関する研究も。
  • 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
  • 究法 2. 3. 研究 4. 研究法 5. 効果量 検定⼒
  • 研究法 •対象 450 本 前半(01-12号)160本 後半(13-24号)290本
  • 研究法 (1) 研究のタイプ(CELESの分類: 実証研究,実践報告,調査報告,理論研究) (2) 対象学校種別 (幼児,小,中,高,大,その他)
  • 研究法 (3) 目的(探索,検証,その他) (4) 手法(量的,質的,ミックス) (5) 介入の有無
  • 研究法 (1) 研究のタイプ(CELESの分類: 実証研究,実践報告,調査報告,理論研究) (2) 対象学校種別 (幼児,小,中,高,大,その他)
  • 理論研究 実践報告 調査報告 実証研究 掲載本数 (k = 450) 0 50 100 150 200 250 300 350 335 41 37 37
  • 理論研究 実践報告 調査報告 実証研究 100%換算 0 20 40 60 80 01-12号 13-24号
  • 研究法 (1) 研究のタイプ(CELESの分類: 実証研究,実践報告,調査報告,理論研究) (2) 対象学校種別 (幼児,小,中,高,大,その他)
  • その他 大学 高校 中学校 小学校 幼児 掲載本数 (k = 450) 0 50 100 150 200 250 2 16 45 82 211 85
  • その他 大学 高校 中学校 小学校 幼児 100%換算 0 10 20 30 40 50 01-12号 13-24号
  • 研究法 (3) 目的(探索,検証,その他) (4) 手法(量的,質的,ミックス) (5) 介入の有無
  • その他 検証 探索 掲載本数(理論研究37本以外計413本) 0 50 100 150 200 250 300 350 329 58 26
  • その他 検証 探索 100%換算(理論研究37本以外計413本) 0 20 40 60 80 01-12号 13-24号
  • 研究法 (3) 目的(探索,検証,その他) (4) 手法(量的,質的,ミックス) (5) 介入の有無
  • その他 ミックス 質 量 掲載本数(理論研究37本以外計413本) 0 50 100 150 200 250 300 350 341 13 31 28
  • その他 ミックス 質 量 100%換算(理論研究37本以外計413本) 0 20 40 60 80 01-12号 13-24号
  • 研究法 (3) 目的(探索,検証,その他) (4) 手法(量的,質的,ミックス) (5) 介入の有無
  • 介入なし 介入あり 掲載本数(理論研究37本以外計413本) 0 50 100 150 200 250 300 350 329 84
  • 介入なし 介入あり 100%換算(理論研究37本以外計413本) 0 20 40 60 80 100 01-12号 13-24号
  • 研究法まとめ •2/3が実証研究(増加) •実践報告は8%程度(少ない) •高校・大学が多い (小学校・大学が増加)
  • 研究法まとめ •8割が探索型(増加) •8割が量的研究(ミックスが増加) •8割が介入なし(介入ありが増加)
  • 提案 • 研究法に対して意識を高める • 本当に「探索的」な研究? • 「質の良い」質的研究・実践報告 • 学会として「リフレクティブな 英語教育」のサポート(柳瀬, 2013)
  • 外国語教育研究の立ち位置 (柳瀬, 2006を一部改変) 竹内・水本 (2012, p. 8)
  • 『動機づけ研究の目的が行動の「理解」 にあるとすれば、意欲を高めるというの は行動を「変容」することにあると言え る。行動を変容するためには、行動の背 景を理解することはもちろん必要であろ うが、理解するだけでは変容のための具 体的な方策についての答えは出ない。』 磯田(2007, p. 4)
  • 構造構成主義における量的研究と質的研究の位置づけ 住 (2012, p. 248)
  • 研究テーマと研究法 2. 3. 研究 4. 研究法 1. 先⾏研究 5. 効果量 検定⼒
  • 3. 研究 4. 研究法 5. 効果量 検定⼒
  • その他 ミックス 質 量 掲載本数(理論研究37本以外計413本) 0 50 100 150 200 250 300 350 341 13 31 28 量的研究が 82.5%
  • • 平均値(mean: M) • 標準偏差(standard deviation: SD) 記述統計 (descriptive statistics)
  • よくある表
  • 平均30点,標準偏差10点
  • 平均2.8点,標準偏差1.2点 2.8
  • 推測統計
  • • 男女それぞれに平均値と 標準偏差を求める。 • 男女の平均値に差があるか。 (母集団でも差は見られるか) 統計的検定 たとえば t 検定
  • p 値は「差がない」確率 p < .001
  • 95% 5% p = .03(3%)      p < .05(0.05以下) p < .05 であれば統計的に有意な差あり p 値は「差がない」確率
  • 統計的に有意な差 p < .05(0.05以下)
  • グループ間の差が大きいのはどちら?
  • • 統計的検定の問題点 - サンプルサイズが影響。 - 有意差あり・なしのみの判断。 - p 値は実質的な差を示さない。 効果量(Effect Size)
  • • 効果量(Effect Size) - サンプルサイズに影響されない。 - 効果の大小を示す。 - 実質的な差を確認できる。 • APA 6th では報告が「不可欠」
  • 効果量 d = 0.2 効果量 d = 0.2
  • M = 30 SD = 10
  • M = 30 SD = 10 M = 32 SD = 10
  • M = 30 SD = 10 M = 32 SD = 10 2/10 = 0.2 d = 0.2 (効果量小)
  • M = 30 SD = 10 M = 35 SD = 10 5/10 = 0.5 d = 0.5 (効果量中)
  • M = 30 SD = 10 M = 38 SD = 10 8/10 = 0.8 d = 0.8 (効果量大)
  • メタ分析 (meta-analysis) =効果量の統合
  • • Yes and no. - サンプリングの影響 - p 値は再現性がない(unreliable) - しかし数十年は使用される... 統計的検定は必要ない? • 効果量と信頼区間の報告
  • エラーバーは95%CI Comparison 1 Mean 40455055606570 1 2 n = 20 n = 20 p = .12 d = 0.5 Comparison 2 Mean 40455055606570 1 2 n = 200 n = 200 p < .001 d = 0.5 差のCI 差のCI 0 5 0 5
  • エラーバーは95%CI Comparison 1 Mean 40455055606570 1 2 n = 20 n = 20 p = .75 d = 0.1 Comparison 2 Mean 40455055606570 1 2 n = 2000 n = 2000 p < .001 d = 0.1 差のCI 差のCI 1 0 1 0
  • 同じ条件 同じ参加者数(サンプルサイズ) 同じ平均値の差(効果量) p 値は再現性がない
  • 2群の比較,各群32名,効果量 d = 0.5 Cumming (2012)のプログラムを使用
  • • シミュレーション - 1つのグループに32名(計64名) - d は 0.5(効果量中) - p < .05 となったのは50%程度 d = 0.5 なのに有意差なし? → 検定力(power)が足りない
  • • 本当に差がある場合に,有意差を 検出することができる力。 • 0 ~ 1の範囲の値(100%) • Cohen (1988) は 0.8 (80%) を提唱。 検定力(statistical power)
  • • シミュレーション - 1つのグループに32名(計64名) - d は 0.5(効果量中) - p < .05 となったのは50%程度 先ほどの例
  • 2群の比較,各群32名,効果量 d = 0.5
  • 本当は差があるはずなのに = d は 0.5(効果量中) p < .05 となったのは50%程度 検定力 = 0.5
  • • 検定力(power)を大きくし, できるだけ小さなサンプルサイズで 検定するために,必要なサンプル サイズを見積もる方法。 検定力分析(power analysis)
  • • 有意水準 (α) • サンプルサイズ • 効果量 • 検定力 統計的検定における4つの要素
  • 4つのうち3つがわかれば残り1つが決まる
  • 検定力分析で必要サンプルサイズがわかる ? A priori(事前の分析)
  • 検定力分析で実験後の検定力がわかる ? Post hoc(事後の分析)
  • 詳しい操作方法は 水本・竹内 (2011) を参照。 検定力分析を 行うためのソフト G*Power 3
  • • シミュレーション - 1つのグループに32名(計64名) - d は 0.5(効果量中) - p < .05 となったのは50%程度 先ほどの例
  • 検定力 0.5
  • 検定力を推奨されている0.8にしたい ? 0.8 小,中,大 *こちらが正しい検定力分析の使い方
  • 検定力 0.8で1群につき 64名必要
  • 2群の比較,各群32名,効果量 d = 0.5
  • 2群の比較,各群64名,効果量 d = 0.5
  • ここまでのまとめ • p 値は再現性を考えるとひどい指標。 • 信頼区間がベター(結果を蓄積)。 • 実質的な差や効果を見るのは「効果量」 • 検定にこだわるのなら「検定力」を確認。 • 1回の研究で言える事は非常に少ない。
  • “A picture is worth a thousand p values.” (Loftus, 1993) Comparison 1 Mean 40455055606570 1 2 n = 20 n = 20 p = .12 d = 0.5 Comparison 2 Mean 40455055606570 1 2 n = 200 n = 200 p < .001 d = 0.5
  • ARELE掲載論文の 効果量と検定力 メタ分析的アプローチ
  • 印南(2012) メタ分析のお手本
  • 方法 •対象 450 本 前半(01-12号)160本 後半(13-24号)290本
  • •数値を用いているもの (114本対象外,残り336本) •平均値の比較を行っている (216本対象外,残り120本)
  • •(A)と(B)のどちらか (80本対象外,最終40本) (A) 処置群・対照群デザイン (B) 事前・事後テストデザイン
  • (A) 処置群・対照群デザイン Treatment Contrast 統制群(Control) 実験群(Experimental) 該当論文数:28
  • (B) 事前・事後テストデザイン Pretest Posttest 該当論文数:24
  • 対象外 •平均値やSDの記載がない。 (p 値のみの報告など) •NSとNNS,L1とL2の比較。 •Explicit/Implicit 知識の比較。
  • (A) 処置群・対照群デザイン Treatment Contrast 統制群(Control) 実験群(Experimental) 該当論文数:28
  • (A) 処置群・対照群デザイン Treatment Contrast •28論文中,対象データ数は63 •学校種別とスキル •検定力(achieved power)
  • (B) 事前・事後テストデザイン Pretest Posttest 該当論文数:24
  • (B) 事前・事後テストデザイン Pretest Posttest •24論文中,対象データ数は87 •学校種別とスキル •検定力(achieved power)
  • 2)( )1()1( 22 −+ ×−+×− − =d 統合した効果量 (A) 処置群・対照群デザイン Cumming (2012, p. 294)
  • 統合した効果量 (B) 事前・事後テストデザイン Cumming (2012, p. 294) ※ (A) の計算で得られる d と同じ値になる
  • RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン
  • RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン 全体 (random effects model) d (g) = 0.76 [95%CI = 0.59, 0.93] fixed effects model d = 0.70 [0.65, 0.76]
  • RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン 学校種別ごと (mixed effects model) JH (k = 8): d = 0.89 [0.47, 1.31] SH (k = 8): d = 0.69 [0.43, 0.95] UNI (k = 33): d = 0.78 [0.61, 0.92]
  • RE Model -2.00 0.00 2.00 4.00 6.00 Standardized Mean Difference Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 1.03 [ 0.66 , 1.39 ] -0.09 [ -0.56 , 0.38 ] 0.18 [ -0.34 , 0.71 ] 0.66 [ 0.31 , 1.01 ] 0.69 [ 0.23 , 1.16 ] 1.37 [ 1.01 , 1.73 ] 1.69 [ 1.32 , 2.06 ] 0.95 [ 0.48 , 1.42 ] 0.41 [ 0.05 , 0.77 ] 0.44 [ 0.08 , 0.80 ] 0.08 [ -0.27 , 0.44 ] 2.23 [ 1.84 , 2.62 ] 1.09 [ 0.76 , 1.42 ] 1.23 [ 0.89 , 1.56 ] 1.42 [ 0.88 , 1.96 ] 1.10 [ 0.61 , 1.59 ] 1.49 [ 0.98 , 2.01 ] 0.91 [ 0.54 , 1.28 ] 1.43 [ 0.63 , 2.23 ] 0.55 [ 0.19 , 0.91 ] 0.37 [ 0.00 , 0.74 ] 1.52 [ 1.11 , 1.93 ] 1.14 [ 0.75 , 1.54 ] 0.44 [ -0.02 , 0.90 ] 0.65 [ 0.21 , 1.10 ] 0.14 [ -0.30 , 0.59 ] 0.05 [ -0.39 , 0.49 ] 0.45 [ -0.01 , 0.91 ] 0.62 [ 0.17 , 1.07 ] 0.33 [ -0.12 , 0.77 ] 0.20 [ -0.24 , 0.64 ] 1.96 [ 1.31 , 2.61 ] 0.23 [ -0.17 , 0.63 ] 0.21 [ -0.19 , 0.61 ] 0.50 [ 0.10 , 0.90 ] 1.26 [ 0.83 , 1.70 ] 0.60 [ 0.19 , 1.01 ] 0.65 [ 0.06 , 1.24 ] 0.42 [ -0.13 , 0.97 ] 0.16 [ -0.42 , 0.74 ] -0.01 [ -0.59 , 0.57 ] 0.43 [ -0.16 , 1.02 ] -0.11 [ -0.69 , 0.47 ] 0.80 [ 0.10 , 1.50 ] 1.49 [ 0.74 , 2.24 ] 0.58 [ -0.10 , 1.27 ] 1.18 [ 0.46 , 1.89 ] 0.55 [ 0.10 , 0.99 ] 0.18 [ -0.26 , 0.62 ] -0.15 [ -0.67 , 0.38 ] 0.40 [ -0.13 , 0.93 ] 2.14 [ -0.32 , 4.60 ] 2.65 [ 1.21 , 4.08 ] 3.89 [ 2.11 , 5.67 ] 0.37 [ -0.35 , 1.10 ] 0.00 [ -0.60 , 0.60 ] 0.51 [ -0.11 , 1.12 ] 0.35 [ 0.04 , 0.65 ] 0.33 [ 0.02 , 0.64 ] 0.66 [ 0.06 , 1.25 ] 0.34 [ -0.24 , 0.91 ] 4.12 [ 3.23 , 5.01 ] 1.41 [ 0.85 , 1.98 ] 0.76 [ 0.59 , 0.93 ] Effect Size [95%CI]Study (A) 処置群・対照群デザイン 対象スキルごと (mixed effects model) G (k = 12): d = 0.38 [0.07, 0.68] L (k = 7): d = 1.50 [1.07, 1.92] R (k = 17): d = 0.90 [0.63, 1.17] S (k = 2): d = 0.88 [0.02, 1.74] V (k = 25): d = 0.64 [0.42, 0.86]
  • +1SD−1SD d = 0.76 対照群 処置群
  • 検定力分析の結果 •63の対象データ中,検定力が 0.8以上:27ケース(42.9%) •63の対象データ中,検定力が 0.5以下:25ケース(39.6%) (A) 処置群・対照群デザイン
  • メタ分析で得られた効果量を使って 検定力を0.8以上にするためには? • d = 0.76(メタ分析で得られた効果量) • α = .05(two-sided) • Power = 0.8(目標検定力) (A) 処置群・対照群デザイン n = 28.17086NOTE: n is number in *each* group
  • (B) 事前・事後テストデザイン RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study
  • RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 全体 (random effects model) d (g) = 1.00 [95%CI = 0.79, 1.23] fixed effects model d = 0.67 [0.63, 0.71]
  • RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 学校種別ごと (mixed effects model) ELE (k = 15): d = 2.06 [1.70, 2.43] JH (k = 10): d = 1.02 [0.63, 1.42] SH (k = 38): d = 0.63 [0.44, 0.83] UNI (k = 22): d = 0.81 [0.54, 1.09]
  • RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 対象スキルごと (mixed effects model) G (k = 10): d = 0.41 [-0.01, 0.83] L (k = 17): d = 1.99 [1.63, 2.35] R (k = 36): d = 0.71 [0.49, 0.93] S (k = 7): d = 0.51 [-0.11, 0.93]
  • RE Model -2.00 0.00 2.00 4.00 6.00 8.00 Standardized Mean Difference Study87 Study86 Study85 Study84 Study83 Study82 Study81 Study80 Study79 Study78 Study77 Study76 Study75 Study74 Study73 Study72 Study71 Study70 Study69 Study68 Study67 Study66 Study65 Study64 Study63 Study62 Study61 Study60 Study59 Study58 Study57 Study56 Study55 Study54 Study53 Study52 Study51 Study50 Study49 Study48 Study47 Study46 Study45 Study44 Study43 Study42 Study41 Study40 Study39 Study38 Study37 Study36 Study35 Study34 Study33 Study32 Study31 Study30 Study29 Study28 Study27 Study26 Study25 Study24 Study23 Study22 Study21 Study20 Study19 Study18 Study17 Study16 Study15 Study14 Study13 Study12 Study11 Study10 Study09 Study08 Study07 Study06 Study05 Study04 Study03 Study02 Study01 0.54 [ -0.12 , 1.21 ] -0.24 [ -0.90 , 0.41 ] 0.17 [ -0.48 , 0.83 ] 0.50 [ 0.10 , 0.91 ] -0.14 [ -0.54 , 0.26 ] 0.17 [ -0.23 , 0.57 ] 1.25 [ 0.54 , 1.97 ] 1.45 [ 0.71 , 2.18 ] 1.32 [ 0.60 , 2.04 ] 0.76 [ 0.08 , 1.44 ] 5.53 [ 4.09 , 6.96 ] 0.70 [ 0.03 , 1.38 ] 4.05 [ 2.91 , 5.19 ] 1.26 [ 0.55 , 1.98 ] 0.93 [ 0.45 , 1.42 ] 0.57 [ 0.23 , 0.91 ] 0.92 [ 0.53 , 1.31 ] 0.42 [ -0.04 , 0.89 ] 0.78 [ 0.34 , 1.22 ] 0.25 [ -0.28 , 0.78 ] 1.62 [ 1.11 , 2.13 ] 1.50 [ 1.00 , 2.00 ] 0.55 [ 0.36 , 0.74 ] 0.32 [ 0.13 , 0.51 ] 0.66 [ 0.29 , 1.03 ] 0.62 [ 0.25 , 0.98 ] 0.33 [ -0.03 , 0.69 ] 4.08 [ 3.30 , 4.86 ] 1.84 [ 1.61 , 2.06 ] 0.49 [ 0.10 , 0.89 ] 0.40 [ 0.01 , 0.79 ] 0.23 [ -0.16 , 0.62 ] 0.14 [ -0.29 , 0.57 ] 0.48 [ 0.05 , 0.92 ] 0.31 [ 0.01 , 0.60 ] 0.19 [ -0.10 , 0.49 ] 0.31 [ 0.02 , 0.61 ] 0.19 [ -0.11 , 0.48 ] 0.27 [ -0.03 , 0.56 ] 0.39 [ 0.09 , 0.68 ] 0.82 [ 0.51 , 1.13 ] 0.75 [ 0.44 , 1.05 ] 0.78 [ 0.48 , 1.09 ] 0.79 [ 0.48 , 1.09 ] 0.78 [ 0.47 , 1.08 ] 1.09 [ 0.78 , 1.41 ] 0.75 [ 0.44 , 1.05 ] 0.97 [ 0.66 , 1.28 ] 1.35 [ 1.02 , 1.68 ] 0.02 [ -0.28 , 0.31 ] 0.30 [ 0.00 , 0.59 ] 0.67 [ 0.37 , 0.97 ] 1.66 [ 1.10 , 2.21 ] 1.42 [ 0.92 , 1.91 ] 0.95 [ 0.55 , 1.34 ] 3.60 [ 2.30 , 4.90 ] 1.74 [ 1.47 , 2.01 ] 2.28 [ 1.36 , 3.20 ] 0.03 [ -0.33 , 0.39 ] 0.67 [ 0.31 , 1.03 ] 0.14 [ -0.22 , 0.49 ] 0.46 [ -0.03 , 0.94 ] 0.45 [ 0.00 , 0.89 ] 0.02 [ -0.44 , 0.48 ] 0.13 [ -0.32 , 0.58 ] 0.41 [ -0.07 , 0.89 ] 0.42 [ -0.02 , 0.86 ] 0.09 [ -0.37 , 0.54 ] 0.38 [ -0.07 , 0.84 ] 0.51 [ 0.11 , 0.91 ] 0.10 [ -0.32 , 0.52 ] 1.94 [ 1.12 , 2.75 ] 2.06 [ 1.22 , 2.89 ] 2.84 [ 1.89 , 3.79 ] 1.69 [ 0.91 , 2.47 ] 1.50 [ 0.83 , 2.17 ] 3.40 [ 2.48 , 4.32 ] 2.90 [ 2.06 , 3.75 ] 3.01 [ 2.14 , 3.87 ] 0.82 [ 0.25 , 1.39 ] 3.15 [ 2.34 , 3.97 ] 4.40 [ 3.39 , 5.40 ] 3.43 [ 2.48 , 4.38 ] 0.18 [ -0.12 , 0.49 ] 0.07 [ -0.24 , 0.38 ] 0.02 [ -0.28 , 0.33 ] 3.35 [ 0.31 , 6.39 ] 1.01 [ 0.79 , 1.23 ] Effect Size [95%CI]Study (B) 事前・事後テストデザイン 対象スキルごと (mixed effects model) V (k = 13): d = 1.23 [0.89, 1.64] W (k = 1): d = 0.42 [-0.91, 1.76] M (k = 1): d = 0.57 [-0.75, 1.87]
  • +1SD−1SD d = 1.00 Pretest Posttest
  • 検定力分析の結果 •87の対象データ中,検定力が 0.8以上:57ケース(65.5%) •87の対象データ中,検定力が 0.5以下:20ケース(22.9%) (B) 事前・事後テストデザイン
  • メタ分析で得られた効果量を使って 検定力を0.8以上にするためには? • d = 1.00(メタ分析で得られた効果量) • α = .05(two-sided) • Power = 0.8(目標検定力) n = 9.93785 (B) 事前・事後テストデザイン
  • http://planetvisits.com/apples-and-oranges-nourishment-actualities/ CAUTION
  • 効果量と検定力まとめ •効果量は大きめ → 誇るべき研究・実践の蓄積 •検定力は低いものが多い → p 値の再現性は疑問
  • ARELE掲載論文 ここが気になる •p 値至上主義(査読者の問題?) •そもそも検定が必要なのか? •再現に必要な情報が書いていない。
  • 提案 • p 値が大事なら検定力分析を •効果量,信頼区間の蓄積 •そもそもの「測定」を軽んじない •Replication(追試)を重視 •必ず再現に必要な情報を書く
  • 「再現に必要な情報」はこちらを参照
  • Porte (2012)
  • 竹内・水本 (2012) Q: 「研究を行う際には,先行研究で欠け ている部分を見つけて,それまでに行わ れていない研究をすべきだと指導教官に いわれました。興味のある内容には,す でに似たような研究があるのですがどう すればよいでしょうか。」(pp. 340–341)
  • A: 「良い追試は,リサーチデザインのき ちんと練られていない独創的な研究より も,分野としての発展に貢献する可能性 が高い」(p. 342) → 無理な基礎研究デザインを現場に持ち 込まず,実践のReplicationをもっと推奨すべき。 (もしくは関心に応じて質的な方法を)
  • まとめることを考えましょう
  • 地区学会の紀要 • 北海道英語教育学会(8号) • 東北英語教育学会(30号) • 関東甲信越英語教育学会(27号) • 中部地区英語教育学会(42号) • 関西英語教育学会(36号) • 中国地区英語教育学会(43号) • 四国英語教育学会(32号) • 九州英語教育学会(40号)