Downloaded 10 times
![メタ分析
• 例えば…
• Mizumoto, A., Urano, K., &
Maeda, H. (ママ) (2014). A
systematic review of published
articles in ARELE 1-24: Focusing
on their themes, methods, and
outcomes. ARELE, 25, 33-48.
• 全体の効果量はチュー程度！
(g = 0.76, 95% CI [0.59, 0.93])
• 検定力不足多！29人以上で♡](https://image.slidesharecdn.com/letmetho20140915-140915031545-phpapp01/85/LET-20140915-5-320.jpg)
![Norris & Ortega (2000)
• 40研究の明示的指導(k = 71)
• d = 1.13 95% CI [0.93, 1.33]
• 19研究の暗示的指導(k = 29)
• d = 0.54 95% CI [0.26, 0.82]
• 本当に？どういう意味で？
• Watari (2013; 2014)](https://image.slidesharecdn.com/letmetho20140915-140915031545-phpapp01/85/LET-20140915-14-320.jpg)
![Norris & Ortega (2000)
• 38(40)研究の明示的指導(Explicit, k = 71)
• + Rule explanation (deductive/metalinguistic,
Exp. FonFs) (k = 47)
• d = 1.08 95% CI [0.80, 1.36]
• + direction to attend to forms and arrive at
rules (explicit induction) (Exp. FonF, k =24)
• d = 1.22 95% CI [0.91, 1.53]](https://image.slidesharecdn.com/letmetho20140915-140915031545-phpapp01/85/LET-20140915-15-320.jpg)
![In Norris & Ortega (2000) …
• VanPatten & Cadierno (1993)とその追試(n = 7; k = 29):
• g = 0.55, 95% CI [0.27, 0.83]
0.24
[-0.26, 0.74]
0.68
[0.30, 1.07]
0.84
[0.13, 1.56]
0.25
[-0.80, 1.30]](https://image.slidesharecdn.com/letmetho20140915-140915031545-phpapp01/85/LET-20140915-25-320.jpg)
![Watari (2014)
watariyoichi.net
research and
on
the L2
types of
specific
because
mechanisms
a series
point.
sample
to be
Table 2. Types of comparison & timing of metalinguistic intervention
Before B&W While After None g (95% CI)
Focus on FormS Exp.
vs Control 10 9 20 0 3 [0.60, 1.13]
vs Focus on FormS Exp. 2 0 7 0 3 [0.05, 1.05]
vs Focus on Form Imp. 2 0 2 0 0 [-0.84, 0.85]
vs Focus on FormS Imp. 0 2 0 0 0 [-1.29, 1.02]
FonF Exp.
vs Control 16 2 4 0 9 [0.75, 1.37]
vs Focus on Form Imp. 1 0 11 0 0 [0.28, 1.24]
vs Focus on FormS Exp. 2 4 0 0 0 [0.22, 1.58]
vs Focus on Form Exp. 2 0 0 0 0 [-0.25, 2.20]
g (95% CI) [0.53, 1.11] [0.21, 0.99] [0.72, 1.22] N/A [0.25, 1.11] [0.66, 0.99]
Biased toward giving rule description deductively, so we can’t get the whole picture
unless we construct and include rule discovery kind of instruction, with](https://image.slidesharecdn.com/letmetho20140915-140915031545-phpapp01/85/LET-20140915-32-320.jpg)
LET関西メソ研20140915公開版
- 1. LET関西支部メソドロジー研究部会 2014年度第2回研究会 in長野 2014年9月15日 メタ・メタ分析 大切なことは全て効果量が教えてくれ…るか？ 亘理 陽一 eywatar@ipc.shizuoka.ac.jp 静岡大学 References: http://bit.ly/metho201409watari
- 2.
- 3. メタ分析 なんか カッコいい …気がする♣ イメージ→
- 4. メタ分析 • 「過去に行われた複数の独立な研究結果を 統合するための（統合できるか否かの検討 も含めた）統計解析」（丹後, 2002, p. 1） • 詳しくは、浦野・亘理 (2013): • http://www.urano-ken.com/blog/ 2013/10/25/methoken-in-akita/
- 5. メタ分析 • 例えば… • Mizumoto, A., Urano, K., & Maeda, H. (ママ) (2014). A systematic review of published articles in ARELE 1-24: Focusing on their themes, methods, and outcomes. ARELE, 25, 33-48. • 全体の効果量はチュー程度！ (g = 0.76, 95% CI [0.59, 0.93]) • 検定力不足多！29人以上で♡
- 6. メタ分析 • Plonsky’slist: 187 (September, 2014) • oak.ucc.nau.edu/ldp3/bib_metaanalysis.html • もはやブームですやん; 粗製濫造が心配… META-ANALYSIS IN L2 RESEARCH 87 1 2 2 10 14 16 14 12 10 8 6 4 2 0 1996-1998 1999-2001 2002-2004 2005-2007 2008-in press Year of meta-analysis Number of meta-analyses Fig. 1. Growth of meta-analysis in L2 research. Oswald & Plonsky (2010, p. 87) magnitudes and patterns of relationships as well as the circumstances that affect them.
- 7. メタ・メタ分析 • 例えばポリンキー • Plonsky & Brown (2014) • Corrective feedback に関するメタ分析13 もあって結果バラバ ラ(d = -0.16 to 1.16) なのワロス
- 8. メタ・メタ分析 Plonsky, L.(2014) Paper presented at AILA Worlds Congress 2014.
- 9. メタ・メタ分析 • 例えばポリンキー２ • Plonsky (2012) • L2研究のメタ分析 を評価する枠組み 44点まんてーん！ の提案
- 10. メタ・メタ分析 • 本発表はそういうカッ コいいものでも野心 的なものでもなく… • 亘理がメタ分析につ いて気になっている いくつかのことをみ んなに訊く
- 11. メタ・メタ分析 • そもそも、それをメタ分析しちゃって いいのかどうかがわからない • どのレベルで「ひとつの効果量」をだ していいのかわからない • 誰もがメタ分析を実際にやれるのかが わからない
- 12. メタ・メタ分析 • そもそも、それをメタ分析しちゃって いいのかどうかがわからない • どのレベルで「ひとつの効果量」をだ していいのかわからない • 誰もがメタ分析を実際にやれるのかが わからない
- 13. Norris & Ortega(2000) • Effectiveness of L2 instruction: A research synthesis and quantitative meta-analysis. Language Learning, 50, 417–528. META-ANALYSIS IN L2 RESEARCH 87 1 2 2 10 14 16 14 12 10 8 6 4 2 0 1996-1998 1999-2001 2002-2004 2005-2007 2008-in press Year of meta-analysis Number of meta-analyses Fig. 1. Growth of meta-analysis in L2 research. Oswald & Plonsky (2010, p. 87) magnitudes and patterns of relationships as well as the circumstances that affect them. The third problem with narrative review concerns the limitations of the re-viewers
- 14. Norris & Ortega(2000) • 40研究の明示的指導(k = 71) • d = 1.13 95% CI [0.93, 1.33] • 19研究の暗示的指導(k = 29) • d = 0.54 95% CI [0.26, 0.82] • 本当に？どういう意味で？ • Watari (2013; 2014)
- 15. Norris & Ortega(2000) • 38(40)研究の明示的指導(Explicit, k = 71) • + Rule explanation (deductive/metalinguistic, Exp. FonFs) (k = 47) • d = 1.08 95% CI [0.80, 1.36] • + direction to attend to forms and arrive at rules (explicit induction) (Exp. FonF, k =24) • d = 1.22 95% CI [0.91, 1.53]
- 16. In Norris &Ortega (2000) … DeKeyser (1997, p. 208) Exp. FonFs vs. Control Artificial Number/person/gender Leow (1998, p. 55) MLJ Exp. FonF vs. Exp. FonFs Spanish Number/person/gender
- 17. 一緒にしていいんすか？ 効果量＝標準化した平均差を求めているとはいえ… Shin(2010)でも言われてることだが…
- 18. メタ分析の結果の妥当性の問題 （山田・井上, 2012,p. 18） • Apples and oranges problem: • 多様な研究がごちゃ混ぜばんばん！ • Garbage in, garbage out: • はっはっはまるでゴミのような研究だ • File drawer problem: • はいはい出版された研究えらいえらい
- 19. そもそも… • “Whenthe outcome is reported on a meaningful scale and all studies in the analysis use the same scale, the meta-analysis can be performed directly on the raw difference in means.” (Borenstein, et al., 2009, Chapter 4, Section 2, para. 1)
- 20. そもそも… • ちゃんとした尺度に 基づいて結果が報告 されてて、分析に含 めた研究が全部同じ 尺度を使ってるって んなら！生データで！
- 21. メタ分析の結果の妥当性の問題 （山田・井上, 2012,pp. 29-30） • 研究の内的妥当性: • 独立変数xと従属変数yとの間に因果関係があるとい う主張する研究があるとき，その主張が説得力を持 つ程度のこと • 研究の外的妥当性: • 研究結果を一般化しうる程度 • 「君たちキウイパパイヤマンゴーだね」と唄いたい時 の「フルーツ」の許容範囲とは…
- 22. また、この話になるのかもしれませんが Cf. 浦野(40)in 広島 untimed GJT メタ言語知識テスト timed GJT 口頭物語テスト 模倣テスト 明示的知識を測定暗示的知識を測定
- 23. 括りで納得を得られるかどうか が鍵かしら; と同時に、In’nami& Koizumi (2009)のように 意味のある調整変数を設定して何か示せるか
- 24. In Norris &Ortega (2000) … • VanPatten & Cadierno (1993)の追試: • Cadierno (1995), VanPatten & Sanz (1995), DeKeyser & Sokalski (1996), VanPatten & Oikkenon (1996), (Kubota (1996)), Salaberry (1997) • Tomasello & Herron (1988, 1989)の追試: • (Fotos & Ellis (1991)), Ellis et al. (1994), Kubota (1995a) • 「ちゃんと追試を増やして、まずはその範囲ごとに やればいいのにね」って(Cf. Shintani, 2015)
- 25. In Norris &Ortega (2000) … • VanPatten & Cadierno (1993)とその追試(n = 7; k = 29): • g = 0.55, 95% CI [0.27, 0.83] 0.24 [-0.26, 0.74] 0.68 [0.30, 1.07] 0.84 [0.13, 1.56] 0.25 [-0.80, 1.30]
- 26. In Norris &Ortega (2000) … • GJT(を測定に用いているもの)だけでやってみた:
- 27. メタ・メタ分析 • そもそも、それをメタ分析しちゃって いいのかどうかがわからない • どのレベルで「ひとつの効果量」をだ していいのかわからない • 誰もがメタ分析を実際にやれるのかが わからない
- 28. そもそも効果量とは… （Borenstein, etal., 2009; 山田・井上, 2012, p. 104） • 平均（連続変数）に基づくもの • Cohen’s d（記述統計）, Hedge’s g（推測統計） • 二値変数に基づくもの • (対数)オッズ比、リスク比 • 相関に基づくもの • Fisher’s z
- 29. 平均値の差に基づく効果量 • 標準偏差あたりでどんくらい 離れてるっつーの？ • 分布はどのっくらい重なって るってーの？ • …という指標
- 30. Norris & Ortega(2000) • 1. 統制群と1つ以上の処置群とを事後テストの結果で比べて Cohen’s dを算出(n = 10) • 2. 比較群と処置群とを事後テストの結果で比べて算出(n = 20) • 3. （人工言語などの）前提知識なしとして統制群を設けていな いものについては、なるたけ偶発的な条件をベースラインの比 較群として、処置群と事後テストの結果で比べて算出(n = 4) • 4. 統制群も比較群もないが、事前・事後の結果を報告している ものについては、各処置群について事前・事後で算出(n = 5) • 5. 統制群も比較群もなく事前についての報告もないものについ ては、なるたけ…なベースラインを比較群とし、…(n = 10)
- 31.
- 32. Watari (2014) watariyoichi.net research and on the L2 types of specific because mechanisms a series point. sample to be Table 2. Types of comparison & timing of metalinguistic intervention Before B&W While After None g (95% CI) Focus on FormS Exp. vs Control 10 9 20 0 3 [0.60, 1.13] vs Focus on FormS Exp. 2 0 7 0 3 [0.05, 1.05] vs Focus on Form Imp. 2 0 2 0 0 [-0.84, 0.85] vs Focus on FormS Imp. 0 2 0 0 0 [-1.29, 1.02] FonF Exp. vs Control 16 2 4 0 9 [0.75, 1.37] vs Focus on Form Imp. 1 0 11 0 0 [0.28, 1.24] vs Focus on FormS Exp. 2 4 0 0 0 [0.22, 1.58] vs Focus on Form Exp. 2 0 0 0 0 [-0.25, 2.20] g (95% CI) [0.53, 1.11] [0.21, 0.99] [0.72, 1.22] N/A [0.25, 1.11] [0.66, 0.99] Biased toward giving rule description deductively, so we can’t get the whole picture unless we construct and include rule discovery kind of instruction, with
- 33. Norris Ortega(2000) • 両群のn, M, SDからCohen’s dを計算(58％) • ｱﾝﾌｫｰﾁｭﾅﾄﾘ報告ない場合、両群のn, t値 とdfからCohen’s dを計算 • ｱﾝﾌｫｰﾁｭﾅﾄﾘ報告ない場合、両群のn, F値 と誤差項dfからCohen’s dを計算 • →…いいんすか？3水準のとか…
- 34. In Norris Ortega (2000) … Cadierno (1995, p. 186) Exp. FonF vs. Control Exp. FonFs vs. Control Spanish, Tense/Time phrases
- 35. ノリオル、全部dでやっておられますが… • めっちゃわかりやすい→ • めっちゃわかりやすい→ • 「ヘッジのgは，2群間を比較 し、2群のどちらも統制群では ないときに使います。一方， グラスのデルタは2群間の比較 であっても統制群があり，そ の群からどの程度異なるかを 調べるときに用い，…」(印南, 2012, p. 229)
- 37.
- 38. In’nami Koizumi(2009) • When multiple effect sizes were available in a single study, a weighted mean of the means was calculated, along with a weighted mean of the SDs, … Thus, each study contributed a single effect size. This weighted-average procedure for means and SDs is widely used to reduce the bias caused by dependency between the effect sizes in one study. … However, this procedure might mix up some potentially important variables that the primary researcher independently investigated; therefore, information on moderator variables could be lost. (p. 229-230)
- 39. In’nami Koizumi(2009) • 「研究ごとに1つの効果量 • 各研究の効果量間の非独 立性によるバイアスを減 らすため • 重要かもしれない変数を 混ぜちゃうので、調整変 数に関する情報が失われ るかも」(p. 229-230)
- 40. Norris Ortega(2000) • 処置のタイプ(FonF/FonFs/Explicit/Implicit)や下位分類ご とに平均効果量を算出 • 処置のタイプ、群ごとに事前・事後の変化の平均効果量 • 処置の長さ(brief/short/medium/long)ごとの平均効果量 • 遅延事後の平均効果量 • 従属変数のタイプごとの平均効果量(constrained constructed response, free response, metalinguistic judgements, selected response)
- 41. Norris Ortega(2006) • 分析の単位は、効果量ではなく個別研究; 効果量はひとつに まとめるか代表（orランダムに）効果量を選択 • なんてLipsey Wilson (2001)がやいのやいの言うておりま すけども、選択肢はあるよねー: • (a) 研究ごとに一つの効果量のみ含める • (b) 各研究の全ての効果量を含めるが、慎重な記述に努め、 それ以上の（因果関係の）推測的な分析は避ける • (c) 観測値の独立性からの逸脱を処理する統計手法を用いる
- 42. Norris Ortega(2006) • (b) 各研究の全ての効果量を含めるが、慎重 な記述に努め、それ以上の（因果関係の）推 測的な分析は避ける • “Given the limitations of (a), and the technical and primary study reporting demands of (c), we would suggest that option (b) generally provides the most broadly applicable strategy for the basic interpretive demands of meta-analysis in LLLT research.” (p. 30)
- 43. Norris Ortega(2006) • (b) 各研究の全ての効果量を含めるが、慎重な 記述に努め、それ以上の（因果関係の）推測 的な分析は避ける • 「ひとつにまとめて情報失われるとか元デー タ集めるのしんどいとか考えると、言語学習・ 教育研究のメタ分析でとりま知りたいことか らすれば、(b)がまあ一番ええんちゃいます か」(p. 30)
- 44.
- 45. メタ・メタ分析 • そもそも、それをメタ分析しちゃって いいのかどうかがわからない • どのレベルで「ひとつの効果量」をだ していいのかわからない • 誰もがメタ分析を実際にやれるのかが わからない
- 46. Review Narrative Review subjective qualitative Systematic Review objective quali/quanti-tative Meta-Analysis quantitative
- 47. E.g., Jeon Yamashita (2014, p. 176) ←どういう範囲で検索し Cf. In’nami Koizumi (2010) ←どういう基準で採用し 絞り込みの所はprincipled traceableなので、間違い なくナラティブ・レビュー より客観性・再現性が高い
- 48. ナラティブ・レビューと比べての 利点がいろいろと説かれますけども… •め ry) → • 「第3に，該当分野の研究者に 連絡をとり，収集に漏れがな いかを確認します」(印南, 2012, p. 228) • 「第3に，著者に連絡をとり必 要な情報を送ってもらうこと で，研究者間のネットワーク が広がります」(印南, 2012, p. 248)
- 49.
- 50. 提案 • 著者に連絡してゲット したのか、連絡すれば ゲットできるのかどう か論文中に明記する • Or 必要な情報が記載 されていない論文は一 切分析に採用しない
- 51. さらに • 論文へのaccessibility問題 • 研究環境リッチモンドじゃな い学生・院生、研究者がやる のは大変 • 「水本の甘いワナ」問題 • langtest.jp 便利過ぎ♡ →ブラッ クボックス化 • 混合効果モデル、違うタイプ の効果量の同時使用→欲しい の♡
- 52. • 亘理が気になっているいくつかのこと •そもそも、それをメタ分析しちゃって いいのかどうかがわからない • どのレベルで「ひとつの効果量」をだ していいのかわからない • 誰もがメタ分析を実際にやれるのかが わからない LET関西支部メソドロジー研究部会 2014年度第2回研究会 in 長野 2014年9月15日 メタ・メタ分析 大切なことは全て効果量が教えてくれ…るか？ 亘理 陽一 eywatar@ipc.shizuoka.ac.jp 静岡大学 • 測定法や尺度の異なるものを一緒にしていいの？; その括りに意 味はあるか • 比較の仕方が異なるものを一緒にしていいの？; 効果量はどのレ ベルで一つにまとめるのが適切か • その論文・データ・計算過程にaccessできるの？; principled traceableがその存在意義であるならば… • References: http://bit.ly/metho201409watari