Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

教育的処遇のリスク_CELES2015

1,465 views

Published on

草薙邦広・川口勇作・田村祐(2015)「教育的処遇の成果を評価するための定量的アプローチ:『中部地区英語教育学会紀要』掲載論文を対象とした事例分析」第45回中部地区英語教育学会和歌山大会. 和歌山大学.

Published in: Education
  • Be the first to comment

教育的処遇のリスク_CELES2015

  1. 1. 教育的処遇の成果を 評価するための定量的アプローチ 『中部地区英語教育学会紀要』掲載論文を対象とした事例分析
  2. 2. 問題の所在 • 教育的処遇の成果を解釈する際に効果量 (effect size)をもちいる • しかし,教育的処遇の成果を解釈する道 具立てとしての効果量は,教育に関わる 生態学的(ecological)な観点のもとで,常に 妥当であるのか 「大きい効果量をもつ処遇が望ましいとい えるのか」
  3. 3. 結論 • 大きい効果量の値は,かならずしも教育 的処遇の望ましさを保証しない • 効果量の値と,個々人の成績の変動にお ける均質性(リスク)は独立している – 『中部地区英語教育学会紀要』掲載論文より 実証 • 定量的な方法をもちいて,より多角的な 観点から教育的処遇の結果を解釈するこ とが重要
  4. 4. 結論 • 教育的処遇に関する研究を報告する とき,または教育実践で処遇を選択 するときは,効果の大きさだけでな く,リスクも検討する必要がある
  5. 5. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  6. 6. 草薙邦広 名古屋大学大学院 日本学術振興会特別研究員 川口勇作 名古屋大学大学院 田村 祐 名古屋大学大学院
  7. 7. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  8. 8. 背景 • 統計改革(statistical reform) – 行動科学系の諸学問において,統計的仮説検 定へ過度に依存するデータ分析のあり方を見 直す運動(e.g., Kline, 2004; 大久保, 2010) – 応用言語学系では,2010年代後半以降から見 られる変化(e.g., Larson-Hall & Herrington, 2011) – 日本の外国語教育研究でも2010年ほどから (e.g., 水本・竹内, 2008)
  9. 9. 背景 • 統計改革の中身 – 有意確率至上主義批判(e.g., Kline, 2004) – 効果量報告の推奨(e.g., APA, 2009) – 信頼区間による議論の推奨(e.g., APA, 2009) – 頑健統計(e.g., Larson-Hall & Herrington, 2010) • ノンパラメトリックな手法 • ブートストラップ法 • 各種のロバスト統計量
  10. 10. 背景 • 統計改革の中身 – 有意確率至上主義批判(e.g., Kline, 2004) – 効果量報告の推奨(e.g., APA, 2009) – 信頼区間による議論の推奨(e.g., APA, 2009) – 頑健統計(e.g., Larson-Hall & Herrington, 2010) • ノンパラメトリックな手法 • ブートストラップ法 • 各種のロバスト統計量 しかしこういった新しい手法が, どれだけ教育研究に還元されているか?
  11. 11. 背景 • 効果量による教育的処遇の評価 – 標準化平均差(standardized mean difference) • Cohen’s d • Glass’ ⊿ • 測定単位に依存しない • メタ分析に使える • 標本サイズに依存しない
  12. 12. 背景 • もちろん万能には程遠い – 実務的な観点において値の解釈が困難(伊藤, 1992; 草薙, 2015) – 一部の効果量は正規性の条件下に限定され, 分布の歪みをもつデータを正しく分析できな い(e.g., 草薙, 2015, to appear) – 効果量があらわすのは,処遇がもつ情報のご く一部分に過ぎない(e.g., 草薙, 2015, to appear)
  13. 13. 背景 • 実務的・実学的観点 – 質の高いエビデンスというよりは,教育実践 に関わる不確実性下の意思決定に重心 – 教育的処遇の効果の存在を検証するというよ りは,教育的処遇を選択するメカニズムに焦 点 – 教育実践に関わる生態学的事情を積極的に取 り入れる
  14. 14. 背景 • 処遇選択(草薙, to appear) – 教育従事者が過去の情報のもとに,望ましい 教育的処遇を選択する(処遇選択) – 教育的処遇がもつ望ましさ(価値) – 教育従事者が望ましいと感じる水準(効用) • 実際は教育的処遇の結果は将来のできごとである ため,期待効用 – 大きな効果量をもつ処遇は価値が高い,強い 効用を促しうる
  15. 15. 背景 • 局所順序的効用観(ordinal utility) – 効用は連続的変数として計量可能だとは仮定 しない – ある状況下において,選択肢間の関係を想定 – 処遇と選択者がもつさまざまな要因によって 予測することができる – 最終的には,このメカニズムをあきらかにし たい
  16. 16. 背景 • 効用のありかた(草薙, 2015, to appear) – 処遇の定量的価値による効用 • 効果(中心傾向) • リスク(均質性,精度) – 処遇の定性的価値による効用 • 言語化できない手応え • 目の輝き… • 評価,FD – 選択者の特性による効用 • 教師認知的要因 – 教師ビリーフ・学習者ビリーフ… – 学術性による訴求力 – 導入・運用のコスト
  17. 17. 効果量が高い 低リスクである 手応えがあった 生徒の目が輝いていた 運用しやすい 長年の信念に適合する 基礎的研究に証拠がある
  18. 18. 背景 • 効用のありかた – 処遇の定量的価値による効用 • 効果(中心傾向) • リスク(均質性,精度) – 処遇の定性的価値による効用 • 言語化できない手応え • 目の輝き… • 評価,FD – 選択者の特性による効用 • 教師認知的要因 – 教師ビリーフ・学習者ビリーフ… – 学術性による訴求力 – 導入・運用のコスト
  19. 19. 背景 • 効用のありかた – 処遇の定量的価値による効用 • 効果(中心傾向) • リスク(均質性,精度) – 処遇の定性的価値による効用 • 言語化できない手応え • 目の輝き… • 評価,FD – 選択者の特性による効用 • 教師認知的要因 – 教師ビリーフ・学習者ビリーフ… – 学術性による訴求力 – 導入・運用のコスト 本研究の主眼!!
  20. 20. 背景 • 教育的処遇のリスク? –教育的処遇の結果における分散の小さ さ • 平均・分散モデル – 分散が小さければ,個々人における教育的処遇の結果は 期待値(平均)に近い;均質的な成果が望める – 分散が小さいほど,再現可能性が高い • 部分積率モデル(草薙, to appear) – 実際分析者がリスクとして扱うべきは下方リスクのみ
  21. 21. ⊿ = 1.00 ⊿ = 0.25 赤のほうが効果量が高い しかし,青のほうが低リスクである これを定量的な方法で評価したい
  22. 22. 母集団分布における 分散が異なると… 同一標本サイズのとき 平均の標本分布も このように異なる
  23. 23. 背景 • 分散比(草薙, 2015) –正しくは実験群と対照群,および事前 と事後における標準偏差の比(√F) –リスクをあらわす –標準化された指標であり,スケールに 依存しない
  24. 24. 背景 • 比較点c(草薙, 2015) –ある水準αにおいて推定される実験 群の最低得点が,対照群の上位 何%に相当するか –期待値調整済みリスク • ミクロ経済学におけるValue at Risk 指標と同等
  25. 25. 実験群で観測される最低 限の成績が,対照群の上 位何%に位置するか? 灰色の面積が少ないほうが 低リスク・ハイリターン
  26. 26. 背景 • 現実ではどうなのか –日本の英語教育研究において,教育的 処遇のリスクは対称性をもつか –教育的処遇のリスクは,効果の大きさ とは独立したものなのか
  27. 27. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  28. 28. 事例分析 • 対象 –『中部地区英語教育学会紀要』 –第1号(1971)から第44号 (2015) • 『あゆみ』より1604編 • 41号から44号まで160編
  29. 29. 事例分析 • データ – 対象となる条件 • 準実験計画法の異集団計画(NEGD) – 統制群および対象群がある – 群間で事前と事後テスト,または3点間以上で効果 測定をしている – 事前テスト以外の方法で両群の均質性を保証してい る • 準実験計画法の単一事例 – 少数のため除外 • 準実験計画法の異変数計画(NEVD) – 少数のため除外
  30. 30. 事例分析 • コーディング –3名の著者が分担 –標本サイズ,平均,標準偏差を記録 • 報告漏れのあるもの,整合性のとれないも のは除外 • 実験計画上不適切だと判断したものは除外 • 極端な値をとるケースを除去 – cf. 草薙・水本・竹内(2014)
  31. 31. 事例分析 • 分析 –記述統計 • 標本サイズ • 効果量(⊿) • 対数分散比(log √F) • t分布にもとづく比較点c
  32. 32. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  33. 33. 実験群ー対照群の比較
  34. 34. 分析結果 • 効果量(⊿) – 平均は⊿ = .21 – ただし絶対値では ⊿ = .71 • 分散比 – 平均 は√F = 1.12; F = 1.25 – 全体の20%は等分散性を仮定できない • 比較点 – 大半のケースが90%に満たない これは他誌の 傾向と一致 ローリスクハイリ ターンではない 処遇によってばらつき は大きくなったり小さ くなったりしうる
  35. 35. 事前ー事後の比較
  36. 36. 事例分析 効果とリスクは独立 無相関
  37. 37. 結果 • 現実ではどうなのか Q. 日本の英語教育研究において,教育的 処遇のリスクは対称性をもつか A. リスクはほぼ対称にあらわれる Q. 教育的処遇のリスクは,効果の大きさ とは独立したものなのか A. 独立したものである
  38. 38. 結果 • 効果量のみによる処遇選択 –効果量のみに依存した教育的処遇 の評価は,教育的実践に関わる観 点において十分なものとはいえな い –リスクも考慮する必要性がある
  39. 39. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  40. 40. 示唆 • 処遇がばらつきにおよぼす影響 –論文などでも明確に報告すべき • 標準偏差を落とさない • 等分散性の検定をおこなう –棄却粋を超すかチェックする • 非心F分布をもちいて分散比の信頼区 間を報告する
  41. 41. 標本サイズと 分散比を結ぶ M SD 実験群 30 5 統制群 18 3 (5×5)÷(3×3) = 2.78 分散比をもとめる
  42. 42. 示唆 • 効用の逓減と効用の非対称性 –単一の要因による効用は上昇にと もない逓減していく –教育従事者の関心は期待値を中心 として対称とは限らない • 成績の高い生徒の伸びと成績の低い 生徒の伸びは等価ではない • 集団基準準拠と目標規準準拠の間
  43. 43. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  44. 44. 結論 • 大きい効果量の値は,かならずしも教育 的処遇の望ましさを保証しない • 効果量の値と,個々人の成績の変動にお ける均質性(リスク)は独立している – 『中部地区英語教育学会紀要』掲載論文より 実証 • 定量的な方法をもちいて,より多角的な 観点から教育的処遇の結果を解釈するこ とが重要
  45. 45. 効果量が高い 低リスクである 手応えがあった 生徒の目が輝いていた 運用しやすい 長年の信念に適合する 基礎的研究に証拠がある
  46. 46. 教育的処遇の成果を 評価するための定量的アプローチ 『中部地区英語教育学会紀要』掲載論文を対象とした事例分析 草薙邦広 名古屋大学大学院 日本学術振興会特別研究員 川口勇作 名古屋大学大学院 田村 祐 名古屋大学大学院 ☆教育的処遇に関する研究を報 告するとき,または教育実践で 処遇を選択するときは,効果の 大きさだけでなく,リスクも検 討する必要がある

×