Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
教育的処遇の成果を
評価するための定量的アプローチ
『中部地区英語教育学会紀要』掲載論文を対象とした事例分析
問題の所在
• 教育的処遇の成果を解釈する際に効果量
(effect size)をもちいる
• しかし,教育的処遇の成果を解釈する道
具立てとしての効果量は,教育に関わる
生態学的(ecological)な観点のもとで,常に
妥当であるのか
「...
結論
• 大きい効果量の値は,かならずしも教育
的処遇の望ましさを保証しない
• 効果量の値と,個々人の成績の変動にお
ける均質性(リスク)は独立している
– 『中部地区英語教育学会紀要』掲載論文より
実証
• 定量的な方法をもちいて,より多角...
結論
• 教育的処遇に関する研究を報告する
とき,または教育実践で処遇を選択
するときは,効果の大きさだけでな
く,リスクも検討する必要がある
内容
• 背景
• 事例分析(中部地区英語教育学会紀要)
• 結果
• 示唆
• 結論
草薙邦広
名古屋大学大学院
日本学術振興会特別研究員
川口勇作
名古屋大学大学院
田村 祐
名古屋大学大学院
内容
• 背景
• 事例分析(中部地区英語教育学会紀要)
• 結果
• 示唆
• 結論
背景
• 統計改革(statistical reform)
– 行動科学系の諸学問において,統計的仮説検
定へ過度に依存するデータ分析のあり方を見
直す運動(e.g., Kline, 2004; 大久保, 2010)
– 応用言語学系では,20...
背景
• 統計改革の中身
– 有意確率至上主義批判(e.g., Kline, 2004)
– 効果量報告の推奨(e.g., APA, 2009)
– 信頼区間による議論の推奨(e.g., APA, 2009)
– 頑健統計(e.g., Lars...
背景
• 統計改革の中身
– 有意確率至上主義批判(e.g., Kline, 2004)
– 効果量報告の推奨(e.g., APA, 2009)
– 信頼区間による議論の推奨(e.g., APA, 2009)
– 頑健統計(e.g., Lars...
背景
• 効果量による教育的処遇の評価
– 標準化平均差(standardized mean difference)
• Cohen’s d
• Glass’ ⊿
• 測定単位に依存しない
• メタ分析に使える
• 標本サイズに依存しない
背景
• もちろん万能には程遠い
– 実務的な観点において値の解釈が困難(伊藤,
1992; 草薙, 2015)
– 一部の効果量は正規性の条件下に限定され,
分布の歪みをもつデータを正しく分析できな
い(e.g., 草薙, 2015, to ...
背景
• 実務的・実学的観点
– 質の高いエビデンスというよりは,教育実践
に関わる不確実性下の意思決定に重心
– 教育的処遇の効果の存在を検証するというよ
りは,教育的処遇を選択するメカニズムに焦
点
– 教育実践に関わる生態学的事情を積極的...
背景
• 処遇選択(草薙, to appear)
– 教育従事者が過去の情報のもとに,望ましい
教育的処遇を選択する(処遇選択)
– 教育的処遇がもつ望ましさ(価値)
– 教育従事者が望ましいと感じる水準(効用)
• 実際は教育的処遇の結果は将...
背景
• 局所順序的効用観(ordinal utility)
– 効用は連続的変数として計量可能だとは仮定
しない
– ある状況下において,選択肢間の関係を想定
– 処遇と選択者がもつさまざまな要因によって
予測することができる
– 最終的には...
背景
• 効用のありかた(草薙, 2015, to appear)
– 処遇の定量的価値による効用
• 効果(中心傾向)
• リスク(均質性,精度)
– 処遇の定性的価値による効用
• 言語化できない手応え
• 目の輝き…
• 評価,FD
– ...
効果量が高い
低リスクである
手応えがあった
生徒の目が輝いていた
運用しやすい
長年の信念に適合する
基礎的研究に証拠がある
背景
• 効用のありかた
– 処遇の定量的価値による効用
• 効果(中心傾向)
• リスク(均質性,精度)
– 処遇の定性的価値による効用
• 言語化できない手応え
• 目の輝き…
• 評価,FD
– 選択者の特性による効用
• 教師認知的要因...
背景
• 効用のありかた
– 処遇の定量的価値による効用
• 効果(中心傾向)
• リスク(均質性,精度)
– 処遇の定性的価値による効用
• 言語化できない手応え
• 目の輝き…
• 評価,FD
– 選択者の特性による効用
• 教師認知的要因...
背景
• 教育的処遇のリスク?
–教育的処遇の結果における分散の小さ
さ
• 平均・分散モデル
– 分散が小さければ,個々人における教育的処遇の結果は
期待値(平均)に近い;均質的な成果が望める
– 分散が小さいほど,再現可能性が高い
• 部分...
⊿ = 1.00
⊿ = 0.25
赤のほうが効果量が高い
しかし,青のほうが低リスクである
これを定量的な方法で評価したい
母集団分布における
分散が異なると…
同一標本サイズのとき
平均の標本分布も
このように異なる
背景
• 分散比(草薙, 2015)
–正しくは実験群と対照群,および事前
と事後における標準偏差の比(√F)
–リスクをあらわす
–標準化された指標であり,スケールに
依存しない
背景
• 比較点c(草薙, 2015)
–ある水準αにおいて推定される実験
群の最低得点が,対照群の上位
何%に相当するか
–期待値調整済みリスク
• ミクロ経済学におけるValue at Risk
指標と同等
実験群で観測される最低
限の成績が,対照群の上
位何%に位置するか?
灰色の面積が少ないほうが
低リスク・ハイリターン
背景
• 現実ではどうなのか
–日本の英語教育研究において,教育的
処遇のリスクは対称性をもつか
–教育的処遇のリスクは,効果の大きさ
とは独立したものなのか
内容
• 背景
• 事例分析(中部地区英語教育学会紀要)
• 結果
• 示唆
• 結論
事例分析
• 対象
–『中部地区英語教育学会紀要』
–第1号(1971)から第44号
(2015)
• 『あゆみ』より1604編
• 41号から44号まで160編
事例分析
• データ
– 対象となる条件
• 準実験計画法の異集団計画(NEGD)
– 統制群および対象群がある
– 群間で事前と事後テスト,または3点間以上で効果
測定をしている
– 事前テスト以外の方法で両群の均質性を保証してい
る
• 準...
事例分析
• コーディング
–3名の著者が分担
–標本サイズ,平均,標準偏差を記録
• 報告漏れのあるもの,整合性のとれないも
のは除外
• 実験計画上不適切だと判断したものは除外
• 極端な値をとるケースを除去
– cf. 草薙・水本・竹内(...
事例分析
• 分析
–記述統計
• 標本サイズ
• 効果量(⊿)
• 対数分散比(log √F)
• t分布にもとづく比較点c
内容
• 背景
• 事例分析(中部地区英語教育学会紀要)
• 結果
• 示唆
• 結論
実験群ー対照群の比較
分析結果
• 効果量(⊿)
– 平均は⊿ = .21
– ただし絶対値では ⊿ = .71
• 分散比
– 平均 は√F = 1.12; F = 1.25
– 全体の20%は等分散性を仮定できない
• 比較点
– 大半のケースが90%に満たない...
事前ー事後の比較
事例分析
効果とリスクは独立
無相関
結果
• 現実ではどうなのか
Q. 日本の英語教育研究において,教育的
処遇のリスクは対称性をもつか
A. リスクはほぼ対称にあらわれる
Q. 教育的処遇のリスクは,効果の大きさ
とは独立したものなのか
A. 独立したものである
結果
• 効果量のみによる処遇選択
–効果量のみに依存した教育的処遇
の評価は,教育的実践に関わる観
点において十分なものとはいえな
い
–リスクも考慮する必要性がある
内容
• 背景
• 事例分析(中部地区英語教育学会紀要)
• 結果
• 示唆
• 結論
示唆
• 処遇がばらつきにおよぼす影響
–論文などでも明確に報告すべき
• 標準偏差を落とさない
• 等分散性の検定をおこなう
–棄却粋を超すかチェックする
• 非心F分布をもちいて分散比の信頼区
間を報告する
標本サイズと
分散比を結ぶ
M SD
実験群 30 5
統制群 18 3
(5×5)÷(3×3) = 2.78
分散比をもとめる
示唆
• 効用の逓減と効用の非対称性
–単一の要因による効用は上昇にと
もない逓減していく
–教育従事者の関心は期待値を中心
として対称とは限らない
• 成績の高い生徒の伸びと成績の低い
生徒の伸びは等価ではない
• 集団基準準拠と目標規準準拠...
内容
• 背景
• 事例分析(中部地区英語教育学会紀要)
• 結果
• 示唆
• 結論
結論
• 大きい効果量の値は,かならずしも教育
的処遇の望ましさを保証しない
• 効果量の値と,個々人の成績の変動にお
ける均質性(リスク)は独立している
– 『中部地区英語教育学会紀要』掲載論文より
実証
• 定量的な方法をもちいて,より多角...
効果量が高い
低リスクである
手応えがあった
生徒の目が輝いていた
運用しやすい
長年の信念に適合する
基礎的研究に証拠がある
教育的処遇の成果を
評価するための定量的アプローチ
『中部地区英語教育学会紀要』掲載論文を対象とした事例分析
草薙邦広
名古屋大学大学院
日本学術振興会特別研究員
川口勇作
名古屋大学大学院
田村 祐
名古屋大学大学院
☆教育的処遇に関する研究...
教育的処遇のリスク_CELES2015
Upcoming SlideShare
Loading in …5
×

教育的処遇のリスク_CELES2015

1,418 views

Published on

草薙邦広・川口勇作・田村祐(2015)「教育的処遇の成果を評価するための定量的アプローチ:『中部地区英語教育学会紀要』掲載論文を対象とした事例分析」第45回中部地区英語教育学会和歌山大会. 和歌山大学.

Published in: Education
  • Be the first to comment

教育的処遇のリスク_CELES2015

  1. 1. 教育的処遇の成果を 評価するための定量的アプローチ 『中部地区英語教育学会紀要』掲載論文を対象とした事例分析
  2. 2. 問題の所在 • 教育的処遇の成果を解釈する際に効果量 (effect size)をもちいる • しかし,教育的処遇の成果を解釈する道 具立てとしての効果量は,教育に関わる 生態学的(ecological)な観点のもとで,常に 妥当であるのか 「大きい効果量をもつ処遇が望ましいとい えるのか」
  3. 3. 結論 • 大きい効果量の値は,かならずしも教育 的処遇の望ましさを保証しない • 効果量の値と,個々人の成績の変動にお ける均質性(リスク)は独立している – 『中部地区英語教育学会紀要』掲載論文より 実証 • 定量的な方法をもちいて,より多角的な 観点から教育的処遇の結果を解釈するこ とが重要
  4. 4. 結論 • 教育的処遇に関する研究を報告する とき,または教育実践で処遇を選択 するときは,効果の大きさだけでな く,リスクも検討する必要がある
  5. 5. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  6. 6. 草薙邦広 名古屋大学大学院 日本学術振興会特別研究員 川口勇作 名古屋大学大学院 田村 祐 名古屋大学大学院
  7. 7. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  8. 8. 背景 • 統計改革(statistical reform) – 行動科学系の諸学問において,統計的仮説検 定へ過度に依存するデータ分析のあり方を見 直す運動(e.g., Kline, 2004; 大久保, 2010) – 応用言語学系では,2010年代後半以降から見 られる変化(e.g., Larson-Hall & Herrington, 2011) – 日本の外国語教育研究でも2010年ほどから (e.g., 水本・竹内, 2008)
  9. 9. 背景 • 統計改革の中身 – 有意確率至上主義批判(e.g., Kline, 2004) – 効果量報告の推奨(e.g., APA, 2009) – 信頼区間による議論の推奨(e.g., APA, 2009) – 頑健統計(e.g., Larson-Hall & Herrington, 2010) • ノンパラメトリックな手法 • ブートストラップ法 • 各種のロバスト統計量
  10. 10. 背景 • 統計改革の中身 – 有意確率至上主義批判(e.g., Kline, 2004) – 効果量報告の推奨(e.g., APA, 2009) – 信頼区間による議論の推奨(e.g., APA, 2009) – 頑健統計(e.g., Larson-Hall & Herrington, 2010) • ノンパラメトリックな手法 • ブートストラップ法 • 各種のロバスト統計量 しかしこういった新しい手法が, どれだけ教育研究に還元されているか?
  11. 11. 背景 • 効果量による教育的処遇の評価 – 標準化平均差(standardized mean difference) • Cohen’s d • Glass’ ⊿ • 測定単位に依存しない • メタ分析に使える • 標本サイズに依存しない
  12. 12. 背景 • もちろん万能には程遠い – 実務的な観点において値の解釈が困難(伊藤, 1992; 草薙, 2015) – 一部の効果量は正規性の条件下に限定され, 分布の歪みをもつデータを正しく分析できな い(e.g., 草薙, 2015, to appear) – 効果量があらわすのは,処遇がもつ情報のご く一部分に過ぎない(e.g., 草薙, 2015, to appear)
  13. 13. 背景 • 実務的・実学的観点 – 質の高いエビデンスというよりは,教育実践 に関わる不確実性下の意思決定に重心 – 教育的処遇の効果の存在を検証するというよ りは,教育的処遇を選択するメカニズムに焦 点 – 教育実践に関わる生態学的事情を積極的に取 り入れる
  14. 14. 背景 • 処遇選択(草薙, to appear) – 教育従事者が過去の情報のもとに,望ましい 教育的処遇を選択する(処遇選択) – 教育的処遇がもつ望ましさ(価値) – 教育従事者が望ましいと感じる水準(効用) • 実際は教育的処遇の結果は将来のできごとである ため,期待効用 – 大きな効果量をもつ処遇は価値が高い,強い 効用を促しうる
  15. 15. 背景 • 局所順序的効用観(ordinal utility) – 効用は連続的変数として計量可能だとは仮定 しない – ある状況下において,選択肢間の関係を想定 – 処遇と選択者がもつさまざまな要因によって 予測することができる – 最終的には,このメカニズムをあきらかにし たい
  16. 16. 背景 • 効用のありかた(草薙, 2015, to appear) – 処遇の定量的価値による効用 • 効果(中心傾向) • リスク(均質性,精度) – 処遇の定性的価値による効用 • 言語化できない手応え • 目の輝き… • 評価,FD – 選択者の特性による効用 • 教師認知的要因 – 教師ビリーフ・学習者ビリーフ… – 学術性による訴求力 – 導入・運用のコスト
  17. 17. 効果量が高い 低リスクである 手応えがあった 生徒の目が輝いていた 運用しやすい 長年の信念に適合する 基礎的研究に証拠がある
  18. 18. 背景 • 効用のありかた – 処遇の定量的価値による効用 • 効果(中心傾向) • リスク(均質性,精度) – 処遇の定性的価値による効用 • 言語化できない手応え • 目の輝き… • 評価,FD – 選択者の特性による効用 • 教師認知的要因 – 教師ビリーフ・学習者ビリーフ… – 学術性による訴求力 – 導入・運用のコスト
  19. 19. 背景 • 効用のありかた – 処遇の定量的価値による効用 • 効果(中心傾向) • リスク(均質性,精度) – 処遇の定性的価値による効用 • 言語化できない手応え • 目の輝き… • 評価,FD – 選択者の特性による効用 • 教師認知的要因 – 教師ビリーフ・学習者ビリーフ… – 学術性による訴求力 – 導入・運用のコスト 本研究の主眼!!
  20. 20. 背景 • 教育的処遇のリスク? –教育的処遇の結果における分散の小さ さ • 平均・分散モデル – 分散が小さければ,個々人における教育的処遇の結果は 期待値(平均)に近い;均質的な成果が望める – 分散が小さいほど,再現可能性が高い • 部分積率モデル(草薙, to appear) – 実際分析者がリスクとして扱うべきは下方リスクのみ
  21. 21. ⊿ = 1.00 ⊿ = 0.25 赤のほうが効果量が高い しかし,青のほうが低リスクである これを定量的な方法で評価したい
  22. 22. 母集団分布における 分散が異なると… 同一標本サイズのとき 平均の標本分布も このように異なる
  23. 23. 背景 • 分散比(草薙, 2015) –正しくは実験群と対照群,および事前 と事後における標準偏差の比(√F) –リスクをあらわす –標準化された指標であり,スケールに 依存しない
  24. 24. 背景 • 比較点c(草薙, 2015) –ある水準αにおいて推定される実験 群の最低得点が,対照群の上位 何%に相当するか –期待値調整済みリスク • ミクロ経済学におけるValue at Risk 指標と同等
  25. 25. 実験群で観測される最低 限の成績が,対照群の上 位何%に位置するか? 灰色の面積が少ないほうが 低リスク・ハイリターン
  26. 26. 背景 • 現実ではどうなのか –日本の英語教育研究において,教育的 処遇のリスクは対称性をもつか –教育的処遇のリスクは,効果の大きさ とは独立したものなのか
  27. 27. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  28. 28. 事例分析 • 対象 –『中部地区英語教育学会紀要』 –第1号(1971)から第44号 (2015) • 『あゆみ』より1604編 • 41号から44号まで160編
  29. 29. 事例分析 • データ – 対象となる条件 • 準実験計画法の異集団計画(NEGD) – 統制群および対象群がある – 群間で事前と事後テスト,または3点間以上で効果 測定をしている – 事前テスト以外の方法で両群の均質性を保証してい る • 準実験計画法の単一事例 – 少数のため除外 • 準実験計画法の異変数計画(NEVD) – 少数のため除外
  30. 30. 事例分析 • コーディング –3名の著者が分担 –標本サイズ,平均,標準偏差を記録 • 報告漏れのあるもの,整合性のとれないも のは除外 • 実験計画上不適切だと判断したものは除外 • 極端な値をとるケースを除去 – cf. 草薙・水本・竹内(2014)
  31. 31. 事例分析 • 分析 –記述統計 • 標本サイズ • 効果量(⊿) • 対数分散比(log √F) • t分布にもとづく比較点c
  32. 32. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  33. 33. 実験群ー対照群の比較
  34. 34. 分析結果 • 効果量(⊿) – 平均は⊿ = .21 – ただし絶対値では ⊿ = .71 • 分散比 – 平均 は√F = 1.12; F = 1.25 – 全体の20%は等分散性を仮定できない • 比較点 – 大半のケースが90%に満たない これは他誌の 傾向と一致 ローリスクハイリ ターンではない 処遇によってばらつき は大きくなったり小さ くなったりしうる
  35. 35. 事前ー事後の比較
  36. 36. 事例分析 効果とリスクは独立 無相関
  37. 37. 結果 • 現実ではどうなのか Q. 日本の英語教育研究において,教育的 処遇のリスクは対称性をもつか A. リスクはほぼ対称にあらわれる Q. 教育的処遇のリスクは,効果の大きさ とは独立したものなのか A. 独立したものである
  38. 38. 結果 • 効果量のみによる処遇選択 –効果量のみに依存した教育的処遇 の評価は,教育的実践に関わる観 点において十分なものとはいえな い –リスクも考慮する必要性がある
  39. 39. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  40. 40. 示唆 • 処遇がばらつきにおよぼす影響 –論文などでも明確に報告すべき • 標準偏差を落とさない • 等分散性の検定をおこなう –棄却粋を超すかチェックする • 非心F分布をもちいて分散比の信頼区 間を報告する
  41. 41. 標本サイズと 分散比を結ぶ M SD 実験群 30 5 統制群 18 3 (5×5)÷(3×3) = 2.78 分散比をもとめる
  42. 42. 示唆 • 効用の逓減と効用の非対称性 –単一の要因による効用は上昇にと もない逓減していく –教育従事者の関心は期待値を中心 として対称とは限らない • 成績の高い生徒の伸びと成績の低い 生徒の伸びは等価ではない • 集団基準準拠と目標規準準拠の間
  43. 43. 内容 • 背景 • 事例分析(中部地区英語教育学会紀要) • 結果 • 示唆 • 結論
  44. 44. 結論 • 大きい効果量の値は,かならずしも教育 的処遇の望ましさを保証しない • 効果量の値と,個々人の成績の変動にお ける均質性(リスク)は独立している – 『中部地区英語教育学会紀要』掲載論文より 実証 • 定量的な方法をもちいて,より多角的な 観点から教育的処遇の結果を解釈するこ とが重要
  45. 45. 効果量が高い 低リスクである 手応えがあった 生徒の目が輝いていた 運用しやすい 長年の信念に適合する 基礎的研究に証拠がある
  46. 46. 教育的処遇の成果を 評価するための定量的アプローチ 『中部地区英語教育学会紀要』掲載論文を対象とした事例分析 草薙邦広 名古屋大学大学院 日本学術振興会特別研究員 川口勇作 名古屋大学大学院 田村 祐 名古屋大学大学院 ☆教育的処遇に関する研究を報 告するとき,または教育実践で 処遇を選択するときは,効果の 大きさだけでなく,リスクも検 討する必要がある

×