Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

草薙 2013 メソ研あきた_直交表

2,169 views

Published on

草薙邦広 (2013) 「外国語教育研究と直交表を用いた実験計画」 外国語教育メディア学会関西支部メソドロジー研究部会2013年度第二回研究会. 大学コンソーシアムあきた.

Published in: Education
  • Be the first to comment

草薙 2013 メソ研あきた_直交表

  1. 1. 外国語教育研究と 直交表を用いた 実験計画
  2. 2. 概要 • • • • 外国教育研究における背景 直交表を用いた分析 研究事例紹介(川口・草薙,発表予定) まとめ
  3. 3. 草薙邦広 kusanagi@nagoya-u.jp @メソ研あきた 2013 2013/10/26
  4. 4. 外国語教育研究における 背景
  5. 5. 外国語教育研究における背景 ケーススタディ 教師の ナラティヴ 直感 教育 実践 日々の データの蓄積 テスティング 質問紙調査 指導・干渉型実験 アクション リサーチ 現実的 観察的 生理学的実験 実験 心理言語学的実験 理想的 干渉的 数理的理論
  6. 6. 外国語教育研究における背景 ケーススタディ 教師の ナラティヴ 直感 教育 実践 日々の データの蓄積 テスティング 質問紙調査 指導・干渉型実験 アクション リサーチ 現実的 観察的 生理学的実験 実験 心理言語学的実験 理想的 干渉的 数理的理論
  7. 7. 外国語教育研究における背景 • 学習者自体を対象にする実験的研究 – 標本サイズが得にくい →検定力が低く統計的に望ましくない →微小の効果量を検出できない – 干渉による不公正さ →望ましい実験のデザインが無理な場合もある – 厳密な実験では負担が多すぎる →データ自体が限られる
  8. 8. 外国語教育研究における背景 • 理想的実験環境を目指すあまり… – 多元配置分散分析 • • • • 一般に三要因交互作用があることは少ない 実際に存在しそうにないものまで取り上げる その為に実験の負担は増え検定力は下がる 多水準も場合によっては解釈が困難
  9. 9. 外国語教育研究における背景 • といっても 普通は興味のある要因は多数…
  10. 10. • 例:第二言語の文処理 – 個別言語的要因 • 領域:統語・形態・意味・音韻・語用論… • 特性:構造・卓立性・典型性・頻度・規則性… • 項目:∞ – 言語間要因 • 類型論的相違 – 言語観察における適合・不適合性(congruency) – 規則上の包含性(例:部分集合の原理) – 学習者要因 • 先天的要因:年齢・学習開始年齢・環境・適性… • 後天的要因:熟達度・動機づけ・信念… – 課題要因 • 課題のモード:産出・受容 • 課題の即時性:オフライン・オンライン • 課題:∞ – 処遇の要因 • 干渉的要因:∞
  11. 11. • 例:第二言語の文処理 – 個別言語的要因 • 領域:統語・形態・意味・音韻・語用論… • 特性:構造・卓立性・典型性・頻度・規則性… • 項目:∞ ひええ – 言語間要因 • 類型論的相違 – 言語観察における適合・不適合性(congruency) – 規則上の包含性(例:部分集合の原理) – 学習者要因 • 先天的要因:年齢・学習開始年齢・環境・適性… • 後天的要因:熟達度・動機づけ・信念… – 課題要因 • 課題のモード:産出・受容 • 課題の即時性:オフライン・オンライン • 課題:∞ – 処遇の要因 • 干渉的要因:∞
  12. 12. 外国語教育研究における背景 • 要因・モデルは極めて複雑 • 一方,それを表現し得るリッチなデータは得難い • でもそもそも,教育研究における一般化の難しさを考えれば,そん なに単発実験の精度が重要…?メタ分析は?追行研究は? • 多要因の高度で複雑な交互作用による知見が理論的に必須…? • 寧ろ記述的で,広範囲に渡る「当たり前の教育データ」の記述とそ の共有こそが,精緻な知見に対して併存する形で望ましくもある →実験計画の効率化
  13. 13. 直交表を用いた分析 • 直交表? – 直交表自体は直交性(後述)のある配置を整 理したもの – 実験計画法のひとつとみなせる – 実験の「一部実施法」 • Cf. ラテン方格法,グレコ・ラテン方格法 • Cf. 品質工学(タグチメソッド)
  14. 14. 直交表を用いた分析 • 直交性(orthogonality)? – 説明変数同士のベクトルの内積が0 • どの二列でも組み合わせが同回数出現 – 通常の分散分析(全部実施・要因実験)でも 直交性は保たれている • 直交性は分散分析の要件の一つ 1a2a 1a2b 1a2a 2b2b 要因1 頻度 高い 高い 高い 低い 要因2 規則性 規則的 不規則 規則的 不規則 1a2a 1a2b 2a2a 2b2b 要因1 頻度 高い 高い 低い 低い 要因2 規則性 規則的 不規則 規則的 不規則
  15. 15. 直交表を用いた分析 • うん!直交性! 2要因2水準 要因実験 1 1 2 2 1 2 1 2 3要因2水準 要因実験 1 1 1 1 2 2 2 2 1 1 2 2 1 1 2 2 1 2 1 2 1 2 1 2 4要因2水準 要因実験 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 1 1 1 1 2 2 2 2 1 1 1 1 2 2 2 2 1 1 2 2 1 1 2 2 1 1 2 2 1 1 2 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2
  16. 16. 直交表を用いた分析 • 直交表を用いた計画 – 直交性を保ったまま,実験を一部実施する →実験数が大幅に削減できる 例:交互作用を無視し,4要因の主効果のみ 4要因2水準 要因実験 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 1 1 1 1 2 2 2 2 1 1 1 1 2 2 2 2 1 1 2 2 1 1 2 2 1 1 2 2 1 1 2 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 1 2 L8(27)直交表を 用いた計画例 1 1 1 1 2 2 2 2 1 1 2 2 1 1 2 2 1 2 1 2 1 2 1 2 1 2 2 1 2 1 1 2
  17. 17. 直交表を用いた分析 • 様々な直交表 – 2水準系,3水準系:行列の大きさ • L8(27)直交表:8行,7列,2水準 • L9(34)直交表:9行,4列,3水準 L8(27)直交表 1 2 3 4 5 6 7 8 1 1 1 1 1 2 2 2 2 2 1 1 2 2 1 1 2 2 3 1 1 2 2 2 2 1 1 4 1 2 1 2 1 2 1 2 5 1 2 1 2 2 1 2 1 6 1 2 2 1 1 2 2 1 7 1 2 2 1 2 1 1 2
  18. 18. 直交表を用いた分析 • 相関を出すと… L8(27)直交表 1 2 3 4 5 6 7 8 1 1 1 1 1 2 2 2 2 2 1 1 2 2 1 1 2 2 3 1 1 2 2 2 2 1 1 4 1 2 1 2 1 2 1 2 5 1 2 1 2 2 1 2 1 相関行列 6 1 2 2 1 1 2 2 1 7 1 2 2 1 2 1 1 2 2 3 4 5 6 7 8 1 1 0 0 0 0 0 0 2 0 1 0 0 0 0 0 3 0 0 1 0 0 0 0 4 0 0 0 1 0 0 0 5 0 0 0 0 1 0 0 6 0 0 0 0 0 1 0 7 0 0 0 0 0 0 1
  19. 19. 直交表を用いた分析 • 実験因子の割り付け – 直交表の「列」に対して因子を割り付ける – 「線点図」を用いると便利 • 点に主効果,線に交互作用を付けられる L8(27)直交表の線点図 1 3 2 7 5 6 4 L8(27)直交表への割り付け例 1 2 3 4 5 6 7 8 頻度 高い 高い 高い 高い 低い 低い 低い 低い 語長 長い 長い 短い 短い 長い 長い 短い 短い 3 1 1 2 2 2 2 1 1 親密度 高い 低い 高い 低い 高い 低い 高い 低い 5 1 2 1 2 2 1 2 1 6 1 2 2 1 1 2 2 1 心像性 高い 低い 低い 高い 低い 高い 高い 低い
  20. 20. 直交表を用いた分析 • 分散の分割 – 通常通り平均,因子の効果,誤差に分解 • • • • 全変動=平均変動+因子の効果+残差 「列毎に」集計する 使っていない列は誤差へ 「プーリング」 – 交互作用の小さいものを誤差項に回し再分析する – 詳しくは省略 – 通常と同様に分散分析をする
  21. 21. 直交表を用いた分析 • 結果の図示と区間推定 800 700 反応時間(ms) 600 500 400 頻度 300 語長 200 親密度 100 心像性 0 高い 低い 長い 短い 高い 水準 低い 高い 低い
  22. 22. 直交表を用いた分析 • ポイント – 実験計画の効率化 • 4要因2水準の要因実験→8つの実験(半分!) • 4要因3水準の要因実験→9つの実験(1/9!) – 最適水準の探索と区間推定 • 交互作用がないのなら,単純に種々の主効果の水 準の組み合わせがそうだと「予測」できる • 今後の実験の数量的足がかりになる – しかし,あくまでも探索的で,確証的ではな い
  23. 23. 直交表を用いた分析 • 特性要因図の活用 http://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:I shikawa_Fishbone_Diagram.svg
  24. 24. 直交表を用いた分析 • 区間推定,検定力分析との効果的併用 – 母平均,母分散の信頼区間 • 再標本化法の活用も – 明日への分析 • 直交表を用いた実験による所与の効果量と,目標 とする検定力,危険率→必要標本サイズ – 母分散の推定→目標とする標準誤差に対応す る標本サイズの目算
  25. 25. 直交表を用いた分析 • 教材・ソフトウェア・テスト作成 – 品質工学ではバグの検出に絶大な効果 – 多特性の探索的調査など – 少ない予備実験で済む L9(34)直交表 1 1 1 2 2 2 3 3 3 1 2 3 1 2 3 1 2 3 1 2 3 2 3 1 3 1 2 1 2 3 3 1 2 2 3 1 時間制限 項目 形式 負荷 強 語彙 2択 なし 強 文法 3択 ノイズ 強 コロケーション 記述 書字混合 中 語彙 3択 書字混合 中 文法 記述 なし 中 コロケーション 2択 ノイズ 弱 語彙 記述 ノイズ 弱 文法 2択 書字混合 弱 コロケーション 3択 なし
  26. 26. 研究事例 紹介
  27. 27. 研究事例紹介 • 川口・草薙(発表予定,LET中部秋) – 語彙の即時的運用能力(lexical facility)を 様々な語彙特性効果に対する相対的独立性か ら測定してみるという試み • 例:頻度効果や語長効果は母語話者のそれよりも L2の反応時間に強く影響する • ただ「反応時間が短くなる」ということが大事? • もっと質的な語彙アクセスの変化を一変数として 数的に表現したい!
  28. 28. 研究事例紹介 • 概要 – 4種の語彙特性,それぞれ2水準における反応時 間と正答率(LDT)を,直交表を使用することで 効率的に測定する • • • • 頻度(高・低) 語長(長・短) 親密度(高・低) 心像性(高・低) – L8(27)直交表に割りつけた計画を3セット – 対象項目24項目(擬似語24語)で各水準12ずつ のMとSDが取れる
  29. 29. 研究事例紹介 • 多角的アプローチによる即時的運用能力 の数値化 – 各要因における弁別力d’ (信号検出理論) – 各要因・水準毎におけるRTとCVRT – 各要因の水準間における反応時間の標準化平 均差(Cohen’s d):語彙特性効果からの独 立性 – 全体の課題における正答率とRT – デモグラフィック情報 • 熟達度,各技能自己評定値
  30. 30. 研究事例紹介 • 主眼 – 熟達度が変動することで,それぞれの指標に どのように影響するか – 今後,語彙サイズ,読解力,発表語彙サイ ズ,聴解力などを視野に入れた構成技能アプ ローチを!
  31. 31. 研究事例紹介 • 直交表を用いたソフトウェアとして – 多様な語彙特性の効果を効率的に調査し,一 気に測定できる – 最終的には,高度なUIの実装,拡張性の実 現,項目の精査を経て,語彙アクセスのベン チマークソフトとして開発予定!! (2015年目標)
  32. 32. まとめ • 直交表を用いた実験計画 – 実験の効率化に効果 – 探索的な用法 – 検定力分析や区間推定との併用 – 今後,教材・テスト・ソフトウェア開発など の応用にも!
  33. 33. 参考になる文献

×