Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

研究報告入門 第86回LET中部ワークショップ

727 views

Published on

草薙邦広 (2015) 「研究報告入門:研究結果をどのように報告するか」. 外国語教育メディア学会中部支部秋季研究大会. 金沢学院大学. (ワークショップ)

キーワード:統計改革,エビデンス,記述統計,可視化

Published in: Education
  • Be the first to comment

研究報告入門 第86回LET中部ワークショップ

  1. 1. 研究報告入門研究報告入門 研究成果をどのように報告するか LET中部 第86回秋季支部研究大会LET中部 第86回秋季支部研究大会 2015/11/7
  2. 2. コンテンツコンテンツ 1. 外国語教育データ分析の今 2. 授業実践を報告しよう2. 授業実践を報告しよう – PICO!なにがなんでもPICOなのだ!– PICO!なにがなんでもPICOなのだ! – 記述統計と可視化 – 効果量ってなに?– 効果量ってなに? – 分析ツールの紹介 – データと過程の透明化– データと過程の透明化 – 気をつけなればならないこと– 気をつけなればならないこと 3. 新しい時代に向けて
  3. 3. データ分析の今データ分析の今 • 外国語教育データ分析のこれまで – 〜1970年代:「前量化時代」– 〜1970年代:「前量化時代」 – 1980年代:「学問化時代」– 1980年代:「学問化時代」 – 1990年代:「仮説検定時代」– 1990年代:「仮説検定時代」 – 2000年代:「多変量時代」 2010年〜:「統計改⾰期」 2000年代:「多変量時代」 – 2010年〜:「統計改⾰期」
  4. 4. データ分析の今データ分析の今 • 外国語教育データ分析のこれまで – 〜1970年代:「前量化時代」– 〜1970年代:「前量化時代」 – 1980年代:「学問化時代」– 1980年代:「学問化時代」 – 1990年代:「仮説検定時代」– 1990年代:「仮説検定時代」 – 2000年代:「多変量時代」 2010年〜:「統計改⾰期」 2000年代:「多変量時代」 – 2010年〜:「統計改⾰期」
  5. 5. データ分析の今データ分析の今 • アバウトな整理 時代 主な方針 背景時代 主な方針 背景 〜1970 前量化 教育技術と教育内容に関する知⾒の 蓄積と伝達 英文学・英文法研 究・辞書学蓄積と伝達 究・辞書学 1970〜1990 学問化 漠然と「科学的」であること:観測 されること=データに基づくこと 教師教育,構造主義 言語学(→LL),生されること=データに基づくこと 言語学(→LL),生 成文法 1990〜2000 仮説検定 統計的有意性が科学性を支える,知 ⾒の⼀般化 90年代に留学を経験 した若⼿によるSLA 1990〜2000 仮説検定 統計的有意性が科学性を支える,知 ⾒の⼀般化 90年代に留学を経験 した若⼿によるSLA の輸入 2000〜2010 多変量 より確かな「⼀般化」,構成概念と SLAの認知科学化,2000〜2010 多変量 より確かな「⼀般化」,構成概念と その妥当性 SLAの認知科学化, ⼼理統計の普及 2010年〜 統計改⾰ 仮説検定からの脱却,研究インフラ の向上による⾼度化,エビデンス 人文社会学全体の動 き,経済学の向上による⾼度化,エビデンス き,経済学
  6. 6. ま はデータま ず はデータ を 妥当性をま ず はデータ を 取らないと! 妥当性を 考えないと! ~1970 1980 1990 2000 2010 検定を しないと! 技術や知⾒を 残さないと! しないと! もっと質を 高めないと! 残さないと!
  7. 7. データ分析の今データ分析の今 • 統計改革(statistical reform) – 従来の統計的仮説検定に依存したデータ分析か– 従来の統計的仮説検定に依存したデータ分析か らの脱却 – 効果量 の重視– 効果量(effect size)の重視 • 実験的操作などがおよぼす差や関連の強さそれ自体• 実験的操作などがおよぼす差や関連の強さそれ自体 – 信頼区間(confidence interval)の重視 • 推測した値の誤差もちゃんと考えよう• 推測した値の誤差もちゃんと考えよう – 検定⼒(statistical power) • デザインの適切さを考えよう• デザインの適切さを考えよう • これまでの研究デザインは理想的ではないという知⾒
  8. 8. データ分析の今データ分析の今 • メタ分析(meta-analysis) – さまざまな研究の成果を体系的,そし– さまざまな研究の成果を体系的,そし て量的に統合することて量的に統合すること – 現在,第二言語習得研究やCALL研究で 隆盛 現在,第二言語習得研究やCALL研究で 隆盛
  9. 9. 統計改革統計改革 だけじゃなかった! スパース モデリング 人工知能 可視化 混合効果モデル エビデンス 可視化 ベイズ エビデンス 教育社会学・教育経済学 ベイズ 統計学 ロバスト 統計 ビッグ 多変量解析の 統計 ビッグ データ 多変量解析の ⾼度化 データ
  10. 10. データ分析技術発達のイメージ 急激にコンピューターの ⼒任せになっていく(?)⼒任せになっていく(?) 研究インフラが整い,さらに 学際的・外発的に発展した 欧⽶に留学したり, 頑張って勉強して普及させた 1970 1980 1990 2000 2010 2020 2030
  11. 11. エビデンスエビデンス 教育社会学・教育経済学
  12. 12. データ分析の今データ分析の今 • 教育のエビデンスを重視する風潮 – 教育社会学・教育経済学– 教育社会学・教育経済学 – EBM(エビデンスにもとづく医療)の影響– EBM(エビデンスにもとづく医療)の影響 – 教育政策の意思決定におけるアカウンタビリ ティの確保と合理性の追求ティの確保と合理性の追求
  13. 13. データ分析の今データ分析の今 https://galter.northwestern.edu/guides-and-https://galter.northwestern.edu/guides-and- tutorials/ebm-resources
  14. 14. データ分析の今データ分析の今 • エビデンス – もっぱら,データが得られた手順によって質– もっぱら,データが得られた手順によって質 が規定されるが規定される – 実験デザインでエビデンスとしての質のラン ク付けをおこなうク付けをおこなう 例:専門家の意⾒ <ランダム化実験 < メタ分析 – これまでの外国語教育研究は,このような観– これまでの外国語教育研究は,このような観 点に照らし合わせられると厳しい点に照らし合わせられると厳しい
  15. 15. データ分析の今データ分析の今 • 結局データ分析の今は? 一研究からいえることは,かなり 結局データ分析の今は? – 一研究からいえることは,かなり 限定的であるという認識限定的であるという認識 – 意思決定のアカウンタビリティが– 意思決定のアカウンタビリティが よりもとめられるという現実よりもとめられるという現実 – ではこれからの外国語教育研究は どうする? ではこれからの外国語教育研究は どうする?
  16. 16. データ分析の今データ分析の今 エビデンスを!アカウン タビリティを! ま ず はデータを 妥当性を タビリティを! ま ず はデータを 取らないと! 妥当性を 考えないと! ~1970 1980 1990 2000 2010 検定を しないと! 技術や知⾒を 残さないと! しないと! もっと質を ⾼めないと! 残さないと!
  17. 17. データ分析の今データ分析の今 • 考えられる道 1. 質の高いエビデンスを目指す1. 質の高いエビデンスを目指す • 大規模なランダム化実験をおこなう • 研究者による大規模プロジェクト• 研究者による大規模プロジェクト 2. 量的研究ではなく質的研究を⾏う • ますます重要になってくる• ますます重要になってくる • 不理解が蔓延しており,注目されるべき 3. たとえ質は低くくとも,なにかしらのエビデ3. たとえ質は低くくとも,なにかしらのエビデ ンスを莫大に累積していき,統合する • 教育実践などを大量に,そして量的に蓄積• 教育実践などを大量に,そして量的に蓄積 • メタ分析
  18. 18. 伊勢海⽼と伊勢海⽼と いうよりは…いうよりは… http://www.sea-shell.jp/photo/ 桜えび!桜えび!桜えび! http://shizuoka.mytabi.net/shizuoka/archives/sakuraebi.php
  19. 19. データ分析の今データ分析の今 • 研究報告にもとめられる基本的なこと – 複雑で,大規模で,学術性の高いものを目指– 複雑で,大規模で,学術性の高いものを目指 すというよりは,まず はエビデンスになり うるものを増やす すというよりは,まず はエビデンスになり うるものを増やす – アカウンタビリティの担保に繋がるもの– アカウンタビリティの担保に繋がるもの – 統計改革やデータ分析⽅法の⾼度– 統計改革やデータ分析⽅法の⾼度 化に萎縮する必要はまったくない
  20. 20. 統計改革やデータ分析⽅法統計改革やデータ分析⽅法 の⾼度化に萎縮する必要の⾼度化に萎縮する必要 はまったくないはまったくない
  21. 21. このような時代の流れのなかで,このような時代の流れのなかで, 私たち言語教師にもとめられる私たち言語教師にもとめられる ことは一体?ことは一体?
  22. 22. コンテンツコンテンツ 1. 外国語教育データ分析の今 2. 授業実践を報告しよう2. 授業実践を報告しよう – PICO!なにがなんでもPICOなのだ!– PICO!なにがなんでもPICOなのだ! – 記述統計と可視化 – 効果量ってなに?– 効果量ってなに? – 分析ツールの紹介 – データと過程の透明化– データと過程の透明化 – 気をつけなればならないこと– 気をつけなればならないこと 3. 新しい時代に向けて
  23. 23. 授業実践を報告しよう授業実践を報告しよう • PICOとは – EBMの考えかた:問題の定式化– EBMの考えかた:問題の定式化 頭文字 内容 P(participants) 誰にP(participants) 誰に I(intervention) どうしたらI(intervention) どうしたら C(comparison) 何と比べて O(outcome) どうなったO(outcome) どうなった
  24. 24. 授業実践を報告しよう授業実践を報告しよう • PICOとは – EBMの考えかた:問題の定式化– EBMの考えかた:問題の定式化 頭文字 内容 P(participants) 誰にP(participants) 誰に I(intervention) どうしたらI(intervention) どうしたら C(comparison) 何と比べて O(outcome) どうなったO(outcome) どうなった
  25. 25. 授業実践を報告しよう授業実践を報告しよう • 例 – 30分間の語彙学習方略の効果を調べたい– 30分間の語彙学習方略の効果を調べたい – グループわけ:イメージクラス,反復クラス– グループわけ:イメージクラス,反復クラス – 結果変数(成績):単語テスト 頭文字 内容 P(participants) 30人の中学生にP(participants) 30人の中学生に I(Intervention) イメージ方略で単語を覚えさせたら C(comparison) 同程度の能⼒をもち,反復方略で単C(comparison) 同程度の能⼒をもち,反復方略で単 語を覚えた群とくらべて O(outcome) 事後の単語テストが10点高かったO(outcome) 事後の単語テストが10点高かった
  26. 26. 授業実践を報告しよう授業実践を報告しよう • 記述統計と可視化 – とにかく絶対,結果変数の平均と標準偏差を– とにかく絶対,結果変数の平均と標準偏差を 報告しましょう!報告しましょう! – 平均:データの中心 – 標準偏差:データのばらつき– 標準偏差:データのばらつき
  27. 27. 0.04 0.04 中⼼の 動き ばらつき 0.020.03 確確 0.020.030.04 確確 0.000.010.02 確確 0.000.010.02 確確 0 20 40 60 80 100 0.00 値 0 20 40 60 80 100 0.00 値 正規分布 実際の 正規分布 の性質 実際の データ 1520 Frequency 1015 30 40 50 60 70 05 値 30 40 50 60 70
  28. 28. 授業実践を報告しよう授業実践を報告しよう • 平均のもとめ方 – ExcelでAVERAGE関数– ExcelでAVERAGE関数
  29. 29. 授業実践を報告しよう授業実践を報告しよう • 標準偏差のもとめ方 – ExcelでSTDEV関数– ExcelでSTDEV関数
  30. 30. 授業実践を報告しよう授業実践を報告しよう • 結果変数(テスト)における平均と標準 偏差を報告しましょう!偏差を報告しましょう! 決まった イタリック 列に統計値 を入れます⾏にグループ や変数を入れ n(人数) M(平均) SD(標準偏差) 決まった 記号があります イタリック にします や変数を入れ ます n(人数) M(平均) SD(標準偏差) イメージ方略群 30 46.21 12.10イメージ方略群 30 46.21 12.10 反復方略群 30 36.43 8.39 少数点の桁を 端を揃えるよう少数点の桁を 揃えましょう 端を揃えるよう にします
  31. 31. 授業実践を報告しよう授業実践を報告しよう • ⼀歩上の報告 – 歪度(分布の歪み,非対称性)と尖度(尖り– 歪度(分布の歪み,非対称性)と尖度(尖り 具合)も報告しましょう!具合)も報告しましょう! – 歪度:ExcelのSKEW関数 – 尖度:ExcelのKURT関数– 尖度:ExcelのKURT関数 n 平均 標準偏差 歪度 尖度n 平均 標準偏差 歪度 尖度 イメージ方略群 30 46.21 12.10 0.21 -1.20 反復方略群 30 36.43 8.39 -0.10 0.01
  32. 32. 歪んだデータ 0.0200.020 確確 0.010 確確 0.000 0 20 40 60 80 100 0.000 値値
  33. 33. 授業実践を報告しよう授業実践を報告しよう • 可視化 – まずはグラフを描きましょう– まずはグラフを描きましょう – Excelで大丈夫です!– Excelで大丈夫です! – ただし,お作法があります→真似する
  34. 34. 80 全体的に簡素 で美しい! 60 80 標準偏差を示して 40 60 得点 いる「エラーバー」 20 40 得点 あまり変な色をつ けない 0 20 文字は大きく! 0 イメージ化方略群 反復方略群 46 48 原点を含むこと! 36 38 40 42 44 46 ダメ! 30 32 34 イメージ化方略群 反復方略群 ダメ!
  35. 35. Repetition ⼀歩上の可視化 ImageRepetition Treatment ⼀歩上の可視化 Image 30 40 50 60 Treatment 箱ひげ図 30 40 50 60 Test Score 60 60 蜂群図 TestScore 4050 TestScore 4050 TestScore 3040 TestScore 3040 蜂群図+補助線 30 30 Treatment Image Repetition Treatment Image Repetition
  36. 36. 授業実践を報告しよう授業実践を報告しよう • 可視化の基本 – 出来る限り,情報を損失させない– 出来る限り,情報を損失させない – 誤解を生ませない– 誤解を生ませない – 「悪意」を持たない
  37. 37. 授業実践を報告しよう授業実践を報告しよう • 効果量ってなに? – ある実験操作などがデータに対してもつ影響– ある実験操作などがデータに対してもつ影響 の強さの強さ • 変数間の差,関連性,説明できるばらつき – テストの点数の差も効果量– テストの点数の差も効果量
  38. 38. もしも,両方とも同 じ処遇だったら発生 もしも,両方とも同 じ処遇だったら発生 しなかった点数の差しなかった点数の差 = 効果
  39. 39. 10点差だあ 100点差!100点差! でも,違うスケールのもの だったら単純な効果は比較だったら単純な効果は比較 することができない?
  40. 40. 授業実践を報告しよう授業実践を報告しよう • 標準化平均差 – 平均差を標準偏差で割ったもの– 平均差を標準偏差で割ったもの – 「単位を整えたデータの中⼼の動き」– 「単位を整えたデータの中⼼の動き」 – スケールが違っても比較できる – これがいわゆる「効果量」– これがいわゆる「効果量」 • Cohen’s d• Cohen’s d • Hedge’s g
  41. 41. 授業実践を報告しよう授業実践を報告しよう • 今はどんどんツールが整ってきています – R 無料・オープンソースの解析環境– R 無料・オープンソースの解析環境 • ただしかなり敷居が高いですただしかなり敷居が高いです • 講習会,研究会がかなりあります • Nagoya.R!!• Nagoya.R!!
  42. 42. 授業実践を報告しよう授業実践を報告しよう • まずはlangtest.jp! – http://langtest.jp/– http://langtest.jp/ – 関⻄大学・⽔本篤先生が作– 関⻄大学・⽔本篤先生が作 成(Mizumoto and Plonsky, 2015) – 使⽤は無料– 使⽤は無料 – ブラウザ上で,Rをもちい た外国語教育研究における ブラウザ上で,Rをもちい た外国語教育研究における メジャーなデータ分析がでメジャーなデータ分析がで きる
  43. 43. 授業実践を報告しよう授業実践を報告しよう • データと過程の透明化 – 近年は素データの公開が推奨されており,国際誌などで制 度が整いつつある度が整いつつある • iris.database http://www.iris.database/ • OSF https://osf.io – また,分析⼿順(プログラム)などもそれに合わせて公開– また,分析⼿順(プログラム)などもそれに合わせて公開 される時代(⽔本, 2015) – さまざまなウェブ上のサービスがある 日本の大学でお勤めなら,Researchmap – さまざまなウェブ上のサービスがある • 日本の大学でお勤めなら,Researchmap http://researchmap.jp/ なども活⽤ – セルフアーカイビングなども– セルフアーカイビングなども • 自分のウェブサイトなどで公開 • 研究成果もリポジトリ化 • 研究者SNSなども• 研究者SNSなども – academia.edu https://www.academia.edu/ – slideshare http://www.slideshare.net/
  44. 44. 授業実践を報告しよう授業実践を報告しよう 捏造• 捏造 – データと分析の透明化で解決を! 個人情報の管理・倫理的配慮 データと分析の透明化で解決を! • 個人情報の管理・倫理的配慮 – 日本,外国語教育研究では多分野と比べ,制度の整備が かなり遅れているかなり遅れている – 今後,重要化する問題 • 剽窃・自己剽窃• 剽窃・自己剽窃 – 近年,注目が集まっている問題 – 電⼦的なチェックソフトなどを導入する例も– 電⼦的なチェックソフトなどを導入する例も – 学樹的トレーニングを受けていない層はついていきにく い • 今後学会などで専門家を読んでWSをやってもらうなどして…• 今後学会などで専門家を読んでWSをやってもらうなどして…
  45. 45. コンテンツコンテンツ 1. 外国語教育データ分析の今 2. 授業実践を報告しよう2. 授業実践を報告しよう – PICO!なにがなんでもPICOなのだ!– PICO!なにがなんでもPICOなのだ! – 記述統計と可視化 – 効果量ってなに?– 効果量ってなに? – 分析ツールの紹介 – データと過程の透明化– データと過程の透明化 – 気をつけなればならないこと– 気をつけなればならないこと 3. 新しい時代に向けて
  46. 46. 新しい時代に向けて新しい時代に向けて • 本日伝えたかったこと – データ分析は,科学技術の発展や社会の要請(e.g., エビ– データ分析は,科学技術の発展や社会の要請(e.g., エビ デンス,アカウンタビリティ)によって大きく様変わりする – しかし,もっとも大切なことはデータ分析の「足– しかし,もっとも大切なことはデータ分析の「足 元」 • PICO,記述統計の徹底,優れた可視化 これが不必要になる日は来ない PICO,記述統計の徹底,優れた可視化 • これが不必要になる日は来ない • ただし,研究に関する「文化」は日夜新しくなっていく – 新しい時代の外国語教育研究をどうするか– 新しい時代の外国語教育研究をどうするか • 学際化が進むなかで,学問(科学)として一段低くみられ る外国語教育研究の,その独自性と強みとはなにかる外国語教育研究の,その独自性と強みとはなにか

×