量的データの分析・報告で気をつけたいこと
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

量的データの分析・報告で気をつけたいこと

on

  • 2,346 views

LET中部支部 外国語教育研究基礎研究部会 第1回年次例会 講演 ...

LET中部支部 外国語教育研究基礎研究部会 第1回年次例会 講演
「量的データの分析・報告で気をつけたいこと」水本篤(関西大学)
2014/02/22@名古屋大学

Statistics

Views

Total Views
2,346
Views on SlideShare
1,263
Embed Views
1,083

Actions

Likes
6
Downloads
21
Comments
0

4 Embeds 1,083

http://mizumot.com 928
https://twitter.com 145
http://feedly.com 9
http://www.feedspot.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

量的データの分析・報告で気をつけたいこと Presentation Transcript

  • 1. LET中部支部 外国語教育研究基礎研究部会 第1回年次例会 2014/02/22@名古屋大学 量的データの分析・報告で 気をつけたいこと 水本 篤(関西大学)
  • 2. 自己紹介
  • 3. 前田・山森(編著)(2004)
  • 4. 竹内・水本(編著)(2012)
  • 5. http://mizumot.com/handbook 書籍で使用したデータと分析方法
  • 6. アウトライン 1.再現性(その中身が気になる) 2.図表愛 3.どうしたらいいの?
  • 7. アウトライン 1.再現性(その中身が気になる) 2.図表愛 3.どうしたらいいの?
  • 8. 1.再現性(その中身が気になる) (1) 生データ
  • 9. 1.再現性(その中身が気になる) (1) 生データ スペースの無駄では?
  • 10. 10
  • 11. Photo Credit:
  • 12. 外国語教育研究ハンドブック p. 125
  • 13. 1.再現性(その中身が気になる) (1) 生データ 可視化を心がける
  • 14. 1.再現性(その中身が気になる) (2) 必要な情報を書く
  • 15. 前田・山森(編著)(2004) 「必要な情報はきちんと書く。 情報は追試できるように書く。 読者にわかりやすく書く。」 (p. 172)
  • 16. déjà-vu 「結果は図3に示した。プリテストと ポストテストの間で8.2点の得点上昇が あり,統計的にも有意な上昇であった ((t11)=9.108, p<.01, 両側検定)。」
  • 17. ダメ。ゼッタイ。 • • 人数・総数が不明。 p 値のみの報告。
 • 平均・標準偏差の記載なし。 (* がたくさん。)
  • 18. (分析の)追試に必要な情報 • サンプルサイズ,平均,
 標準偏差 • 信頼性係数 • 相関係数(対応ありデータ,SEMなど) (相関係数平均への回帰,
 相関の希薄化の修正など)
  • 19. 具体例 ある国際誌掲載論文の一部 何かがおかしい気がする... 青木繁伸先生作成のRコードで追試(http://aoki2.si.gunma-u.ac.jp/R/my-t-test.html) ! ウエルチの方法による,二群の平均値の差の検定! n1 = 11, mean1 = 78.91, variance1 = 70.8964! n2 = 11, mean2 = 76.82, variance2 = 54.9081! t = 0.618, df = 19.682, p-value = 0.5437
  • 20. おすすめ • R の "rpsychi" パッケージ
 http://cran.r-project.org/web/packages/rpsychi/ index.html • 作成者:奥村泰之先生(医療経済研究機構) http://blue.zero.jp/yokumura/ • 論文に公開されている情報から検定を行い, 効果量と信頼区間も求める。検定力分析や メタ分析に活用できる。
  • 21. rpsychi ハンドブック(p. 143) 重回帰分析を相関行列から再現
  • 22. 1.再現性(その中身が気になる) (2) 必要な情報を書く
  • 23. 1.再現性(その中身が気になる) (3) ストップ p 値信仰
  • 24. 前田・山森(編著)(2004) 「有意差は差の大小については何 も語ってくれません。差の大きさ を見たいときは,平均値の違いそ のものを見ましょう。」(p. 34)
  • 25. p < .05(0.05以下) 統計的に有意な statistically significant
  • 26. 効果量(Effect Size) • 統計的検定の問題点
 - サンプルサイズが影響。
 - 有意差あり・なしのみの判断。
 - p 値は実質的な差を示さない。
  • 27. • 効果量(Effect Size)
 - サンプルサイズに影響されない。
 - 効果の大小を示す。
 - 実質的な差を確認できる。
 • APA 6th では報告が「不可欠」
  • 28. 各群の人数が等しい場合 p 値を算出するための検定統計量との関係 検定統計量 = 効果量 (d) サンプルサイズ (南風原, 2002, p. 163) 詳しくは浦野(2013)を参照。
 http://www.slideshare.net/uranoken/let2013workshop
  • 29. 効果量 d = 0.2 効果量 d = 0.2
  • 30. M = 30 SD = 10
  • 31. M = 30 SD = 10 M = 32 SD = 10
  • 32. M = 30 SD = 10 2/10 = 0.2 M = 32 SD = 10 d = 0.2 (効果量小)
  • 33. M = 30 SD = 10 5/10 = 0.5 M = 35 SD = 10 d = 0.5 (効果量中)
  • 34. M = 30 SD = 10 8/10 = 0.8 M = 38 SD = 10 d = 0.8 (効果量大)
  • 35. Oswald and Plonsky (2010) • • d = 0.70, medium effect d = 1.00, large effect • d = 0.40, small effect
  • 36. 効果量の統合=メタ分析 Study Effect Size [95%CI] Study01 Study02 Study03 Study04 Study05 Study06 Study07 Study08 Study09 Study10 Study11 Study12 Study13 Study14 Study15 Study16 Study17 Study18 Study19 Study20 Study21 Study22 Study23 Study24 Study25 Study26 Study27 Study28 Study29 Study30 Study31 Study32 Study33 Study34 Study35 Study36 Study37 Study38 Study39 Study40 Study41 Study42 Study43 Study44 Study45 Study46 Study47 Study48 Study49 Study50 Study51 Study52 Study53 Study54 Study55 Study56 Study57 Study58 Study59 Study60 Study61 Study62 Study63 1.41 4.12 0.34 0.66 0.33 0.35 0.51 0.00 0.37 3.89 2.65 2.14 0.40 -0.15 0.18 0.55 1.18 0.58 1.49 0.80 -0.11 0.43 -0.01 0.16 0.42 0.65 0.60 1.26 0.50 0.21 0.23 1.96 0.20 0.33 0.62 0.45 0.05 0.14 0.65 0.44 1.14 1.52 0.37 0.55 1.43 0.91 1.49 1.10 1.42 1.23 1.09 2.23 0.08 0.44 0.41 0.95 1.69 1.37 0.69 0.66 0.18 -0.09 1.03 RE Model -2.00 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ 0.85 3.23 -0.24 0.06 0.02 0.04 -0.11 -0.60 -0.35 2.11 1.21 -0.32 -0.13 -0.67 -0.26 0.10 0.46 -0.10 0.74 0.10 -0.69 -0.16 -0.59 -0.42 -0.13 0.06 0.19 0.83 0.10 -0.19 -0.17 1.31 -0.24 -0.12 0.17 -0.01 -0.39 -0.30 0.21 -0.02 0.75 1.11 0.00 0.19 0.63 0.54 0.98 0.61 0.88 0.89 0.76 1.84 -0.27 0.08 0.05 0.48 1.32 1.01 0.23 0.31 -0.34 -0.56 0.66 , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , 1.98 5.01 0.91 1.25 0.64 0.65 1.12 0.60 1.10 5.67 4.08 4.60 0.93 0.38 0.62 0.99 1.89 1.27 2.24 1.50 0.47 1.02 0.57 0.74 0.97 1.24 1.01 1.70 0.90 0.61 0.63 2.61 0.64 0.77 1.07 0.91 0.49 0.59 1.10 0.90 1.54 1.93 0.74 0.91 2.23 1.28 2.01 1.59 1.96 1.56 1.42 2.62 0.44 0.80 0.77 1.42 2.06 1.73 1.16 1.01 0.71 0.38 1.39 ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] 0.76 [ 0.59 , 0.93 ] 0.00 2.00 Standardized Mean Difference 4.00 6.00
  • 37. p 値は再現性がない 同じ条件 同じ参加者数(サンプルサイズ) 同じ平均値の差(効果量)
  • 38. Cumming (2012)
  • 39. 2群の比較,各群32名,効果量 d = 0.5
  • 40. 2群の比較,各群32名,効果量 d = 0.5
  • 41. d = 0.5 なのに有意差なし? • シミュレーション
 - 1つのグループに32名(計64名)
 - d は 0.5(効果量中)
 - p < .05 となったのは50%程度 → 検定力(power)が足りない
  • 42. 検定力(statistical power) • 本当に差がある場合に,有意差を
 検出することができる力。 • 0 ~ 1の範囲の値(100%) • Cohen (1988) は 0.8 (80%) を提唱。
  • 43. 先ほどの例 • シミュレーション
 - 1つのグループに32名(計64名)
 - d は 0.5(効果量中)
 - p < .05 となったのは50%程度
  • 44. 2群の比較,各群32名,効果量 d = 0.5
  • 45. 本当は差があるはずなのに
 = d は 0.5(効果量中)
 p < .05 となったのは50%程度 検定力 = 0.5
  • 46. 検定力(statistical power) • 本当に差がある場合に,有意差を
 検出することができる力。 • 検定力0.5の場合は半分の場合,
 「差がない」と判断されてしまう。 • もう少し噛み砕いて言うと,
 「p < .05の結果を得られる再現性」。
  • 47. 検定力分析(power analysis) 検定力(power)を大きくし,
 できるだけ小さなサンプルサイズで 検定するために,必要なサンプルサ イズを見積もる方法。
  • 48. 統計的検定における4つの要素 • 有意水準 (α) • サンプルサイズ • 効果量 • 検定力
  • 49. 検定力分析で必要サンプルサイズがわかる A priori(事前の分析) ?
  • 50. 検定力 0.5 G*Power 3 http://www.gpower.hhu.de/
  • 51. 検定力を推奨されている0.8にしたい ? 0.8 小,中,大
  • 52. 検定力 0.8で1群につき 64名必要
  • 53. 2群の比較,各群32名,効果量 d = 0.5
  • 54. 2群の比較,各群64名,効果量 d = 0.5 信頼区間
  • 55. なぜ信頼区間?
 Confidence Interval •(帰無仮説検定の場合)+αの情報量 •再現性がある。 点推定は「過剰評価」しがち。
 • 区間推定が研究の本質。
  • 56. これからの考え方 Study Effect Size [95%CI] Study01 Study02 Study03 Study04 Study05 Study06 Study07 Study08 Study09 Study10 Study11 Study12 Study13 Study14 Study15 Study16 Study17 Study18 Study19 Study20 Study21 Study22 Study23 Study24 Study25 Study26 Study27 Study28 Study29 Study30 Study31 Study32 Study33 Study34 Study35 Study36 Study37 Study38 Study39 Study40 Study41 Study42 Study43 Study44 Study45 Study46 Study47 Study48 Study49 Study50 Study51 Study52 Study53 Study54 Study55 Study56 Study57 Study58 Study59 Study60 Study61 Study62 Study63 1.41 4.12 0.34 0.66 0.33 0.35 0.51 0.00 0.37 3.89 2.65 2.14 0.40 -0.15 0.18 0.55 1.18 0.58 1.49 0.80 -0.11 0.43 -0.01 0.16 0.42 0.65 0.60 1.26 0.50 0.21 0.23 1.96 0.20 0.33 0.62 0.45 0.05 0.14 0.65 0.44 1.14 1.52 0.37 0.55 1.43 0.91 1.49 1.10 1.42 1.23 1.09 2.23 0.08 0.44 0.41 0.95 1.69 1.37 0.69 0.66 0.18 -0.09 1.03 RE Model -2.00 [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ [ 0.85 3.23 -0.24 0.06 0.02 0.04 -0.11 -0.60 -0.35 2.11 1.21 -0.32 -0.13 -0.67 -0.26 0.10 0.46 -0.10 0.74 0.10 -0.69 -0.16 -0.59 -0.42 -0.13 0.06 0.19 0.83 0.10 -0.19 -0.17 1.31 -0.24 -0.12 0.17 -0.01 -0.39 -0.30 0.21 -0.02 0.75 1.11 0.00 0.19 0.63 0.54 0.98 0.61 0.88 0.89 0.76 1.84 -0.27 0.08 0.05 0.48 1.32 1.01 0.23 0.31 -0.34 -0.56 0.66 , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , 1.98 5.01 0.91 1.25 0.64 0.65 1.12 0.60 1.10 5.67 4.08 4.60 0.93 0.38 0.62 0.99 1.89 1.27 2.24 1.50 0.47 1.02 0.57 0.74 0.97 1.24 1.01 1.70 0.90 0.61 0.63 2.61 0.64 0.77 1.07 0.91 0.49 0.59 1.10 0.90 1.54 1.93 0.74 0.91 2.23 1.28 2.01 1.59 1.96 1.56 1.42 2.62 0.44 0.80 0.77 1.42 2.06 1.73 1.16 1.01 0.71 0.38 1.39 ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] ] 0.76 [ 0.59 , 0.93 ] 0.00 2.00 Standardized Mean Difference 4.00 6.00
  • 57. 70 65 差のCI 55 5 50 差のCI 0 n = 20 n = 20 1 2 Comparison 1 40 45 Mean 55 50 0 45 5 40 Mean d = 0.5 p < .001 60 d = 0.5 p = .12 60 65 70 エラーバーは95%CI n = 200 n = 200 1 2 Comparison 2
  • 58. 70 70 65 60 55 差のCI 0 45 0 1 d = 0.1 p < .001 50 50 55 Mean 差のCI n = 20 n = 20 1 2 Comparison 1 40 65 60 d = 0.1 p = .75 45 40 Mean エラーバーは95%CI n = 2000 n = 2000 1 2 Comparison 2 1
  • 59. • • • • • p 値は再現性を考えるとひどい指標。 信頼区間がベター(結果を蓄積)。 実質的な差や効果は「効果量」。 先行研究からどの程度の効果か考える。 検定にこだわるのなら「検定力」を確認。 • 1回の研究で断言できることはほぼなし。
  • 60. Replication(追試)や メタ分析マインドを! Photo Credit: write_adam via Compfight cc
  • 61. 検定力分析は なぜ広まらないのか? • 研究者(特に指導者)の理解・認識不足 • ワンショットの研究が多い • 「独創的な研究」が求められる • 対象トピックの先行研究が少ない → Replicationをもっと推奨すべき。
  • 62. Precision Analysis(正確度分析) AIPE: accuracy in parameter estimation • 検定力分析の信頼区間バージョン。 • 信頼区間の幅を先に決めておいて, サンプルサイズ設計を行う。 • RのMBESSパッケージ
 http://cran.r-project.org/web/packages/MBESS/
 http://www3.nd.edu/~kkelley/site/MBESS.html
  • 63. 1.再現性(その中身が気になる) (3) ストップ p 値信仰
  • 64. 1.再現性(その中身が気になる) (1) 生データ (2) 必要な情報を書く (3) ストップ p 値信仰
  • 65. 前田・山森(編著)(2004) 「統計処理を行うということは,ある実体を見 いだすことではないのです。あくまでも,研究 者が取ったデータに対して,確率的にどうなの か,もしくはデータの傾向くらいしか言えない のです。結果の記述の際には,データと分析結 果に対して忠実に記述する慎重さが求められま す。」(p. 173) → 効果量,信頼区間で情報付加
  • 66. アウトライン 1.再現性(その中身が気になる) 2.図表愛 3.どうしたらいいの?
  • 67. アウトライン 1.再現性(その中身が気になる) 2.図表愛 3.どうしたらいいの?
  • 68. テキスト 図表の作成 「ハンドブック」第21章も参照
  • 69. 図表の作成 デフォルトはNG!" APAをまねる" Excel 右クリックで調整
 「神は細部に宿る」
  • 70. まずい表の例
  • 71. サンプルをまねる not italicized & w/o period italicize & capitalize Table 3.5 (p. 23) in Nicol, A. A. M., & Pexman, P. M. (2010) Presenting your findings: A practical guide for creating tables (6th ed.). Washington, DC: American Psychological Association.
  • 72. サンプルをまねる Table 4.1 (p. 30) in Nicol, A. A. M., & Pexman, P. M. (2010) Presenting your findings: A practical guide for creating tables (6th ed.). Washington, DC: American Psychological Association.
  • 73. サンプルをまねる Table 7.2 (p. 43) in Nicol, A. A. M., & Pexman, P. M. (2010) Presenting your findings: A practical guide for creating tables (6th ed.). Washington, DC: American Psychological Association.
  • 74. 表作成注意点 • 論文中の表は形式を統一する。 • 本文中では表の順番通り説明する。 • 表は本文の説明の後に置く。 • フォントは本文と同じにする。
 (APA では Times New Roman, 12 points) • 省略形などは必ず Note. で説明する。
  • 75. 某ジャーナルエディター
  • 76. まずい図の例
  • 77. まずい図の例 75# 70# 65# 60# CALL 55# 50# 45# 40# 10 20 40
  • 78. サンプルをまねる Figure 2.4 (p. 19) in Nicol, A. A. M., & Pexman, P. M. (2010) Displaying your findings: A practical guide for creating figures, posters, and presentations (6th ed.). Washington, DC: American Psychological Association.
  • 79. 「隠れる」「隠される」   情報がない 100 *** 90 CALL 80 *** 70 60 50 40 30 20 10 0 10 20 OK 40 Better
  • 80. 個別のデータも見せる 0.700 0.600 Oxy-Hb(mM-mm) 0.500 0.400 0.300 0.200 0.100 0.000 Normal Scanning 81
  • 81. 個別のデータも見せる 82
  • 82. 論旨に合った図示方法 前田啓朗 (2008). WBTを援用した授業で成功した学習者・
 成功しなかった学習者. ARELE, 19, 253–262.
  • 83. 図作成注意点 • 論文中の図は形式を統一する。 • フォントはサンセリフ(Arialやゴシック体など)。 • フォントは最小8,最大14ポイントで
 最小と最大に4ポイント以上の差をつけない。 • 本文中では図の順番通り説明する。 • 図の説明は本文と同じフォント。 • 3Dグラフにしたり妙な飾りはつけない。
  • 84. 図作成注意点 • 図中のタイトルやラベルは,大文字で始める。
 例)Goal Orientation Mean Score  
 Fulfillment/Meaning of Life Averages • y軸(縦軸)はx軸(横軸)の2/3か3/4程度の
 長さにする。 • x軸とy軸はデータの最大値よりも大きく取る。 • エラーバーが何を意味するのかを明記する。
  • 85. アウトライン 1.再現性(その中身が気になる) 2.図表愛 3.どうしたらいいの?
  • 86. アウトライン 1.再現性(その中身が気になる) 2.図表愛 3.どうしたらいいの?
  • 87. 3. どうしたらいいの? 何の情報が必要か理解するために: • (量・質ともに)二次データでの 分析の追試練習 • 効果量や検定力分析の算出練習 • メタ分析の練習(先行研究概観にも)
  • 88. 「良い追試は,リサーチデザインのきち んと練られていない独創的な研究よりも, 分野としての発展に貢献する可能性が高い」 (外国語教育研究ハンドブック p. 342) → Replicationをもっと推奨すべき。
 (もしくは関心に応じて質的な方法を)
  • 89. Porte (2012)
  • 90. 再現性は科学の基本 • データの二次利用を推奨すべき。 例えば,使用したデータを(個人情報に
 気をつけて)オンラインなどで公開。   • ソフトウェアのコードも
 公開すれば,誰でも再現可能。
  • 91. どうやって   やればいいですか? 92
  • 92. http://rpubs.com/ RStudio + Markdown
  • 93. ソフトの比較
  • 94. https://sites.google.com/site/casualmacr/home RをGUIで利用できる (Mac用アプリケーション)
  • 95. http://norimune.net/had なんでもExcelでできちゃう
  • 96. 最後にちょっと宣伝 ウェブアプリケーション langtest.jp を開発しました。
  • 97. langtest.jp • ハンドブックの量的チャプターの サンプルを使用して再現。 • アウトプットの見方がわかる • 自分でも簡単に分析できる。 • グラフを充実させている。 • Excelのデータをコピペするだけ。
  • 98. こういうのを作りたかった http://hoxom-hist.appspot.com/hist.html
  • 99. ここにExcelから
 データをコピペするだけ
  • 100. パス図作図も
  • 101. 注意点 • 誰でもできる… だけに危険。 • ドキュメンテーションがない。 • 自由度ゼロ(改善予定) • コードが残らないので再現性に乏しい。
 (MacRならコードが保存できる)
  • 102. とりあえず 一番楽な方法 langtest.jp
  • 103. 「ご清聴ありがとうございました。」 なんていわないよ絶対。 http://mizumot.com/lablog/archives/1011 「こういう学会は退会」2014/02/06
  • 104. 量的データの分析・報告で 気をつけたいこと 1. 再現性:データの可視化
     必要な情報を書く
     p 値信仰は危険 2. 図表にこだわる 3. 提案:二次データを使った練習