Download as PDF, PPTX
![[Tokyor08] Rによるデータサイエンス 第2部 第3章 対応分析](https://cdn.slidesharecdn.com/ss_thumbnails/tokyor08-100827202403-phpapp01-thumbnail.jpg?width=640&height=640&fit=bounds)
2015-1003 英語コーパス学会ワークショップ使用スライド
- 1.
- 2.
- 4.
- 5.
- 6.
- 7.
- 8. •過去のJAECSでのWS （田畑, 2004; 金,2007; 田中・小林, 2009; 阪上, 2013） •過去のLET全国大会WS（小林, 2011; 阪上, 2012, 2014） • R passes SPSS in scholarly use (Muenchen, 2014)
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23. • 「ハンドブック」の量的チャプター のサンプルを使用して再現できる。 • アウトプットの見方がわかる •自分でも簡単に分析できる。 • グラフを充実させている。 • Excelのデータをコピペするだけ。 langtest.jp
- 24.
- 25.
- 26.
- 27.
- 28.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 38. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 39.
- 40. 母集団と標本 母集団 （未知） 標 本 （既知） 推定 データ解析 Σ, F, t,p... http://www.urano-ken.com/blog/2013/08/05/let2013-workshop/
- 41. 母集団 μ = 15.3 標本A M= 14.7 標本B M = 15.9 標本C M = 15.2 標本D M = 15.4 標本E M = 15.1 http://www.urano-ken.com/blog/2013/08/05/let2013-workshop/ 標本ごとに実現値は違う
- 42. 母集団 μ = ？ 標本A M= 14.7 http://www.urano-ken.com/blog/2013/08/05/let2013-workshop/ 実際はM = μとして推定
- 43. 母集団 μ = ？ 実際はM= μとして推定 ScoreFrequency 30 40 50 60 70 80 05101520 M = 50.59
- 44. コーパスの代表性について The web maynot be“representative of anything other than itself,”as Kilgarriff and Grefenstette (2003: 333) point out –“but then neither are other corpora” (Boulton, 2012). e.g., The web as“corpus”
- 45. Hands-on 1 1. langtest.jpを開く 2.“Basic Statistics Calculator” を開く 3. JAECS2015data の「(1)記述統計」の「語数」を数字のみをコピペ Basic statistics
- 46.
- 47.
- 48. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 49. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 50. • Chi-square test:22% • Correlation: 17% • ANOVA: 12% • t-test: 11% • log-linear analysis: 10% • Followed by non-parametric techniques, multiple regression, logistic regression, etc. どのような分析が多いか？ “Quantitative research methods and study quality in Learner Corpus Research” Paquot & Plonsky (2015@LCR) reported by Dr. Akira Murakami https://twitter.com/mrkm_a/status/642802550928998400
- 51.
- 52. カイ2乗検定 コーパス A コーパス B 合計 語X 20 2040 語Y 20 20 40 合計 40 40 80
- 53. 左が期待値，右が実測値 コーパス A コーパス B 合計 語X 20 2040 語Y 20 20 40 合計 40 40 80 コーパス A コーパス B 合計 語X 15 25 40 語Y 25 15 40 合計 40 40 80
- 54. カイ2乗値のイメージ コーパス A コーパス B 合計 語X 20 2040 語Y 20 20 40 合計 40 40 80 コーパス A コーパス B 合計 語X 15 25 40 語Y 25 15 40 合計 40 40 80 ズレ
- 55.
- 56. 0 1 23 4 5 6 0.00.20.40.60.81.0 df=1のときのカイ2乗分布曲線 Chi-square value 相対度数（確率密度） 同じ 違う
- 57. カイ2乗値のイメージ コーパス A コーパス B 合計 語X 20 2040 語Y 20 20 40 合計 40 40 80 コーパス A コーパス B 合計 語X 15 25 40 語Y 25 15 40 合計 40 40 80 ズレ (15-20)^2/20+(25-20)^2/20+(25-20)^2/20+(15-20)^2/20 = 5
- 58. 同じ 違う 0 12 3 4 5 6 0.00.20.40.60.81.0 df=1のときのカイ2乗分布曲線 Chi-square value 相対度数（確率密度） ズレ
- 59. 結果の見方 • X-squared: カイ2乗値（大きいと「ズレ」が大きい） •df: 自由度（行の数 − 1）×（列の数 − 1） • p-value: p 値が0.05以下なら有意差あり • 特定のセルの「期待値」が5以下の場合，カイ2乗検定は不正確
- 60.
- 61. Hands-on 2 1. langtest.jpを開く 2.“Chi-square Test” を開く 3. JAECS2015dataの「(2)カイ2乗」の該当部分をコピペ Chi-square test
- 62. コロケーション指標 • 相互情報量（MI） • tスコア，zスコア •ダイス係数，ジャッカード係数， コサイン類似度，シンプソン係数
- 63.
- 64.
- 65.
- 66. Hands-on 3 「小林（2015）の例」のセルの値をすべて10倍にして， 10倍にする前と後で p値がどう変化するか確認する。 Introduction to effect sizes
- 67. 統計的に有意な p < .05（0.05以下） statisticallysignificant
- 68. • 統計的検定の問題点 - サンプルサイズが影響。 -有意差あり・なしのみの判断。 - p 値は実質的な差を示さない。 効果量（effect size）
- 69. • 効果量（effect size） -サンプルサイズに影響されない。 - 効果の大小を示す。 - 実質的な差を確認できる。 • APA 6th では報告が「不可欠」
- 70. Cumming (2012) ストップ p値信仰 APA 6th (2009) 大久保・岡田 (2009) 「統計改革」
- 71. The Basic andApplied Social Psychology http://www.tandfonline.com/doi/abs/10.1080/01973533.2015.1012991#.Vb3tuJPtlBd p値（帰無仮説検定）禁止！
- 72. "it is importantto note that one cannot use the chi-square value as a measure of effect size, i.e. as an indication of how strong the correlation between the two investigated variables is. This is due to the fact that the chi-square value is dependent on the effect size, but also on the sample size." Gries (2009, p. 196)
- 73.
- 74. “log ratio asa means of taking effect size into consideration in the ranking of keyword results is being incorporated into a number of programs”(p. 105). Culpeper, J., & Demmen, J. (2015). Keywords. In D. Biber & R. Reppen (Eds.), The Cambridge handbook of English corpus linguistics (pp. 90–105). Cambridge University Press. コーパス言語学でも log ratio = ”the binary log of the ratio of relative frequencies” (http://cass.lancs.ac.uk/?p=1133)
- 75.
- 76.
- 77. langtest.jp — Cramer’sV ※ 行と列のいずれかが2のクロス表の場合は， M=2となり，ファイ係数（四分点相関係数）と一致。 （一般的な）基準： V = 0.1 効果量小 V = 0.3 効果量中 V = 0.5 効果量大 Vは0から1の値をとる（相関係数と同じ） (with 95% CI)
- 78. Cramer’s V 2×2の分割表 （= φ係数）の場合 （四分点）相関係数の絶対値を求める =0.25 コーパスA 語X コーパスA 語Y コーパスB 語X コーパスB 語Y
- 79. langtest.jp — オッズ比 語Xは語Yと比べると，コーパスA よりもコーパスBで使われやすい。 コーパスA（語X）: 15/25= 0.60 コーパスB（語X）: 25/15 = 1.6667 オッズ比: 0.6/1.6667 = 0.36 オッズ比 = 1 は2つの コーパスで差がない ことを意味する。 1以上だとコーパスA， 1以下だとコーパスBで 使われやすいという 解釈になる。 （2×2の分割表のときのみ表示） (with 95% CI) （1 / 0.36 = 2.778倍）
- 80.
- 81. Hands-on 4 1. langtest.jpを開く 2.“Chi-square Test” を開く 3. JAECS2015dataの「(2)カイ2乗」の該当部分をコピペ 4. オッズ比，クラメールのV（φ係数）を確認 Calculating effect sizes
- 82. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 83. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 84. 相関係数 • 2 11 .00 ± . 20 .00 .20 ± . 40 .40 ± . 70 .70 ± 1.00
- 85.
- 86. エッセイの総語数 英語習熟度 エッセイの総語数英語習熟度 エッセイの総語数 英語習熟度 エッセイの総語数 英語習熟度 エッセイ中のエラー数 英語習熟度 エッセイ中のエラー数 英語習熟度 エッセイ中のエラー数 英語習熟度 エッセイ中のエラー数 英語習熟度 r =.00 r = .30 r = .70 r = .90 r = .00 r = -.30 r = -.70 r = -.90 相関係数の効果量は「相関係数そのもの」で， 一般的には，0.1（小），0.3（中），0.5（大）
- 87. Hands-on 5 1. langtest.jpを開く 2.“Correlation” を開く 3. JAECS2015dataの「(3)相関・多変量」の該当部分をコピペ Correlation
- 88.
- 89. （大まかな）目的 クラスター分析（cluster analysis） → データを分類する 因子分析（exploratoryfactor analysis） → データの潜在因子を探る 主成分分析（principal component analysis） → データを圧縮する，結合する コレスポンデンス分析（correspondence analysis） → データを圧縮する（少ない次元にまとめる）
- 90.
- 91.
- 92.
- 93. Tabata, T. (1995).Narrative style and the frequencies of very common words: A corpus- based approach to Dickens's first person and third person narratives. English Corpus Studies, 2, 91–109. Retrieved from http://www.lang.osaka-u.ac.jp/~tabata/papers/1995.pdf -100 0 100 200 300 400 500 600 -2000 -1500 -1000 -500 0 500 1000 1500 2nd PC 1st PC David#1 David#2 David#3 David#4 David#5 Esther#1 Esther#2 Esther#3Esther#4 Pip#1 Pip#2 Pip#3 Pip#4 SB#1 SB#2 SB#3 PP#1 PP#2 PP#3 OT#1 OT#2 OT#3 OT#4 NN#1 NN#2 NN#3 BH#1 BH#2 TTC#1 TTC#2 TTC#3 OMF#1 OMF#2 OMF#3 ED#1 ED#2 ED#3 First person narratives Third person narratives Figure 2. First person narratives versus Third person narratives: Texts in 4000- word segments (based on the 100 most common words of the narrative corpus).
- 94. 内田 諭 (2015).「CEFRレベルに基づいた教材コーパス—レベル別基準特性の 抽出に向けて」『英語コーパス研究』22, 87–100.
- 95. Tono, Y. (2013).Criterial feature extraction using parallel learner corpora and machine learning. In A. Díaz-Negrillo, N. Ballier, & P. Thompson (Eds.), Automatic treatment and analysis of learner corpus data (pp. 169–203). Amsterdam/Philadelphia: John Benjamins.
- 96. Tono, Y. (2013).Criterial feature extraction using parallel learner corpora and machine learning. In A. Díaz-Negrillo, N. Ballier, & P. Thompson (Eds.), Automatic treatment and analysis of learner corpus data (pp. 169–203). Amsterdam/Philadelphia: John Benjamins.
- 97. Hands-on 6 1. langtest.jpを開く 2."Cluster Analysis","Principal Component Analysis", "Correspondence Analysis"の3つを確認 3. JAECS2015data の「(3)相関・多変量」の該当部分をコピペ Multivariate analysis
- 98.
- 99.
- 100. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 101. 1. 記述統計と推測統計 2. 統計的検定と効果量 3.相関と多変量解析 4. 再現性 Webアプリケーションを使った コーパス研究のための統計解析
- 102.
- 103.
- 104.
- 105.
- 106. 「ダメ。ゼッタイ。」 • 平均・標準偏差の記載なし。 • 人数・総数が不明。 •信頼性係数などの報告なし。 • p 値のみの報告。（* がたくさん。）
- 107.
- 108. L2研究における「統計改革」 •「統計改革」がL2研究でも進んでいる。 • 各ジャーナルで Editorialや Guideline， 特別号に方針が掲載されている。 http://onlinelibrary.wiley.com/doi/10.1111/lang.2015.65.issue-S1/issuetoc
- 109. L2研究における「統計改革」 Larson-Hall, J., &Plonsky, L. (2015). Reporting and interpreting quantitative research findings: What gets reported and recommendations for the field. Language Learning, 65/Supp. 1, 125–157. doi:10.1111/lang.12115 1. 記述統計報告の改善 2. 効果量とその信頼区間の報告 3. 測定道具の信頼性の報告 4. データ可視化の重視 5. データの公開
- 110. L2研究における「統計改革」 Larson-Hall, J., &Plonsky, L. (2015). Reporting and interpreting quantitative research findings: What gets reported and recommendations for the field. Language Learning, 65/Supp. 1, 125–157. doi:10.1111/lang.12115 1. 記述統計報告の改善 2. 効果量とその信頼区間の報告 3. 測定道具の信頼性の報告 4. データ可視化の重視 5. データの公開
- 111. 再現性は研究の基本 • データの二次利用を推奨すべき。 例えば，使用したデータを（個人情報に 気をつけて）オンラインなどで公開。 •Rなどのコードも 公開すれば，誰でも再現可能。
- 112. コーパス研究の場合 • 分析の各ステップで使用した データやメモ書きは残しておく。 論文中では可能な限り記載。 •研究を生業とするのなら，データ やコードの公開，分析再現の練習 を惜しまない。
- 113.
- 114.
- 115.
- 116.
- 117. https://osf.io/ Open Science Framework DataverseProject http://dataverse.org/
- 118. まとめ • langtest.jp -「ハンドブック」などの分析確認 -Rへの橋渡し • コーパス研究のための統計解析 記述・推測統計，検定・効果量，相関・多変量解析 • 進む「統計改革」と研究の透明化
- 119.