Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

エッセイライティングにおける増加語数の時系列推移傾向はエッセイ評価を予測するか―線形回帰モデルおよびポアソン分布へのフィッティングを用いて―

3,073 views

Published on

川口勇作・室田大介・後藤亜希(2014)「エッセイライティングにおける増加語数の時系列推移傾向はエッセイ評価を予測するか―線形回帰モデルおよびポアソン分布へのフィッティングを用いて―」第40回全国英語教育学会徳島研究大会. 徳島大学.の投影資料です。

Published in: Education
  • Be the first to comment

エッセイライティングにおける増加語数の時系列推移傾向はエッセイ評価を予測するか―線形回帰モデルおよびポアソン分布へのフィッティングを用いて―

  1. 1. エッセイライティング における 増加語数の 時系列推移傾向は エッセイ評価を予測するか 線形回帰モデルおよび ポアソン分布への フィッティングを用いて
  2. 2. 本研究の内容 • 学習者のライティングプロセスを2つのモデ ル(線形回帰モデル/ポアソン分布)にあてはめ てみた • 学習者のプロセスは,望ましいプロセスと近 似するポアソン分布よりも,線形回帰モデル に近似した • 線形回帰モデルへの当てはまりのよさを示す 指標はエッセイの評定や語彙の豊かさ指標と 相関した
  3. 3. 川口 勇作 室田 大介 後藤 亜希 名古屋大学大学院 第40回全国英語教育学会 徳島研究大会 於:徳島大学 2014/8/10
  4. 4. 研究背景 • L2ライティング研究 –優れた書き手ほどエッセイライティン グにおけるサブプロセス(計画・文章 化・推敲)が明確 (e.g., 草薙・高橋・菊池, 2012; Manchón et al, 2009; Roca de Larios et al, 2008; Sasaki, 2000; Stevenson et al, 2006)
  5. 5. 0 10 20 30 40 50 60 70 80 0 5 10 15 Words Time (min)
  6. 6. 研究背景 • L2ライティング研究 –計画(planning) –文章化(formulation) • 執筆時間の60%を占める(Roca de Larios et al., 2001) • レベルが高い学習者ほど計画の時間が長く, 文章化の時間が短い –推敲(revising)
  7. 7. 0 10 20 30 40 50 60 70 80 0 5 10 15 Words Time (min)計画 文章化 推敲
  8. 8. 研究背景 • L2ライティング研究 –この知見に従えば,エッセイライティ ングの増加語数は • 序盤:少ない • 中盤:多い • 終盤:ほとんどみられない というプロセスを経るはず
  9. 9. 研究背景 • 望ましいライティングプロセスは ポアソン分布の形に近似するはず • ポアソン分布とは? –離散的な事象の頻度を示す分布 • 例)一定期間におけるメールの本数 –λ(ラムダ)と呼ばれる一つの値で定義
  10. 10. 0 5 10 15 20 25 30 0.00.40.8 Lambda = 1 Time WordNumberRatio 0 5 10 15 20 25 30 0.00.40.8 Lambda = 5 Time WordNumberRatio 0 5 10 15 20 25 30 0.00.40.8 Lambda = 10 Time WordNumberRatio 0 5 10 15 20 25 30 0.00.40.8 Lambda = 15 Time WordNumberRatio 0 5 10 15 20 25 30 0.00.40.8 Lambda = 20 Time WordNumberRatio 0 5 10 15 20 25 30 0.00.40.8 Lambda = 25 Time WordNumberRatio
  11. 11. 研究背景 • 一方 –明確なサブプロセスを示さない書き手 の存在 • ライティング開始直後から終了まで一貫し て語数が伸び続ける → 線形のプロセス
  12. 12. 0 10 20 30 40 50 60 70 80 0 5 10 15 Words Time (min)
  13. 13. 研究背景 • 1つ目の主眼 –学習者の増加語数の時系列の推移傾向 は,非線形のポアソン分布と線形回帰 モデルのどちらにより当てはまるの か?
  14. 14. 研究背景 • 2つ目の主眼 –学習者のライティングプロセスに最も 当てはまりのよいλの値が,学習者のラ イティングプロセスの評価指標の一つ になり得るのではないか?
  15. 15. RQ 1. 増加語数の時系列推移傾向は線形回帰 モデル・ポアソン分布のどちらにより 当てはまるのか? 2. プロセスに最も当てはまりのよいλの値 はエッセイの評定と相関するか?
  16. 16. 調査概要 • 調査協力者 –大学学部生(n = 35) • 平均TOEFLスコア:488.03(SD = 44.60) • 法学・工学を専攻 –川口(2014)における調査の一環とし て実施
  17. 17. 調査概要 • 手順 –30分のエッセイライティング • プロンプト:「科学技術は世界を住みよく する」という考えに賛成か反対か? – TOEFLライティングセクションからの出題 • 指示は日本語で行った
  18. 18. 調査概要 • 手法 –キー入力記録を用いた研究 • キーの打鍵を記録 • 記録した打鍵の記録を元にライティングプ ロセスを再現 (e.g., 草薙・阿部・福田・川口, 2013; 尾関, 1993; Sugiura & Ozeki, 1994; Park & Kinginger, 2010) • 従来の録画などの手法に対し正確な記録・ 再現が可能
  19. 19. 調査概要 • 使用ツール –ライティングプロセス記録ソフト WritingMaetriX(草薙・阿部・福田・川口, 2013) • 最終的なプロダクト・エッセイライティン グにおける語数の時系列推移を記録
  20. 20. 調査概要 • エッセイ評定 –英語教育を専門とする大学院生3名によ り評定 –TWE (Test of Written English) の評価基準 に基づき6段階で評定 –評定者間相関:r = .72 ~ .79 –評定者間信頼性:α = .90
  21. 21. 評定者間の散布図行列 a 2.0 2.5 3.0 3.5 4.0 4.5 5.0 0.76 23456 0.79 2.02.53.03.54.04.55.0 b 0.72 2 3 4 5 6 2.0 2.5 3.0 3.5 4.0 4.5 5.0 2.02.53.03.54.04.55.0 c
  22. 22. 調査概要 • 増加語数の時系列推移の算出 –WMX分析シート ver.1.0(川口・草薙, 2014)を使用 –1分あたりの増加語数を算出
  23. 23. 調査概要 • ポアソン分布へのフィッティング –方法:最小二乗法 –カイ二乗値 • 当てはまりのよさを示す • 小さければ小さいほど当てはまりがよい –最も当てはまりのよいλ • 学習者のライティングプロセスの傾向を示 す
  24. 24. 調査概要 • 線形回帰モデルへのフィッティング • 目的変数:語数の割合(%) • 予測変数:時間(分) – 傾き – 切片 – 決定係数(R2) • 当てはまりのよさを示す • 大きければ大きいほど当てはまりがよい
  25. 25. 調査概要 • 分析方法 –以下の項目を変数とする多変量相関分 析 • Χ2値,λ • 切片,傾き,R2 • 総語数,語彙の豊かさ(Guiraud Index, GI), エッセイ評定
  26. 26. 記述統計 M SD Median Min Max Range SE λ 11.89 2.98 12.71 5.60 16.32 10.72 0.50 Χ2 838.71 478.32 681.13 32.20 1838.46 1806.26 80.85 切片 0.10 0.14 0.05 -0.06 0.38 0.45 0.02 傾き 0.03 0.00 0.03 0.03 0.04 0.01 0.00 R2 0.91 0.11 0.97 0.60 0.99 0.39 0.02 Token 120.69 43.09 118.00 51.00 278.00 227.00 7.28 GI 6.64 0.94 6.54 4.67 8.70 4.03 0.16 評定 3.47 0.88 3.33 2.00 5.33 3.33 0.15
  27. 27. 時系列データ の図示
  28. 28. Time (min) Ratio 0 5 10 15 20 25 30 0.00.20.40.60.81.0 全参加者
  29. 29. Time (min) Ratio 0 5 10 15 20 25 30 0.00.20.40.60.81.0 代表値
  30. 30. Time (min) Ratio 0 5 10 15 20 25 30 0.00.20.40.60.81.0 全参加者
  31. 31. Time (min) Ratio 0 5 10 15 20 25 30 0.00.20.40.60.81.0 代表値
  32. 32. Time (min) Ratio 0 5 10 15 20 25 30 0.00.20.40.60.81.01.2 全参加者
  33. 33. Time (min) Ratio 0 5 10 15 20 25 30 0.00.20.40.60.81.01.2 代表値
  34. 34. 結果 • RQ1についての結果 –図示の結果から,学習者のライティン グプロセスはポアソン分布よりも線形 回帰モデルの方によくフィットする • 計画をせずに,開始から終了までずっと書 き続ける傾向が強い?
  35. 35. 多変量 相関分析
  36. 36. Lambda 0 1000 0.53 -0.82 0.026 0.036 0.28 0.55 50 150 250 0.05 0.07 2.0 3.5 5.0 61014 0.21 01000 Fit -0.24 -0.07 0.39 0.50 0.41 0.44 Intercept -0.71 -0.67 -0.22 -0.20 0.00.2 -0.33 0.0260.036 slope 0.63 0.37 0.22 0.32 R2 0.37 0.30 0.60.81.0 0.40 50150 Token 0.73 0.80 GI 57 0.63 6 10 14 2.03.55.0 0.0 0.2 0.6 0.8 1.0 5 6 7 8 Rate
  37. 37. Lambda 0 1000 0.53 -0.82 0.026 0.036 0.28 0.55 50 150 250 0.05 0.07 2.0 3.5 5.0 61014 0.21 01000 Fit -0.24 -0.07 0.39 0.50 0.41 0.44 Intercept -0.71 -0.67 -0.22 -0.20 0.00.2 -0.33 0.0260.036 slope 0.63 0.37 0.22 0.32 R2 0.37 0.30 0.60.81.0 0.40 50150 Token 0.73 0.80 GI 57 0.63 6 10 14 2.03.55.0 0.0 0.2 0.6 0.8 1.0 5 6 7 8 Rate
  38. 38. 結果 • 相関分析の結果から – 線形回帰モデルへの当てはまりのよさを示 す決定係数R2とエッセイ評定・総語数・語 彙の豊かさとの間に正の相関(r = .30 ~ .40) • 線形回帰モデルに当てはまりがよいほどエッ セイ評定が高い傾向 • 先行研究と反して,サブプロセスが明確でな い学習者ほどエッセイ評定が高いという結果 に
  39. 39. 結果 • 相関分析の結果から –一方,ポアソン分布への当てはまりの よさを示すχ2値はエッセイの評定と正の 相関(r = .44) • ポアソン分布に当てはまりがよくないほど エッセイ評定が高い傾向 • こちらも当初の予測と反する結果に
  40. 40. Lambda 0 1000 0.53 -0.82 0.026 0.036 0.28 0.55 50 150 250 0.05 0.07 2.0 3.5 5.0 61014 0.21 01000 Fit -0.24 -0.07 0.39 0.50 0.41 0.44 Intercept -0.71 -0.67 -0.22 -0.20 0.00.2 -0.33 0.0260.036 slope 0.63 0.37 0.22 0.32 R2 0.37 0.30 0.60.81.0 0.40 50150 Token 0.73 0.80 GI 57 0.63 6 10 14 2.03.55.0 0.0 0.2 0.6 0.8 1.0 5 6 7 8 Rate
  41. 41. Lambda 0 1000 0.53 -0.82 0.026 0.036 0.28 0.55 50 150 250 0.05 0.07 2.0 3.5 5.0 61014 0.21 01000 Fit -0.24 -0.07 0.39 0.50 0.41 0.44 Intercept -0.71 -0.67 -0.22 -0.20 0.00.2 -0.33 0.0260.036 slope 0.63 0.37 0.22 0.32 R2 0.37 0.30 0.60.81.0 0.40 50150 Token 0.73 0.80 GI 57 0.63 6 10 14 2.03.55.0 0.0 0.2 0.6 0.8 1.0 5 6 7 8 Rate
  42. 42. 結果 • λとエッセイ評定の関係 –弱い相関(r = .21) –ポアソン分布への当てはまりがよくな いため今回は議論が難しい? –RQ2に対する結論は保留
  43. 43. 偏相関係数の無向グラフ 1 λ 2 ポアソン分布への 当てはまりのよさ 3 線形回帰モデルに 当てはめたときの切片 4 線形回帰モデルに 当てはめたときの傾き 5 線形回帰モデルへの 当てはまりのよさ 6 総語数 7 語彙の豊かさ 8 エッセイ評定
  44. 44. 結果 • 偏相関係数から –エッセイ評価と直接的な関係を示すの は総語数のみ • 総語数がエッセイの評定を予測する? –その他の変数との相関は擬似相関の可 能性もある
  45. 45. 総括 • 本研究の結果から –本研究の調査参加者のライティングプ ロセスを可視化した場合,望ましいと されるポアソン分布のような非線形で はなく,むしろ線形を描く傾向
  46. 46. 総括 • 本研究の課題 –標本の偏り • 今回は同一大学よりサンプリングしたため, 偏りが見られた? • パラグラフ・ライティングについての知識 がない学習者の存在 –参加者の熟達度の問題 • より高い熟達度の学習者の場合の検証
  47. 47. 総括 • 本研究の課題 –大規模データでの再調査 • 多様な熟達度の学習者を対象に • パラグラフ・ライティング経験の有無など, 様々なデモグラフィック情報との関係 • WritingMaetriXコーパス(石井・石井・草 薙・阿部・福田・川口, 2014)を用いたさらな る調査の継続を
  48. 48. 総括 • 今後の展望 –明示的な指導が学習者のライティング プロセスに与える影響の検証 –学習者のライティングプロセスの評価 に寄与する精緻な指標の開発
  49. 49. 参考文献 石井雄隆・石井卓巳・草薙邦広・阿部大介・福田純也・川口勇作(2014)「ライティン グ・プロダクトからライティング・プロセスへ―Writing MaetriX Corpus Project―」 外国語教育メディア学会第54回全国研究大会公募シンポジウム. 川口勇作(2014)「eラーニング教材を活用した語彙学習方略が学習者のライティング に与える影響」『中部地区英語教育学会紀要』43, 9 –14. 川口勇作・草薙邦広(2014)「WritingMaetriXによるライティングプロセス研究の手引 き―データの収集・表計算ソフトを援用した分析・今後の展望―」『外国語教育メ ディア学会中部支部外国語教育基礎研究部会2013年度報告論集』43 – 52. 草薙邦広・髙橋改太・菊池優希(2012)「キー入力記録システムを用いた英語学習者の ライティングプロセス分析―語数・推敲回数・正確さの時系列推移―」『第52回外 国語教育メディア学会全国研究大会発表要項』172–173. 草薙邦広・阿部大輔・福田純也・川口勇作(2013)「キー入力記録システムを援用した ライティングプロセスの可視化:自律的学習を促すフィードバック環境構築に向け て」 第81回外国語教育メディア学会中部支部春季研究大会. 東海学園大学.
  50. 50. 参考文献 Manchón, R. M., Roca de Larios, J., & Murphy, L. (2009). The temporal dimension and problem-solving nature of foreign language composing processes: Implications for theory. In R. M. Manchón (Ed.) Writing in Foreign Language Context: Learning, Teaching, and Research (pp. 102–129). Multilingual Matters. Roca de Larios, J., Manchón, R., Murphy, L., & Marin, J. (2008). The foreign language writer's strategic behaviour in the allocation of time to writing processes. Journal of Second Language Writing, 17, 30–47. Roca de Larios, J., Marin, J., Murpjy, L. (2001). A temporal analysis of formulation processes in L1 and L2 writing. Language Learning, Language Learning, 51, 497– 538. Sasaki, M. (2000). Toward an empirical model of EFL writing processes: An exploratory study. Journal of Second Language Writing, 9, 259-291. Stevenson, M., Schoonen, R., & de Glopper, K. (2006). Revising in two languages: A multi-dimensional comparison of online writing revision in L1 and FL. Journal of Second Language Writing, 15, 201–233.
  51. 51. お問い合わせ先 名古屋大学大学院 川口 勇作 y.kawaguchi@nagoya-u.jp • 学習者のライティングプロセスは,望ましい プロセスと近似するポアソン分布よりも,線 形回帰モデルに近似した • 線形回帰モデルへの当てはまりがよいほど エッセイの評定が高く,語彙も豊かな傾向が みられた https://sites.google.com/site/kwsk3939/

×