Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―

2,613 views

Published on

全国英語教育学会熊本研究大会の発表資料です。

石井雄隆. (2015). 「データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―」. 全国英語教育学会熊本研究大会. 熊本学園大学.

Published in: Education
  • Be the first to comment

  • Be the first to like this

データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―

  1. 1. データマイニングの手法を用いた 英語ライティング研究 ―プロセスとプロダクトの観点から― 石井雄隆 早稲田大学 大学総合研究センター yutakaishii@aoni.waseda.jp 全国英語教育学会熊本研究大会 2015/08/22 於:熊本学園大学
  2. 2. 社会的背景 • 社会の高度情報化・情報発信の低コスト化 – 大量のデータが常に生成されている • 記憶媒体の大容量化・通信の高速化 – 膨大なデータの蓄積 ⇒整理されていない膨大なデータ 2
  3. 3. データマイニング (Adriaans & Zantinge, 1998) • 大量のデータの中から規則性や関連性など 意味あるパターンを自動的に抽出する手法 • 従来,データ解析は多変量解析などの統計 的手法が主流であったが,1990 年代の中頃, 人工知能の分野におけるルールの自動生成 の研究が行われたことがデータマイニングの 発端 3
  4. 4. 高等教育の現状 • Romero and Ventura (2013)は、「教育機関が 直面する一つの大きな課題は,急速な教育 データの増加とその管理上の意思決定の質 を改善するためのデータの使用である」という ことを指摘している。 4
  5. 5. エデュケーショナルデータマイニング • エデュケーショナルデータマイニング(≒Learning Analytics and Knowledge; LAK)が近年,注目を集 めている。 →教育における問題を処理するために,教育環境 から得られる特別なデータ集合に対してデータマイ ニング技術を適用する (Romero & Ventura, 2013) • 学習分析学会発足(2015年5月) 5
  6. 6. 教育データの特性 • 異なる情報源(システム)から、学習者の活動 の膨大な量のデータが提供される • 全ての学生が活動や演習などを必ずしも完 了していないため、不完全なデータが存在す る • データの粒度の異なる多様なデータがある – 性別・アンケート・テスト得点etc… 6
  7. 7. なぜデータマイニングを用いるのか • 統計解析より,大量のデータが扱える。 • 実用性を重視し、データ解析の探索的側面を強 調 • 欠損値などを含む不完全なデータに対し頑健な 分析ができる。 →統計解析にも欠損値を扱う方法は存在するが, データマイニング手法の方がより頑健であることが 指摘されている。 7
  8. 8. エデュケーショナルデータマイニング と関連する主な領域 (Romero & Ventura, 2013) 8
  9. 9. エデュケーショナルデータマイニング により可能になること (Bousbia & Belamri, 2013) • 学習者モデリング – 知識、スキル、モチベーション、満足度、メタ認知、 態度、学習の進捗状況などの詳細な情報が組み 込まれたモデル • 学習者の成績や学習成果の予測 • 適応的な情報推薦 • 学習者の行動解析 – 個別指導、適応、パーソナライゼーションなど • 学生に関するリアルタイムデータの視覚化 9
  10. 10. エデュケーショナルデータマイニング のユーザー別目的 10 <教育者> -学習者の学習プロセスを 理解し、教育方法に反映 -教育のパフォーマンスを 向上 -学習活動の認知的、行 動的側面の理解 <学習者> -状況に応じた学習者支援 -学習者に適したフィード バックや情報推薦の提供 -学習効果の増大 <管理者> 教育資源を配分 する最良の方法 を評価するため
  11. 11. エデュケーショナルデータマイニング の研究事例 データ 手法 目的 Romero, Romero, Luna & Ventura (2010) Webログデータ アソシエーション・ ルール・マイニング 成績とLMS上の活 動との間の関係性 と影響を評価 Krüger, Merceron & Wolf (2010) 練習問題の取り組 みに関するログ アソシエーション・ ルール・マイニング 学習者が学習資源 をどのように使用し たか解析 Peckham & McCalla (2012) ログデータ K-means法 分散分析 読解力のタスクに おける学習者の行 動パターンを同定 He (2013) 操作ログ テキストマイニング 学習者の操作の調 査 11
  12. 12. 現在の研究課題 • ライティング・プロセスにおけるデータマイニン グの応用例 →キー入力ログを用いた英語学習者のライティ ング・プロセスの解明 • ライティング・プロダクトにおけるデータマイニ ングの応用例 →文法的誤りの頻度情報を用いた英語学習者 のライティング自動評価 12
  13. 13. ライティング・プロセスにおける データマイニングの応用例 キー入力ログを用いた英語学習者 のライティング・プロセスの解明 13
  14. 14. キー入力記録ログ • コンピュータのキー入力の記録。 • 心理言語学では以前からよく用いられている 手法であるが、近年では、外国語教育などで もよく用いられている。 14
  15. 15. WritingMaetriX • ライティングのキー入力を記録し,再生,分析 が行えるソフトウェア(草薙・阿部・福田・川口, 2015) • https://sites.google.com/site/writingmetrix/ からダウンロード可能。 15
  16. 16. WritingMaetriX Corpus Project (石井・石井・草薙・阿部・ 福田・川口, 2014a, 2014b) • ライティングのキー入力記録システム WritingMaetriX (WMX)に基づく,ライ ティング・プロセス可視化コーパスの構 築 • WMXで記録した学習者の産出過程のデー タを大量に蓄積することで,母語別・習 熟度別の学習者のライティング・プロセ スを横断的・縦断的に分析
  17. 17. WritingMaetriX Corpus Project ソフトウェア 開発グループ データ解析 グループ 言語資源構築 グループ 17 ・キーログアプリの開発・改良 ・プロセスデータの収集 ・ライティングタスクのデザイン ・ライティングプロセスの時系列 モデリング ・Rの分析用関数の開発 ・Excelによる分析シートの開発
  18. 18. 学習者コーパス研究の必要性 (投野, 2013, pp. 13-14) • 「学習者コーパスの研究成果がSLA研究の分野に大 きなインパクトを与えているとはまだ言いがたい。」 • 「SLA研究者が使ってみたいと思うようなデータ収集 の方法を採用するなど,コーパス設計に一段と工夫 が必要。」 • 「学習者コーパス研究はまだ分野的にそこまで成熟 していない」 18
  19. 19. コーパスデザインについて 目標言語 タスク 学習者 モード データ採取 内的/認知的 [書き言葉 / 話し言葉] [横断的 / 縦断的] [年齢 / 学習スタイル] ジャンル 誘出 内的・情意的 [物語 / エッセイ / など] [自発的 / 準備あり] [動機付け / 態度] 文体 参考図書 母語背景 [叙事体 / 論説体] [辞書 / 原文 / など] [日本語 / 中国語 / など] トピック 時間制限 L2学習環境 [一般 / 娯楽 / など] [あり / なし / 宿題] [ESL/EFL] [学校レベル] L2習熟度 [標準テスト得点] (投野, 2013, p. 6) 19
  20. 20. 目標言語 • トピック: 1. “It is important for college students to have a part time job.” 2. “Smoking should be completely banned at all the restaurants in the country.” 3. School Education 20
  21. 21. タスク • データ採取:横断的・縦断的 • 参考図書:なし • 時間制限:あり(20-60分) 21
  22. 22. 学習者 1. 性別 2. 年齢 3. 大学名・専攻・学年 4. 資格(英語テストのスコア)の取得状況 5. 英語学習歴 6. 海外滞在歴 7. 英語の使用頻度(5段階評価) 8. 作文を書くことに対する自信度(5段階評 価) 22
  23. 23. タスク遂行に関する主観的困難度 Ishikawa (2011) • concentration • this task required concentration. / this task did not require concentration • time pressure • I did not feel time pressure during task performance. / I felt time pressure during task performance • anxiety • this task made me anxious. / this task did not make me anxious • stress • I felt frustrated during task performance. / I did not feel frustrated during task performance • difficulty • this task was easy. / this task was difficult • interest • this task was interesting. / this task was difficult • ability • I did not do this task well. / I did this task very well • motivation • I want to do tasks like this. / I don’t want to do tasks like this 23
  24. 24. 学習者 • ライティングストラテジーに関する質問紙 以下の4つの観点から構成。 -Global Planning (Passage Level) -Local Planning (Word/Phrase/Sentence Level) -Review/Revision -Avoidance (Yamanishi, 2009) 24
  25. 25. プロジェクトの目的 –執筆活動のモニタリングやフィード バック –ライティング・ストラテジーとライティン グ・プロセスの関係性 –時系列分析・プロセスとプロダクトの 相互作用など様々な観点からの分析 25
  26. 26. https://sites.google.com/site/ writingmetrix/wmxcorpus 26
  27. 27. ライティング・プロダクトにおける データマイニングの応用例 文法的誤りの頻度情報を用いた 英語学習者のライティング自動評価 27
  28. 28. 背景 • これまでのライティング研究の多くは、第二言語として の英語ライティングを対象としているということである (Ortega, 2009) →日本の文脈を念頭に置いた,ライティング研究が必要 • 英語ライティングは指導が十分に行われていない(板 津・保田・大井, 2013) →学習者のエッセイ評価は教師にとって,大きな負担 →評定者間の評価の不一致の問題 28
  29. 29. 日本人英語学習者の文法的誤りと エッセイ諸評価の関係に基づく 自動採点システムの開発 • 文法的誤りへの焦点化 →エッセイ評価を予測するものとして総語数が よく挙げられるが、総語数は、他の全ての変数 と関係するため、擬似相関の可能性がある。 • 外国語教育学・言語学・情報学の知見を統合
  30. 30. なぜ文法的誤りなのか • 自然言語処理の教育応用に対する外国語教 育からの検討 →英語教育と自然言語処理のクロスロード (小 町, 2014) • Common European Framework of references (CEFR)のCan-do statementにおける Grammatical Accuracyの記述の精緻化
  31. 31. 自動採点システムにおける 文法的誤りの割合 • e-raterは大きく分けて11個の素性からエッセ イを評価するが、内3つ(Grammar, Usage, Mechanics)は文法的誤りを対象としたもので、 全体に占める割合は25%。これは Organizationの32%、Developmentの29パー セントについで3番目。
  32. 32. 自動採点システムの妥当性 • 作文の46箇所の誤りを訂正し、それをある自 動採点システムに評価させたところ、訂正前 と訂正後のスコアが全く同じだった (Jones, 2006)。 →システムの問題か、それとも学習者の誤りは エッセイ評価に寄与しないのか。
  33. 33. エッセイ自動評価の基礎的検討 • 制約に基づく文法理論を用いた英語学習者 の文法的誤りの自動検出 (Ishii, 2013; 石井, 2013) • アソシエーション分析を用いた英語学習者の 誤りの共起パターン (石井, 2014a, 2014b) 33
  34. 34. データマイニングの手法を用いた 英語学習者の誤りの共起パターン • アソシエーション分析 →大量のデータから「XならばYである」という因 果関係を抽出 (金, 2007) ・トピックごとに共起しやすい誤り、またトピック の影響を受けにくい誤りについて検討 34 アイテム集合 1 {パン、牛乳、ハム、果物} 2 {パン、オムツ、ビール、ハム} 3 {ソーセージ、ビール、オムツ} 4 {弁当、ビール、オムツ、タバコ} 5 {弁当、ビール、オレンジジュース、果物} Learner ID エッセイにおける誤り 1 {v_tns,v_lxc,at} 2 {n_num,v_tns,prp} 3 {v_tns,prp} 4 {prp, v_tns} 5 {n_lxc,n_o,v_tns}
  35. 35. データ • Konan-JIEM Learner Corpus (KJLC) • 甲南大学と教育測定研究所(JIEM)が共同で収集、アノ テーションを行ったコーパス。日本人英語学習者の170 エッセイから成る。また、文法誤り情報と品詞/句情報が 人手で付与されている。 • 研究目的のためであれば言語資源協会を通じて、購入可 能。 • 成田 (2013) • 名詞句の後置修飾を分析 35
  36. 36. データ エッセイの数 170 エッセイを書いた学生の数 17 総文数 2409 総単語数 19285 異なり語数 2054 36 ※学習者はエッセイトピックを示された後、5分間のプランニングタイムを与えられ、 その後35分でエッセイを書く。
  37. 37. トピック University life Summer vacation Gardening My hobby My frightening experience Reading My home town Traveling My favorite thing Cooking 37
  38. 38. エラータグの種類 タグ 内容 n_num 名詞-単複エラー、加算、不可算 エラー n_lxc 名詞-語彙選択エラー n_o 名詞-その他のエラー pn 代名詞に関するエラー v_agr 動詞-人称・数の不一致 v_tns 動詞-時制エラー v_lxc 動詞-語彙選択エラー v_o 動詞-その他のエラー mo 助動詞に関するエラー aj 形容詞に関するエラー タグ 内容 av 副詞(句)に関するエラー prp 前置詞に関するエラー at 冠詞に関するエラー con 接続詞に関するエラー rel 関係詞に関するエラー itr 疑問詞に関するエラー o_lxc 二語以上から成る成句での語彙 選択ミス ord 語順エラー uk 特定不能なエラー、構成上の致 命的なミス f フラグメント(断片、未完の文等) 38
  39. 39. エッセイの例 (University life) My university life is very interesting. Because I <v_lxc crr="do">act</v_lxc> many things <prp crr="">since</prp> now. First I <uk crr="am a member of">join</uk> <at crr="a"></at> cercle. I feel <ord crr="very good about this"><prp crr="about"></prp> this very good</ord>. <uk crr="I kill time by">My killing time is</uk> writing <n_num crr="novels">novel</n_num> or drawing <n_num crr="pictures">picture</n_num>. 39
  40. 40. 成田(2013)による評価 • 日本の大学で英語教育に従事している教員2 名(英語母語話者)と筆者の3人が、以下のよ うな手順で評価した。 1. 各評価者は、1つのライティング・トピックに関し て作成された17人のエッセイを一度に全て読み、 質的に優れていると判断したエッセイのみマー キングする。 2. 評価者3人による1の評価結果を照合し、トピッ クごとに優れているとみなすことができるエッセ イを協議して選定する。
  41. 41. 頻度の変換 • sqrt((X+0.5))で変換(開平変換) • 分布の正規性や分布の等質性を満たすた め • 複数の条件のデータの平均 値と分散の間に「平均/分散 =定数」的な関係がある場合。 • あまり起きないようなこと。 頻度が5増えた場合(横軸)、 小さい値と大きい値で変換 後の値(縦軸)の増え方が 異なる。
  42. 42. トピックのクラスタリング • 頻度はトピックによって違う 今回はこのグループの英作文を対象 学習データ: 70 評価データ: 20 langtest.jpによる分析
  43. 43. 誤りの種類を選択 • 以下の条件から9種類を選択 – 極端に頻度が低くない – goodとpoorで平均値に差がある程度存在 文法的誤り 名詞の数 動詞の時制 副詞 名詞(その他) 動詞の語彙選択 前置詞 代名詞 形容詞 語順
  44. 44. 最近傍法 • 2変数で考えてみると … Goodの平均値 Poorの平均値 Poor Good 𝐷 𝑝, 𝑋 = (𝑥𝑖 − 𝑥)2 𝑠𝑑 𝑥 + (𝑦𝑖 − 𝑦)2 𝑠𝑑 𝑦 x y 値が小さい方のカテゴリが評価と なる。sdはその次元の標準偏差。
  45. 45. 実験結果 • 標準ユークリッド距離を利用した最近傍法 – 70の学習用データで9種類の文法的誤りの平 均値を”good”、”poor”それぞれで計算 – 評価データでは、各エッセイが文法的誤りの値 とGood、Poorの平均値への距離を計算 – その距離が近い方をそのエッセイの評価 – Cohen’s Kappa = .57
  46. 46. まとめ • 文法的誤りへの注目 • 自動エラータグ付与の開発 • エラーのエッセイ評価への影響 • エラータグの種類 • 9種類のエラーによるエッセイ評価の予測 • Cohen's Kappa .57
  47. 47. 47

×