データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―
•
0 likes•3,294 views
全国英語教育学会熊本研究大会の発表資料です。 石井雄隆. (2015). 「データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―」. 全国英語教育学会熊本研究大会. 熊本学園大学.
Recommended
More Related Content
Similar to データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―
Similar to データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から― (20)
Recently uploaded
Recently uploaded (6)
データマイニングの手法を用いた英語ライティング研究―プロセスとプロダクトの観点から―
- 2. 社会的背景 • 社会の高度情報化・情報発信の低コスト化 – 大量のデータが常に生成されている • 記憶媒体の大容量化・通信の高速化 – 膨大なデータの蓄積 ⇒整理されていない膨大なデータ 2
- 3. データマイニング (Adriaans & Zantinge, 1998) • 大量のデータの中から規則性や関連性など 意味あるパターンを自動的に抽出する手法 • 従来，データ解析は多変量解析などの統計 的手法が主流であったが，1990 年代の中頃， 人工知能の分野におけるルールの自動生成 の研究が行われたことがデータマイニングの 発端 3
- 4. 高等教育の現状 • Romero and Ventura (2013)は、「教育機関が 直面する一つの大きな課題は，急速な教育 データの増加とその管理上の意思決定の質 を改善するためのデータの使用である」という ことを指摘している。 4
- 5. エデュケーショナルデータマイニング • エデュケーショナルデータマイニング（≒Learning Analytics and Knowledge; LAK）が近年，注目を集 めている。 →教育における問題を処理するために，教育環境 から得られる特別なデータ集合に対してデータマイ ニング技術を適用する (Romero & Ventura, 2013) • 学習分析学会発足（2015年5月） 5
- 6. 教育データの特性 • 異なる情報源（システム）から、学習者の活動 の膨大な量のデータが提供される • 全ての学生が活動や演習などを必ずしも完 了していないため、不完全なデータが存在す る • データの粒度の異なる多様なデータがある – 性別・アンケート・テスト得点etc… 6
- 7. なぜデータマイニングを用いるのか • 統計解析より，大量のデータが扱える。 • 実用性を重視し、データ解析の探索的側面を強 調 • 欠損値などを含む不完全なデータに対し頑健な 分析ができる。 →統計解析にも欠損値を扱う方法は存在するが， データマイニング手法の方がより頑健であることが 指摘されている。 7
- 9. エデュケーショナルデータマイニング により可能になること (Bousbia & Belamri, 2013) • 学習者モデリング – 知識、スキル、モチベーション、満足度、メタ認知、 態度、学習の進捗状況などの詳細な情報が組み 込まれたモデル • 学習者の成績や学習成果の予測 • 適応的な情報推薦 • 学習者の行動解析 – 個別指導、適応、パーソナライゼーションなど • 学生に関するリアルタイムデータの視覚化 9
- 11. エデュケーショナルデータマイニング の研究事例 データ 手法 目的 Romero, Romero, Luna & Ventura (2010) Webログデータ アソシエーション・ ルール・マイニング 成績とLMS上の活 動との間の関係性 と影響を評価 Krüger, Merceron & Wolf (2010) 練習問題の取り組 みに関するログ アソシエーション・ ルール・マイニング 学習者が学習資源 をどのように使用し たか解析 Peckham & McCalla (2012) ログデータ K-means法 分散分析 読解力のタスクに おける学習者の行 動パターンを同定 He (2013) 操作ログ テキストマイニング 学習者の操作の調 査 11
- 16. WritingMaetriX Corpus Project （石井・石井・草薙・阿部・ 福田・川口, 2014a, 2014b） • ライティングのキー入力記録システム WritingMaetriX (WMX)に基づく，ライ ティング・プロセス可視化コーパスの構 築 • WMXで記録した学習者の産出過程のデー タを大量に蓄積することで，母語別・習 熟度別の学習者のライティング・プロセ スを横断的・縦断的に分析
- 18. 学習者コーパス研究の必要性 （投野, 2013, pp. 13-14） • 「学習者コーパスの研究成果がSLA研究の分野に大 きなインパクトを与えているとはまだ言いがたい。」 • 「SLA研究者が使ってみたいと思うようなデータ収集 の方法を採用するなど，コーパス設計に一段と工夫 が必要。」 • 「学習者コーパス研究はまだ分野的にそこまで成熟 していない」 18
- 19. コーパスデザインについて 目標言語 タスク 学習者 モード データ採取 内的/認知的 [書き言葉 / 話し言葉] [横断的 / 縦断的] [年齢 / 学習スタイル] ジャンル 誘出 内的・情意的 [物語 / エッセイ / など] [自発的 / 準備あり] [動機付け / 態度] 文体 参考図書 母語背景 [叙事体 / 論説体] [辞書 / 原文 / など] [日本語 / 中国語 / など] トピック 時間制限 L2学習環境 [一般 / 娯楽 / など] [あり / なし / 宿題] [ESL/EFL] [学校レベル] L2習熟度 [標準テスト得点] (投野, 2013, p. 6) 19
- 20. 目標言語 • トピック： 1. “It is important for college students to have a part time job.” 2. “Smoking should be completely banned at all the restaurants in the country.” 3. School Education 20
- 21. タスク • データ採取：横断的・縦断的 • 参考図書：なし • 時間制限：あり（20-60分） 21
- 22. 学習者 1. 性別 2. 年齢 3. 大学名・専攻・学年 4. 資格（英語テストのスコア）の取得状況 5. 英語学習歴 6. 海外滞在歴 7. 英語の使用頻度（５段階評価） 8. 作文を書くことに対する自信度（５段階評 価） 22
- 23. タスク遂行に関する主観的困難度 Ishikawa (2011) • concentration • this task required concentration. / this task did not require concentration • time pressure • I did not feel time pressure during task performance. / I felt time pressure during task performance • anxiety • this task made me anxious. / this task did not make me anxious • stress • I felt frustrated during task performance. / I did not feel frustrated during task performance • difficulty • this task was easy. / this task was difficult • interest • this task was interesting. / this task was difficult • ability • I did not do this task well. / I did this task very well • motivation • I want to do tasks like this. / I don’t want to do tasks like this 23
- 24. 学習者 • ライティングストラテジーに関する質問紙 以下の4つの観点から構成。 -Global Planning (Passage Level) -Local Planning (Word/Phrase/Sentence Level) -Review/Revision -Avoidance (Yamanishi, 2009) 24
- 28. 背景 • これまでのライティング研究の多くは、第二言語として の英語ライティングを対象としているということである (Ortega, 2009) →日本の文脈を念頭に置いた，ライティング研究が必要 • 英語ライティングは指導が十分に行われていない(板 津・保田・大井， 2013) →学習者のエッセイ評価は教師にとって，大きな負担 →評定者間の評価の不一致の問題 28
- 30. なぜ文法的誤りなのか • 自然言語処理の教育応用に対する外国語教 育からの検討 →英語教育と自然言語処理のクロスロード (小 町, 2014) • Common European Framework of references (CEFR)のCan-do statementにおける Grammatical Accuracyの記述の精緻化
- 33. エッセイ自動評価の基礎的検討 • 制約に基づく文法理論を用いた英語学習者 の文法的誤りの自動検出 (Ishii, 2013; 石井, 2013) • アソシエーション分析を用いた英語学習者の 誤りの共起パターン (石井, 2014a, 2014b) 33
- 34. データマイニングの手法を用いた 英語学習者の誤りの共起パターン • アソシエーション分析 →大量のデータから「XならばYである」という因 果関係を抽出 (金, 2007) ・トピックごとに共起しやすい誤り、またトピック の影響を受けにくい誤りについて検討 34 アイテム集合 1 {パン、牛乳、ハム、果物} 2 {パン、オムツ、ビール、ハム} 3 {ソーセージ、ビール、オムツ} 4 {弁当、ビール、オムツ、タバコ} 5 {弁当、ビール、オレンジジュース、果物} Learner ID エッセイにおける誤り 1 {v_tns,v_lxc,at} 2 {n_num,v_tns,prp} 3 {v_tns,prp} 4 {prp, v_tns} 5 {n_lxc,n_o,v_tns}
- 35. データ • Konan-JIEM Learner Corpus (KJLC) • 甲南大学と教育測定研究所（JIEM）が共同で収集、アノ テーションを行ったコーパス。日本人英語学習者の170 エッセイから成る。また、文法誤り情報と品詞／句情報が 人手で付与されている。 • 研究目的のためであれば言語資源協会を通じて、購入可 能。 • 成田 (2013) • 名詞句の後置修飾を分析 35
- 36. データ エッセイの数 170 エッセイを書いた学生の数 17 総文数 2409 総単語数 19285 異なり語数 2054 36 ※学習者はエッセイトピックを示された後、５分間のプランニングタイムを与えられ、 その後35分でエッセイを書く。
- 37. トピック University life Summer vacation Gardening My hobby My frightening experience Reading My home town Traveling My favorite thing Cooking 37
- 38. エラータグの種類 タグ 内容 n_num 名詞-単複エラー、加算、不可算 エラー n_lxc 名詞-語彙選択エラー n_o 名詞-その他のエラー pn 代名詞に関するエラー v_agr 動詞-人称・数の不一致 v_tns 動詞-時制エラー v_lxc 動詞-語彙選択エラー v_o 動詞-その他のエラー mo 助動詞に関するエラー aj 形容詞に関するエラー タグ 内容 av 副詞（句）に関するエラー prp 前置詞に関するエラー at 冠詞に関するエラー con 接続詞に関するエラー rel 関係詞に関するエラー itr 疑問詞に関するエラー o_lxc 二語以上から成る成句での語彙 選択ミス ord 語順エラー uk 特定不能なエラー、構成上の致 命的なミス f フラグメント（断片、未完の文等） 38
- 39. エッセイの例 (University life) My university life is very interesting. Because I <v_lxc crr="do">act</v_lxc> many things <prp crr="">since</prp> now. First I <uk crr="am a member of">join</uk> <at crr="a"></at> cercle. I feel <ord crr="very good about this"><prp crr="about"></prp> this very good</ord>. <uk crr="I kill time by">My killing time is</uk> writing <n_num crr="novels">novel</n_num> or drawing <n_num crr="pictures">picture</n_num>. 39
- 40. 成田(2013)による評価 • 日本の大学で英語教育に従事している教員2 名（英語母語話者）と筆者の3人が、以下のよ うな手順で評価した。 1. 各評価者は、1つのライティング・トピックに関し て作成された17人のエッセイを一度に全て読み、 質的に優れていると判断したエッセイのみマー キングする。 2. 評価者3人による１の評価結果を照合し、トピッ クごとに優れているとみなすことができるエッセ イを協議して選定する。
- 41. 頻度の変換 • sqrt((X+0.5))で変換（開平変換） • 分布の正規性や分布の等質性を満たすた め • 複数の条件のデータの平均 値と分散の間に「平均/分散 =定数」的な関係がある場合。 • あまり起きないようなこと。 頻度が5増えた場合（横軸）、 小さい値と大きい値で変換 後の値（縦軸）の増え方が 異なる。
- 42. トピックのクラスタリング • 頻度はトピックによって違う 今回はこのグループの英作文を対象 学習データ: 70 評価データ: 20 langtest.jpによる分析
- 43. 誤りの種類を選択 • 以下の条件から9種類を選択 – 極端に頻度が低くない – goodとpoorで平均値に差がある程度存在 文法的誤り 名詞の数 動詞の時制 副詞 名詞（その他） 動詞の語彙選択 前置詞 代名詞 形容詞 語順
- 44. 最近傍法 • 2変数で考えてみると … Goodの平均値 Poorの平均値 Poor Good 𝐷 𝑝, 𝑋 = (𝑥𝑖 − 𝑥)2 𝑠𝑑 𝑥 + (𝑦𝑖 − 𝑦)2 𝑠𝑑 𝑦 x y 値が小さい方のカテゴリが評価と なる。sdはその次元の標準偏差。
- 45. 実験結果 • 標準ユークリッド距離を利用した最近傍法 – 70の学習用データで9種類の文法的誤りの平 均値を”good”、”poor”それぞれで計算 – 評価データでは、各エッセイが文法的誤りの値 とGood、Poorの平均値への距離を計算 – その距離が近い方をそのエッセイの評価 – Cohen’s Kappa = .57
- 46. まとめ • 文法的誤りへの注目 • 自動エラータグ付与の開発 • エラーのエッセイ評価への影響 • エラータグの種類 • 9種類のエラーによるエッセイ評価の予測 • Cohen's Kappa .57
- 47. 47