Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

英語学習者の文法的誤りをめぐって: 最近の動向とエッセイ自動評価のための基礎的検討.

2,503 views

Published on

外国語教育メディア学会(LET)関西支部メソドロジー研究部会2013年度第三回研究会の発表資料です。

石井雄隆. (2014). 英語学習者の文法的誤りをめぐって: 最近の動向とエッセイ自動評価のための基礎的検討. 外国語教育メディア学会(LET)関西支部メソドロジー研究部会2013年度第三回研究会.早稲田大学.

Published in: Education
  • Be the first to comment

英語学習者の文法的誤りをめぐって: 最近の動向とエッセイ自動評価のための基礎的検討.

  1. 1. 英語学習者の文法的誤りをめぐって: 最近の動向とエッセイ自動評価 のための基礎的検討 石井雄隆 (早稲田大学大学院) yutaka.i.0207@gmail.com 外国語教育メディア学会関西支部 メソドロジー研究部会2013年度第3回研究会 2014/3/15 於:早稲田大学
  2. 2. 概要 1. 最近の動向 2. エッセイ自動評価のための基礎的検討 2.1 制約に基づく文法理論を用いた英語学習者 の文法的誤りの自動検出 (Ishii, 2013; 石井, 2013) 2.2 エラータグ付き学習者コーパスを用いた作 文における誤りのアソシエーション分析 (石井, 2014)
  3. 3. 1. 最近の動向
  4. 4. なぜ今文法的誤りなのか • 自然言語処理の教育応用に対する外国語教 育からの検討 →英語教育と自然言語処理のクロスロード (小 町, 2014) • Common European Framework of references (CEFR)のCan-do statementにおける Grammatical Accuracyの記述の精緻化
  5. 5. 英語学習者支援のための共通タスク (小町, 2013) • Helping Our Own (HOO) 2011 European Workshop on Natural Language Generation 論文の文法的誤り訂正 ACL Anthology Reference Corpus • Helping Our Own (HOO) 2012 Building Educational Applications Workshop 前置詞と限定詞の文法的誤り訂正 Cambridge Learner Corpus 5
  6. 6. 英語学習者支援のための共通タスク (小町, 2013) • Native Language Identification Shared Task Building Educational Applications Workshop 英作文から英語学習者の母語推定 TOEFL11 データセット • Grammatical Error Correction CoNLL 2013 限定詞、前置詞、数、動詞の形、一致、スペル、句読点 の文法的誤り訂正 NUS Corpus of Learner English 6
  7. 7. 誤り検出・訂正ワークショップ 2012 • 英語学習者の作文の誤り自動検出のワーク ショップ。EDCW 2012 では、前置詞誤り・動詞 (主語-動詞の一致)誤りの2つのトラックに加 え、誤りの種類を限定しないパイロットトラック を実施。 • ソースコードは以下で公開されている。 • https://sites.google.com/site/edcw2012/ 7
  8. 8. 自動エラータグ付与 (投野・望月, 2012) • 対応する正解文さえ用意すれば編集距離を 用いて自動的にオリジナル文と正解文を対比 して差分を特定し,エラータグを付与するツー ルを開発中 8
  9. 9. CEFRの文法的正確さのCDS
  10. 10. 自動採点システムにおける 文法的誤りの割合 • e-raterは大きく分けて11個の素性からエッセ イを評価するが、内3つ(Grammar, Usage, Mechanics)は文法的誤りを対象としたもので、 全体に占める割合は25%。これは Organizationの32%、Developmentの29パー セントについで3番目。
  11. 11. 自動採点システムの妥当性 • 作文の誤りを46箇所訂正し、自動採点システ ムに評価させたところ、訂正前と訂正後のス コアが同じだった (Jones, 2006)。 →システムの問題か、それとも学習者の誤りは エッセイ評価に寄与しないのか。
  12. 12. 2. エッセイ自動評価のための 基礎的検討 英語学習者の文法的誤りから学習者のエッセ イを自動分類するために、 • 誤り自動検出研究の可能性 • 誤りのトピック別の共起関係 を検討
  13. 13. 2.1 制約に基づく文法理論を用いた英 語学習者の文法的誤りの自動検出
  14. 14. はじめに • 制約に基づく文法理論である語彙機能文法 を自然言語解析機として実装したXerox Linguistic Environment (XLE)を用いて、英語初 級学習者の文法的誤り自動検出の可能性を 検討する。 14
  15. 15. 研究の動機 • 大規模なコーパスや統計手法の出現によって、 統語解析や意味解析の問題がなおざりにされて きた。 (池原, 2001) • Chapelle and Chung (2010) stated that “[t]he ideal hybrid may be one in which sentence-level feedback is provided by an automated mechanism, leaving the teacher free to comment. Nevertheless, research in natural language processing is focusing on these higher-order concerns” (p. 41). 15
  16. 16. 語彙機能文法 (LFG)
  17. 17. XLE • LFGを自然言語処理機で実装 • Xerox PARCによって開発された。 • “[A] platform for large-scale LFG grammar development” (King et al., 2000). →大規模データの解析が可能になった。 17
  18. 18. Rules (1) S --> NP: (^SUBJ)=! (! CASE)=NOM; VP: ^=!. (2) VP --> V: ^=!; NP: (^OBJ) (! CASE)=ACC. (3) NP -- > (D) N: ^=!. 18
  19. 19. Lexicon walks V * (^ PRED) =’walk<(^SUBJ)>’. girl N * (^PRED)=’girl’. the D * . 19
  20. 20. 出力結果 20
  21. 21. 応用例 • Powerset (→Bing) • 機械翻訳 (Owczarzak et al., 2007) • コンピュータ支援語学学習 (Butt & King, 2007) • 質問応答システム (Judge et al., 2006) • 日本語LFG (Masuichi et al., 2006) 21
  22. 22. XLEの問題点 • “The development of large coverage, rich unification- (constraint-) based grammar resources is very time consuming” (Cahill et al., 2002). • 語順、左方転移構文などの例文において容 認性に問題がみられることがある。 →改善手法はいくつか提示されている (Kuhn, Rohrer & Zarries, 2010)。 22
  23. 23. XLEを利用した理由 • 制約に基づいて英文を解析することで、学習 者のライティングを一貫して評価することがで きる。 →評定者間の評価のずれの問題を解決 • XLEは様々なアプリケーション(機械翻訳、質 問応答システム)で応用され、英語学習者の 文法的誤り自動検出に適している。 23
  24. 24. 今回対象とした誤り • 三人称単数形のsの脱落 *he kick it. • 日本語の影響から生じる誤り *today is tired. (→I am tired today.) • 時制のミスマッチ *we kick it yesterday. • 冠詞の誤り *girl is tired. *a boys are tired. 24
  25. 25. 三人称単数形の-sの脱落 (1/2) • 日本人英語学習者が最も誤りを犯すのが動 詞に関係する誤りである (Abe, 2003; Izumi et al., 2003)。 • Quirk et al. (1985) stated that “[t]he most important type of concord in English is concord of third person number between subject and verb”. 25
  26. 26. 三人称単数形の-sの脱落 (2/2) • kick V * (^PRED)='kick<(^SUBJ)(^OBJ)>' {(^SUBJ NUM)=sg (^ SUBJ PERS)=3 (^ ERROR-TYPE1)=third-person-singular}; V * (^PRED)='kick<(^SUBJ)>' {(^SUBJ NUM)=sg (^ SUBJ PERS)=3 (^ ERROR-TYPE1)=third-person-singular} (^ TENSE)=present. 26
  27. 27. *He kick it. 27
  28. 28. 議論 (1/2) • 三人称単数形のsの脱落 →fishやsheepなど単複同形の名詞の扱い • 日本語の影響から生じる誤り →比喩的な言語使用の扱い michi-ga touzai-wo hasitte-iru road-SUBJ east-and-west-OBJ run-PRO 28
  29. 29. 議論 (2/2) • 時制のミスマッチ →時を表す名詞が無い場合の時制の扱い • 冠詞の誤り →英語母語話者にとっても冠詞の使用は難し い(石田, 2002)。冠詞の誤りをどの程度扱うか。 29
  30. 30. 結論 • 形態素レベルの文法的誤りはルールベースで検出出来る。 • 冠詞などは確率的モデルで検討した方が精度が高い。 • 最適性理論 (OT)などを援用し、error gravityの順位付け。 • [A]utomated feedback would be more appropriate for students at lower levels of language proficiency who were still learning basic writing skills (Chen and Cheng, 2008) 30
  31. 31. 2.2 エラータグ付き学習者コーパスを用 いた作文における誤りのアソシエーショ ン分析 31
  32. 32. はじめに • 本研究ではKonan-JIEM Learner Corpusと呼ば れる日本人英語学習者が産出した英作文の エラータグ付きコーパスを用いて、誤りのアソ シエーション分析を行った。アソシエーション 分析には、様々な分析指標が存在するが、 本研究では主に一つのエッセイの中にどう いった誤りが共起するかをトピックごとに検討 した。 32
  33. 33. 学習者コーパスを用いた誤りに関す る先行研究 • スペリング(He, 1998) • 語彙(Chi Man-lai et al., 1994; Milton & Freeman 1996; Lenko-Szymanska, 2003) • 動詞(Källkvist, 1995) • 時制(Granger, 1999; Housen, 2002) • 冠詞(Mason & Uzar 2001) • 談話・照応関係(Flowerdew, 2000) • コロケーション(Tono, 1996; Nesselhauf, 2005) • 複数のエラー (Nicholls, 2003; Abe & Tono, 2005; Albert et al., 2009) 33
  34. 34. ライティングとトピックの関係性 • トピックはライティングにおける言語使用に影響 を与える (Reid, 1990; Hinkel , 2009)。 • ライティングのトピックが異なっていたとしても, ライティングの評価に影響を与えない(Brossell & Hoetker Ash, 1984; Carlson et al., 1985; Spaan, 1993)。 • 作文テーマによる差は、作文テーマに関連する 内容語の偏り以外はほとんど見られない (杉浦・ 阪上・成田, 2007)。 34
  35. 35. 文法的誤りとトピックの関係性 • Kitamura (2011)は、日本人英語学習者の文 法的誤りがどの程度エッセイの評価に影響を 与えるかを決定木を用いて検討。 35
  36. 36. Kitamura (2011) school education 36
  37. 37. Kitamura (2011) money 37
  38. 38. Kitamura (2011) • エラータイプが3種類しか扱われていない(いわ ゆるProblem-oriented tagging)。 • subject-verb agreement → He have been living there since June. • verb form →I can’t skiing well, but… • sentence fragment →Because people’s interesting thing is not the same. 38
  39. 39. データ • Konan-JIEM Learner Corpus • 甲南大学と教育測定研究所(JIEM)が共同で収集、アノ テーションを行ったコーパス。日本人英語学習者の170 エッセイから成る。また、文法誤り情報と品詞/句情報が 人手で付与されている。 • 研究目的のためであれば言語資源協会を通じて、購入可 能。 • 成田 (2013) • 名詞句の後置修飾を分析 39
  40. 40. データ エッセイの数 170 エッセイを書いた学生の数 17 総文数 2409 総単語数 19285 異なり語数 2054 40 ※学習者はエッセイトピックを示された後、5分間のプランニングタイムを与えられ、 その後35分でエッセイを書く。
  41. 41. トピック University life Summer vacation Gardening My hobby My frightening experience Reading My home town Traveling My favorite thing Cooking 41
  42. 42. エラータグの種類 タグ 内容 n_num 名詞-単複エラー、加算、不可算 エラー n_lxc 名詞-語彙選択エラー n_o 名詞-その他のエラー pn 代名詞に関するエラー v_agr 動詞-人称・数の不一致 v_tns 動詞-時制エラー v_lxc 動詞-語彙選択エラー v_o 動詞-その他のエラー mo 助動詞に関するエラー aj 形容詞に関するエラー タグ 内容 av 副詞(句)に関するエラー prp 前置詞に関するエラー at 冠詞に関するエラー con 接続詞に関するエラー rel 関係詞に関するエラー itr 疑問詞に関するエラー o_lxc 二語以上から成る成句での語彙 選択ミス ord 語順エラー uk 特定不能なエラー、構成上の致 命的なミス f フラグメント(断片、未完の文等) 42
  43. 43. 誤りの分布 タイプ 割合 (%) 冠詞 19.23 名詞の単複 13.88 前置詞 13.56 動詞の時制 8.77 名詞の語彙選択 7.04 動詞の語彙選択 6.90 代名詞 6.62 動詞の人称・数の 不一致 5.25 形容詞 4.30 タイプ 割合 (%) 動詞その他 4.09 副詞 3.59 接続詞 2.04 語順 1.34 名詞その他 1.30 助動詞 0.88 語彙選択その他 0.74 関係詞 0.42 疑問詞 0.04 43
  44. 44. エッセイの例 (University life) My university life is very interesting. Because I <v_lxc crr="do">act</v_lxc> many things <prp crr="">since</prp> now. First I <uk crr="am a member of">join</uk> <at crr="a"></at> cercle. I feel <ord crr="very good about this"><prp crr="about"></prp> this very good</ord>. <uk crr="I kill time by">My killing time is</uk> writing <n_num crr="novels">novel</n_num> or drawing <n_num crr="pictures">picture</n_num>. <uk>This has many people like me</uk>.So I concentrate <prp crr="on"></prp> this. Second is summer vacation. I <v_tns crr="did"><v_lxc crr="do">act</v_lxc></v_tns> many <n_num crr="things">thing</n_num> in <pn crr="my"></pn> summer vacation. My best memory is <at crr="the"></at> seminar on the sea. I went to Ho-chi-min and Singapore. I got many friends <prp crr="from">around</prp> Hyogo university. And I <av crr="sometimes">sometime</av> meet <pn crr="them">friends</pn>. Last I have many friends <prp crr="from">in</prp> high school, junior high school and <aj crr="other">etc</aj> <n_num crr="groups">group</n_num>. We always talk about each <n_o crr="other's">other</n_o> <n_num crr="lives">life</n_num> <prp crr="by">in</prp> e-mail or internet. And We play <prp crr="">in</prp> inside or outside home. We play funny <n_num crr="games">game</n_num>. For example, <n_lxc crr="one of us">a friend</n_lxc> <v_agr crr="calls">call</v_agr> <prp crr="">in</prp> Macdonald <con crr="and"></con> <v_lxc crr="says"></v_lxc> "Please give me <at crr="a"></at> hundred <n_num crr="hamburgers">hunbergar</n_num>.“ And others look <prp crr="at"></prp> him and laugh. I have many friends, so my university life is very interesting. 44
  45. 45. 分析手法 • アソシエーション分析 →大量のデータから「XならばYである」という因 果関係を抽出 買い物バスケットの事例 45 Transaction ID アイテム集合 1 {パン、牛乳、ハム、果物} 2 {パン、オムツ、ビール、ハム} 3 {ソーセージ、ビール、オムツ} 4 {弁当、ビール、オムツ、タバコ} 5 {弁当、ビール、オレンジジュース、果物}
  46. 46. アソシエーション分析を用いた先行研 究 • 小林 (2013) • 日本人英語学習者の話し言葉コーパスにお ける誤りの共起関係を検討 • 投野 (2013) • 学習者のCEFRレベルの推定 46
  47. 47. アソシエーション分析 • 信頼度 「条件(パンを買う)が起きた場合に,結論(ミ ルクを買う)が起きる割合」 • 支持度 「条件(パンを買う)と結論(ミルクを買う)が同 時に起こる場合が全トランザクションに占める割合」 • リフト値 結論(ミルクを買う)が条件(パンを買う)と無 関係に起こっていないかどうか。 47
  48. 48. アプリオリアルゴリズム (Agrawal & Srikant, 1994) • 評価指標の下限を設定し、それを下回る組み 合わせに関する計算を省略 • support値の下限を0.1に設定 • Rのarulesというパッケージ(http://cran.r- project.org/package=arules)を使用 48
  49. 49. support値の結果 University life Rule support {} => {at} 1.00 {} => {prp} 0.94 {prp} => {at} 0.94 {at} => {prp} 0.94 {} => {n_lxc} 0.88 {n_lxc} => {prp} 0.88 {prp} => {n_lxc} 0.88 {n_lxc} => {at} 0.88 {at} => {n_lxc} 0.88 {n_lxc, prp} => {at} 0.88 Summer vacation Rule support {} => {at} 0.88 {} => {v_tns} 0.82 {n_num} => {at} 0.70 {at} => {n_num} 0.70 {v_tns} => {at} 0.70 {at} => {v_tns} 0.70 {prp} => {v_tns} 0.64 {prp} => {at} 0.64 {v_lxc} => {v_tns} 0.64 {v_lxc} => {at} 0.64 49
  50. 50. support値の結果 Gardening Rule support {} => {at} 0.82 {} => {n_num} 0.82 {v_agr} => {n_num} 0.70 {n_num} => {v_agr} 0.70 {n_lxc} => {n_num} 0.64 {prp} => {n_num} 0.64 {v_agr} => {at} 0.64 {prp} => {v_agr} 0.59 {prp} => {at} 0.59 {prp, v_agr} => {n_num} 0.59 My hobby Rule support {} => {prp} 1.00 {} => {at} 0.88 {at} => {prp} 0.88 {prp} => {at} 0.88 {v_tns} => {prp} 0.76 {uk} => {at} 0.70 {at} => {uk} 0.70 {uk} => {prp} 0.70 {at, uk} => {prp} 0.70 {prp, uk} => {at} 0.70 50
  51. 51. support値の結果 My frightening experience Rule support {} => {prp} 1.00 {} => {at} 0.88 {at} => {prp} 0.88 {prp} => {at} 0.88 {v_tns} => {prp} 0.76 {uk} => {at} 0.70 {at} => {uk} 0.70 {uk} => {prp} 0.70 {at, uk} => {prp} 0.70 {prp, uk} => {at} 0.70 Reading Rule support {} => {prp} 1.00 {} => {at} 0.88 {at} => {prp} 0.88 {prp} => {at} 0.88 {v_tns} => {prp} 0.88 {uk} => {at} 0.70 {at} => {uk} 0.70 {at} => {uk} 0.70 {at, uk} => {prp} 0.70 {prp, uk} => {at} 0.70 51
  52. 52. support値の結果 My home town Rule support {} => {at} 1.00 {} => {prp} 0.88 {prp} => {at} 0.88 {at} => {prp} 0.88 {n_num} => {prp} 0.70 {prp} => {n_num} 0.70 {n_num} => {at} 0.70 {n_num, prp} => {at} 0.70 {at, n_num} => {prp} 0.70 {at, prp} => {n_num} 0.70 Traveling Rule support {} => {at} 0.88 {n_num} => {at} 0.70 {at} => {n_num} 0.70 {prp} => {at} 0.70 {at} => {prp} 0.70 {v_tns} => {prp} 0.59 {v_tns} => {at} 0.59 {prp, v_tns} => {at} 0.59 {at, v_tns} => {prp} 0.59 {at, prp} => {v_tns} 0.59 52
  53. 53. support値の結果 My favorite thing Rule support {} => {at} 0.88 {n_num} => {at} 0.70 {at} => {n_num} 0.70 {prp} => {at} 0.70 {at} => {prp} 0.70 {v_tns} => {prp} 0.58 {v_tns} => {at} 0.58 {prp, v_tns} => {at} 0.58 {at, v_tns} => {prp} 0.58 {at, prp} => {v_tns} 0.58 Cooking Rule support {} => {n_num} 0.82 {prp} => {n_num} 0.70 {n_num} => {prp} 0.70 {at} => {n_num} 0.58 {pn} => {prp} 0.52 {n_lxc} => {n_num} 0.52 {pn} => {n_num} 0.47 {n_lxc} => {at} 0.47 {pn, prp} => {n_num} 0.47 {n_num, pn} => {prp} 0.47 53
  54. 54. 結果 • 前置詞と冠詞に関するエラーはエッセイのト ピックに関係がなく多い(belong to a clubする ところをbelong clubと書くなど)。 • Summer vacation, My frightening experience, Traveling, My favorite thingなどは動詞の時制 に関するエラーが他の誤りと共起しやすい。 54
  55. 55. 今後の課題 • 誤りごとの誤用率と正用率の検討 • 誤りを絞って検討 • タグガイドラインの見直し(タグの種類とタグ 付けの難しさはトレードオフ) • 習熟度別の分析 55
  56. 56. おわりに • 一般化可能性理論、多相ラッシュモデルを用 いた作文評価の分析 (福田・石井, 発表予定) • 人工エラーデータを用いたエッセイ評価に寄 与する要因の検討 (石井, 発表予定) • 機械学習を用いたエッセイ評価に寄与する言 語的特徴の検討

×