TokyoWebmining_16: 機械学習を使った英語習熟度の推定

機械学習を使った英語習熟度の推定 @langstat TokyoWebmining #162011年11月27日（日）、株式会社ニフティ 1

自己紹介• 小林雄一郎（こばやしゆういちろう） – 大阪大学大学院言語文化研究科／日本学術振興会 – 関心領域：コーパス言語学・テキストマイニング – ID: langstat（twitter、slideshare、はてな etc.） 2

• 研究の「思い」 – 言語学と言語処理と言語教育の架け橋になりたい言語学言語処理統語論意味論音韻論機械翻訳構文解析形態論語用論文体論テキスト分類文書要約談話分析社会言語学文脈処理評判分析コーパス言語学音声情報処理 etc. etc. リーディングライティングリスニングスピーキング語彙学校文法教材作成 ESP CALL 言語テスト etc. 言語教育 3

78/5 1/3 5/0 0/7 SN SNN SN SNN4 3/0 4/58 SN SNN997.5=>DEH 997.5 <DEH 76.21 <MES 76.21=>MES 31.22 <OOB 31.22=>OOB 345.4 <MRF 345.4=>MRF 56.83 <MES 56.83=>MES – 様々な母語を持つ学習者のクラスタリング etc. etc. – 日本人英語と母語話者英語の差異の分析 – 機械学習を用いた英語習熟度の自動推定 • 日本人学習者の英作文をマイニング

英語習熟度の推定• 既存の英語テスト – 主に、人間による評価 – だが、いかに熟練した試験官であっても、複数の試験官の評価が一致しないこともある ↓• 提案手法 – 客観的な評価基準と統計モデルで習熟度を判定 – 習熟度推定が分類問題に帰着することに注目（後述） 5

• どのようにして習熟度を推定するのか？ – 近年、どのような語彙・文法・形態の使用（または，その誤用）に注目すれば習熟度を判定することができるのかという基準特徴 (criterial features) の研究が大きな関心を集めている (e.g. CEFR) ↓• 解決すべき問題 – 1)習熟度を弁別するための統一的な基準が確立されていないこと – 2)習熟度を判定するための統計モデルが確立されていないこと 6

学習者コーパス• 統一的基準の策定 – 機械学習に用いる説明変数（素性）の選定 ↓• 学習者コーパス – 学習者が実際に産出した言語データを大量に集めたもの – 習熟度が上がるにつれて、学習者の言語がどのように変化していくかを（可能な限り）網羅的に記述 – あるいは、母語話者の言語使用と学習者の言語使用の間にはどんな違いがあるのかを調査 – 語彙、文法、構文、談話、誤り etc. etc. 7

• 主な学習者コーパス（日本人英語学習者） – 書き言葉 • JEFLL: 中高生の英作文 • ICLE: 大学生の英作文（海外の比較データ多数あり） • NICE: 大学生の英作文（母語話者による添削情報あり） • CEEJUS: 大学生の英作文（習熟度情報、アジア圏の比較データあり） – 話し言葉 • NICT-JLE: アルク社のスピーキングテスト（習熟度情報あり） • LINDSEI: ICLEと同じチームが構築 8

代名詞youの多用 • 言語発達の例冠詞の使用 that節の多用副詞 (e.g. 特徴語分析 really, just) の多用上級接続詞 (e.g. 基本動詞 (e.g. is, and, but) の want) などによる多用単文の羅列が目立ち始めるつなぎ言葉 (e.g. 中級UM, MMM) が顕著従属節・関係節の使用 N-gram分析習熟度が上がるにつれて、発話の総語数、異語数、異語初級率、平均文長なども過去形の使用伸びていく決まり文句の多用投野由紀夫 (2004). 「The NICT JLE Corpusに見る英語学習者の発表語彙の使用状況」和泉絵美・内元清貴・井佐原均 (編) 『日本人1200人の英語スピーキングコーパス』(pp. 96-112) 東京:アルク. 9

• 母語話者との差フランス人学習者がフランス人学習者が過剰使用する語過少使用する語冠詞 a 冠詞 the 不定限定詞 (e.g. all, some) 前置詞 (e.g. on, at) 不定代名詞 (e.g. something, 分詞 (-ing, -ed) everybody) 一人称と二人称の代名詞 (e.g. I, you) -ly副詞 (e.g. greatly, possibly) 等位接続詞 (e.g. and, but) 従位接続詞 (e.g. although, while) 助動詞 (e.g. can, will) 多くの名詞不定詞 (to) Rayson, P., & Granger, S. (1998). Automatic profiling of learner texts. In S. Granger (ed.), Learner English on computer (pp. 119-131). London: Longman. 10

• このように蓄積された知見を使って、習熟度を自動推定したい – 説明変数（単語や文法項目の頻度など）を特定 ↓ – 結果変数（習熟度）を判定 11

こんなこといいなできたらいいな 12

ここからはパイロットスタディ小さなことからコツコツと。。。 13

英語科学論文の表現上の質判定• 文章における表現の質を規定する要因は、言語学的に非常に興味深い問題• また、そのような要因は、英語教育で学習者が書く英文章に対する質を評価する際にも重要な観点 ↓• 英文添削の専門家によって表現上の質を評価された英語科学論文を対象に、文章内のメタ談話標識の使用頻度を素性の候補とし、論文における表現上の質を統計的に推定• 採用した統計モデルは、構築後にどのような素性が判定に有効であるかを見直すことができるため、どのようなメタ談話標識が質と関わっているのかを知ることが可能• このモデルは、完全に自動判定する場合だけでなく、複数の評価者の判定が一致しない場合に参考とすることもでき、言語教育分野にとっても有意義 14

英語科学論文コーパスの構築• IMRAD型に類する文章構成を含む学術論文を対象にWebから収集 – 1) キーワード集合の設定とクエリの生成（科研費「系・分野・分科・細目表」付表キーワード一覧の英語キーワードを活用） – 2) URLの取得（Yahoo!を用いて、usドメインとjpドメインを対象に） – 3) Webページの取得（URLに”~”を含み、”ac.jp”か”.edu”で終わるもののみを対象に） – 4) Webページの洗浄 – 5) テキストの抽出（Xpdfのpdftotextを使用） – 6) 情報付与（品詞情報など）田中省作・柴田雅博・冨浦洋一 (2011). 「Webを源とした質情報付き英語科学論文コーパスの構築法」『英語コーパス研究』 18, pp. 61-71. 15

• 表現上の質の評価基準 – 新規性や論理性といった論文の内容的な質ではなく、科学論文における表現の質（＝結果変数）を評価 – 「英文章中の表現の誤りの種類（軽微な誤り/非母語話者特有の誤り）と回数」（観点A） – 「各分野で高い評価を得ている学術雑誌にそのまま掲載できるものかどうか」（観点B） Good Poor 16

• 説明変数: Hylandのメタ談話標識 – 10種類のカテゴリーに分類される約400種類の談話表現 – 計量的な分析を想定 – アカデミック・ライティング、教科書、ビジネスレターなど、様々な言語データの分析に応用 (e.g. Hyland, 2005)Category Function ExamplesInteractive resources Help to guide reader through the textTra ns i ti ons (TRA) Expres s s ema nti c rel a ti on between ma i n cl a us es i n a ddti on / but / thus / a ndFra me markers (FRM) Refer to di s cours e a cts , s equences , or text s ta ges fi na l l y / to concl ude / my purpos e here i s toEndophori c ma rkers (END) Refer to i nforma tion i n other pa rts of the text notes a bove / s ee Fi g / i n s ecti on 2Evi dentia l s (EVI) Refer to s ource of i nforma ti on from other texts a ccordi ng to X / (Y, 1990) / Z s ta tesCode gl os s es (COD) Hel p rea ders gra s p functions of i dea ti ona l ma teri al na mel y / e.g. / s uch a s / i n other wordsInteractional resources Involve the reader in the argumentHedges (HED) Wi thout wri ters ful l commi tment to propos i tion might / perha ps / pos s i bl e / a boutBoos ters (BOO) Empha s i ze force or wri ters certa i nty i n propos i ti on i n fa ct / defi ni tely / i t is cl ea r tha tAtti tude ma rkers (ATM) Expres s wri ters a ttitude to propos i ti on unfortuna tely / I a gree / s urpri s inglyEnga gement ma rkers (ENG) Expl i citl y refer to or bui l d rel ati ons hi p with rea der cons i der / note tha t / you ca n s ee tha tSel f-menti ons (SEM) Expl i cit reference to a uthor(s ) I / we / my / our 17

• 実験データ – 質情報つきのデータセット N Running words Good (Lv. 4-5) 384 3177966 Poor (Lv. 1-2) 397 2078085 SUM 781 5256051 18

• メタ談話標識の頻度集計 – 論文ごとの総語数が異なるため、10000語あたりの相対頻度に変換して集計 a nd we or our also but then ma y ・・・ CLASS 1 1.67 1.70 0.19 0.15 0.22 0.37 0.07 0.32 ・・・ Poor 2 2.61 1.63 0.26 0.26 0.33 0.00 0.00 0.07 ・・・ Poor 3 2.92 0.52 0.73 0.24 0.10 0.14 0.49 0.17 ・・・ Poor 4 3.45 0.78 0.33 0.62 0.21 0.08 0.08 0.12 ・・・ Poor 5 1.99 0.19 0.56 0.00 0.08 0.04 0.08 0.15 ・・・ Poor 6 2.51 1.12 0.37 0.34 0.16 0.08 0.08 0.23 ・・・ Poor ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 776 2.49 1.03 0.23 0.33 0.05 0.14 0.56 0.09 ・・・ Good 777 1.94 1.25 0.34 0.28 0.19 0.06 0.09 0.06 ・・・ Good 778 3.00 0.45 0.39 0.22 0.15 0.13 0.05 0.10 ・・・ Good 779 2.66 1.18 0.63 0.54 0.16 0.39 0.15 0.18 ・・・ Good 780 2.25 0.64 0.25 0.24 0.21 0.11 0.24 0.07 ・・・ Good 781 2.53 0.82 0.66 0.18 0.22 0.13 0.19 0.10 ・・・ Good 19

• 分類手法：ランダムフォレスト – 1) 精度が高い – 2) 大きいデータに効率的に作用し、何百・何千の変数を扱うことができる – 3) 分類に用いる変数の重要度を推定する – 4) 欠損値の推測、多くの欠損値を持つデータの正確さの維持に有効である – 5) 分類問題における各クラスの個体数がアンバランスであるデータにおいてもエラーのバランスが保たれる – 6) 分類と変数の関係に関する情報を計算する – 7) クラス間の近似の度合が計算できる – 8) 外的基準がないデータにも適用できる（個体の類似度の計算など） etc. etc. （金, 2007） 20

and we or our al s o but the n may ・・・ CLASS 1 1.67 1.70 0.19 0.15 0.22 0.37 0.07 0.32 ・・・ jp 2 2.61 1.63 0.26 0.26 0.33 0.00 0.00 0.07 ・・・ jp 3 2.92 0.52 0.73 0.24 0.10 0.14 0.49 0.17 ・・・ jp 4 3.45 0.78 0.33 0.62 0.21 0.08 0.08 0.12 ・・・ jp 5 1.99 0.19 0.56 0.00 0.08 0.04 0.08 0.15 ・・・ jp 6 2.51 1.12 0.37 0.34 0.16 0.08 0.08 0.23 ・・・ jp ・・・ 301 302 ・・・ 2.49 1.94 ・・・ 1.03 1.25 ・・・ 0.23 0.34 ・・・ 0.33 0.28 ・・・ 0.05 0.19 ・・・ 0.14 0.06 ・・・ 0.56 0.09 ・・・ 0.09 0.06 ・・・・・・・・・・・・ us us Training data 303 3.00 0.45 0.39 0.22 0.15 0.13 0.05 0.10 ・・・ us 304 2.66 1.18 0.63 0.54 0.16 0.39 0.15 0.18 ・・・ us 305 2.25 0.64 0.25 0.24 0.21 0.11 0.24 0.07 ・・・ us 306 2.53 0.82 0.66 0.18 0.22 0.13 0.19 0.10 ・・・ usRandom Forest(s) Bootstrap Sample 1 Sample 2 … Sample N Forest Tree 1 Tree 2 … Tree N Result 1 Result 2 … Result N Ensemble learning Regression / classification 21

• 分類実験 – コーパスを学習データと評価データに2分割 – それぞれGoodとPoorを約半数ずつ含む学習学習データ (n=391) 全データ分割 (n=781) 評価データ評価 (n=390) 22

• 分類モデルの構築（機械学習） – ランダムサンプリングする変数の数は、分析者が用意した変数の数の正の平方根（RFの考案者が推奨する方法） – 学習に用いる木の数は、200 横軸が木の数、縦軸が誤判別率。赤が正例、緑が負例、黒がOOB (out of bag) RFでは、ブートストラップサンプルの3 分の1をテスト用として外してモデルを作成し、外した3分の1を用いてテストを行う。OOBはこのテスト結果における誤判別率 23

• 重要度の高い説明変数（上位30表現） could, likely, would, perhaps, may, appear, apparent, almost, largely (hedges), on the other hand, also, therefore, but (transitions), subsequently, purpose (frame markers), we (self-mentions), allow, determine, ensure, order, see (engagement markers), called, or, such as (code glosses), shown, realize, must, shows, evident, found (boosters) が含まれており，学術論文に特徴的な表現がうまく抽出されている 24

• Hedge (HED) – 重要度上位30表現の中にHEDが9種類も含まれていることは特筆に値する G G P G P P G P G G G P P G P GP P 25

• Hedge – 書き手の習熟度を如実に表す項目 – 学術的な議論を展開するにあたって、書き手の懐疑（doubt）や確信（certainty）を適切に表現することは非常に重要なこと – 特に、HEDは、自らの主張（claim）を弱めることで、逆に議論（argument）そのものを強くする働きを持っており (Meyer, 1997)、それを巧みに使いこなせるかどうかが優れた書き手と稚拙な書き手を分けるrhetorical gap (Hyland, 1995) 26

• 評価データによる予測 – 正判別率: 81.79% Good Poor Good 154 38 Poor 33 165• 今後の課題 – 言語学や言語教育の知見に基づく分類器の改良 – 文法情報や構文情報に基づく分類器との統合 – 2クラス分類モデルから多クラス分類モデルへの拡張 etc. 27

• 分類手法の比較アンサンブル学習を用いた手法の精度が高く、その中でも RFの精度が最も高い 28

• 金 (2009) による分類器の精度比較（参考）やはりアンサンブル学習を用いた分類手法の精度が高く、 RFの精度が最も高い 29

まとめ• 習熟度の自動推定に向けて – 学習者コーパスから、習熟度推定に役立つ言語項目を特定 – 特定された言語項目を説明変数として、機械学習で習熟度を自動推定• 英語科学論文の表現上の質判定 – メタ談話標識を説明変数（の候補）とするランダムフォレストを用いて、81.79%でGood/Poorを判別 30

• 英語科学論文の質判定に関しては、以下を参照 – 小林雄一郎・田中省作・冨浦洋一 (in press) 「メタ談話標識を素性とするパターン認識を用いた英語科学論文の質判定」『人文科学とコンピュータシンポジウム論文集― 「デジタル・アーカイブ」再考』東京: 情報処理学会. – PDF原稿をご希望の方は、2011年12月10日以降にお送りいたしますので、お気軽にご連絡ください 31

ご清聴ありがとうございました。 @langstathttp://www.geocities.jp/langstat/ 32

http://d.hatena.ne.jp	3542
http://paper.li	22
http://webcache.googleusercontent.com	9
http://us-w1.rockmelt.com	5
http://a0.twimg.com	3
http://twitter.com	1
https://twitter.com	1
http://translate.googleusercontent.com	1

TokyoWebmining_16: 機械学習を使った英語習熟度の推定

by Yuichiro Kobayashi on Nov 26, 2011

Accessibility

Upload Details

Usage Rights

8 Embeds 3,584

Statistics

TokyoWebmining_16: 機械学習を使った英語習熟度の推定 — Presentation Transcript