言語処理学会2018で発表したスライド

1. 英語教育者支援のための
複単語表現平易化手法の検討
芦原和樹* 高田祥平** 荒瀬由紀** 内田諭※
*大阪大学工学部電子情報工学科
**大阪大学大学院情報科学研究科
※九州大学大学院言語文化研究院

2. 研究背景
• 英語の教育現場では、学習者に合わせて
提示する英文の難易度を調整することがある
• 手作業で行われているため大きな負担となっている
平易化の自動化が望まれる
2/23

3. 平易化に対する現状の課題
Lexical simplification（語彙平易化）に関する研究は活発だが
複単語表現*の平易化に関する研究はされていない
• 複単語表現の一部のため言い換えができない
hit the hay → hit the (言い換えられない)
• 構成単語は簡単だが難解な複単語表現が存在する
cry over spilled milk (後悔する)
• 難解な複単語表現は約10%の文に含まれる
複単語表現の平易化が必要
＊複数の単語から一つの意味を構成する表現 3/23

4. 関連研究
• Lexical simplificationのプロセス[1]
• 言い換え対象となる語（Target）の検索
• 言い換え先候補（Candidate）の選定
• Candidateのランク付け
• ベクトルを用いたCandidateの選定[2]
• Lexical simplification
• 各単語をベクトルで表す
• TargetとCandidateのベクトルの類似度を利用
[1] Lexical Simplification with Neural Ranking (G.Paetzold et al. EACL 2017)
[2] SimpleScience: Lexical Simplification of Scientific Terminology (Y.Kim et al. EMNLP 2016) 4/23

5. 研究目的
• compositionalityを有さない複単語表現がある
• take advantage（利点を生かす） → compositional
• cry over spilled milk（後悔する） → non-compositional
• 平易化におけるcompositionalityの影響を分析
英語教育における教材準備支援
難解な複単語表現を平易な単語へ言い換える
hit the hay → sleep
cry over spilled milk → regret
5/23

6. 難易度
• Common European Framework of Reference for
Languages（CEFR）[3]に準拠
• 世界中で学習者の言語運用能力を客観的に評価する
ために使われている指標
CEFRレベル A1 A2 B1 B2 C1 C2
難易度 易 難
A1～B1：平易
B2～C2：難解
[3] The CEFR and the Need for More Research (Charles et al. The Modern Language Journal 2007) 6/23

7. 辞書
• English Vocabulary Profile（EVP）
• 難易度辞書
• 単語・複単語表現にCEFR準拠の難易度
• CEFR-J Wordlist Version
• 難易度辞書
• Thesaurus.com
• 類義語辞書
複単語表現 難易度 類義語
do the job C2 perform（A2），conceive（B2），complete（B1）…
look for A1 seek（A2），hint（B2），anticipate (B2)…
7/23

8. 提案手法の概要
Targetの検索
• EVP（難易度辞書）
• 入力文を原形にして、連続に
現れる難易度B2以上の複単語表現
を検索
Candidateの選定
• Thesaurus.com（類義語辞書）
• 難易度B1以下の単語のみを抽出
Candidateのランク付け
• Targetを分散表現で表す
• Candidateとのコサイン類似度を用
いてランク付け
8/23

9. 分散表現
• 単語を高次元のベクトルで表現する技術
• 近い意味の単語同士は近いベクトルに対応
• 加法構成性[4]
ex) [king] – [man] + [woman] = [queen]
分散表現を用いる理由[5]
• 早い
• 正確
[4] Learning Semantically and Additively Compositional Distributional Representations(R.Tian et al. ACL2016)
[5] Distributed Representations of Words and Phrases and their Compositionality (T.Mikolov et al. Advances
in neural information processing systems 2017) 9/23

10. Candidateのランク付け
複単語表現を一つの分散表現で表すことが必要
1. 𝑆𝑢𝑚
• word2vecを用いて分散表現を学習
• 構成単語を足し合わせることでTargetの分散表現を得る
[take advantage] = [take] + [advantage]
2. 𝐶𝑜𝑛𝑐𝑎𝑡
• 複単語表現をアンダーバー（_）で連結してword2vecで学習
• 複単語表現を1つのトークンとする
take advantage → take_advantage
10/23

11. Retrofitting[6]
• 類義語辞書を使用
• 類義語同士はベクトル空間上で近傍となるようにモデルの
再学習を行う
• Paraphrase Database（PPDB）[7]を類義語辞書として
用いた手法で最も高い性能を示した
PPDBを用いたRetrofittingの性能を評価
[6] Retrofitting Word Vectors to Semantic Lexicons (M.Faruqui et al. NAACL 2015)
[7] PPDB: The Paraphrase Database (J.Ganitkevitch et al. ACL 2013)
11/23

12. Candidateのランク付け
3. 𝑆𝑢𝑚 𝑅
• 𝑆𝑢𝑚で学習した分散表現モデルに対してPPDB中の約800万
対の単語ペアを類義語としてRetrofittingを行う
• その他は𝑆𝑢𝑚と同様
4. 𝐶𝑜𝑛𝑐𝑎𝑡 𝑅
• 𝐶𝑜𝑛𝑐𝑎𝑡で学習した分散表現モデルに対して、PPDB中の
単語ペアに加えて複単語表現を含む2.5万対を加えた
類義語辞書でRetrofitting
• PPDB中の複単語表現はアンダーバー （_）で連結して
一つのトークンとする
• その他は𝐶𝑜𝑛𝑐𝑎𝑡と同様
12/23

13. 評価データの作成
• 言語学の研究者と協議してデータ作成
• Rice大学の公開教科書データを使用
• ネイティブ話者がアノテーション
• Targetと各Candidateが言い換え可能か文脈を考慮した判定
• Targetのcompositionalityを判定
13/23

14. 評価データ
正解Candidateを1つ以上含むTargetが評価データ
評価データ
Target 81
compositional 44
non-compositional 24
判定不能 13
Candidate 778
正解Candidate 168
14/23

15. 評価指標
Targetのカバレッジ
• 教育者にとって提示されたCandidate の正誤判定は容易と期待できる
• 適切なCandidate を一つは含むリストを出力することが重要
• 出力リスト中に1つ以上正解Candidateを含む割合を示す指標
𝑇true
𝑇all
適合率
• 出力したリスト中に不正解Candidate が多く含まれている場合、
システムを使用する教育者の負担となりうる
• 出力リストの精度を示す指標
𝐶true
𝐶output
𝑇true：1つ以上正解Candidateを
含むTarget数
𝑇all ：全Target数
𝐶true ：出力できた正解
Candidate数
𝐶output ：出力したCandidate数
15/23

16. 結果
Targetのカバレッジ
n 𝑹𝒂𝒏𝒅𝒐𝒎 𝑺𝒖𝒎 𝑺𝒖𝒎 𝑹 𝑪𝒐𝒏𝒄𝒂𝒕 𝑪𝒐𝒏𝒄𝒂𝒕 𝑹
1 0.358 0.543 0.519 0.654 0.617
2 0.539 0.756 0.790 0.778 0.790
3 0.658 0.840 0.864 0.840 0.864
適合率
n 𝑹𝒂𝒏𝒅𝒐𝒎 𝑺𝒖𝒎 𝑺𝒖𝒎 𝑹 𝑪𝒐𝒏𝒄𝒂𝒕 𝑪𝒐𝒏𝒄𝒂𝒕 𝑹
1 0.358 0.543 0.519 0.654 0.617
2 0.334 0.500 0.500 0.526 0.551
3 0.316 0.413 0.422 0.444 0.493
• nは出力数
• 𝑅𝑎𝑛𝑑𝑜𝑚はランダムで出力した際の期待値
0.864 0.864
0.493
• nを増加させるほど適合率は低下
• 正解Candidate数は平均2.1個
• Targetごとに適切な数の出力が必要
• nが2以上においてRetrofittingに効果あり
• システム上複数のCandidateを出力することを想定
Targetのカバレッジ
n 𝑺𝒖𝒎 𝑺𝒖𝒎 𝑹 𝑪𝒐𝒏𝒄𝒂𝒕 𝑪𝒐𝒏𝒄𝒂𝒕 𝑹
1 0.543 0.519 0.654 0.617
2 0.756 0.790 0.778 0.790
3 0.840 0.864 0.840 0.864
適合率
n 𝑺𝒖𝒎 𝑺𝒖𝒎 𝑹 𝑪𝒐𝒏𝒄𝒂𝒕 𝑪𝒐𝒏𝒄𝒂𝒕 𝑹
1 0.543 0.519 0.654 0.617
2 0.500 0.500 0.526 0.551
3 0.413 0.422 0.444 0.493
16/23

17. 𝑆𝑢𝑚と𝐶𝑜𝑛𝑐𝑎𝑡の比較
Targetのカバレッジ
n 𝑺𝒖𝒎 𝑪𝒐𝒏𝒄𝒂𝒕
1 0.543 0.654
2 0.756 0.778
3 0.840 0.840
適合率
n 𝑺𝒖𝒎 𝑪𝒐𝒏𝒄𝒂𝒕
1 0.543 0.654
2 0.500 0.526
3 0.413 0.444
𝐶𝑜𝑛𝑐𝑎𝑡でより高い精度が出ている
17/23

18. 否定語を含む場合
• 否定語は、足し合わせでの意味の付与は難しい
• 連結して学習すれば否定の意味を付与できる
入力文
It‘s against the law to rob a bank , …
Target ：against the low（法に反する）
𝑺𝒖𝒎 ：legal
𝑪𝒐𝒏𝒄𝒂𝒕 ：illegal
18/23

19. Candidateの単語をTargetが含む場合
• ()内はコサイン類似度
• 足し合わせではcourseとのコサイン類似度が高くなる
• 𝐶𝑜𝑛𝑐𝑎𝑡では構成単語であっても正しい出力ができている
入力文
… before choosing a course of action and moving
forward .
Target ： course of action（一連の行動）
𝑺𝒖𝒎 ：course（0.638）、approach（0.472）
𝑪𝒐𝒏𝒄𝒂𝒕 ：approach（0.413）、…、course（0.156）
19/23

20. 結果（compositionality）
• compositionalityの観点から比較
𝑆𝑢𝑚と𝐶𝑜𝑛𝑐𝑎𝑡のTargetのカバレッジの比較（n = 1）
手法 compositional non-compositional
𝑆𝑢𝑚 0.500 0.500
𝐶𝑜𝑛𝑐𝑎𝑡 0.614 0.708
• compositionalityの観点からも構成単語を連結し一つのベクトルを
生成する手法が有効
• compositionalな場合も𝑆𝑢𝑚の精度はそこまで高くない
20/23

21. 𝑆𝑢𝑚の精度が低い
• 複単語表現には構成単語別に重みが存在する[8]
• climate change（気候変動） =
climate = 4.90
change = 4.83
• polo shirt （ポロシャツ） =
polo = 1.73
shirt = 5.00
• 重みを考慮した足し合わせが必要
• 幅広い意味を持つ単語が存在する
• haveやtake等は多くの意味を持つ
• 提案手法は一つの単語を一つの分散表現で表している
• 語義（品詞）別に異なる分散表現を用いることで
精度の向上が望める
[8] An Empirical Study on Compositionality in Compound Nouns (S.reddy et al. IJCNLP 2011)
構成単語が複単語表現の意味に
対してどの程度重みを持つか、
人手で0~5のスコア付け
21/23

22. come downはfailの意味を含むが
主語がinflation ratesのため不正解
入力文の文脈考慮の言い換えが必要
文脈考慮の必要性
入力文
In the 1980s , inflation rates came down in the United
States and in Europe and have largely stayed down .
Target ：come down（落ちる）
Candidate ：decrease, fail, fall, reduce, improve …
出力 ：fail
22/23

23. まとめ
難解な複単語表現を平易な単語に言い換える手法の検討
• 分散表現を用いたCandidateのランク付け
• 高い精度での言い換えが実現
• 複単語表現のベクトル化は構成単語のベクトルを足し合わせる
のではなく、連結して一つのベクトルを生成することが有効
• 今後の課題
• 評価データを増やしてより詳細な分析
• 入力文を考慮した平易化による精度向上
23/23