R&D論文読み会勉強会20170816 Data Augmentation for Low-Resource Neural Machine Translation

1. Sansan株式会社
論文読み会(2017/08/16)
Data Augmentation for Low-Resource
Neural Machine Translation
Marzieh Fadaee, Arianna Bisazza, Christof Monz, Proceedings of the 55th Annual Meeting of the
Association for Computational Linguistics(Short Papers), pp.567-573, 2017
Data Strategy & Operation Center, R&D Group 研究員
髙橋寛治

2. 概要
1
ニューラル機械翻訳の品質は対訳コーパスサイズに強く依存する
画像処理から触発され、Data augmentationを提案する
低頻度語を対象として処理した結果、BLEU値で2.9ポイント上昇
図や数式は、論文より引用しています。

3. はじめに
画像処理では、Data augmentationが性能向上に寄与
ニューラル機械翻訳（NMT）のために、大量の対訳文を用意するのは困難
同じ要領でData augmentationすればNMTでも性能向上するのでは？
2

4. Neural Machine Translation
単語列を入力（Encode）し、
ベクトルから単語列を出力（Decode）する、系列変換を行う
3

5. Translation Data Augmentation(TDA)を提案
対訳コーパスを増強することで性能向上を狙う
低頻度語を対象に増強することで、
ニューラルネットワークがパラメータを学習しやすくなる
4

6. Translation Data Augumentationの概略
原言語：S、出力言語：T
ある語、Si,Tjを置換する
低頻度語を意味を保持しながら置換する
5

7. Data augmentationのステップ
- Targeted words selection
- ある頻度を閾値として、対象の語を決める
- Rare word substituion
- 学習データに置換したデータを加える
- 言語モデルで置換
- Translation selection
- 置換した語を翻訳
- Sampling
- augmentationできなくなるまでループ
6

8. Augumentationの例
[original / substituted]と[original / translated]
文法はOKだが、意味のある文か分からない
7

9. 評価
データが少ないと仮定して、実用性があるかを実験する
- NMT
- コーパス：WMT15から10%を無作為に抽出
- NMT：4層の注意機構付きエンコーダーデコーダーモデル
- 語彙：3万語、Byte pair encodingを適用
- Data augmentation
- 2層の双方向LSTM(埋め込みは64次元、隠れ層は128次元)
- 学習コーパス：英語は35億、ドイツ語9億トークン
- 低頻度語は頻度100まで、置換候補は1000語、置換後の語は頻度500以上を対象
8

10. 結果
BLEUは参照訳とのnグラムの一致度合いを見た尺度
TDAのr=1は1文あたり1単語のみの置換、r>=1は複数語の置換
Back-translationは、原文を翻訳した後、再翻訳し原文を作る
9

11. 結果の解析
ベースラインはcentimetresをzentimeterに翻訳できなかった
TDAではできている
そしてaugmented dataは特に意味をなさない
10

12. TDAの影響の調査
低頻度語に対するTDAは効果あり
11

13. Data augmentationの誤り例
of / yearlyのような文法エラー
entrustedとbetrautは対訳ではあるが、置換するとドイツ語が文法誤り
12

14. まとめ
- NMTに対して、Data augmentation手法を提案
- 低頻度語を増強する対訳文を生成
- 翻訳性能が向上
13

15. 14