Specia. Translating from Complex to Simplified Sentences. In Proc. of PROPOR, pp.30-39, 2010.

1. Specia. ”Translating from Complex to
Simplified Sentences.”
In Proc. of PROPOR, pp.30-39, 2010.
B4 西原 大貴
1 / 22

2. 目次
 概要
 背景
 手法
 実験設定：コーパス、SMT
 実験：トレーニング、チューニング
 結果：自動評価、手動評価
 結論
2 / 22

3. 概要
 SMT で TS (Text Simplification) した
◦ 字句の平易化と単純な書き換えはできた
 コーパスサイズは4,483ペア
3 / 22

4. 背景
 ブラジルでは簡単な文なら読める人が多い
 PorSimplesの目的は、政府サイトや報道のTS
 既存研究はルールベースが多い
◦ ルールの一般化は大変
◦ 一般化できても誤動作ある
◦ 特定のものに依存
 コーパスベースは操作やルールの適用場所を学習
4 / 22

5. 手法
SMT で TS
 フレーズベースのSMT
 ポルトガルの平易化
5 / 22

6. 実験設定：コーパス
PorSImpleによる手作りコーパス
 平易化が”強い”ものと
 “自然”さを残したもの ←今回はこっちを使う
◦ ルールに縛られないのでルール作りしにくい
6 / 22

7. 実験設定：コーパス
 定義した平易化操作
1. 何もしない
2. 語彙置換（レアor難しい単語を置換）
3. 平易化の書き換え（discourse markers や連語)
4. SVO順にする
5. 能動態にする
7 / 22

8. 実験設定：コーパス
 定義した平易化操作（続き）
6. 句の順序反転
7. 文分割
8. 文融合
9. 文削除
10. 文の一部を削除
11. 強い書き換え（その他自由に書き換えたもの）
8 / 22

9. 実験設定：コーパス
ブラジルの新聞2つから
 Zero Hora の一面のニュースページ
◦ 104記事
 Folha de Sao Paulo の科学ページ
◦ 37記事
 合わせて、4,483文（平易化前）
◦ これをセグメント（平易化後は複数の文かもしれない）
9 / 22

10. 実験設定：コーパス
10 / 22

11. 実験設定：SMT
 翻訳モデルと言語モデルに分けられる
11 / 22

12. 実験設定：SMT
SMT で TS
 ポルトガル語として良いか（言語モデル）
 フレーズと、対応する平易化フレーズの確率辞書
を学習（翻訳モデル）
 フレーズの並べ替え方法（並べ替えモデル）
 ソースと翻訳文の長さの違い（単語ペナルティ）
これらの重み付け考慮は必要
12 / 22

13. 実験設定：SMT
SMTとして Moses 使用
 必要なモデル入ってる
13 / 22

14. 実験：トレーニング
データを3つに分けた
 トレーニング用 3,383
 Moses のパラメータ調整用 500
 テスト用 500
フレーズテーブルに 229,000フレーズ
14 / 22

15. 実験：チューニング
 最も高いのは、単語ペナルティと言語モデル
 フレーズ確率や、字句並べ替えも高い
◦ 長さや順を変えず、ターゲット言語の共通セグメントへの
平易化を優先
15 / 22

16. 結果：自動評価
評価指標
 BLEU = 0.6075
◦ 英語から多言語への翻訳スコアは約0.25
 NIST = 9.6244 (上限13)
◦ 低頻度語に高い重み
◦ 語順より単語の内容重視
リファレンス
 人間による平易化文
16 / 22

17. 結果：その他の自動評価１
平易化した量
 ターゲットとソースが異なるか
 BLEU = 0.7664, NIST = 11.509
 ターゲットが、リファレンスよりソースに近い
 注意を払いすぎた（平易化しなさすぎた）
 recall より precisionを優先
 また、ターゲットの75%しか変更されてなかった
17 / 22

18. 結果：その他の自動評価２
単純化の貢献
 リファレンスがターゲットやソースと一致するか
 対ソース ：BLEU = 0.5726, NIST = 9.5101
 対ターゲット：BLEU = 0.6075, NIST = 9.6244
 ターゲットの方が近い → 平易化できてそう
 ただ、ターゲットの90%がリファレンスと異なる
18 / 22

19. 結果：その他の自動評価3
（既に簡単な）元の文の保存
 ソースの89%がリファレンスと異なる
 そのうち、SMTは79%しか変更しなかった
◦ 平易化しなさすぎてる
 逆に、誤って変更したのは、わずか4.8%
19 / 22

20. 結果：手動評価
 ランダムな20個
評価指標 (1悪い〜3良い)
 流暢さ = 2.5
 適切か = 2.5
 期待される平易化か = 2.35
20 / 22

21. 結果：手動評価
例を見ると
 語彙操作（難解な語やdiscourse makers）は良い
 近距離の並べ替えも良い
 接続詞などの簡単な文分割もできてる
 SVOにしたり、長距離並べ替えは無理
 括弧は削除するが、内容を適切に処理できない
 語や短いフレーズを優先するため、情報抜け落ち
21 / 22

22. 結論
 語彙操作はできたが、その他の平易化はできない
◦ recall より precisionを優先
 SMT使っただけで、しかも訓練データが4000しかない
のにこの結果はすごくない？
◦ ふつうSMTには数十万のデータが必要
22 / 22

23. 23 / 22