Improving SMT quality

1. 文献紹介(H26/7/1)
Improving SMT quality
with morpho-syntactic analysis
長岡技術科学大学 高橋寛治

2. 概要
• 言語情報を与えると統計的機械翻訳の性能が向
上すると期待
• 40%の単語はコーパス中で1回しか現れない
• 独英統計的機械翻訳において、形態的統語的情
報を利用することにより性能が向上
• Sonja Nieflen, Hermann Ney, COLING, 2000,
Vol.2

3. コーパスの統計 一度しか現れない

4. 全体図

5. 分離動詞
• 英語 Go out：外出する
• ドイツ語 Out go -> Outgo
• ausgehen 外出する, aus|gehen
• 【分離前つづり＋基礎動詞部分】
• フランクは 今晩 ペトラと 外出する。
• Frank heute Abend mit Petra ausgehen.
• Frank geht heute Abend mit Petra aus.

6. 分離動詞の書き換え(verb
prefixes)
• フランクは 今晩 ペトラと 外出する。
• Frank geht heute Abend mit Petra aus.
↓
• Frank heute Abend mit Petra ausgehen.

7. 複合語(split compounds)
• 複合語「Ftuchtetee」は翻訳できない
• それぞれの要素「Ftuchte」,「 Tee」はコーパ
ス中に存在→翻訳可能
• トレーニングに存在しない複合語は分割

8. 品詞付与(pos)
• 語義曖昧性解消の手掛かりに品詞を利用
• Aber
• 副詞, 接続詞
• Zu
• 副詞, 前置詞, 分離した動詞の接頭辞, 不定詞の指標
• Der, die, das
• 定冠詞, 代名詞

9. 間違って翻訳されやすい
• “Das wurde mir sehr gut passen.”
• 正：“That would suit me very well.”
• 誤：“The would suit me very well.”
• “Das war zu schnell”
• 正：“That was to fast.”
• 誤：“That was too fast.”

10. 熟語の結合(merge)
• 2語以上からなる熟語は文中での振る舞いが全
く異なる
• “irgend etwas” (“anything”)
• 熟語21語を一語としてエントリー
• “irgend-etwas”

11. 未収録語
• トレーニング中に存在しない固有名詞は、その
まま出力
• 固有名詞の出力文中での位置は大抵正解
• 重複するが、複合語の分割はドイツ語の未収録
語を減らす
• 未収録語を一般形に変換することで、ある時は
意図された意味を翻訳できる
• “kaltes”->”kalt” (cold), “Jahre”->”Jahr” (years)

12. 翻訳
• コーパス
• VERBMOIL
• 日程決めの会話のコーパス
• 入力
• テキスト、音声認識(認識精度69%)の二つ
• トレーニングセット
• 45680組の文
• テストセット
• 未収録語を含まない147文
• 評価にSSER(著者ら2000)を利用
• 人手で評価
• 0.0:意味も構文も正しい
• 1.0:完全に間違い

13. 結果
• 複合語の分割により、語の種類数が減る。
• 1度しか現れない語は2.8%減少。

14. 結果
• テキストを翻訳 • 音声認識を翻訳
品詞付与、熟語の結合、動詞の一般化が
翻訳性能に寄与

15. まとめ
• 形態的統語的情報を利用して統計的機械翻訳を
精度向上
• 複合語
• 分離動詞
• 品詞付与
• 熟語
• 未収録語
• 自然な対話で有効性を確認