Your SlideShare is downloading. ×
Machine Translation Quality Metrics
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Introducing the official SlideShare app

Stunning, full-screen experience for iPhone and Android

Text the download link to your phone

Standard text messaging rates apply

Machine Translation Quality Metrics

338
views

Published on

Japanese presentation on how we evaluate machine translation output.

Japanese presentation on how we evaluate machine translation output.

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
338
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Yamagata Europe のMT 品質メトリックス 2種類のカスタマイズ品質測定システム 2013年11月27日 第23回JTF翻訳祭 トラック3 セッション4 (16:30~18:00) Tomoko Kaji ‐ Heidi Van Hiel MT/ツール開発チームマネージャ heidi.van.hiel@yamagata‐europe.com
  • 2. Yamagata Europeのご紹介 Yamagata Corporationの支社 ヨーロッパでは2箇所: • ベルギー • スロバキア 完全なドキュメンテーションサイクル: • 制作 & レイアウト • 翻訳 • 品質管理 • 印刷 & 納品 www.yamagata‐europe.com 2
  • 3. Yamagata Europeのご紹介 品質に重点: • 欧州のアプローチ、日本の品質管理 • QA Distiller開発 • SnellSpell開発 MTの導入: • 2009年 • Systran Enterprise Server/Moses/KantanMT • 2つの使い道:生産性向上と新規事業 www.yamagata‐europe.com 3
  • 4. MT 品質メトリックス • 出発点:  • 全MTプロジェクトに共通の品質メトリックスは あるのか? • 異なる品質要件 ‐顧客 ‐プロジェクトタイプ ‐エンドユーザー • メトリックス • • • • 既存のメトリックス:BLEU、TER、NISTなど 顧客にとっての重要性 ポストエディターにとっての重要性 ROI 上の重要性 www.yamagata‐europe.com 4
  • 5. MT 品質メトリックス MT プロジェクトプラン: • ステップ 1 翻訳品質の定義: • 「ヒューマン・クオリティ」 VS「 分りやすさ(理解可能) 」 • ステップ 2 顧客が求める品質レベルの設定 / 改善詳細: • スタートする閾値 (許容される最低品質レベル) • 最終レベルの閾値 (理想的かつ現実的な品質レベル) • ステップ 3 値向上サイクルの定義: • 品質コントロール (メカニズム / メトリックス) • ポストエディターとの密な協力 • 顧客からのフィードバック・メカニズム www.yamagata‐europe.com 5
  • 6. メトリックスシステムのカスタマイズ@ YEU 2つのプロジェクト: • プロジェクト : サービスマニュアル翻訳 • プロジェクト www.yamagata‐europe.com :オンライン多言語チャット 6
  • 7. メトリックスシステムのカスタマイズ@ YEU プロジェクト : サービスマニュアル翻訳 • 品質要件: ヒューマン・クオリティ • 人によるポストエディットを実施 • 適用メトリックス: • FTRレート = First Time Right segment rate (最初から正しいセグメントの%) = 完璧なMT アウトプット = ポストエディターのチェックで修正不要 • PE スコア = Post‐Editing score = PEセグメント内での修正の数 (%)(WERに類似) = PE作業率を表示: PE スコアが高い = PE作業率が高い www.yamagata‐europe.com 7
  • 8. メトリックスシステムのカスタマイズ@ YEU • 実運用の基本メトリックス: • FTRレート: 20% (最小値) • PE スコア:35% (最大値) 8
  • 9. メトリックスシステムのカスタマイズ@ YEU • FTRレート向上のサイクル • PE 前後を比較: ‐ PE 修正による用語集のアップデート ‐ 自動ポストエディット機能 EN: To save the file, press the button [SAVE].  MT: ファイルを保存するには、 ボタン[SAVE]を押してください。 PE : ファイルを保存するには、 [SAVE]ボタンを押してください。 • ポストエディターに品質アンケート: 文法、スタイル、用語ミスについてのフィードバック プロジェクト毎にFTRデータを保存・エンジンアップデート • 上限: 約 55% (言語により異なる) 9
  • 10. メトリックスシステムのカスタマイズ@ YEU • PEスコア • FTRレートが上限到達時、PE スコアにフォーカスシ フト • PE スコアが高い = PE 作業率が高い = PEの代わりに最初から翻訳し直す • PE スコア改善のサイクル • 用語集のファインチューニング • PEの自動化 • 下限: +/‐ 10% www.yamagata‐europe.com 10
  • 11. メトリックスシステムのカスタマイズ@ YEU • FTRレートとPEスコアの進化: サービスマニュアル翻訳プロジェクト FTR and PE score evolution (German; 6 months) 60 50 40 FTR 30 PE score 20 10 0 Jan www.yamagata‐europe.com Feb Mar Apr June July 11
  • 12. メトリックスシステムのカスタマイズ@ YEU プロジェクト : オンラインチャット • 品質要件: 理解可能な翻訳 • • • • 用語が重要 文法、スタイル面の重要度は低い 即時納品 人的作業の介入不可 (=no PE) • 実運用のメトリックス: • お客様の判断による(平均85%) ※プロジェクト①との条件の違い • 参考翻訳なし • FTRレートとPE スコアの関連なし(不可) www.yamagata‐europe.com 12
  • 13. メトリックスシステムのカスタマイズ@ YEU シンプルなスコア定義: • 人による評価 • 4‐レベル評価: 4. 完璧に理解可能 即理解でき、文法的にも正しい 例: JA:  お客様はドアの取っ手が壊れているクレームを出しました。 EN: Customer complained about broken door handle. 3. 充分理解可能 文法にミスがあるが、少し考えれば理解可能 例:  JA:お客様はドアの取っ手が壊れているクレームを出しました。 EN: Customer complained door handle broken. www.yamagata‐europe.com 13
  • 14. メトリックスシステムのカスタマイズ@ YEU 2. かろうじて理解可能 全体の意味が不明、理解する為の努力が必要 例:  JA:お客様はドアの取っ手が壊れているクレームを出しました。 EN: Customer complained door handle corrupt. 1. 理解不可能 意味をなさず、明らかに良くない 例:  JA:お客様はドアの取っ手が壊れているクレームを出しました。 EN: Handle customer complained door corrupt. www.yamagata‐europe.com 14
  • 15. メトリックスシステムのカスタマイズ@ YEU • スコア向上のサイクル • ヒューマン翻訳ボタン • 顧客フィードバック・メカニズム • 顧客の求めるサービスレベルに応じた、頻度の 高いエンジンのアップデート Online chat: evaluation for Russian 90 80 70 60 Quality1 50 Quality2 40 Quality3 30 Quality4 20 10 0 Nov. 2011 www.yamagata‐europe.com Nov. 2012 Nov. 2013 15
  • 16. メトリックスシステムのカスタマイズ@ YEU ご清聴ありがとうございました! www.yamagata‐europe.com 16