Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Yamagata Europe のMT 品質メトリックス
2種類のカスタマイズ品質測定システム
2013年11月27日
第23回JTF翻訳祭
トラック3 セッション4 (16:30~18:00)
Tomoko Kaji ‐ Heidi Van ...
Yamagata Europeのご紹介

Yamagata Corporationの支社
ヨーロッパでは2箇所:
• ベルギー
• スロバキア
完全なドキュメンテーションサイクル:
• 制作 & レイアウト
• 翻訳
• 品質管理
• 印刷 &...
Yamagata Europeのご紹介

品質に重点:
• 欧州のアプローチ、日本の品質管理
• QA Distiller開発
• SnellSpell開発
MTの導入:
• 2009年
• Systran Enterprise Server/...
MT 品質メトリックス

• 出発点: 
• 全MTプロジェクトに共通の品質メトリックスは
あるのか?
• 異なる品質要件
‐顧客
‐プロジェクトタイプ
‐エンドユーザー

• メトリックス
•
•
•
•

既存のメトリックス:BLEU、TE...
MT 品質メトリックス

MT プロジェクトプラン:
• ステップ 1
翻訳品質の定義:
• 「ヒューマン・クオリティ」 VS「 分りやすさ(理解可能) 」

• ステップ 2
顧客が求める品質レベルの設定 / 改善詳細:
• スタートする閾値...
メトリックスシステムのカスタマイズ@ YEU

2つのプロジェクト:
• プロジェクト : サービスマニュアル翻訳

• プロジェクト

www.yamagata‐europe.com

:オンライン多言語チャット

6
メトリックスシステムのカスタマイズ@ YEU

プロジェクト : サービスマニュアル翻訳
• 品質要件: ヒューマン・クオリティ
• 人によるポストエディットを実施
• 適用メトリックス:
• FTRレート
= First Time Right...
メトリックスシステムのカスタマイズ@ YEU

• 実運用の基本メトリックス:
• FTRレート: 20% (最小値)
• PE スコア:35% (最大値)

8
メトリックスシステムのカスタマイズ@ YEU

• FTRレート向上のサイクル
• PE 前後を比較:
‐ PE 修正による用語集のアップデート
‐ 自動ポストエディット機能
EN: To save the file, press the bu...
メトリックスシステムのカスタマイズ@ YEU

• PEスコア
• FTRレートが上限到達時、PE スコアにフォーカスシ
フト
• PE スコアが高い
= PE 作業率が高い
= PEの代わりに最初から翻訳し直す

• PE スコア改善のサイク...
メトリックスシステムのカスタマイズ@ YEU

• FTRレートとPEスコアの進化:
サービスマニュアル翻訳プロジェクト
FTR and PE score evolution (German; 6 months)
60

50

40
FTR
...
メトリックスシステムのカスタマイズ@ YEU

プロジェクト : オンラインチャット
• 品質要件: 理解可能な翻訳
•
•
•
•

用語が重要
文法、スタイル面の重要度は低い
即時納品
人的作業の介入不可 (=no PE)

• 実運用のメ...
メトリックスシステムのカスタマイズ@ YEU

シンプルなスコア定義:
• 人による評価
• 4‐レベル評価:
4. 完璧に理解可能
即理解でき、文法的にも正しい
例: JA:  お客様はドアの取っ手が壊れているクレームを出しました。
EN: ...
メトリックスシステムのカスタマイズ@ YEU

2. かろうじて理解可能
全体の意味が不明、理解する為の努力が必要
例:  JA:お客様はドアの取っ手が壊れているクレームを出しました。
EN: Customer complained door ...
メトリックスシステムのカスタマイズ@ YEU

• スコア向上のサイクル
• ヒューマン翻訳ボタン
• 顧客フィードバック・メカニズム
• 顧客の求めるサービスレベルに応じた、頻度の
高いエンジンのアップデート
Online chat: eva...
メトリックスシステムのカスタマイズ@ YEU

ご清聴ありがとうございました!

www.yamagata‐europe.com

16
Upcoming SlideShare
Loading in …5
×

Machine Translation Quality Metrics

722 views

Published on

Japanese presentation on how we evaluate machine translation output.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Machine Translation Quality Metrics

  1. 1. Yamagata Europe のMT 品質メトリックス 2種類のカスタマイズ品質測定システム 2013年11月27日 第23回JTF翻訳祭 トラック3 セッション4 (16:30~18:00) Tomoko Kaji ‐ Heidi Van Hiel MT/ツール開発チームマネージャ heidi.van.hiel@yamagata‐europe.com
  2. 2. Yamagata Europeのご紹介 Yamagata Corporationの支社 ヨーロッパでは2箇所: • ベルギー • スロバキア 完全なドキュメンテーションサイクル: • 制作 & レイアウト • 翻訳 • 品質管理 • 印刷 & 納品 www.yamagata‐europe.com 2
  3. 3. Yamagata Europeのご紹介 品質に重点: • 欧州のアプローチ、日本の品質管理 • QA Distiller開発 • SnellSpell開発 MTの導入: • 2009年 • Systran Enterprise Server/Moses/KantanMT • 2つの使い道:生産性向上と新規事業 www.yamagata‐europe.com 3
  4. 4. MT 品質メトリックス • 出発点:  • 全MTプロジェクトに共通の品質メトリックスは あるのか? • 異なる品質要件 ‐顧客 ‐プロジェクトタイプ ‐エンドユーザー • メトリックス • • • • 既存のメトリックス:BLEU、TER、NISTなど 顧客にとっての重要性 ポストエディターにとっての重要性 ROI 上の重要性 www.yamagata‐europe.com 4
  5. 5. MT 品質メトリックス MT プロジェクトプラン: • ステップ 1 翻訳品質の定義: • 「ヒューマン・クオリティ」 VS「 分りやすさ(理解可能) 」 • ステップ 2 顧客が求める品質レベルの設定 / 改善詳細: • スタートする閾値 (許容される最低品質レベル) • 最終レベルの閾値 (理想的かつ現実的な品質レベル) • ステップ 3 値向上サイクルの定義: • 品質コントロール (メカニズム / メトリックス) • ポストエディターとの密な協力 • 顧客からのフィードバック・メカニズム www.yamagata‐europe.com 5
  6. 6. メトリックスシステムのカスタマイズ@ YEU 2つのプロジェクト: • プロジェクト : サービスマニュアル翻訳 • プロジェクト www.yamagata‐europe.com :オンライン多言語チャット 6
  7. 7. メトリックスシステムのカスタマイズ@ YEU プロジェクト : サービスマニュアル翻訳 • 品質要件: ヒューマン・クオリティ • 人によるポストエディットを実施 • 適用メトリックス: • FTRレート = First Time Right segment rate (最初から正しいセグメントの%) = 完璧なMT アウトプット = ポストエディターのチェックで修正不要 • PE スコア = Post‐Editing score = PEセグメント内での修正の数 (%)(WERに類似) = PE作業率を表示: PE スコアが高い = PE作業率が高い www.yamagata‐europe.com 7
  8. 8. メトリックスシステムのカスタマイズ@ YEU • 実運用の基本メトリックス: • FTRレート: 20% (最小値) • PE スコア:35% (最大値) 8
  9. 9. メトリックスシステムのカスタマイズ@ YEU • FTRレート向上のサイクル • PE 前後を比較: ‐ PE 修正による用語集のアップデート ‐ 自動ポストエディット機能 EN: To save the file, press the button [SAVE].  MT: ファイルを保存するには、 ボタン[SAVE]を押してください。 PE : ファイルを保存するには、 [SAVE]ボタンを押してください。 • ポストエディターに品質アンケート: 文法、スタイル、用語ミスについてのフィードバック プロジェクト毎にFTRデータを保存・エンジンアップデート • 上限: 約 55% (言語により異なる) 9
  10. 10. メトリックスシステムのカスタマイズ@ YEU • PEスコア • FTRレートが上限到達時、PE スコアにフォーカスシ フト • PE スコアが高い = PE 作業率が高い = PEの代わりに最初から翻訳し直す • PE スコア改善のサイクル • 用語集のファインチューニング • PEの自動化 • 下限: +/‐ 10% www.yamagata‐europe.com 10
  11. 11. メトリックスシステムのカスタマイズ@ YEU • FTRレートとPEスコアの進化: サービスマニュアル翻訳プロジェクト FTR and PE score evolution (German; 6 months) 60 50 40 FTR 30 PE score 20 10 0 Jan www.yamagata‐europe.com Feb Mar Apr June July 11
  12. 12. メトリックスシステムのカスタマイズ@ YEU プロジェクト : オンラインチャット • 品質要件: 理解可能な翻訳 • • • • 用語が重要 文法、スタイル面の重要度は低い 即時納品 人的作業の介入不可 (=no PE) • 実運用のメトリックス: • お客様の判断による(平均85%) ※プロジェクト①との条件の違い • 参考翻訳なし • FTRレートとPE スコアの関連なし(不可) www.yamagata‐europe.com 12
  13. 13. メトリックスシステムのカスタマイズ@ YEU シンプルなスコア定義: • 人による評価 • 4‐レベル評価: 4. 完璧に理解可能 即理解でき、文法的にも正しい 例: JA:  お客様はドアの取っ手が壊れているクレームを出しました。 EN: Customer complained about broken door handle. 3. 充分理解可能 文法にミスがあるが、少し考えれば理解可能 例:  JA:お客様はドアの取っ手が壊れているクレームを出しました。 EN: Customer complained door handle broken. www.yamagata‐europe.com 13
  14. 14. メトリックスシステムのカスタマイズ@ YEU 2. かろうじて理解可能 全体の意味が不明、理解する為の努力が必要 例:  JA:お客様はドアの取っ手が壊れているクレームを出しました。 EN: Customer complained door handle corrupt. 1. 理解不可能 意味をなさず、明らかに良くない 例:  JA:お客様はドアの取っ手が壊れているクレームを出しました。 EN: Handle customer complained door corrupt. www.yamagata‐europe.com 14
  15. 15. メトリックスシステムのカスタマイズ@ YEU • スコア向上のサイクル • ヒューマン翻訳ボタン • 顧客フィードバック・メカニズム • 顧客の求めるサービスレベルに応じた、頻度の 高いエンジンのアップデート Online chat: evaluation for Russian 90 80 70 60 Quality1 50 Quality2 40 Quality3 30 Quality4 20 10 0 Nov. 2011 www.yamagata‐europe.com Nov. 2012 Nov. 2013 15
  16. 16. メトリックスシステムのカスタマイズ@ YEU ご清聴ありがとうございました! www.yamagata‐europe.com 16

×