More Related Content
More from Wataru Endo (6)
BLEU: a Method for Automatic Evaluation of Machine Translation
- 2. 論文紹介 第1回
8/1(火) 18:00~19:05(最大) 東京:3F北大会議室, 大阪:19F会議室
1. 18:00~18:05 遠藤
概要説明
2. 18:05~18:20 遠藤
BLEU: a Method for Automatic Evaluation of Machine
Translationhttp://www.aclweb.org/anthology/P02-1040.pdf
3. 18:20~18:35 ----
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision
Applications https://arxiv.org/abs/1704.04861
※(業務の状況次第では延期)
2
- 5. BLEU: a Method forAutomatic Evaluation of Machine translation
KishorePapineni,SalimRoukos,Todd Ward, and Wei-JingZhu, 2002
http://www.aclweb.org/anthology/P02-1040.pdf
概要:
機械翻訳の翻訳結果を自動的に評価する手法の提案
今ではデファクトスタンダード(引用数2000超) BLEU ブルーと読む
貢献:
機械翻訳の評価には課題が存在した
・人手による翻訳結果の評価には”コスト”がかかる
・その”コスト”がMT開発のボトルネックとなっている
時間、お金、対象言語が分かる人を集める、一回きりしか使えない。
ちょっと改良して直ぐ評価したいけどそれは“コスト“的に難しい。
自動評価手法を提案することで、上記課題を解決した
5
- 7. コメント:
BLUEは語順を考慮しないので、
日英、英日のような語順が大きく異なる機械翻訳の評価に課題が
残る。
そのような言語間の自動評価として、RIBESが注目されているらし
い。
関連研究:1.E.H.Hovy.1999.Towardfinelydifferentiatedevaluationmetricsformachinetranslation.InProceedingsoftheEaglesWorkshoponStandardsandEvaluation,
Pisa,Italy.
2.KishorePapineni,SalimRoukos,ToddWard,JohnHenderson,andFlorenceReeder.2002.Corpus-basedcomprehensiveanddiagnosticMTevaluation:
InitialArabic,Chinese,French,andSpanishresults.InProceedingsofHumanLanguageTechnology2002,SanDiego,CA.Toappear.
3.FlorenceReeder.2001.Additionalmt-evalreferences.Technicalreport,InternationalStandards forLanguageEngineering,EvaluationWorkingGroup.
http://isscowww.unige.ch/projects/isle/taxonomy2/
4.J.S.WhiteandT.O’Connell.1994.TheARPAMTevaluationmethodologies:evolution,lessons,andfutureapproaches.InProceedingsoftheFirstConference
oftheAssociationforMachineTranslationintheAmericas,pages193–205,Columbia,Maryland.
7