文献紹介：Morphological analysis for Statistical Machine Translation
•
1 like•451 views
文献紹介：Morphological analysis for Statistical Machine Translation
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (14)
More from Kanji Takahashi
More from Kanji Takahashi (20)
Recently uploaded
Recently uploaded (20)
文献紹介：Morphological analysis for Statistical Machine Translation
- 1. Morphological Analysis for Statistical Machine Translation 長岡技術科学大学 自然言語処理研究室 高橋寛治 Young-Suk Lee, Morphological Analysis for Statistical Machine Translation, Proceedings of HLT-NAACL 2004: Short Papers, pp.57-60, 2004 文献紹介 ２０１６年５月１６日
- 3. はじめに •形態論が大きく異なる言語間でも統計翻訳で翻訳 (Brown et al. 1993) •低頻度語の語幹はうまく翻訳されない •1対多 Distributed Representations of Words and Phrases and their Compositionally
- 4. 方針 • 単語->prefix(es)-stem-suffix(es) • 1対1でアラインメント • ある手法で結合・削除 Distributed Representations of Words and Phrases and their Compositionally
- 5. 単語分割 •単語から「接頭辞-語幹-接尾辞」に分割 •接尾辞や接頭辞は機能語を含む •接頭辞は#、接尾辞は+で示される • w# s# y# Hl sA}q Al# tjArb fy jAgwAr Al# brAzyly lwsyAnw bwrty mkAn AyrfAyn fy Al# sbAq gdA Al# AHd Al*y s# y# kwn Awly xTw +At +h fy EAlm sbAq +At AlfwrmwlA Distributed Representations of Words and Phrases and their Compositionally
- 8. アルゴリズム • 英語の品詞：tagE、アラビア語の品詞：tagA Ø(1) Pr(tagE | tagA) • stemtagAはある接頭・接尾辞と共起する代表的な品 詞（形容詞・動詞・名詞･･･） • アラビア語の接尾辞と英語の品詞 Ø(2) Pr(tagE | stemtagA, suffix_tagjk) • アラビア語の接頭辞と英語の品詞 Ø Pr(tagE | prefixi_tagik, stemtagA) Distributed Representations of Words and Phrases and their Compositionally
- 9. IBM Model 1 • １．ある品詞が翻訳先のある品詞に頑健な対応をする 場合は翻訳 • ２．対応が頑健でない場合、語幹に結合するか削除を 行う • 頑健かどうか ØPr(tage|tagA)の上位3に、ある語幹Aに対する tagE|tagikかtagE|tagjkがある場合 Distributed Representations of Words and Phrases and their Compositionally
- 10. 評価 •コーパスはAFPとXinhuaニュースから作られた LDC-distributed Multiple Translation Arabic Part I •BLEUで評価 Distributed Representations of Words and Phrases and their Compositionally