RNN을 활용해서 기계번역(SMT)을 성능을 높인 논문입니다. 딥러닝을 활용한 기계번역의 시작이 되는 논문입니다.

1. LearningPhraseRepresentations
usingRNNEncoder-Decoder
forStatisticalMachineTranslation
(2014) K.Cho et al.
발표: 곽근봉

2. 이논문을선택한이유

3. 기계번역을위한자연어표현학습
Abstract
RNN Encoder-Decoder
RNN을 활용하여 문장 구절을 학습시킴 (다양한 길이에 적용 가능)
Encoder-Decoder라는 새로운 구조를 제안
새로운 Hidden Unit을 제안
Statistical Machine Translation의 성능을 개선
제안하는 RNN모델로 기존의 SMT의 성능을 개선시킴
SMT이외의 가능성도 보여줌
학습된 Vector가 의미와 문법을 포착한다

6. © NBT All Rights Reserved.
기계 번역(Machine Translation)
Rule-based MT
Dictionary, 문법 기반의 번역 (Parser, Analyzer, Generator, Transfer Lexicon)
Statistical MT
이미 번역된 문서들을 바탕으로한 통계 기반의 번역
Hybrid MT
Rule-based와 Statistical을 함께 사용
Neural MT
Deep Learning을 활용한 번역
https://en.wikipedia.org/wiki/Machine_translation

7. Statistical Machine Translation
https://en.wikipedia.org/wiki/Statistical_machine_translation
f가 주어졌을 때 e가 나올 확
률
e가 주어졌을 때 f가 나올 확률
과
e가 나올 확률의 곱과 비례한다
가장 높은 확률이 나오는 표현들을 골라서 최종 번역 를 찾는다

8. RNNEncoder-Decoder구조소개

9. HiddenUnit소개
Update Gate
Reset Gate

10. RNNEncoder

11. RNNDecoder

12. RNNEncoder-Decoder학습

13. SMT에적용
활용

14. 성능
BLEU (bilingual evaluation understudy)
기계 번역의 품질을 측정하는데 사용하는 지표. 실제 사람이 한 번
역과 기계 번역의 유사성을 계산하는 방식으로 구함. 간단하고 쉽게
구할 수 있다는 장점이 있음.
Holger Schwenk et al. Continuous Space Language Models for Statistical Machine Translation, 2006

15. SMT에적용
왜 성능이 잘 나올까
• CSLM의 contribution과 많이 겹치지 않음
• 통계적으로 도출된 Score가 아님
• 출현 빈도가 많지 않은 표현들에 대해서 보완이 가능함
• RNN Encoder-Decoder가 짧은 표현을 선호함
• 일반적으로 BLEU 값은 짧은 표현에서 높게 나옴

16. 이외의 활용 방안
• SMT를 완전히 대체
• 범용적인 Phrase Representation
• 의미와 문법 모두를 담아냄

17. © NBT All Rights Reserved.
결론
• SMT의 성능을 높일 수 있었다
• 기존 번역 시스템에 쉽게 적용 가능하다
• 완전히 SMT를 대체할 가능성을 보았다
• 범용 Phrase Representation으로 활용가능하다

18. 질문 및 논의

19. 감사합니다
kkb2849@gmail.com
https://github.com/kkb2849