Download as PDF, PPTX
Uploaded by鍾誠 陳鍾誠
深度學習的機器翻譯技術 (使用node.js的neataptic套件實作)
本文探讨了深度学习在机器翻译中的应用，特别是使用循环神经网络（RNN/LSTM/GRU）和序列到序列（seq2seq）模型的技术发展。作者分享了个人在小规模翻译项目中使用neataptic.js的经验，展示了该模型在翻译准确性和流畅性上的潜力。尽管存在资源限制，文章仍然强调了深度学习对翻译技术进步的影响。
深度學習的機器翻譯技術 (使用node.js的neataptic套件實作)
- 1. 深度學習的機器翻譯技術 ( 使用 node.js的 neataptic 套件實作 ) 陳鍾誠 2017 年 7 月 10 日 程式人《十分鐘系列》程式人《十分鐘系列》 本文衍生自維基百科
- 2. 今年 ● 我發現 Google的機器翻譯品質， 變得順暢很多！
- 3.
- 4.
- 5.
- 6.
- 7. 您會發現 Google 翻譯和2015 年時不同
- 8.
- 9.
- 10.
- 11.
- 12. 然後和 Google 對照一下 百度翻譯Google 翻譯 會發現翻譯不太相同，但是都還算是順暢！
- 13. 問題是 ● 為甚麼 Google和百度的翻譯 都可以在這兩年內突飛猛進呢？
- 14.
- 15. 特別是 ● 循環神經網路 LSTM/GRU模型 ● 以及 Google 所創造出來的詞彙 向量化技術 word2vector 。
- 16. 這種深度學習的翻譯方法 ● 統稱為 sequenceto sequence (seq2seq) 式的翻譯技術！
- 17. 為了理解這個技術 ● 我找到了 AdamGeitgey 在 medium 網誌 上的這篇文章！ https://medium.com/@ageitgey/machine-learning-is-fun-part-5-language-translation-with-deep- learning-and-the-magic-of-sequences-2ace0acca0aa
- 18.
- 19. 然後才帶出文章的主角 ● Recurrent NeuralNetworks( 循環神經網路 ) 以及 Sequence-to-Sequence Models ( 序列對序列模型 )
- 20. 但是 ● 要理解循環神經網路 RNN/LSTM/GRU之前 ● 最好先理解一下傳統的《多層感知器》 MLP 網路！
- 21.
- 22.
- 23.
- 24.
- 25.
- 26.
- 27.
- 28. 在語言領域 ● 擅長《序列預測》的意思，就是可以 自動產生出下一個《最可能的字》 ● 於是一個接一個，RNN/LSTM/GRU 就可 以自動產生出整篇文章！
- 29.
- 30.
- 31. 如果把 Linux 原始碼拿來訓練 ●結果是電腦學會了 寫 C 語言 ● 不過只是外型像而 已，編譯執行結果 恐怕很難有用！
- 32.
- 33. 用循環神經網路做翻譯 ● 必須把兩個循環網路連接起來 ● 一個稱為編碼器Encoder ，另一個 稱為解碼器 Decoder 。
- 34.
- 35. 中間的語句向量 Encoder Decoder 語句向量 輸入語句 輸出語句 讓Decoder 在解碼時，可以產生《語法文字不同，但語義相同》的語句！
- 36.
- 37. 這種 Encoder/Decoder 的模式 ●不只可以用來做《翻譯系統》 也可以用來做《影像自動描述系統》
- 38.
- 39.
- 40. 在下列課程中有更詳細的模型和數學式 ● CS224n: NaturalLanguage Processing with Deep Learning ● 其中 Encoder 輸出的記憶向量 C 和 yi 合起來成為 Decoder 的輸入 http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture9.pdf
- 41.
- 42. 對於 Google 這種等級的 真實翻譯系統而言，還要考慮到 ●詞彙量很大：必須做 word2vec 向量化，將詞彙 轉成數百維的向量 ● 要有大量的平行與料庫 ( 中英對照之類的 ) ，才 能把神經網路訓練好。 ● 要有大量的 CPU/GPU 才能對大量的平行語料做訓 練。
- 43. 問題是 ● 我沒有大量的平行語料 ● 也沒有大量的CPU/GPU 可以用
- 44.
- 45. 我採用 neataptic.js 這個套件 來製作我們的《第一個LSTM 循環神經網路翻譯系統》！
- 46. 該系統放在我 github 的ai6 專案裏了 https://github.com/ccckmit/ai6/tree/master/book/mt
- 47.
- 48.
- 49. 我們放入了一些 刻意安排的案例 ● 有些無法對應的詞 – 像是：隻 ●一對多的翻譯： – 像是：狗 =dog, 小狗 =puppy ● 不同的詞序 – 像是：狗 一 隻 = a dog
- 50.
- 51. 除了訓練語句之外 ● 我們還測試了一些《訓練集以外》的語句 ● 其中兩句翻得很好 –小狗一條 = a puppy – 黑狗一隻 = a black dog ● 但有一句不好 – 黑 貓 一 隻 = a black
- 52. 您可以發現 ● 這個《小系統》表現得還算 OK ●基本上展示出了《循環神經網路》 seq2seq 模型在機器翻譯上的能力 與特性！
- 53. 雖然我們的實作 ● 其實是用兩階段的訓練方式 – 第一階段訓練中英翻譯( 也就是選詞 ) – 第二階段訓練語句產生 ( 產生順暢語句 ) ● 這和 CS224n 課程中有點不同 – 但是實驗結果發現是可行的！
- 54.
- 55.
- 56.
- 57. 雖然我們還沒有加入 ● Word2vec 的詞彙向量化機制 ●而是採用 one hot 的簡單向量化方法
- 58.
- 59.
- 60.
- 61.
- 62.
- 63.
- 64.