Successfully reported this slideshow.
Your SlideShare is downloading. ×

1020NLP簡報.pptx

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Upcoming SlideShare
TensorfLow_Basic.pptx
TensorfLow_Basic.pptx
Loading in …3
×

Check these out next

1 of 18 Ad

More Related Content

Recently uploaded (20)

Advertisement

1020NLP簡報.pptx

  1. 1. Introduction to NLP 陳宇心 Yu-Hsin Chen GDSC@TMU Lead 22' Subtitle Goes Here 大家記得簽到
  2. 2. ● 電腦到底是怎麼分類訊 息的呢? 在此之前......
  3. 3. 大家一起夢回排列組合 Naive Bayes貝式分類器 在X條件下發生c的機率
  4. 4. 大家一起夢回排列組合 Naive Bayes貝式分類器 一般郵件 ● p(Dear|N)=0.47 ● p(Friend|N)=0.29 ● p(Lunch|N)=0.18 ● p(Money|N)=0.06 假設收到一般郵件機率0.67 垃圾郵件機率 0.33 垃圾郵件 ● p(Dear|S)=0.29 ● p(Friend|S)=0.14 ● p(Lunch|S)=0.00 ● p(Money|S)=0.57 訊息:Dear Friend 是一般還 是垃圾郵件呢? 為一般郵件的可能性: ● p(N) x p(Dear|N) x p(Friend|N)= 0.67 x 0.47 x 0.29 = 0.091 為垃圾郵件的可能性: ● p(S) x p(Dear|S) x p(Friend|S)= 0.33 x 0.29 x 0.14 = 0.013 但是Dear Friend 和 Friend Dear的結 果相同,所以成為Naive
  5. 5. 我們的詩到底更像更像誰的呢? Naive Bayes 小實作 實作連結: https://drive.google.com/file/d/1tDim_FOdjpl7d TB2_LAZQ6azv2jxpLHg/view?usp=sharing
  6. 6. 把句子處理成電腦也能懂的樣子 步驟: 什麼是Natural Language Processing? 1.Segmentation 2.Tokenization 3.Stop Words 4.Stemming 5.Lemmatization 6.Speech Tagging
  7. 7. 斷句 Segmentation
  8. 8. 記號化 Tokenization "This is a sample" “This” “is” “a” “Sample”
  9. 9. 停用詞 Stop Words 有些字詞沒有重要意思 Ex. "a" "These" "is" "are"
  10. 10. 提取-把後面的字元砍掉 Stemming Lemmatization 辭形還原 BUT Caring—----> Car (失真) Caring—----> Care ● 優點:將詞彙分成最小 有意義型態 ● 缺點:貴
  11. 11. 辭性標註 Speech Tagging ● 教電腦文法
  12. 12. 專有名詞標註 步驟: Named Entity Tagging Project中重要的專有名詞 Ex.爬蟲爬影評 告訴電腦明星的名字
  13. 13. Tokenization,Stemming ,Lemmintization 小實作 實作連結: https://colab.research.google.com/drive/1Qf6- GrM1PNCkkIY4DsXOpZsb1DwYYUie?usp=sharin g
  14. 14. 實作:判斷tweet是否 與災難相關
  15. 15. 中文呢?
  16. 16. ● 深度學習產物,超過字數可能失真 ○ 先斷句再斷詞 Monpa 罔拍 先將長文截成短文,再斷詞 實作連結: https://colab.research.google.com/drive/ 1MvqUZCZleDI62rLSJXd8cNBYAwLfX0Og? usp=sharing
  17. 17. Monpa 罔拍 更複雜的範例 實作連結: https://drive.google.com/file/d/1dazZjQb YwZDiRoavDLug19c4jqZwAOj_/view?usp= sharing
  18. 18. 謝謝大家 要記得填回饋喔~~ 連結: https://forms.gle/xpAEXEGNhmLjbKiB7

×