自然語言處理簡介

1. 自然語言處理簡介
By
Mark
Chang

2. 自然語言處理
• 自然語言處理是人工智慧和語言學領域的分支
– 探討如何處理及運用自然語言
• 自然語言理解系統
– 把自然語言轉化為電腦易於處理的形式。
• 自然語言生成系統
– 把電腦程式數據轉化為自然語言。
• h,ps://zh.wikipedia.org/wiki/%E8%87%AA
%E7%84%B6%E8%AF%AD
%E8%A8%80%E5%A4%84%E7%90%86

3. 機器翻譯
https://translate.google.com/

4. 問答系統
www.wolframalpha.com

5. 資訊檢索
https://www.google.com

6. 輸入法選字
https://www.ptt.cc/bbs/StupidClown/M.1423419065.A.AF8.html

7. 自然語言處理流程
純文字
斷詞
句法剖析
語意剖析
小明 騎 機車
詞性標記
小明騎機車
小明(Nb) 騎(VC) 機車(Na)
小明(Nb) 騎(VC) 機車(Na)
騎(
小明,
機車 )

8. 中文斷詞 &詞性標記
http://ckipsvr.iis.sinica.edu.tw/
小明(Nb) 騎(VC) 機車(Na)
Nb：專有名詞
VC：及物動詞
Na：普通名詞

9. 句法結構剖析
h,p://rocling.iis.sinica.edu.tw/CKIP/parser.htm

10. 語意剖析
騎( 小明,
機車
)
h,p://www.let.rug.nl/bos/comsem/
一階邏輯（First
Order
Logic）
騎：Predicate
小明、機車：Argument

11. 自然語言處理的困難
• 歧義（Ambiguity）
發生於自然語言處理過程中的每個步驟
– 斷詞歧義
– 句法歧義
– …

12. 斷詞歧義
http://3rd.mafengwo.cn/travels/info_weibo.php?
id=2861280
http://www.appledaily.com.tw/realtimenews/
article/new/20151006/705309/

13. 句法結構歧義
http://www.phil.uu.nl/~yoad/synsem/lecture1/lecture1.html
Tina
is
not
tall
and
thin.

14. 一字多義
h,ps://www.moedict.tw

15. 代名詞指涉（Anaphora
Resolu.on）
http://web.iiit.ac.in/~sharada.mohanty/content/anaphora-resolution

16. 自然語言處理相關領域
• 語言學
• 統計學
• 機器學習（Machine
Learning）
• 資訊檢索（InformaXon
Retrieval）
• 資料探勘（Data
Mining）
• …

17. 相關課程
• 台大：
– 資工系 陳信希 自然語言處理
• Coursera：
– h,ps://www.coursera.org/course/nlp
– h,ps://www.coursera.org/course/nlangp
– h,ps://www.coursera.org/course/nlpintro

18. 講者資訊
• Mark
Chang
– Blog
： h,p://cpmarkchang.logdown.com
– Slideshare ： h,p://www.slideshare.net/ckmarkohchang
– Github
： h,p://github.com/ckmarkoh
– email
： ckmarkoh
at
gmail.com