SITCON 2015 第一次查課程評價就上手

1. 第⼀一次查課程評價就上⼿手
ASK COURSE

2. Singo 聽 ⾵風
國⽴立臺灣科技⼤大學 資訊管理系

3. 開學囉

5. ⾝身為⼀一個⼯工程師

6. 不可饒恕

7. ╮(╯_╰)╭

9. 極簡⾵風

11. 其實只是因為
懶
得
做

12. 就只是這樣？

13. 傳統

14. 課
程
評
價
平
台
使⽤用者
使⽤用者
使⽤用者
提供評價
查詢課程

15. 等待者

16. 但⼤大家都很懶

17. 課
程
評
價
平
台
使⽤用者
使⽤用者
使⽤用者

18. 我們怎麼做？

19. Facebook PTT User
Ask Course
User User User
蒐集評價
查詢課程

20. ⽤用⼼心的評價

21. 學⻑⾧長姊們的切
⾝身之痛

22. 不該隨時間
消逝

23. 系統架構

24. Crawler
Python
Facebook
PTT
Elasticsearch
Database
Ask Course
AngularJS + Flask
User User
User
PTT

25. Crawler
Python
Facebook
PTT
Elasticsearch
Database
Ask Course
AngularJS + Flask
User User
User
PTT

26. User
User
User
Flask
AngularJS
API

29. Crawler
Python
Facebook
PTT
Elasticsearch
Database
Ask Course
AngularJS + Flask
User User
User
PTT

30. Crawler
Facebook
PTT PTT

31. FACEBOOK
API

32. LONG TERM
TOKEN

33. FACEBOOK
POST EDIT

34. 取得⽂文章
不同
⽐比較更新時間
存⼊入資料庫
和 DB 內相同 ID
的紀錄做⽐比較
相同
下⼀一筆

35. PTT

36. 網⾴頁爬蟲？
說好的 BBS 呢！！！

37. import telnetlib

38. from bs4 import
BeautifulSoup

39. PTT網⾴頁爬蟲
怎麼寫

40. 取得原始碼
⽂文件解析存⼊入資料庫
分析網⾴頁規則
1 2
34
from bs4 import BeautifulSoup
dom = BeautifulSoup(html)
dom.select()
dom.find()
import requests
html = requests.get(url).text()
Next Page
import pyelasticsearch

45. Crawler
Python
Facebook
PTT
Elasticsearch
Database
Ask Course
AngularJS + Flask
User User
User
PTT

46. Elasticsearch

47. RESTful
API
樹狀結構
JSON

48. {
"name": "linroex",
"age": 18,
"email": {
"home": "linroex@coder.tw",
"school": "b10209019@mail.ntust.edu.tw"
}
}

49. name ageemail
linroex 18home school
我

50. 全⽂文檢索
⽀支援中⽂文
pyelastic
search
Tips:
analysis-mmseg

51. 未來計畫

52. 過濾無關資料

53. 資料分析

54. 擴⼤大資料來源

55. http://course.ntustsg.com/