Recommended
More Related Content
Viewers also liked
Similar to JCConf 2015 TW 高效率資料爬蟲組合包
Similar to JCConf 2015 TW 高效率資料爬蟲組合包 (20)
JCConf 2015 TW 高效率資料爬蟲組合包
- 3. 高效率指的是？
- 4. 高效率指的是？(開發團隊) ● 相對少 - 開發時間 ● 相對低 - 技術門檻 - 維護成本 ● 相對多 - 適用情境 品質 能做更多的事 Scope
- 9. 爬蟲生命週期 website Don’t try this at home Don’t try this at home <HTML> { JSON } 資料源 傳輸協定 格式解析 前置處理 儲存 Map.get XPath
- 10. 爬蟲組合包 成份說明
- 11. 爬蟲生命週期 website <HTML> { JSON } 資料源 傳輸協定 格式解析 前置處理 儲存 Map.get XPath
- 12. website <HTML> { JSON } 資料源 傳輸協定 格式解析 前置處理 儲存 1. 整合傳輸協定 Map.get XPath
- 13. 1. 整合傳輸協定 Apache Common VFS 整合網路上常見的傳輸協定 http https sftp ftp ftps smb HDFS RAM mine File zip tar gzip jar ... https://commons.apache.org/proper/commons-vfs/
- 14. protocol://[user[:pass]@]url[:port][/path] 心法 https://www.google.com example Apache Common VFS 整合網路上常見的傳輸協定 https://commons.apache.org/proper/commons-vfs/ 1. 整合傳輸協定 範例 Ch3Coz1
- 15. protocol://[user[:pass]@]url[:port][/path] 心法 sftp://user:pass@192.168.0.1:22/etc/passwd example smb://user:pass@192.168.0.1/c/windows Apache Common VFS 整合網路上常見的傳輸協定 https://commons.apache.org/proper/commons-vfs/ 1. 整合傳輸協定 範例 Ch3Coz1
- 16. 2. 轉化解析格式 website <HTML> { JSON } jsoup 資料源 傳輸協定 格式解析 前置處理 儲存 Map.get XPath
- 17. 2.0 通用擷取模式 website <HTML> { JSON } jsoup 資料源 傳輸協定 格式解析 前置處理 儲存 Map.get XPath
- 18. 2.0 通用擷取模式 為何選擇CSS selector? 品質 ● 相對低 - 技術門檻 - 維護成本
- 19. 2.0 通用擷取模式 jsoup CSS selector 範例 Ch3Coz2 http://jsoup.org/apidocs/org/jsoup/select/Selector.html :contains(text) :matches(regex) :containsOwn(text) :matchesOwn(regex) 除了支援 CSS Selector 3.0 外.... destination:containsOwn(南勢角站) <results> <_id>1</_id> <Station>三重站</Station> <Destination>南勢角站</Destination> </results>
- 20. 爬蟲包 SOP (標準作業流程) 1. 取得 API 資源路徑 2. 指定解析格式 3. 使用 CSS selector 取用資料 範例 Ch3Coz3 String api = "http://........"; Document jsoup = CrawlerPack.getFromJson(api); jsoup.select("item[jobs*=app]");
- 21. 重要的定時爬蟲 推廣時間
- 22. 你需要最好的養蟲專家 Jenkins CI - 地表最強排程工具，還免錢喔 ●原始碼取得及更新 (SCM: SVN、Git... ) ●Build-tool (Maven、Ant…) ●定時排程(Schedule build) ●通知(Notification) https://jenkins-ci.org/
- 25. 實戰-入門篇 104人力銀行 http://www.104.com.tw/i/api_doc/jobsearch/index.cfm 優點 挑戰 ● 有提供 API 說明文件 ● 不需認證 ● 提供多種輸出格式練習 ● 挫折感低 ● 簡單到不行 範例 Ch5Coz1
- 26. 實戰-入門篇 104人力銀行 http://www.104.com.tw/i/api_doc/jobsearch/index.cfm 範例 Ch5Coz1 String api = "http://http://www.104.com.tw/i/apis/jobsearch.cfm?order=2&fmt=4&col s=JOB,NAME&slmin=100000&sltp=S"; Document jsoup = CrawlerPack.getFromXml(api); jsoup.select("item[jobs*=app]"); 找出月薪10萬以上的工作，且職稱有App c.
- 27. 實戰-中級篇 Facebook Graph API https://developers.facebook.com/tools/explorer/ 優點 ● 超棒 API Exploer <以下空白> 挑戰 ● 用戶認證 ● 規則不明確 ● API 經常改動 ● 限制很多 ● 當白老鼠 範例 Ch5Coz2
- 28. 實戰-中級篇 Facebook Graph API https://developers.facebook.com/tools/explorer/ API 需要認證策略 1. 盡量選擇取得 token 方式認證 (BEST) 範例 Ch5Coz2 2. 就慢慢寫吧 ◢▆▅▄▃-崩╰(〒皿〒)╯潰-▃▄▅▆◣
- 29. 實戰-中級篇 Facebook Graph API https://developers.facebook.com/tools/explorer/ FB 取得Long-Term Token 簡述 1 2 範例 Ch5Coz2
- 30. 實戰-中級篇 Facebook Graph API https://developers.facebook.com/tools/explorer/ FB 取得Long-Term Token 簡述 取得一組大約60天 有效的Token 範例 Ch5Coz2
- 32. 實戰-中級篇 Facebook Graph API 實例應用 https://developers.facebook.com/tools/explorer/ 範例 Ch5Coz2 ● 關聯規則分析 Reference ● R-arules ● R-apriori
- 33. 實戰-中級篇 Google Maps API 優點 挑戰 ● 立即可用的應用資料 ● 使用規則清楚明瞭 ● 官網使用範例多 ● 資料多元 & 有趣 ● 說明文件較難理解 ● 部份API 免費額度少 https://developers.google.com/maps/ 範例 Ch5Coz3
- 34. 實戰-中級篇 Google Maps API https://developers.google.com/maps/ Google Places API Web Service 地方資訊 ex: 方圓500公尺分類為食物的地點 Google Maps Geocoding API ex: 找出地址可能的座標定位 Google Maps Directions API 導航 ex: 找出兩點之間，最快或最近的交通路線 範例 Ch5Coz3
- 35. 實戰-中級篇 Google Maps API https://developers.google.com/maps/ Google Places API Web Service 地方資訊 ex: 方圓500公尺分類為食物的地點 而且還要評價在四顆星以上的地點 怎麼做？ select(“rating:matchesOwn(^4)”) ; 範例 Ch5Coz3
- 36. 實戰-高階篇 行政院農業委員會開放資料平台 優點 ● 具時序性資料 ● 穩定定期更新 ● 資料淺顯易懂 挑戰 ● 中文欄位 ● 民國日期格式 ● 改寫爬蟲包 http://data.coa.gov.tw/Query/AdvSearch.aspx?id=037 ◢▆▅▄▃-崩╰(〒皿〒)╯潰-▃▄▅▆◣ 範例 Ch5Coz4
- 37. 實戰-高階篇 行政院農業委員會開放資料平台 http://data.coa.gov.tw/Query/AdvSearch.aspx?id=037 中文欄位策略 1. 直接中英對照，土法煉鋼 (Good) 2. 使用爬蟲包 jsoup 原始套件無法正常解析中文tag 但爬蟲包可以！ 範例 Ch5Coz4
- 38. 實戰-高階篇 行政院農業委員會開放資料平台 http://data.coa.gov.tw/Query/AdvSearch.aspx?id=037 中文欄位策略 select(“交易日期”).text() ; select(“作物名稱”).text() ; select(“平均價”).text() ; 接著，粗爆用中文寫 selector 範例 Ch5Coz4
- 39. 實戰-高階篇 行政院農業委員會開放資料平台 http://data.coa.gov.tw/Query/AdvSearch.aspx?id=037 實例應用 Time series analysis Reference ● R-quantmod 範例 Ch5Coz4
- 40. 實戰-進階篇 國道高速公路局 Traffic Data Collection System 挑戰 http://tisvcloud.freeway.gov.tw/ ● 即時性資料 ● 資料筆數中等 ● 不太穩定的server ● 壓縮格式處理 優點 ● 去識別化典範 範例 Ch5Coz5
- 41. 實戰-進階篇 http://tisvcloud.freeway.gov.tw/ 國道高速公路局 Traffic Data Collection System Apache Common VFS 有解 http https sftp ftp ftps smb HDFS RAM mine File zip tar gzip jar ... 壓縮格式資源策略 範例 Ch5Coz5
- 42. 實戰-進階篇 http://tisvcloud.freeway.gov.tw/ 國道高速公路局 Traffic Data Collection System Apache Common VFS 有解 壓縮格式資源策略 String api = "http://........"; String api = "gz:http://........"; 範例 Ch5Coz5
- 43. 實戰-進階篇 http://tisvcloud.freeway.gov.tw/ 國道高速公路局 Traffic Data Collection System 資料視覺化 R-heapmap
- 44. 實戰-進階篇 http://tisvcloud.freeway.gov.tw/ 國道高速公路局 Traffic Data Collection System 資料視覺化 R-散點圖