20160324 big data workshop - 網路爬蟲實作 - 用 r 語言打造自己的爬蟲程式
•Download as PPTX, PDF•
0 likes•4,167 views
big data workshop - 網路爬蟲實作 - 用 r 語言打造自己的爬蟲程式
Recommended
More Related Content
Featured
Featured (20)
20160324 big data workshop - 網路爬蟲實作 - 用 r 語言打造自己的爬蟲程式
- 1. 網路爬蟲實作 – 用 R 語言打造自己的爬蟲程式 David Chiu 2016/03/24
- 2. 關於我 大數軟體有限公司創辦人 前趨勢科技工程師 ywchiu.com 大數學堂 http://course.largitdata.com/ 粉絲頁 https://www.facebook.com/largitdata Machine Learning With R Cookbook https://www.packtpub.com/big-data- and-business-intelligence/machine- learning-r-cookbook 2
- 6. 請求 Request 回應 Response 網頁網頁連結器 Web Connector 資料剖析 Data Parser 資料中心 Data Center 網路爬蟲架構 6
- 7. 於網頁上點選右鍵 -> 檢查 使用開發人員工具 7 點選檢查
- 8. 1. 選擇 Network 頁籤 2. 點選 Doc 3. 點選 new/ 觀察HTTP 請求與返回內容 8
- 10. 讓 R 可以像Python 的 BeautifulSoup 一樣可以使用 CSS Selector快速萃取、剖析 網頁元素 可以使用Magrittr 套件的管道 (Pipeline) 傳遞資料 使用 rvest 10 Hadley Wickham http://hadley.nz/
- 11. 在Console 下打入 install.packages("rvest") 或使用Rstudio 安裝rvest 套件 11
- 12. 在Console 下打入 library(rvest) 或使用Rstudio 於右上搜尋框打入rvest 勾選rvest 旁邊的框框 載入rvest 套件 12
- 13. newsurl <- "http://www.appledaily.com.tw/realtimenews/section/new/" apple <- read_html(newsurl, encoding="UTF-8") 開始蒐集網頁資料 13 選取Request URL
- 14. apple %>% iconv(from='UTF-8', to='UTF-8') 檢視資料 14 Windows 平台需要透過iconv 轉換編碼 %>% : pipeline 做傳遞資料用
- 15. DOM Tree 15 <html> <body> <h1 id="title">Hello World</h1> <a href="#" class="link">This is link1</a> <a href="# link2" class="link">This is link2</a> </body> </html> html h1 a a body Document Object Model
- 16. 觀察元素抓取位置 16 1. 點選元素觀測 2. 觀察元素所在位置 <li class=“rtddt…”> 3. 下方可以觀察標籤路徑
- 17. 右鍵點選選取元素 -> Copy -> Copy selector 使用開發人員工具複製DOM 元素路徑 17 #maincontent > div.thoracis > div.abdominis.rlby.clearmen > ul > li.rtddt.ccc
- 18. https://chrome.google.com/webstore/detail/infolite/ipjbad abbpedegielkhgpiekdlmfpgal 使用InfoLite 18 綠色: 目前選取得區塊 黃色: 符合樣式的區塊 紅色: 排除的曲塊 Clear旁邊的數字: 符合區塊的數目
- 19. rtddt <- apple %>% html_nodes('.rtddt') rtddt[1] %>% iconv(from='UTF-8', to='UTF-8') 抓取清單列表 19 標題: h1 類別: h2 時間: time
- 20. time <- rtddt %>% html_nodes('time') %>% html_text() %>% iconv(from='UTF-8', to='UTF-8') title <- rtddt %>% html_nodes('h1') %>% html_text() %>% iconv(from='UTF-8', to='UTF-8') category <- rtddt %>% html_nodes('h2') %>% html_text() %>% iconv(from='UTF-8', to='UTF-8') 解析資料內容 抓取時間、類別、標頭 20
- 21. domain <- "http://www.appledaily.com.tw" url <- rtddt %>% html_attr('href') %>% iconv(from='UTF-8', to='UTF-8') url <- gsub(domain, "", url) url <- paste0(domain, url) 取得網頁連結 21 使用html_attr 抓取 href 將domain 名稱加到url 前
- 22. applenews <- data.frame(time=time, title= title, category=category, url = url) 將資料合併為Data Frame 22
- 24. applenews$url = as.character(applenews$url) applenews$content <- sapply(applenews$url, function(e){read_html(e) %>% html_node('.trans') %>% html_text() %>% iconv(from='UTF-8', to='UTF-8') } ) 抓取內文 24
- 26. library("jiebaR") mixseg = worker() segment(code= as.character(news$title[1]) , jiebar = mixseg) 使用jiebaR 斷詞 [1] "Fed害ㄟ紐約原油跌破50美元(0)" [1] "Fed" "害" "ㄟ" "紐約" "原油" "跌破" "50" "美元" "0" 26
- 27. word <- unlist(sapply(news$title, function(e) segment(code= as.character(e) , jiebar = mixseg))) tb <- table(word) 計算詞頻 27
- 28. library(wordcloud) wordcloud(names(tb), tb, , min.freq = 1, random.order = F, ordered.colors = F, colors = rainbow(length(1:3))) 呈現文字雲 28
- 29. 如何抓取留言資訊 29
- 32. 輸入網址列找尋ID 32
- 34. 新增一個App 34
- 35. 取得APP ID 跟 Secret 35
- 36. install.packages("rjson") library(rjso) library(httr) TOKEN = '<TOKEN>' fburl <- paste0('https://graph.facebook.com/v2.5/922912944487485/comments ?access_token=', TOKEN) fbcontent <- GET(fburl) fbjson <- fromJSON(content(fbcontent, 'text')) 使用httr 抓取FB 留言 36
- 38. 38