Downloaded 279 times
![PyMongo
from pymongo import MongoClient!
!
client = MongoClient()!
db = client['news_database']!
news = db.news!
news.insert(data)!
news.find_one({'url': a['href']})!
26](https://image.slidesharecdn.com/news-140719112457-phpapp01/75/slide-30-2048.jpg)
![[1, 0, 1, 0, 1…, 0, 1]
電腦看得懂這個...
41](https://image.slidesharecdn.com/news-140719112457-phpapp01/75/slide-51-2048.jpg)
Uploaded byAndy Dai
電腦不只會幫你選土豆，還會幫你選新聞
本讲座介绍了如何使用Python进行新闻抓取和简单的机器学习，以构建一个自动筛选新闻的系统。讨论了数据收集、特征提取以及如何应用机器学习算法来预测新闻的受欢迎程度。强调了整理数据的重要性以及Python在数据科学中的实用性。
![[系列活動] Python 爬蟲實戰](https://cdn.slidesharecdn.com/ss_thumbnails/pythonafunjimv1-171213041823-thumbnail.jpg?width=640&height=640&fit=bounds)
![[系列活動] Python 程式語言起步走](https://cdn.slidesharecdn.com/ss_thumbnails/python20170812-170808043244-thumbnail.jpg?width=640&height=640&fit=bounds)
![[台灣人工智慧學校] 人工智慧技術發展與應用](https://cdn.slidesharecdn.com/ss_thumbnails/version5-final-190319060225-thumbnail.jpg?width=640&height=640&fit=bounds)
![[系列活動] Python爬蟲實戰](https://cdn.slidesharecdn.com/ss_thumbnails/python-170809083644-thumbnail.jpg?width=640&height=640&fit=bounds)
電腦不只會幫你選土豆，還會幫你選新聞
- 1.
- 2. About Me • Andy(andy@dorm7.com) • Taipei.py、PyCon TW、PyCon APAC ⼯工作⼈人員 • Backend Developer @ Dorm7 Software • 平常都在寫 Python、Django 2
- 3.
- 4. 我們會⽤用 Python 當中的套件來做新 聞的抓取以及簡單的 MachineLearning 來完成⼀一個電腦幫你篩選新聞的系統 4
- 5.
- 6.
- 7.
- 8. If I hadan hour to solve a problem I'd spend 55 minutes thinking about the problem and 5 minutes thinking about solutions. ! — Albert Einstein 8
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20. 打開瀏覽器 • requests -模擬瀏覽器發查詢 • selenium - 真正操控瀏覽器 18
- 21. Requests: HTTP forHumans import requests! ! def get_content(url):! response = requests.get(url)! return response.content! 19
- 22. Selenium - WebBrowser Automation 20 from selenium import webdriver! ! browser = webdriver.Firefox()! browser.get('http://www.google.com')!
- 23. Beautiful Soup: Navigating, searchingyour html from bs4 import BeautifulSoup! ! soup = BeautifulSoup(html_content)! soup.title! soup.findAll('a')! soup.find('div', {'id': 'summary'})! 21
- 24.
- 25.
- 26.
- 27. readability - Pullsout main body from readability.readability import Document! ! doc = Document(content)! print doc.summary()! 23
- 28.
- 29.
- 30. PyMongo from pymongo importMongoClient! ! client = MongoClient()! db = client['news_database']! news = db.news! news.insert(data)! news.find_one({'url': a['href']})! 26
- 31. 從 ETtoday 抓這些資料 •標題 • ⽇日期 • 內⽂文 • 有幾張圖 • URL • 類別 • Facebook likes 數量 27
- 32.
- 33.
- 34.
- 35. ⼀一些數據 • 4/20~7/15 ETtoday的新聞 • 總共 28615 篇 • 6441 篇的 Facebook Like > 1000 (22.5%) 31
- 36.
- 37.
- 38.
- 39.
- 40. 最不受歡迎的類別 • 財經 (3.11%) •消費 (2.57%) 34
- 41. 最不受歡迎的類別 • 財經 (3.11%) •消費 (2.57%) • 健康 (1.06%) 34
- 42.
- 43.
- 44.
- 45. 最受歡迎的類別 • ⽣生活 (38.08%) •新奇 (47.74%) 36
- 46. 最受歡迎的類別 • ⽣生活 (38.08%) •新奇 (47.74%) •寵物動物 (89.24%) 36
- 47.
- 48.
- 49.
- 50.
- 51. [1, 0, 1,0, 1…, 0, 1] 電腦看得懂這個... 41
- 52.
- 53. 屏東/ 科技/ ⼤大學/裴家騏/ ⽼老師/ 團隊 / 在/ 苗栗/ 的/ 研究/ 顯⽰示/ ，/ 近幾年 / 來/ ，/ 無論/ 地⽅方/ 政府/ 或/ 私⼈人/ 的/ 開發/ ，/ 都/ 使得/ ⽯石⻁虎/ 的/ 棲地 / 不斷/ 地/ 減少/ 和/ 破碎/ 化/ 。/ 斷詞 43
- 54. import jieba! segs =jieba.cut(! u”屏東科技⼤大學裴家騏⽼老師團隊在苗栗的研究顯⽰示"! )! print '/'.join(segs)! jieba - 斷詞 屏東/ 科技/ ⼤大學/ 裴家騏/ ⽼老師/ 團隊/ 在/ 苗栗/ 的/ 研究/ 顯⽰示/ 44
- 55. import jieba.analyse! ! content ="""..."""! tags = jieba.analyse.extract_tags(! ! content, topK=10! ) jieba - 找關鍵詞 45
- 56.
- 57.
- 58.
- 59.
- 60.
- 61. Classification 這篇新聞會超過 1000 個! Likes 嗎？ 51
- 62.
- 63.
- 64. Machine Learning isSimple 54 from sklearn import svm! X, y = get_training_set()! clf = svm.SVC()! clf.fit(X, y)! clf.predict(unknown)!
- 65.
- 66. 最後成果 • 細節不多說，總之就是 callAPI 跟調參數 • ⽤用 SVM 做 Classification • 使⽤用的特徵: 標題、內⽂文、類別、有幾張圖、星期 幾 56
- 67. 今天沒提到但是可能有⽤用的 Packages • Scrapy -抓網⾴頁 • NLTK - ⾃自然語⾔言處理 • Pandas - Python Data Analysis Library • Orange - Open source data visualization and analysis • Matplotlib - 畫圖 57
- 68.
- 69.
- 70.
- 71. 結論 • 沒有什麼神奇的⽅方法可以幫你搞定資料科學！請 不要抗拒把⼿手弄髒 • 想玩玩資料嗎？⽤用Python 吧！ • 不⼀一定要靠 Machine Learning，資料整理得好就 有價值 58
- 72.
- 73.
- 74. ⼯工商服務 • Taipei.py • http://www.meetup.com/Taipei-py/ •Django Girls Taiwan 籌備中 • http://bit.ly/djangogirls 59
- 75.