Download to read offline
Uploaded by兆欽 丘
Web scraping入門1
文档介绍了 Python 编程语言和网页数据提取的基本概念，包括常用库如 urllib、beautifulsoup 和 lxml。它还讨论了网站的基本结构，以及如何进行数据的过滤和筛选。内容适合初学者，涵盖了从变量声明到基本的网页抓取方法。
![[系列活動] Python爬蟲實戰](https://cdn.slidesharecdn.com/ss_thumbnails/python-170809083644-thumbnail.jpg?width=640&height=640&fit=bounds)
![[系列活動] Python 爬蟲實戰](https://cdn.slidesharecdn.com/ss_thumbnails/pythonafunjimv1-171213041823-thumbnail.jpg?width=640&height=640&fit=bounds)
Web scraping入門1
- 1.
- 2. Python 簡介 Ez 擷取 網站基本架構 篩選過濾(初級)
- 3. Python 簡介 • 可讀性 •社群與資源 • 標準函式庫
- 4. Python 簡介 • 宣告變數 •呼叫方法 • 內建函式 words = ‘Hello, world!’ print(words.upper( )) # 印出 words 字串的大寫 => HELLO, WORLD!
- 5. Ez 擷取 • pyquery(最平均) • lxml (效率最高) • twisted (牛刀) • beautifulsoup (Ez use) • urllib (內建)
- 6. Ez 擷取 # Python3 importurllib.request url = ‘http://www.cwb.gov.tw/V7/index.htm’ #中央氣象局 data = urllib.request.urlopen(url) htmltext = data.read( ).decode(‘utf-8’) # 擷取並存入 htmltext print(htmltext) data.close( )
- 7.
- 8.
- 9. 網站基本架構 • 開始 /結束 • 連結 • 巢狀結構 • 其他函式 • class / id <meta name="DC.Type" content="服務" /> <ul class="LifeWeather"> <h3 class="menu-icon01">生活氣象</h3> <li> <a href="/V7/life/Life.htm">生活氣象</a> </li> </ul> <h3 class="menu-icon02">預報</h3>
- 10. 篩選過濾(初級) • 迴圈 while •判斷式 if • 輸出函式 print() • 內建函式 str.find()
- 11.