SlideShare a Scribd company logo
1 of 26
蜘蛛的进化 作者 :  轩痕
关于我 ,[object Object],[object Object],[object Object],[object Object]
关于虎扑 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
什么是蜘蛛 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
为什么要有蜘蛛 ,[object Object],[object Object],[object Object]
豆瓣 : ,[object Object],[object Object],[object Object]
去哪儿 ,[object Object],[object Object],[object Object],[object Object]
 
 
亦歌
[object Object]
选择 ? ,[object Object],[object Object],[object Object]
蜘蛛的进化 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
最简单的蜘蛛代码 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
最简单的蜘蛛 ,[object Object],[object Object],[object Object]
多线程  +  队列 ( 锁 ) ,[object Object],[object Object]
 
 
 
 
为什么要处理异常 , 要如何做 ? ,[object Object],[object Object]
异常处理方式对比
[object Object],[object Object]
测试 !!!! ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
碰到的问题 , 希望和大家探讨的地方 ,[object Object],[object Object],[object Object]
木牛啦 ..  谢谢大家

More Related Content

Similar to 蜘蛛

Web crawler - Scrapy
Web crawler - Scrapy Web crawler - Scrapy
Web crawler - Scrapy yafish
 
A DIY Botnet Tracking System
A DIY Botnet Tracking SystemA DIY Botnet Tracking System
A DIY Botnet Tracking Systemlog0
 
耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation
耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation
耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation潘 冠辰
 
2010年第1期
2010年第1期2010年第1期
2010年第1期chilongxia
 
浅谈灰度发布在贴吧的应用 支付宝 20130909
浅谈灰度发布在贴吧的应用 支付宝 20130909浅谈灰度发布在贴吧的应用 支付宝 20130909
浅谈灰度发布在贴吧的应用 支付宝 20130909liqiang xu
 
Python安全编码
Python安全编码Python安全编码
Python安全编码Leo Zhou
 
搜索引擎技术介绍
搜索引擎技术介绍搜索引擎技术介绍
搜索引擎技术介绍bigqiang zou
 
Data Crawler using Python (I) | WeiYuan
Data Crawler using Python (I) | WeiYuanData Crawler using Python (I) | WeiYuan
Data Crawler using Python (I) | WeiYuanWei-Yuan Chang
 
非同步Python網頁爬蟲實作&部署在Heroku
非同步Python網頁爬蟲實作&部署在Heroku非同步Python網頁爬蟲實作&部署在Heroku
非同步Python網頁爬蟲實作&部署在HerokuMike Ku
 
20151021联动技术大讲堂35(刘胜)网络爬虫技术实战
20151021联动技术大讲堂35(刘胜)网络爬虫技术实战20151021联动技术大讲堂35(刘胜)网络爬虫技术实战
20151021联动技术大讲堂35(刘胜)网络爬虫技术实战liu sheng
 
Kamigo reviews 20191127
Kamigo reviews 20191127Kamigo reviews 20191127
Kamigo reviews 20191127Jia Yu Lin
 
Twitter 與 ELK 基本使用
Twitter 與 ELK 基本使用Twitter 與 ELK 基本使用
Twitter 與 ELK 基本使用Mark Dai
 
电子杂志(试刊)
电子杂志(试刊)电子杂志(试刊)
电子杂志(试刊)ProCharm
 
EZTBALE Inside 20110326
EZTBALE Inside 20110326 EZTBALE Inside 20110326
EZTBALE Inside 20110326 EZTABLE
 
iOS app security
iOS app security  iOS app security
iOS app security Hokila Jan
 
“开花者”的存在意义与可能的未来
“开花者”的存在意义与可能的未来“开花者”的存在意义与可能的未来
“开花者”的存在意义与可能的未来Yan Junyi
 
網頁安全 Web security 入門 @ Study-Area
網頁安全 Web security 入門 @ Study-Area網頁安全 Web security 入門 @ Study-Area
網頁安全 Web security 入門 @ Study-AreaOrange Tsai
 
Koubei banquet 31
Koubei banquet 31Koubei banquet 31
Koubei banquet 31Koubei UED
 
分布式爬虫
分布式爬虫分布式爬虫
分布式爬虫drewz lin
 
1.[web security share]google_hacking
1.[web security share]google_hacking1.[web security share]google_hacking
1.[web security share]google_hackingMike Ching
 

Similar to 蜘蛛 (20)

Web crawler - Scrapy
Web crawler - Scrapy Web crawler - Scrapy
Web crawler - Scrapy
 
A DIY Botnet Tracking System
A DIY Botnet Tracking SystemA DIY Botnet Tracking System
A DIY Botnet Tracking System
 
耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation
耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation
耳邊消息 APP (Machine Learning Application of LSTM, MLP) Presentation
 
2010年第1期
2010年第1期2010年第1期
2010年第1期
 
浅谈灰度发布在贴吧的应用 支付宝 20130909
浅谈灰度发布在贴吧的应用 支付宝 20130909浅谈灰度发布在贴吧的应用 支付宝 20130909
浅谈灰度发布在贴吧的应用 支付宝 20130909
 
Python安全编码
Python安全编码Python安全编码
Python安全编码
 
搜索引擎技术介绍
搜索引擎技术介绍搜索引擎技术介绍
搜索引擎技术介绍
 
Data Crawler using Python (I) | WeiYuan
Data Crawler using Python (I) | WeiYuanData Crawler using Python (I) | WeiYuan
Data Crawler using Python (I) | WeiYuan
 
非同步Python網頁爬蟲實作&部署在Heroku
非同步Python網頁爬蟲實作&部署在Heroku非同步Python網頁爬蟲實作&部署在Heroku
非同步Python網頁爬蟲實作&部署在Heroku
 
20151021联动技术大讲堂35(刘胜)网络爬虫技术实战
20151021联动技术大讲堂35(刘胜)网络爬虫技术实战20151021联动技术大讲堂35(刘胜)网络爬虫技术实战
20151021联动技术大讲堂35(刘胜)网络爬虫技术实战
 
Kamigo reviews 20191127
Kamigo reviews 20191127Kamigo reviews 20191127
Kamigo reviews 20191127
 
Twitter 與 ELK 基本使用
Twitter 與 ELK 基本使用Twitter 與 ELK 基本使用
Twitter 與 ELK 基本使用
 
电子杂志(试刊)
电子杂志(试刊)电子杂志(试刊)
电子杂志(试刊)
 
EZTBALE Inside 20110326
EZTBALE Inside 20110326 EZTBALE Inside 20110326
EZTBALE Inside 20110326
 
iOS app security
iOS app security  iOS app security
iOS app security
 
“开花者”的存在意义与可能的未来
“开花者”的存在意义与可能的未来“开花者”的存在意义与可能的未来
“开花者”的存在意义与可能的未来
 
網頁安全 Web security 入門 @ Study-Area
網頁安全 Web security 入門 @ Study-Area網頁安全 Web security 入門 @ Study-Area
網頁安全 Web security 入門 @ Study-Area
 
Koubei banquet 31
Koubei banquet 31Koubei banquet 31
Koubei banquet 31
 
分布式爬虫
分布式爬虫分布式爬虫
分布式爬虫
 
1.[web security share]google_hacking
1.[web security share]google_hacking1.[web security share]google_hacking
1.[web security share]google_hacking
 

More from thinkinlamp

对My sql dba的一些思考
对My sql dba的一些思考对My sql dba的一些思考
对My sql dba的一些思考thinkinlamp
 
云端的数据库
云端的数据库云端的数据库
云端的数据库thinkinlamp
 
My sql innovation work -innosql
My sql innovation work -innosqlMy sql innovation work -innosql
My sql innovation work -innosqlthinkinlamp
 
浅谈 My sql 性能调优
浅谈 My sql 性能调优浅谈 My sql 性能调优
浅谈 My sql 性能调优thinkinlamp
 
2011 06-12-why do we need the rabbit
2011 06-12-why do we need the rabbit2011 06-12-why do we need the rabbit
2011 06-12-why do we need the rabbitthinkinlamp
 
2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江thinkinlamp
 
大型微博应用Feed系统浅析
大型微博应用Feed系统浅析大型微博应用Feed系统浅析
大型微博应用Feed系统浅析thinkinlamp
 
Enterprise connect
Enterprise connectEnterprise connect
Enterprise connectthinkinlamp
 
I os tech talk 观后感
I os tech talk 观后感I os tech talk 观后感
I os tech talk 观后感thinkinlamp
 
网页游戏开发与敏捷开发
网页游戏开发与敏捷开发网页游戏开发与敏捷开发
网页游戏开发与敏捷开发thinkinlamp
 
My sql自动化监控
My sql自动化监控My sql自动化监控
My sql自动化监控thinkinlamp
 
服务化的网站架构
服务化的网站架构服务化的网站架构
服务化的网站架构thinkinlamp
 
大型互联网应用架构设计
大型互联网应用架构设计大型互联网应用架构设计
大型互联网应用架构设计thinkinlamp
 
Php extension开发
Php extension开发Php extension开发
Php extension开发thinkinlamp
 
Nosql七种武器之长生剑 mongodb的使用介绍
Nosql七种武器之长生剑 mongodb的使用介绍Nosql七种武器之长生剑 mongodb的使用介绍
Nosql七种武器之长生剑 mongodb的使用介绍thinkinlamp
 
大型Sns数据库设计
大型Sns数据库设计大型Sns数据库设计
大型Sns数据库设计thinkinlamp
 
Mysql overview_20100811
Mysql overview_20100811Mysql overview_20100811
Mysql overview_20100811thinkinlamp
 
面向搜索引擎的友好程序开发
面向搜索引擎的友好程序开发面向搜索引擎的友好程序开发
面向搜索引擎的友好程序开发thinkinlamp
 

More from thinkinlamp (20)

数据仓库
数据仓库数据仓库
数据仓库
 
对My sql dba的一些思考
对My sql dba的一些思考对My sql dba的一些思考
对My sql dba的一些思考
 
云端的数据库
云端的数据库云端的数据库
云端的数据库
 
My sql innovation work -innosql
My sql innovation work -innosqlMy sql innovation work -innosql
My sql innovation work -innosql
 
浅谈 My sql 性能调优
浅谈 My sql 性能调优浅谈 My sql 性能调优
浅谈 My sql 性能调优
 
2011 06-12-why do we need the rabbit
2011 06-12-why do we need the rabbit2011 06-12-why do we need the rabbit
2011 06-12-why do we need the rabbit
 
2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江2011 06-12-lamp-mysql-顾春江
2011 06-12-lamp-mysql-顾春江
 
大型微博应用Feed系统浅析
大型微博应用Feed系统浅析大型微博应用Feed系统浅析
大型微博应用Feed系统浅析
 
Enterprise connect
Enterprise connectEnterprise connect
Enterprise connect
 
I os tech talk 观后感
I os tech talk 观后感I os tech talk 观后感
I os tech talk 观后感
 
网页游戏开发与敏捷开发
网页游戏开发与敏捷开发网页游戏开发与敏捷开发
网页游戏开发与敏捷开发
 
My sql自动化监控
My sql自动化监控My sql自动化监控
My sql自动化监控
 
服务化的网站架构
服务化的网站架构服务化的网站架构
服务化的网站架构
 
大型互联网应用架构设计
大型互联网应用架构设计大型互联网应用架构设计
大型互联网应用架构设计
 
Php extension开发
Php extension开发Php extension开发
Php extension开发
 
Nosql七种武器之长生剑 mongodb的使用介绍
Nosql七种武器之长生剑 mongodb的使用介绍Nosql七种武器之长生剑 mongodb的使用介绍
Nosql七种武器之长生剑 mongodb的使用介绍
 
大型Sns数据库设计
大型Sns数据库设计大型Sns数据库设计
大型Sns数据库设计
 
MySQL高可用
MySQL高可用MySQL高可用
MySQL高可用
 
Mysql overview_20100811
Mysql overview_20100811Mysql overview_20100811
Mysql overview_20100811
 
面向搜索引擎的友好程序开发
面向搜索引擎的友好程序开发面向搜索引擎的友好程序开发
面向搜索引擎的友好程序开发
 

蜘蛛