1.
Construindo Crawler Na Web Feito Gente Grande Apresentando o Scrapy Bernardo Fontes @bbfontes

2.
@bbfontes – bernardofontes.net – falecomigo@bernardofontes.net

3.
O que é um web crawler?

4.
O que é um web crawler? “Web crawler é um programa de computador que navega pela World Wide Web de uma forma metódica e automatizada”http://pt.wikipedia.org/wiki/Web_crawler

5.
Estrutura básica de um web crawler

6.
Estrutura básica de um web crawler● Construção de requisições HTTP

7.
Estrutura básica de um web crawler● Construção de requisições HTTP● Tratamento da resposta ● Composição de objetos ● Composição de novas requisições

8.
Estrutura básica de um web crawler● Construção de requisições HTTP● Tratamento da resposta ● Composição de objetos ● Composição de novas requisições● “Persistência” de dados

9.
Web crawling em Python● Tecnologias comuns: ● urllib, httplib2, requests

10.
Web crawling em Python● Tecnologias comuns: ● urllib, httplib2, requests ● beautifulsoup ou lxml

11.
Web crawling em Python● Tecnologias comuns: ● urllib, httplib2, requests ● beautifulsoup ou lxml ● json, pickle, yaml, sqlite3

12.
Mas qual o problema?

13.
Mas qual o problema?● Ter que resolver tudo na mão: ● Se tiver autenticação? ● Lidar com sessão, cookie... ● HTML mal formatado ● Crawlear outros recursos ● Aumento de pontos de falha ● Complexidade de testes ● Encoding ● Mais alguns outros

14.
Ok... Então, #comofaz?

15.
Quadrado mágico do Scrapy

16.
Item

17.
Item● Objeto Python que herda da classe scrapy.item.Item que é dict-like

18.
Item● Objeto Python que herda da classe scrapy.item.Item que é dict-like● ORM-like ● Atributos são instâncias da classe scrapy.item.Field

19.
Item● Objeto Python que herda da classe scrapy.item.Item que é dict-like● ORM-like ● Atributos são instâncias da classe scrapy.item.Field● Consegue separar a “modelagem” e tratamento dos dados do processamento do crawler: ● Field(serializer=str)

20.
scrapy.http.Request

21.
scrapy.http.Request● Classe que abstrai a requisição:

22.
scrapy.http.Request● Classe que abstrai a requisição:● Request(url, callback=func)

23.
scrapy.http.Request● Classe que abstrai a requisição:● Request(url, callback=func)● Outros argumentos: ● method ● body ● headers ● ...

24.
Spider

25.
Spider● Classe executora do crawler que herda de scrapy.spider.BaseSpider

26.
Spider● Classe executora do crawler que herda de scrapy.spider.BaseSpider● Atributos chaves: ● name ● allowed_domains ● start_urls

27.
Spider● Classe executora do crawler que herda de scrapy.spider.BaseSpider● Atributos chaves: ● name ● allowed_domains ● start_urls● Métodos chaves: ● start_requests(self) ● parse(self, response)

28.
scrapy.select.HtmlXPathSelector

29.
scrapy.select.HtmlXPathSelector● BeautifulSoup: objeto Python baseado na estrutura do documento

30.
scrapy.select.HtmlXPathSelector● BeautifulSoup: objeto Python baseado na estrutura do documento● Lxml: API baseada no ElementTree

31.
scrapy.select.HtmlXPathSelector● BeautifulSoup: objeto Python baseado na estrutura do documento● Lxml: API baseada no ElementTree● HtmlXPathSelector: Xpath!

32.
scrapy.select.HtmlXPathSelector● BeautifulSoup: objeto Python baseado na estrutura do documento● Lxml: API baseada no ElementTree● HtmlXPathSelector: Xpath!● Métodos: ● select(self, xpath) ● extract(self) ● re(self, regex)

33.
$ scrapy startproject pybr8talks

34.
github.com/berinhard/scrapy-pybr8

35.
Item Pipeline

36.
Scrapy Shell

37.
Feed Exports

38.
Logging

39.
DjangoItem

40.
Scrapyd

41.
Perguntas?

42.
Obrigado!Bernardo Fontesfalecomigo@bernardofontes.nethttp://bernardofontes.nethttp://twitter.com/bbfonteshttp://github.com/berinhard