Se Não Pode Ser Copiado,
Não Existe – By Italo Maia

Scraping
For Fun And Glory!
BZZ BZZ

VOCÊ
PROGRAMA

Desenvolvedor
Web, Mobile, Desktop
Membro
PugCE, ForHacker, DjangoBrasil
Gosta
Promoção, Ler, Chuva

Esse é muito bom!

BAD
HTML

BeaufitulSoup
FireBug

Facinho

Referências sem
domínio
HTTP Errors
Bloqueio de acesso
Cookies
Autenticação
Parâmetros dinâmicos

CRAWLING

Como
que faz?

Maneiro!

Obrigado!

Se Não Pode Ser Copiado,
Não Existe – By Italo Maia

Scraping
For Fun And Glory!
BZZ BZZ
Muito bom dia! Sejam bem vindos à mais um Flisol.
Que bom que tanta gente conseguiu acordar cedo
para ver as primeiras palestras.
O nome da palestra que vou ministrar é Scraping for
Fun and Glory; nela, nosso assunto é scraping.

Scraping ou Web Scraping é como chamamos o
conjunto de técnicas utilizadas para se extrair
informação da internet, como links, imagens ou
mesmo texto. O Google, por exemplo, é uma
empresa muito famosa que se utiliza dessa técnica
fortemente no seu processo de “page ranking” e
indexação de conteúdo.

VOCÊ
PROGRAMA
A ideia é se utilizar de um programa, que fará
acessos aos sites que possuem a informação que
você deseja como se fosse um usuário real. Toda
vez que ele acessar uma página, ele vai receber a
informação que um usuário receberia em seu
navegador, e vai buscar aquilo que é importante e
descartar o resto.
Outra habilidade importante que um spider deve ter é
a capacidade de seguir links, pois eles podem
levá-lo à mais informação útil.

Desenvolvedor
Web, Mobile, Desktop
Membro
PugCE, ForHacker, DjangoBrasil
Gosta
Promoção, Ler, Chuva
Antes de começar, gostaria de falar um pouco de
mim. Meu nome é Italo Maia, sou desenvolvedor a
10 anos, possuo projetos em diversas linguagens,
muitos deles no github, e tive oportunidade,
recentemente, de trabalhar no maior ecommerce
do Brasil, onde pude aprender muito sobre o
assunto, inclusive, como o scraping é importante
para esse tipo de negócio.
Esse ano participei do último python-brasil, em recife,
e nele, pude ver o interesse das pessoas sobre o
assunto desta palestra. Por isso resolvi
compartilhar um pouco do que aprendi ao longo
dos anos sobre o assunto aqui.

Meu primeiro contato com scraping foi a muito tempo
atrás, quando um americano me pediu um serviço.
Ele era um apostador profissional e me pediu um
programa capaz de buscar os resultados de
partidas esportivas em um site e armazená-los em
alguma forma estruturada fácil de ler.
Lembro que não consegui atendê-lo pois meu óculos
quebrou no dia seguinte e eu não enxergava a tela
do computador no meu antigo monitor. Foi horrível.
Mas lembro também que achei muito interessante a
ideia dele, de utilizar informação livremente
disponível na internet de forma organizada.

Se vocês prestaram atenção no terceiro slide, vão
lembrar que eu disse que gosto de ler. Bem, eu
gosto de ler e de colecionar coisas e, na internet,
existem muitos sites que te permitem ler
quadrinhos online, mesmo aqueles que ainda não
foram publicados no brasil, como o mangafox,
mangahere e mangapanda.
Sou um grande fã de quadrinhos e sempre tive o
hábito de lê-los. Esse tipo de site foi um grande
achado para mim.

Esse é muito bom!
Acontece que ler quadrinhos online não é tão
divertido quando sua Internet não é tão boa. A
página pode não carregar quando você tenta
mudá-la ou você pode receber um erro de
carregamento qualquer. Lembro que eu tinha Velox
na época …
Nesse período, resolvi me aventurar a fazer um
aplicativo que buscasse o meu quadrinho predileto
no site e baixasse o capítulo que eu quisesse em
um formato adequado, como cbz ou cb7.
Para esse programa, utilizei apenas a bibliotecas
padrão do python e foi até fácil. Acredito que essa
abordagem direta é a forma mais simples de se
realizar scraping de um site específico do qual
você saiba exatamente a informação de que
precisa.

O código para fazer o scraping de um site de
quadrinhos costuma ser bem simples, mas
independente da biblioteca que você vai utilizar, a
primeira coisa a se fazer para um scraping bem
sucedido, visto que você não pretende usar uma
abordagem generalista, é conhecer o site.
Primeiramente, lembrem-se que um scraping simula
a interação de um usuário, então vejamos como
um usuário interage com a página.
Como pode ser visto pelas setas, esse site possui
várias áreas de interação com o usuário. Cada
uma com um contexto específico. Se queremos
baixar quadrinhos, a parte que nos interessa aí é o
formulário de busca. Vamos ver como ele funciona.

Como “faria” meu amigo Yuki, a melhor forma de
descobrir como algo funciona é apertando o botão.
Para descobrir como buscar um quadrinho no site,
escrevi um texto no campo de busca e apertei no
botão buscar. Notem que URL foi alterada com o
valor da busca mais um path diferente. Isso nos diz
que a busca utiliza um formulário de GET e o
parâmetro “search” é utilizado pela controller que
responde essa requisição.
Já podemos codificar alguma coisa!

No nosso código exemplo, criamos um urlopen
especial, que sobrescreve o user-agent e o
utilizamos para realizar uma consulta utilizando o
path que descobrimos no slide anterior. No caso
acima, sobrescrevemos o user-agent para deixar
claro para o site com que trabalhamos que não
somos um robô, mesmo lo sendo.
Note que extract está vazio. Ele é a função que
vamos utilizar para extrair a informação que
desejamos. No caso, a lista de quadrinhos
encontrada a partir de nossa palavra.

BAD
HTML
Ao trabalhar com informações extraídas de um site,
você deve estar ciente de duas coisas:
1 – scripts e estilos não serão executados, a menos
que você crie o ambiente necessário para executá-
lo. PhantomJS é uma boa sugestão para esses
casos.
2 – Se você está trabalhando com HTML, saiba que
a chance desse HTML estar mal formado é
altíssima. Por isso, utilize bibliotecas capazes de
“relevar” um HTML mal formado, como lxml.html ou
beautifulsoup.

BeaufitulSoup
FireBug
Para o extract, vamos utilizar uma biblioteca
chamada beautifulsoup e uma ferramenta chamada
firebug.
O firebug acredito ser conhecido da maioria. Ele
permite analisar o HTML, estilos, DOM e
cabeçalhos de uma interação com um site.
Também te permite executar scripts em um console
próprio, o que é muito útil.
O BeautifulSoup, por sua vez, é uma biblioteca para
buscar informação em HTML. Ela é muito fácil de
usar, bem documentada e consegue trabalhar com
HTML mal formado, mesmo os mais “tortos” não
são um grande problema.

Facinho
Na página com a lista de resultados que recebemos
para nossa consulta, procuramos os links que
direcionam para a página do quadrinho que
desejamos ler. Visualmente, é bem fácil encontrar
os tais links, eles estão bem no meio da tela. Para
encontrar os links no HTML, utilizamos a
ferramenta de inspeção do Firebug. Clicamos nela
e depois na estrutura com o link para o quadrinho;
no frame do HTML, o trecho de código que possui
aquele link é aberto. Agora basta analisar a
estrutura e decidir quais os critérios de seleção
para os links. É como se você tivesse que decidir
quais regras CSS são necessárias para aplicar um
estilo, só que com o BeautifulSoup!
Dica: Você pode utilizar o Jquery pelo console para
testar se suas regras de seleção funcionam.

Referências sem
domínio
HTTP Errors
Bloqueio de acesso
Cookies
Autenticação
Parâmetros dinâmicos
Esse exemplo em particular é muito fácil! Basta usar
a classe manga_info para selecionar os links de
quadrinho. O próximo passo seria seguir os links
de quadrinho, encontrar a página de cada edição
do quadrinho e para cada edição encontrar todas
as imagens que compoem a edição. Em seguida,
baixar e gravar a imagem de cada uma.
O que foi demonstrado aqui pode ser utilizado com
outras finalidades. Você poderia, ao invés de
buscar quadrinhos, buscar resultados de jogos,
como queria o apostador de que falei, ou notícias
sobre um assunto particular, ou preços de uma
loja. As possibilidades são muitas!

CRAWLING
Caso, o que você precisa é vasculhar um conjunto
de sites à procura de informação, o que você está
precisando é um crawler.
Crawlers são software que se utilizam de programas
chamados spiders ou web spiders para extrair
informação de um conjunto de sites. Spiders são
programas especialistas de busca e extração de
informação, como programas de scrapers,
contudo, não lidam com a parte de persistência de
informação ou gerenciamento de outros spiders.
Os robôs de indexação do google, por exemplo, são
crawlers conhecidos. Ao contrário de um programa
de scraping, não é interessante escrever seu
próprio crawler sem uma ferramenta especializada
para o trabalho. Uma muito famosa, o scrapy,
merece sua atenção.

O scrapy é orientado a projetos. Você cria um projeto
com a ferramenta de linha de comando do scrapy,
adiciona algumas spiders a ele e já pode levá-lo
para produção. É bem simples.
O exemplo acima, contudo, não foi criado no
contexto de um projeto. O que temos ali é um
exemplo simples de como escrever um spider com
um comportamento fixo. Ele acessa a página
principal do blog do scrapinghub, pega todas as
postagens da página principal e cria itens com ela.
Os itens são os componentes com que o scrapy, por
padrão, guarda informação.
O exemplo acima não usa a maioria dos recursos
disponibilizados pelo scrapy, mas usa os mais
importantes. Poderemos revisar tais componentes
no workshop da tarde.

Como
que faz?

Maneiro!

Obrigado!