• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Web crawler
 

Web crawler

on

  • 2,359 views

Presentación para C4XPO 2010. ...

Presentación para C4XPO 2010.
http://c4xpo.com/
10:am
Jueves 27 de Mayo del 2010.
Queretaro, Queretaro.
México

TEMA:
Web crawler.Cuándo, cómo y por qué.

Statistics

Views

Total Views
2,359
Views on SlideShare
2,297
Embed Views
62

Actions

Likes
1
Downloads
19
Comments
0

5 Embeds 62

http://www.todopps.info 38
http://www.slideshare.net 19
http://www.linkedin.com 3
http://www.lmodules.com 1
https://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

CC Attribution-NonCommercial LicenseCC Attribution-NonCommercial License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Web crawler Web crawler Presentation Transcript

    •     Web crawler.    Cuándo, cómo y por qué
    •   http://www.javamexico.org http://www.javahispano.org http://www.riahispano.org  
    • Web crawler.Cuándo, cómo y por qué
      • - Qué
      • Definición:
      • A Web crawler is a computer program that browses the World Wide Web in a methodical, automated manner or in an orderly fashion. 
      • http://en.wikipedia.org/wiki/Web_crawler
    • Web crawler.Cuándo, cómo y por qué
      • Diagrama:
      • http://en.wikipedia.org/wiki/File:WebCrawlerArchitecture.svg
    • Web crawler.Cuándo, cómo y por qué
      • -Cuándo
        • RSS
    • Web crawler.Cuándo, cómo y por qué
      • -Cuándo
        •   PIPES (yahoo)
    • Web crawler.Cuándo, cómo y por qué
      • -Cuándo
        •   API
          • http://www.programmableweb.com/
    • Web crawler.Cuándo, cómo y por qué
          • http://www.programmableweb.com/
    • Web crawler.Cuándo, cómo y por qué
      • -Cuándo
      • ¿Y si no hay?
    • Web crawler.Cuándo, cómo y por qué
      • -Cómo
        • Lenguaje de programación que permita:
          •   Hacer un request a una página
          •   Manejar cadenas de texto
          • !!!Y ya¡¡¡
    • Web crawler.Cuándo, cómo y por qué
      • -Cómo:
    • Web crawler.Cuándo, cómo y por qué
      • -Cómo:
      • EJEMPLOS
    • Web crawler.Cuándo, cómo y por qué
      • -Cómo:
          • No decíamos que: ¿Y ya?  
            • mmm, ok, sí... pero sólo para empezar.
            • Aparecerán obstáculos:
              • Falta de seguimiento estandares
              • CSS vs <table>
              • Restricciones de acceso.
              • Cambios en la estructura
              • TAB vs BS
              • Desaparición de páginas
              • Censura ( aka ¡¡¡complot!!! )
    • Web crawler.Cuándo, cómo y por qué
      • -Por qué
        • Utilizar
        • Difundir
        • Promover
        • Facilitar
      •  
      •   Lo que ya existe
    • Web crawler.Cuándo, cómo y por qué
      • - Por qué
      • OPEN DATA
      • Apertura de datos públicos
      • Sun Light Foundation
      • http://sunlightfoundation.com/
      • Open Data
      • http://www.opendatacommons.org/
      • Open Data Euskadi.
      • http://opendata.euskadi.net/w79-home/es
    • Web crawler.Cuándo, cómo y por qué
      • - Por qué
      •  
      •  
      •  
      • ¡¡¡ Hay que hacer cosas YA !!!
    • Web crawler.Cuándo, cómo y por qué
      • -¿Ejemplos?
        • Extender funcionalidad.
        • Corregir funcionalidad.
        • Transformar la información.
    • Web crawler.Cuándo, cómo y por qué
      • -¿Ejemplos concretos?
        • Páginas de sus amigos.
        • Horarios del cine.
        • Horarios de camiones.
        • Información de su escuela.
        • Información de su Gobierno.
        • Información del &quot; Mundo Mundial &quot;
      • Máxima : 
      • Poner la información al alcance de todos
      • de la manera más accesible posible.
      • (procurando no cometer delitos)
    • Web crawler.Cuándo, cómo y por qué
      • -¿Ejemplos concretos?
      • EJERCICIO
    • Web crawler.Cuándo, cómo y por qué
      • ¿Preguntas?
    • Web crawler.Cuándo, cómo y por qué
      • http://www.springio.net/
    • Web crawler.Cuándo, cómo y por qué
      • Referencias:
      •  
      • Build a Web spider on Linux
      • http://www.ibm.com/developerworks/linux/library/l-spider/
      • Hack Politics
      • http://vimeo.com/8446771
      •  
      • Introduction to Information retrieval.
      • http://nlp.stanford.edu/IR-book/information-retrieval-book.html
    • Web crawler.Cuándo, cómo y por qué
      • RuGI
      • Isaac Ruiz Guerra
      • [email_address]
      • @rugi
      • http:// weblogs.javahispano.org/rugi