"Post-slajdy" k mé přednášce na BigCleanCZ na jaře roku 2011

1. Pár málo známých
nástrojů pro webmining
BigCleanCZ, Praha, 19. 3. 2011

2. Google Search
Google search oparátory
site: (hledá jen v určené doméně)
ext: (hledá soubory s určenou příponou)

3. XPath
http://www.w3schools.com/xpath/

4. 1. Google Spreadsheet
Import XML
Import CSV nebo TSV via HTTP
Import HTML
Import RSS

5. Import XML
importXML("URL";"query",number)
importXml("http://www.google.com", "//a")
importXml("http://www.msmt.cz/dokumenty"; "//
p[@class='hash']/a/@href")

6. Import CSV
importData("URL")

7. Import HTML
ImportHtml(URL; "list" | "table"; index)
ImportHtml("http://cs.wikipedia.org/wiki/Ma
%C4%8Farsko"; "table";1)
ImportHtml("http://portal.chmi.cz/files/portal/docs/
uoco/web_generator/actual_hour_data_CZ.html";
"table";1)

8. Import RSS feed
ImportFeed(URL).
ImportFeed("http://news.google.com/?
output=atom")

9. 2. YQL
http://developer.yahoo.com/yql/console/
http://developer.yahoo.com/yql/console/?
env=http://datatables.org/alltables.env

10. SQL pro WWW
select * from html where url="http://
www.novinky.cz"
select * from html where url="http://
www.novinky.cz" and xpath='//h3'

11. HTML obsah
select content from html where url="http://
www.novinky.cz" and xpath='//h3/a'
úplná podpora XPath

12. Joiny a lá SQL
select * from search.web where query in (select
content from html where url="http://
www.novinky.cz" and xpath='//h3/a')

13. Podpora dalších služeb
select * from search.web where query in (select
content from html where url="http://
www.novinky.cz" and xpath='//h3/a')
select * from geo.placefinder where query in
(select content from html where url="http://
www.novinky.cz" and xpath='//h3/a')

14. ... a formátů
select * from json where url="http://
search.twitter.com/search.json?q=bigclean" AND
itemPath = "json.results.from_user"
select * from json where url="https://
graph.facebook.com/search?q=ODS&type=post"

15. I mikroformátů
select * from microformats where url='http://
twitter.com/josefslerka'

16. 3. Yahoo Pipes
http://pipes.yahoo.com/pipes/
vizuální prostředí pro vytváření mashupů

17. 4. Google Fusiona Tables
http://www.google.com/fusiontables
webová služba pro zpracování a vizualizaci
velkých datových souborů (CSV až 100MB)
obsahuje geoparsering
je zcela zadarmo
má SQL-like API

18. Praktické ukázky...
... jdeme na to!

19. Otázky? Odpovědi?
Děkuji za pozornost.
josef.slerka@gmail.com
twitter.com/josefslerka