DJS3 - Quando il Dato non c'è

499 views

Published on

Lezione di gestione dati e scraping per DJS3-Roma

Published in: Education, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
499
On SlideShare
0
From Embeds
0
Number of Embeds
105
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

DJS3 - Quando il Dato non c'è

  1. 1. Roma,Scuola superiore di statisticae di analisi sociali edeconomiche06/06/2013Quando il dato non c’èOvvero comepartire senzadati ma conun’idea
  2. 2. Guido RomeoMarco Montanari@ingmmo, marco.montanari@gmail.com, sirmmo.blogspot.com• Sviluppatore, Appassionato di giochi, Nerd…– passione per i dati• “I am a journalist looking for coder friends.”– Jens Finnäs (HacksHackers Helsinki)• “I am a coder with journalist friends.”– Marco Montanari 
  3. 3. Scopo del gioco• Volete scrivere un articolo su un trend che avetepercepito• Vi servono dati per corroborare la vostra tesi• Contattate l’ente che potrebbe avere quei dati....
  4. 4. ... E ...
  5. 5. ARGH!!!! :/• Ci mancano i dati• Chi dovrebbe fornirceli non sa come trovarli• «Ma c’è una pagina on-line»– con i dati in tabelle scomodissime– o in PDF– o in grafici strani
  6. 6. Programmazione, si…• I dati possono trovarsi sul web in tantiformati– Tabellari• xls xlsx csv tsv ods dbf– Strutturati• xml json (shp)– Linked data• RDF– Altro…• HTML75%20%550%
  7. 7. Programmazione, si…• I dati possono trovarsi sul web in tantiformati– Tabellari• xls xlsx csv tsv ods dbf– Strutturati• xml json (shp)– Linked data• RDF– Altro…• HTML75%20%550%
  8. 8. Roma,Scuola superiore di statisticae di analisi sociali edeconomiche06/06/2013DEMODove si analizza unapagina web
  9. 9. Scraping via browser• https://chrome.google.com/webstore/detail/table-capture/iebpjdmgckacbodjpijphcplhebcmeop• https://chrome.google.com/webstore/detail/scraper/mbigbapnjcgaffohmbkdlecaccepngjd
  10. 10. Scraping via browserEstrazione di dati tramite Table Capture
  11. 11. Scraping da codice
  12. 12. Scraping
  13. 13. …ma semplice…
  14. 14. Programmazione, si…• I dati possono trovarsi sul web in tantiformati– Tabellari• xls xlsx csv tsv ods dbf– Strutturati• xml json (shp)– Linked data• RDF– Altro…• HTMLhttp://stackoverflow.com/questions/2861/options-for-html-scraping75%20%550%
  15. 15. … e in ogni caso…… chiamate l’amico sviluppatore!!
  16. 16. Roma,Scuola superiore di statisticae di analisi sociali edeconomiche06/06/2013DEMOHTTP://SIRMMO.GITHUB.IO/DATABOULDER/Dove si costruisce unsemplice scraper diuna pagina
  17. 17. Struttura del dato• 5W– Who is it about?– What happened?– When did it take place?– Where did it take place?– Why did it happen?
  18. 18. Dimensioni dei dati• Ogni «W» è una dimensione• Ogni dimensione mette in correlazione un aspetto• Più aspetti implicano più sfaccettature della storiaFattoChiCosaQuandoPerchéDove
  19. 19. Roma,Scuola superiore di statisticae di analisi sociali edeconomiche06/06/2013DEMODove si prende ildataset e sianalizzano i dati
  20. 20. Uso del dato• Dati tabellari– Amati daimanager– Non ideali peruna «storia»• Nemmeno aimanagerpiacciono i dati«puri», ma degliaggregati– Magari in formagrafica(Dashboard)
  21. 21. Pivoting• Tabella Pivot– Aggregazionisemplici– Fattibile con Excele/o Libreoffice
  22. 22. Cubi di dati• Datacube (Big Data?)– Aggregazioni complesse– Strumenti più specializzati (Excel le supporta)
  23. 23. Roma,Scuola superiore di statisticae di analisi sociali edeconomiche06/06/2013DEMODove si prende latabella e la si analizzaattraversoaggregazioni
  24. 24. That’s all Folks!GRAZIE!Per qualsiasi domanda:@ingmmomarco.montanari@gmail.comsirmmo.blogspot.com, …sirmmohttp://it.linkedin.com/in/montanarim/https://www.facebook.com/marco.montanarimarco.montanari

×