Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Sonia Montegiove, Alfredo Parisi, Italo Vignoli
Strumenti open source per il giornalismo:
come usare gli open data
OpenData,chi?
Open
cosa?
“Un contenuto o un dato si definisce
aperto se chiunque è libero di
usarlo, riusarlo, ridistribui...
OpenDataatavola
Foto di Karen Morgan, Flickr
ovverocomerendereappetibili
ingredientichenonlosono
Ingredienti
Per l'impasto:
100 g di Open Data
400 g di altre Fonti di Informazione
1 Kg di Pazienza nella ricerca
LibreOff...
Dovetrovareingredientifreschi
Portale www.dati.gov.it
Portali Open Data delle PA
Sezione Trasparenza Siti della PA
Da moto...
Setrovodati.CSV
SEMPLICE!
Aprire il file con
LibreOffice e importare
il testo
Esetrovoun.XLS?
Un formato chiuso per esporre un dato aperto? Ossimoro?
Esetrovoun.pdf?
1. Scarico Tabula
2. Lo installo
3. Apro Tabula.exe
4. Faccio upload del file
.pdf
Esetrovoun.pdf?
Aspetto che arrivino
i dati in forma
tabellare.
L'attesa dipende
dalla complessità
del file.
Esetrovounatabellahtml?
Questo non è il
formato adatto a
pubblicare
Il caro vecchio
copia-incolla
può aiutarci
Fonte: http...
UnLibreOfficein“cucina”
Foto di Young Sok Yun, Flickr
Decorareconigrafici
0
500000
1000000
1500000
2000000
2500000
3000000
3500000
I 5 farmaci più venduti in Italia nell'ultimo...
Decorareconigrafici
1.scaricare il dataset e aprirlo in Calc
2. selezionare i dati da rappresentare
3. Inserisci – Grafico...
Decorareconigrafici(inmodoguidato)
Da Inserisci-Grafico...
1 2
3 4
Mettereinrisaltoalcunidati
Fonte: http://itacan.ispo.toscana.it/italian/itacan.htm
Comefare?Formattazionecondizionata
Da:
Formato
Formattazione
condizionata
Condizione
Selezionaretratanteinformazioni
Partiamo dal
dataset
(da notare il
solo
formato .xls)
Fonte: http://www.dati.piemonte.it/c...
Selezionaretratanteinformazioni
Da Dati
Filtro
Filtro standard
Ho così un elenco esatto delle scuole con connessione veloce
Foto di Geoff Llerena, Flickr
Otteneresomme,medie,conteggiperdato
Fonte: http:/dati.lombardia.it/
Otteneresomme,medie,conteggiperdato
Da Dati
Subtotali
Cheariatira?
1 2
3 Fonte: http://www.arpa.umbria.it/open-data.aspx
Eseidatisonotanti
Dacosì...
...acosì
Lafortunadiavereletabellepivot
Da Dati
Tabella Pivot
Crea
RappresentareDati
Listadellaspesa
Elaborazione dati:
 LibreOffice
 Open Refine (ex Google Refine)
Grafici:
 Plotly
 Datawrapper
Mappe:
...
OpenRefine

Software prodotto da Google

Finalizzato al data cleaning

Interfaccia intuitiva e semplice da usare

Open...
OpenRefine
Luoghi di interesse, Città di Firenze (Risorsa in CSV).
OpenRefine
1. Importare il file CSV in Open Refine
OpenRefine
2. Eliminare colonne duplicate (italiano/inglese)
OpenRefine
3. Rinominare intestazione colonne
OpenRefine
4. Trasformare celle utilizzando caratteri maiuscoli
OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo
OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo
OpenRefine
5. Unire due colonne ed ottenere l'indirizzo completo
6. Esportare il dataset! Formati disponibili TSV, CSV, OD...
DaOpenDataaGrafici

Grafici veloci in pochi secondi

Grafici interattivi

Creazione e modifica dei grafici in modalità
...
Collaboriamo!
DaOpenDataaGrafici
Servizi educativi per la prima infanzia, Regione Umbria:
si evidenziano i dati anagrafici, numero total...
DaOpenDataaGrafici
DaOpenDataaGrafici
DaOpenDataaGrafici-Mappe

Grafici veloci in pochi secondi (in 4 passi)

Mappe interattive (beta)

Open Source, sorgente...
DaOpenDataaGrafici-Mappe
DaOpenDataaGrafici-Mappe
DaOpenDataaMappe

Mappe veloci in pochi secondi

Personalizzare i punti e le mappe

Utilizzare diversi template

Mapbo...
DaOpenDataaMappe
Hotspot Wifi in Umbria (Risorsa in geojson):
DaOpenDataaMappe
Hotspot Wifi in Umbria (risorsa in geojson):
DaOpenDataaMappe
Hotspot Wifi in Umbria (risorsa in geojson):
CreativeCommons
Le licenze Creative Commons offrono […] diverse articolazioni dei
diritti d'autore per […] creatori che de...
CreativeCommons
6 combinazioni possibili:
Attribuzione - Non commerciale -
Non opere derivate
Attribuzione - Non commercia...
CreativeCommons
1.0
2.0
2.5
3.0
4.0
CreativeCommons4.0
Internazionalizzazione: per favorire l'adozione globale delle
licenze
Interoperabilità: tra le licenze ...
ConsiderevoleSforzoComunicativo
Commons Deed
Versione "comprensibile agli umani"
Traduzioni
Adattamento ai sistemi giuridi...
LiberiTutti:CC0
Rinuncia a tutti i diritti d'autore e connessi (inclusi quelli
sulle banche di dati) su un'opera
allenta i...
Standard?
Standard?
Standard: PDF, HTML, JPG
Non Standard: DOC, XLS, PPT, AI, MDF, SWF, WMF
AdozionedegliStandard
1
1970 1980 1990 1995 2000 2005
Standard Proprietari
Standard Nazionali
Standard Globali
InnovazioneChiusaeAperta
ChiusaversoAperta
BillGates[1]
One thing we have got to change in our strategy - allowing Office
documents to be rendered very well by other...
BillGates[2]
3 million computers get sold every year in China, but people don't
pay for the software. Someday they will, t...
FormatoStandard
Sviluppato da un Ente Neutrale
Consenso tra Software Vendor e Utenti Finali
Costruito come Standard Aperto...
FormatoAperto
E' indipendente da un unico software (e vendor)
E' interoperabile, perché permette una
condivisione traspare...
Open ContentClosed Content
Open FormatClosed Format
Documento=???
Documento=Contenitore
CONTENT.XML
Open Document Format
la scelta che permette di scegliere
ODFallaBasedell'Interoperabilità
SW
Contenuto
Vecchio Stile
Contenuto strettamente legato
all'applicazione che lo genera
C...
Interoperabilità
Formato Standard
Open Document Format
Componenti Standard e Multipiattaforma
Font Libere e Multipiattafor...
ProcessodiStandardizzazione
ODF
Basato sul formato XML di OOo
12 dic 2002: sottoposto a OASIS
1 mag 2005: rilascio dello
s...
RiusodegliStandard:unConfronto
ODF
Dublin Core
XLS:FO
SVG
MathML
XLink
SMIL
XForms
OOXML
Dublin Core
ODFeOOXML
FalsoStandardAperto
OOXML
Microsoft
Office 2013
ODF
LibreOffice
4.3
ProblemiconAltriCalendari
OOXML non prende in considerazione gli utenti di religione
ebraica e musulmana, che utilizzano u...
FontProprietarieBrevettati
BrevettiClearType
FontLibere
FormatiDisponibili
Documento di Testo ODF (ODT)
Modello di Documento di Testo ODF (OTT)
Microsoft Word 2007/2010/2013 XML ...
Formatiperl'Interoperabilità
Documento di Testo ODF (ODT) CONSIGLIATO
Microsoft Word 2007/2010/2013 XML (DOCX)
Microsoft W...
NessunaInteroperabilità
NonStandard:Circa2000AC
FalsaInteroperabilità
NonStandard:Circa2000DC
VeraInteroperabilità
Standard:Circa2000DC
#opendatachevorrei
Nell'open data che vorrei non ci sono
formato chiusi né dati precotti
Grazie!
info@libreitalia.it @libreitalia
sonia@libreitalia.it @suxsonica
alfredo@libreitalia.it @alfparisi
italo@libreital...
Upcoming SlideShare
Loading in …5
×

Strumenti open source per il giornalismo: come usare gli open data

899 views

Published on

Strumenti open source per il giornalismo: come usare gli open data - Sonia Montegiove, Alfredo Parisi, Italo Vignoli


Quali strumenti utilizzare per rielaborare e presentare in modo chiaro i dati aperti messi a disposizione dalle Pubbliche Amministrazioni. Useremo LibreOffice per la rielaborazione statistica delle informazioni e altri programmi open source utili per la presentazione dei dati in forma grafica.

Published in: Technology
  • Be the first to comment

Strumenti open source per il giornalismo: come usare gli open data

  1. 1. Sonia Montegiove, Alfredo Parisi, Italo Vignoli Strumenti open source per il giornalismo: come usare gli open data
  2. 2. OpenData,chi? Open cosa? “Un contenuto o un dato si definisce aperto se chiunque è libero di usarlo, riusarlo, ridistribuirlo – soggetto, al massimo, al requisito di attribuzione e/o condivisione allo stesso modo” Open Knowledge Foundation
  3. 3. OpenDataatavola Foto di Karen Morgan, Flickr ovverocomerendereappetibili ingredientichenonlosono
  4. 4. Ingredienti Per l'impasto: 100 g di Open Data 400 g di altre Fonti di Informazione 1 Kg di Pazienza nella ricerca LibreOffice e altri sw open source Per la comprensione e il mash-up: Passione q.b.Foto di The Hellos, Flickr
  5. 5. Dovetrovareingredientifreschi Portale www.dati.gov.it Portali Open Data delle PA Sezione Trasparenza Siti della PA Da motore di ricerca con parola magica open data Data scraping Foto di Young Sok Yun, Flickr
  6. 6. Setrovodati.CSV SEMPLICE! Aprire il file con LibreOffice e importare il testo
  7. 7. Esetrovoun.XLS? Un formato chiuso per esporre un dato aperto? Ossimoro?
  8. 8. Esetrovoun.pdf? 1. Scarico Tabula 2. Lo installo 3. Apro Tabula.exe 4. Faccio upload del file .pdf
  9. 9. Esetrovoun.pdf? Aspetto che arrivino i dati in forma tabellare. L'attesa dipende dalla complessità del file.
  10. 10. Esetrovounatabellahtml? Questo non è il formato adatto a pubblicare Il caro vecchio copia-incolla può aiutarci Fonte: http://www.benisequestraticonfiscati.it/
  11. 11. UnLibreOfficein“cucina” Foto di Young Sok Yun, Flickr
  12. 12. Decorareconigrafici 0 500000 1000000 1500000 2000000 2500000 3000000 3500000 I 5 farmaci più venduti in Italia nell'ultimo semestre dacosì... ...acosì Fonte: http://www.dati.salute.gov.it/
  13. 13. Decorareconigrafici 1.scaricare il dataset e aprirlo in Calc 2. selezionare i dati da rappresentare 3. Inserisci – Grafico 4. Seguire la creazione guidata 5. Rifinire modificando alcuni elementi
  14. 14. Decorareconigrafici(inmodoguidato) Da Inserisci-Grafico... 1 2 3 4
  15. 15. Mettereinrisaltoalcunidati Fonte: http://itacan.ispo.toscana.it/italian/itacan.htm
  16. 16. Comefare?Formattazionecondizionata Da: Formato Formattazione condizionata Condizione
  17. 17. Selezionaretratanteinformazioni Partiamo dal dataset (da notare il solo formato .xls) Fonte: http://www.dati.piemonte.it/catalogodati/dato/100670-.html
  18. 18. Selezionaretratanteinformazioni Da Dati Filtro Filtro standard
  19. 19. Ho così un elenco esatto delle scuole con connessione veloce Foto di Geoff Llerena, Flickr
  20. 20. Otteneresomme,medie,conteggiperdato Fonte: http:/dati.lombardia.it/
  21. 21. Otteneresomme,medie,conteggiperdato Da Dati Subtotali
  22. 22. Cheariatira? 1 2 3 Fonte: http://www.arpa.umbria.it/open-data.aspx
  23. 23. Eseidatisonotanti
  24. 24. Dacosì...
  25. 25. ...acosì
  26. 26. Lafortunadiavereletabellepivot Da Dati Tabella Pivot Crea
  27. 27. RappresentareDati
  28. 28. Listadellaspesa Elaborazione dati:  LibreOffice  Open Refine (ex Google Refine) Grafici:  Plotly  Datawrapper Mappe:  Mapbox
  29. 29. OpenRefine  Software prodotto da Google  Finalizzato al data cleaning  Interfaccia intuitiva e semplice da usare  Open Source, sorgente disponibile in Github  Refine offre una serie di trasformazioni preconfezionate (trasformazioni comuni)  Refine utilizza il linguaggio GREL (Google Refine Expression Language) per trasformazioni avanzate  Supporta diversi formati: TSV, CSV, *SV, JSON, XML, RDF
  30. 30. OpenRefine Luoghi di interesse, Città di Firenze (Risorsa in CSV).
  31. 31. OpenRefine 1. Importare il file CSV in Open Refine
  32. 32. OpenRefine 2. Eliminare colonne duplicate (italiano/inglese)
  33. 33. OpenRefine 3. Rinominare intestazione colonne
  34. 34. OpenRefine 4. Trasformare celle utilizzando caratteri maiuscoli
  35. 35. OpenRefine 5. Unire due colonne ed ottenere l'indirizzo completo
  36. 36. OpenRefine 5. Unire due colonne ed ottenere l'indirizzo completo
  37. 37. OpenRefine 5. Unire due colonne ed ottenere l'indirizzo completo 6. Esportare il dataset! Formati disponibili TSV, CSV, ODS, XLS.
  38. 38. DaOpenDataaGrafici  Grafici veloci in pochi secondi  Grafici interattivi  Creazione e modifica dei grafici in modalità collaborativa  Possibilità di condividere i grafici creati (Embed e Social)  Serve solamente un browser web
  39. 39. Collaboriamo!
  40. 40. DaOpenDataaGrafici Servizi educativi per la prima infanzia, Regione Umbria: si evidenziano i dati anagrafici, numero totale di bambini accolti al 15 dicembre di ogni anno suddivisi per categorie, informazioni sintetiche riguardanti i periodi di apertura, spazi e strutture presenti, meccanismi di graduazione.
  41. 41. DaOpenDataaGrafici
  42. 42. DaOpenDataaGrafici
  43. 43. DaOpenDataaGrafici-Mappe  Grafici veloci in pochi secondi (in 4 passi)  Mappe interattive (beta)  Open Source, sorgente disponibile in Github  Serve solamente un browser web
  44. 44. DaOpenDataaGrafici-Mappe
  45. 45. DaOpenDataaGrafici-Mappe
  46. 46. DaOpenDataaMappe  Mappe veloci in pochi secondi  Personalizzare i punti e le mappe  Utilizzare diversi template  Mapbox crea mappe interattive  Mapbox crea oggetti embed che si possono importare in blog  Importa diversi formati: CSV, geojson, KML e gpx
  47. 47. DaOpenDataaMappe Hotspot Wifi in Umbria (Risorsa in geojson):
  48. 48. DaOpenDataaMappe Hotspot Wifi in Umbria (risorsa in geojson):
  49. 49. DaOpenDataaMappe Hotspot Wifi in Umbria (risorsa in geojson):
  50. 50. CreativeCommons Le licenze Creative Commons offrono […] diverse articolazioni dei diritti d'autore per […] creatori che desiderino condividere in maniera ampia le proprie opere secondo il modello "alcuni diritti riservati" I vari moduli vengono combinati (volendo, in risposta a semplici domande), stabilendo: Quali diritti l’autore voglia riservarsi Quali diritti l’autore voglia condividere
  51. 51. CreativeCommons 6 combinazioni possibili: Attribuzione - Non commerciale - Non opere derivate Attribuzione - Non commerciale - Condividi allo stesso modo Attribuzione - Non commerciale Attribuzione - Non opere derivate Attribuzione - Condividi allo stesso modo Attribuzione
  52. 52. CreativeCommons 1.0 2.0 2.5 3.0 4.0
  53. 53. CreativeCommons4.0 Internazionalizzazione: per favorire l'adozione globale delle licenze Interoperabilità: tra le licenze Creative Commons e le altre licenze Durata: anticipazione dei problemi legali e di adozione, per favorire la durata delle licenze Governi e Istituzioni Pubbliche: gestione dei problemi di adozione delle licenze nelle aree dei dati, della scuola e della ricerca Modelli di Adozione: compatibilità con le versioni precedenti alla 4.0
  54. 54. ConsiderevoleSforzoComunicativo Commons Deed Versione "comprensibile agli umani" Traduzioni Adattamento ai sistemi giuridici nazionali Gestione dei Metadati Filtro per licenza tramite Google, Yahoo, etc. Add-on per Office, LibreOffice, Firefox, etc. Siti web comprensibili e FAQ http://www.creativecommons.org http://www.creativecommons.it
  55. 55. LiberiTutti:CC0 Rinuncia a tutti i diritti d'autore e connessi (inclusi quelli sulle banche di dati) su un'opera allenta il più possibile i legami giuridici con quell'opera Waiver of rigths: rinuncia a ogni diritto in subordine, licenza gratuita e irrevocabile in subordine, impegno a non esercitare i diritti rimasti in capo al detentore
  56. 56. Standard?
  57. 57. Standard? Standard: PDF, HTML, JPG Non Standard: DOC, XLS, PPT, AI, MDF, SWF, WMF
  58. 58. AdozionedegliStandard 1 1970 1980 1990 1995 2000 2005 Standard Proprietari Standard Nazionali Standard Globali
  59. 59. InnovazioneChiusaeAperta
  60. 60. ChiusaversoAperta
  61. 61. BillGates[1] One thing we have got to change in our strategy - allowing Office documents to be rendered very well by other peoples browsers is one of the most destructive things we could do to the company. We have to stop putting any effort into this and make sure that Office documents very well depends on PROPRIETARY IE capabilities Dobbiamo cambiare la nostra strategia: consentire che i documenti di Office vengano visualizzati bene da altri software è una delle cose peggiori che possiamo fare. Dobbiamo smetterla di fare sforzi in questa direzione, e assicurarci che i documenti di Office dipendano da funzionalità proprietarie di IE
  62. 62. BillGates[2] 3 million computers get sold every year in China, but people don't pay for the software. Someday they will, though. As long as they are going to steal it, we want them to steal ours. They'll get sort of addicted, and then we'll somehow figure out how to collect sometime in the next decade Ogni anno, in Cina vengono venduti circa 3 milioni di PC, ma nessuno paga il software. Però, un giorno pagheranno. Fino a quando lo rubano, vogliamo che rubino il nostro perché diventino - in un certo senso - dipendenti. A quel punto, faremo in modo di raccogliere qualcosa, anche se sarà nel prossimo decennio
  63. 63. FormatoStandard Sviluppato da un Ente Neutrale Consenso tra Software Vendor e Utenti Finali Costruito come Standard Aperto Nessun Componente Proprietario o Incapsulato Implementazione Nativa Libera Verifica del Formato Indipendente dal Vendor Agnostico verso l'Utente Apertura/Salvataggio senza Condizioni
  64. 64. FormatoAperto E' indipendente da un unico software (e vendor) E' interoperabile, perché permette una condivisione trasparente dei dati tra più sistemi eterogenei E' perenne, perché tutela il patrimonio di informazioni nel tempo di fronte all'evoluzione della tecnologia E' neutrale, perché non costringe l'utente a usare uno specifico software, ma lascia un'ampia scelta
  65. 65. Open ContentClosed Content Open FormatClosed Format
  66. 66. Documento=???
  67. 67. Documento=Contenitore
  68. 68. CONTENT.XML
  69. 69. Open Document Format la scelta che permette di scegliere
  70. 70. ODFallaBasedell'Interoperabilità SW Contenuto Vecchio Stile Contenuto strettamente legato all'applicazione che lo genera Controllo in mano a chi sviluppa l'applicazione e non all'utente SW SW SW Contenuto Nuovo Stile Contenuto rappresentato attraverso uno standard aperto che non viene controllato da un unico vendor, per cui più applicazioni possono crearlo e modificarlo Controllo in mano all'utente e non al software vendor
  71. 71. Interoperabilità Formato Standard Open Document Format Componenti Standard e Multipiattaforma Font Libere e Multipiattaforma Elementi Grafici: JPEG e TIFF, PNG Multimedia: MP3 e OGG, MP4 e H.256 Costruzione "Neutrale" del Documento Nessun Elemento Proprietario
  72. 72. ProcessodiStandardizzazione ODF Basato sul formato XML di OOo 12 dic 2002: sottoposto a OASIS 1 mag 2005: rilascio dello standard ODF da parte di OASIS 16 nov 2005: sottoposto a ISO/IEC JTC1 con le regole della Publicly Available Specification (PAS) 3 mag 2006: approvazione dello standard ISO/IEC IS 26300 720 pagine in 1239 giorni OOXML Basato sul formato XML di Office 2003 15 dic 2005: sottoposto a ECMA 31 dic 2006: standard ECMA approvato dalla Ecma General Assembly 31 gen 2007: sottoposto a ISO/IEC JTC1 con le regole della FastTrack 31 mar 2008: approvazione dello pseudo-standard ISO/IEC 7200 pagine in 838 giorni
  73. 73. RiusodegliStandard:unConfronto ODF Dublin Core XLS:FO SVG MathML XLink SMIL XForms OOXML Dublin Core
  74. 74. ODFeOOXML
  75. 75. FalsoStandardAperto OOXML Microsoft Office 2013 ODF LibreOffice 4.3
  76. 76. ProblemiconAltriCalendari OOXML non prende in considerazione gli utenti di religione ebraica e musulmana, che utilizzano un altro calendario Indipendentemente dalla configurazione locale, la funzione Networkdays() restituisce sempre sabato e domenica come weekend Errore per Algeria, Bahrain, Bangladesh, Iraq, Israel, Jordan, Libya, Pakistan, Qatar, Sudan, Syria e United Arab Emirates ODF gestisce il problema correttamente
  77. 77. FontProprietarieBrevettati
  78. 78. BrevettiClearType
  79. 79. FontLibere
  80. 80. FormatiDisponibili Documento di Testo ODF (ODT) Modello di Documento di Testo ODF (OTT) Microsoft Word 2007/2010/2013 XML (DOCX) Microsoft Word 97/2000/XP/2003 (DOC) Modello di Documento DOC (DOT) Rich Text Format (RTF) Testo (TXT) Testo – Scegli la Codifica (TXT)
  81. 81. Formatiperl'Interoperabilità Documento di Testo ODF (ODT) CONSIGLIATO Microsoft Word 2007/2010/2013 XML (DOCX) Microsoft Word 97/2000/XP/2003 (DOC) ACCETTATO Rich Text Format (RTF) SCONSIGLIATO
  82. 82. NessunaInteroperabilità
  83. 83. NonStandard:Circa2000AC
  84. 84. FalsaInteroperabilità
  85. 85. NonStandard:Circa2000DC
  86. 86. VeraInteroperabilità
  87. 87. Standard:Circa2000DC
  88. 88. #opendatachevorrei Nell'open data che vorrei non ci sono formato chiusi né dati precotti
  89. 89. Grazie! info@libreitalia.it @libreitalia sonia@libreitalia.it @suxsonica alfredo@libreitalia.it @alfparisi italo@libreitalia.it @italovignoli

×