Your SlideShare is downloading. ×
Workshop pratico DDJ - Bari
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Workshop pratico DDJ - Bari

390

Published on

sessione Openrefine e Libreoffice su dati OpenCoesione

sessione Openrefine e Libreoffice su dati OpenCoesione

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
390
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
7
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. OPEN DATA ______IN ACTION!_______ Workshop pratico DDJ su dati OpenCoesione Bari 27 ott 2013
  • 2. WORKFLOW DDJ TROVARE E PRENDERE I DATI SINTETIZZARE E RAPPRESENTARE I DATI SISTEMARE E PULIRE I DATI ANALIZZARE I DATI RACCONTARE UNA STORIA
  • 3. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati 2. facciamo una veloce analisi territoriale 3. scopriamo e monitoriamo i dieci progetti più grossi
  • 4. TROVARE E PRENDERE I DATI
  • 5. INFRASTRUTTURE PUGLIA 1) esploriamo i soggetti attuatori per capire chi le sta costruendo ❏ pulizia delle anagrafiche ❏ somma di euro per tipologia di attuatori ❏ conteggio di progetti
  • 6. SISTEMARE E PULIRE I DATI
  • 7. OPEN REFINE ❏ non è excel un foglio di calcolo ❏ Estrae ❏ Pulisce ❏ Sistema ❏ Esporta
  • 8. CODIFICA ERRATA SE VOGLIO CAMBIO IL NOME DA QUI DA QUI LA CORREGGO IL SEPARATORE È “;”
  • 9. DI TANTE RIGHE NE VEDO POCHE… MA NON IMPORTA DAL CAMPO “ALL” CONTROLLO TUTTI I CAMPI E POSSO ANCHE METTERE UN PO’ D’ORDINE QUESTO È UN “TEXT FACET”. GRAZIE A QUESTA FUNZIONALITÀ POSSO FILTRARE, MODIFICARE E ESPLORARE IL DATASET IN MANIERA MAI VISTA!
  • 10. DA CAMPO ALL -> REORDER / REMOVE COLUMNS CON UN SEMPLICE DRAG&DROP POSSO ORDINARE I CAMPI COME VOGLIO IN MODO DA TENERE NEI PRIMI POSTI QUELLI CHE MI INTERESSANO DI PIÙ QUESTI CAMPI NON MI SERVONO E DA QUI LI POSSO CANCELLARE
  • 11. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche IL CAMPO CHE CI INTERESSA È “SOGGETTI ATTUATORI” DOBBIAMO ESPLORARLO E CAPIRE SE SI PUÒ TIRAR FUORI QUALCHE INFORMAZIONE SINTETICA ED EFFICACE
  • 12. PER ATTIVARE UN FACET CLICCO SUL MENU DEL CAMPO “SOGGETTI_ATTUATORI” E SELEZIONO TEXT FACET, ADATTO AI CAMPI DI TESTO
  • 13. AHI AHI! SON TANTISSIMI! 513 VALORI DIVERSI... COME FARE? CLUSTERIZZO!
  • 14. IL CLUSTER DI UN FACET È UNA FUNZIONE CHE PERMETTE DI RAGGRUPPARE INSIEMI DI VALORI CHE PUR AVENDO LO STESSO SIGNIFICATO ED ESSENDO SIMILI SI PRESENTANO IN MODALITÀ DIFFERENTI QUI MODIFICO L’ ALGORITMO E CAMBIA IL METODO DI RICERCA DEI VALORI SIMILI
  • 15. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo ❏ pulizia delle anagrafiche LA CLUSTERIZZAZIONE IN QUESTO CASO È INEFFICACE, OCCORRE TROVARE NUOVE INFORMAZIONI SUGLI ATTUATORI CHE INTEGRINO QUELLE CHE GIÀ ABBIAMO
  • 16. MERGE TRA DUE DATASET PROGETTI SOGGETTI
  • 17. CON REFINE POSSO APRIRE PIÙ PROGETTI CONTEMPORANEAMENTE
  • 18. CREO UN NUOVO PROGETTO SEGUENDO LA SOLITA PROCEDURA. STAVOLTA APRO IL FILE DEI SOGGETTI
  • 19. QUESTO È IL CAMPO CHE MI SERVE! (campodaprendere) QUESTO È IL CAMPO CHE I DUE DATASET HANNO IN COMUNE. È LA CHIAVE CHE CI PERMETTE DI UNIRLI IN MODO CORRETTO (campochiave) OPS! PROBLEMI DI CODIFICA CHE REFINE NON È RIUSCITO A RISOLVERE IN FASE DI IMPORTAZIONE
  • 20. TORNO AL DATASET INIZIALE “progetti_infrastrutture” ORA PER FARE UN MERGE TRA I DUE DATASET DEVO PORTARMI SULLA COLONNA CHE HANNO IN COMUNE “COD_LOCALE_PROGETTO” E DAL MENU ANDARE SU EDIT COLUMN -> ADD COLUMN BASED ON THIS COLUMN E…..
  • 21. :-(
  • 22. ORA MI TOCCA USARE DEL CODICE. REFINE NON RIESCE A COMPIERE TUTTE LE SUE FUNZIONI DA INTERFACCIA GRAFICA, PER CUI SI AVVALE DI UN CODICE INFORMATICO SEMPLIFICATO IL “GREL” CAMPO PER INSERIRE L’ ESPRESSIONE ANTEPRIMA
  • 23. INSERISCO IL NOME DELLA NUOVA COLONNA UTILIZZO LA FUNZIONE “cell. cross”
  • 24. FUNZIONE GREL PER MERGE cell.cross("nomedataset", "campochiave").cells["campodaprendere"].value [0] (basta semplicemente sostituire i grasseti )
  • 25. ECCOLO QUI
  • 26. ATTIVANDO UN TEXT FACET SUL NUOVO CAMPO NOTIAMO COME ESSO RIESCA A INTERLACCIARSI CON 3 TIPI DI SOGGETTI PER CATEGORIA ATECO. BUONA PARTE DI ESSI PERÒ NON VENGONO TROVATI E ABBIAMO CELLE BIANCHE (blank) GLI ERRORI DI CODIFICA PER ORA NON CI DANNO FASTIDIO
  • 27. POSSIAMO MODIFICARE TUTTI I VALORI DELLE CELLE CORRISPONDENTI ALLE CATEGORIE, SEMPLICEMENTE MODIFICANDO IL TESTO DEL FACET. BASTA CLICCARE “EDIT” CHE APPARE A FIANCO DEL “COICHE”.
  • 28. ORA ABBIAMO SEMPLIFICATO TUTTE LE CATEGORIE. DOBBIAMO SCOPRIRE A QUALI CATEGPRIE APPARTENGONO LE 872 CELLE BIANCHE SE CLICCLIAMO SU UNA CATEGORIA IL FACET FUNGE DA FILTRO E SELEZIONA SOLO LE CELLE CORRISPONDENTI ALLA CHOICE ILLUMINATA
  • 29. IL FACET È UNO STRUMENTO POTENTISSIMO PERCHÈ POSSIAMO AGGIUNGERNE PER OGNI CAMPO PERMETTENDOCI DI FARE UN FILTRO GERARCHICO ED ESTREMAMENTE DINAMICO IN QUESTO CASO AGGUNGO UN TEXT FACET AL CAMPO SOGGETTI ATTUATORI. LE CATEGORIE SI RIFERISCONO A QUELLA SELEZIONATA NEL FACET PRECEDENTE! QUINDI POSSO CAPIRE QUALI CATEGORIE DI SOGGETTI ATTUATORI CI SONO IN BASE ALLE CELLE BIANCHE DELLE TIPOLOGIA SOGGETTI
  • 30. POSSO AGGIUNGERE TANTI FACET COME DETTO PRIMA, MA SPESSO È UTILE AGGIUNGERE ANCHE UN SEMPLICE FILTRO DI TESTO. PER FARLO BASTA SELEZIONARLO DAL MENU DEL CAMPO, IN QUESTO CASO SEMPRE SOGGETTI_ATTUATORI. INSERENDO “comune” TROVO TUTTI I SOGGETTI CHE SONO UN COMUNE E CHE APPARTENGONO ALLE CELLE BIANCHE DEL CAMPO TIPOLOGIA SOGGETTI
  • 31. GUARDANDO IL PRIMO FACET CAPISCO CHE QUESTO PROCESSO MI HA FATTO INDIVIDUARE BEN 515 CELLE BIANCHE NEL CAMPO TIPOLOGIA SOGGETTI. ESSENDO DEI COMUNI LI VOGLIO INTEGRARE NELLA CATEGORIA amministrazione. PER FARLO BASTA MODIFICARE LA CATEGORIA (blank) CHE IN QUESTO MOMENTO RIGUARDA SOLO ED ESCLUSIVAMENTE LE CELLE CORRISPONDENTI AI SOGGETTI ATTUATORI CHE CONTENGONO LA PAROLA “comune”.
  • 32. CONTINUANDO A LAVORARE TRA FACET E FILTRI OTTENGO FINALMENTE DELLE CATEGORIE CHE IDENTIFICANO I SOGGETTI ATTUATORI
  • 33. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche ❏ somma di euro per per tipologia di attuatori ❏ conteggio di progetti PER ANALIZZARE I DATI OCCORRE ANCORA QUALCHE RITOCCO
  • 34. RISOLVIAMO DA QUI (SEMPRE GREL) IL NUMERO È MEMORIZZATO COME TESTO
  • 35. SOSTITUISCO LA VIRGOLA CON IL PUNTO (DANNATI INGLESI)
  • 36. FUNZIONE GREL PER SOSTITUIRE value.replace("caratteredatogliere","caratteredamettere") (basta semplicemente sostituire i grasseti )
  • 37. CONVERTO IN NUMERO
  • 38. CON IL CUSTOM TABUALR EXPORTER POSSO AVERE TANTE OPZIONI PER L’ ESPORTAZIONE POSSO DECIDERE QUALI CAMPI ESPORTARE, E IN QUALE ORDINE
  • 39. ANALIZZARE I DATI
  • 40. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche ❏ somma di euro per tipologia di attuatori ❏ conteggio di progetti
  • 41. LIBREOFFICE CALC ❏ è un foglio di calcolo ma non è excel ❏ è open source ❏ è open data friendly ❏ gestisce meglio i csv
  • 42. PER OTTENERE UN DELLE TABELLE RIASSUNTIVE DAL MIO DATASET, USO LA FUNZIONE TABELLA PIVOT. PRIMA SELEZIONO I CAMPI CHE MI INTERESSANO E POI CLICCO SU CREA
  • 43. SPOSTANDO I CAMPI CON UN DRA&DROP SULLE DIVERSE PARTI DELLA PIVOT CREO LA MIA TABELLA
  • 44. OTTENGO COSÌ UNA TABELLA A DOPPIA ENTRATA DOVE INCROCIO IL TEMA SINTETICO DPS CON I SOGGETTI DIVISI PER TIPOLOGIA
  • 45. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche ❏ somma di euro per tipologia di attuatori ❏ conteggio di progetti
  • 46. FACENDO DOPPIO CLIC SU UN CAMPO DENTRO IL “CAMPO DATI” POSSO DECIDERE IN BASE A QUALE FUNZIONE OTTENERE I DATI DELLA TABELLA
  • 47. ED ECCO LA TABELLA CON IL NUMERO DI PROGETTI E NON LA SOMMA DEL LORO VALORE
  • 48. PER AVERE VALORI PIÙ SIGNIFICATIVI POSSO DECIDERE DI VISUALIZZARE LA TABELLA IN %
  • 49. INFRASTRUTTURE PUGLIA ❏ esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ facciamo una veloce analisi territoriale ❏ scopriamo e monitoriamo i dieci progetti più grossi
  • 50. DAL CAMPO TERRITORI, NOTO CHE PIÙ TERRITORI SONO CONCATENATI IN UN UNICO CAMPO, SEPARATI DA “:::”
  • 51. POSSO SEPARARE LE CELLE DAL COMANDO SPLIT MULTI-VALUED CELLS CHE TROVO IN EDIT CELLS
  • 52. SCELGO IL SEPARATORE CHE COME DETTO È “:::”
  • 53. CON LA FUNZIONE SPLIT HO CREATO NUOVE RIGHE IN BASE AL CAMPO TERRITORI. LE RIGHE SONO PERÒ VUOTE IN TUTTI GLI ALTRI CAMPI, MA DALLA FUNZIONE FILL DOWN POSSO PORRE RIMEDIO
  • 54. IN SEGUITO FACCIO UNA ESPORAZIONE IN LIBREOFFICE SELEZIONANDO I CAMPI CHE MI SERVONO COL CUSTO TABLUAR EXORTER
  • 55. SE FACCIO UNA PIVOT POSSO CONTARE I PROGETTI PER TERRITORIO E TIPOLOGIA DEI SOGGETTI ATTUATORI
  • 56. INFRASTRUTTURE PUGLIA ❏ esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ facciamo una veloce analisi territoriale ❏ scopriamo e monitoriamo i dieci progetti più grossi
  • 57. DEVO RIPRISTINARE IL DATASET A PRIMA DELLO SPLITTAMENTO CHE MI HA AGGIUNTO RIGHE CHE NON MI SERVONO IN QUESTO CASO E CHE ANZI RENDONO PIÙ DIFFICOLTOSA L’ANALISI PER FARLO USO UNDO/REDO
  • 58. PER SELEZIONARE IL RANGE DEGLI IMPORTI DEI PROGETTI FINANZIATI INSERISCO NEL CAMPO FIN_TOTALE_PROGETTO UN NUMERIC FACET
  • 59. SPOSTANDO GLI ESTREMI DELLA BARRA POSSO SELEZIONARE IL RANGE DESIDERATO
  • 60. SINTETIZZARE E RAPPRESENTARE I DATI
  • 61. http://cf.datawrapper.de/uVSEe/4/
  • 62. RACCONTARE UNA STORIA
  • 63. Grazie a tutti! a.zedda@kode-solutions.net @andria_tzedda

×