Workshop pratico DDJ - Bari

473
-1

Published on

sessione Openrefine e Libreoffice su dati OpenCoesione

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
473
On Slideshare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
7
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Workshop pratico DDJ - Bari

  1. 1. OPEN DATA ______IN ACTION!_______ Workshop pratico DDJ su dati OpenCoesione Bari 27 ott 2013
  2. 2. WORKFLOW DDJ TROVARE E PRENDERE I DATI SINTETIZZARE E RAPPRESENTARE I DATI SISTEMARE E PULIRE I DATI ANALIZZARE I DATI RACCONTARE UNA STORIA
  3. 3. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati 2. facciamo una veloce analisi territoriale 3. scopriamo e monitoriamo i dieci progetti più grossi
  4. 4. TROVARE E PRENDERE I DATI
  5. 5. INFRASTRUTTURE PUGLIA 1) esploriamo i soggetti attuatori per capire chi le sta costruendo ❏ pulizia delle anagrafiche ❏ somma di euro per tipologia di attuatori ❏ conteggio di progetti
  6. 6. SISTEMARE E PULIRE I DATI
  7. 7. OPEN REFINE ❏ non è excel un foglio di calcolo ❏ Estrae ❏ Pulisce ❏ Sistema ❏ Esporta
  8. 8. CODIFICA ERRATA SE VOGLIO CAMBIO IL NOME DA QUI DA QUI LA CORREGGO IL SEPARATORE È “;”
  9. 9. DI TANTE RIGHE NE VEDO POCHE… MA NON IMPORTA DAL CAMPO “ALL” CONTROLLO TUTTI I CAMPI E POSSO ANCHE METTERE UN PO’ D’ORDINE QUESTO È UN “TEXT FACET”. GRAZIE A QUESTA FUNZIONALITÀ POSSO FILTRARE, MODIFICARE E ESPLORARE IL DATASET IN MANIERA MAI VISTA!
  10. 10. DA CAMPO ALL -> REORDER / REMOVE COLUMNS CON UN SEMPLICE DRAG&DROP POSSO ORDINARE I CAMPI COME VOGLIO IN MODO DA TENERE NEI PRIMI POSTI QUELLI CHE MI INTERESSANO DI PIÙ QUESTI CAMPI NON MI SERVONO E DA QUI LI POSSO CANCELLARE
  11. 11. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche IL CAMPO CHE CI INTERESSA È “SOGGETTI ATTUATORI” DOBBIAMO ESPLORARLO E CAPIRE SE SI PUÒ TIRAR FUORI QUALCHE INFORMAZIONE SINTETICA ED EFFICACE
  12. 12. PER ATTIVARE UN FACET CLICCO SUL MENU DEL CAMPO “SOGGETTI_ATTUATORI” E SELEZIONO TEXT FACET, ADATTO AI CAMPI DI TESTO
  13. 13. AHI AHI! SON TANTISSIMI! 513 VALORI DIVERSI... COME FARE? CLUSTERIZZO!
  14. 14. IL CLUSTER DI UN FACET È UNA FUNZIONE CHE PERMETTE DI RAGGRUPPARE INSIEMI DI VALORI CHE PUR AVENDO LO STESSO SIGNIFICATO ED ESSENDO SIMILI SI PRESENTANO IN MODALITÀ DIFFERENTI QUI MODIFICO L’ ALGORITMO E CAMBIA IL METODO DI RICERCA DEI VALORI SIMILI
  15. 15. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo ❏ pulizia delle anagrafiche LA CLUSTERIZZAZIONE IN QUESTO CASO È INEFFICACE, OCCORRE TROVARE NUOVE INFORMAZIONI SUGLI ATTUATORI CHE INTEGRINO QUELLE CHE GIÀ ABBIAMO
  16. 16. MERGE TRA DUE DATASET PROGETTI SOGGETTI
  17. 17. CON REFINE POSSO APRIRE PIÙ PROGETTI CONTEMPORANEAMENTE
  18. 18. CREO UN NUOVO PROGETTO SEGUENDO LA SOLITA PROCEDURA. STAVOLTA APRO IL FILE DEI SOGGETTI
  19. 19. QUESTO È IL CAMPO CHE MI SERVE! (campodaprendere) QUESTO È IL CAMPO CHE I DUE DATASET HANNO IN COMUNE. È LA CHIAVE CHE CI PERMETTE DI UNIRLI IN MODO CORRETTO (campochiave) OPS! PROBLEMI DI CODIFICA CHE REFINE NON È RIUSCITO A RISOLVERE IN FASE DI IMPORTAZIONE
  20. 20. TORNO AL DATASET INIZIALE “progetti_infrastrutture” ORA PER FARE UN MERGE TRA I DUE DATASET DEVO PORTARMI SULLA COLONNA CHE HANNO IN COMUNE “COD_LOCALE_PROGETTO” E DAL MENU ANDARE SU EDIT COLUMN -> ADD COLUMN BASED ON THIS COLUMN E…..
  21. 21. :-(
  22. 22. ORA MI TOCCA USARE DEL CODICE. REFINE NON RIESCE A COMPIERE TUTTE LE SUE FUNZIONI DA INTERFACCIA GRAFICA, PER CUI SI AVVALE DI UN CODICE INFORMATICO SEMPLIFICATO IL “GREL” CAMPO PER INSERIRE L’ ESPRESSIONE ANTEPRIMA
  23. 23. INSERISCO IL NOME DELLA NUOVA COLONNA UTILIZZO LA FUNZIONE “cell. cross”
  24. 24. FUNZIONE GREL PER MERGE cell.cross("nomedataset", "campochiave").cells["campodaprendere"].value [0] (basta semplicemente sostituire i grasseti )
  25. 25. ECCOLO QUI
  26. 26. ATTIVANDO UN TEXT FACET SUL NUOVO CAMPO NOTIAMO COME ESSO RIESCA A INTERLACCIARSI CON 3 TIPI DI SOGGETTI PER CATEGORIA ATECO. BUONA PARTE DI ESSI PERÒ NON VENGONO TROVATI E ABBIAMO CELLE BIANCHE (blank) GLI ERRORI DI CODIFICA PER ORA NON CI DANNO FASTIDIO
  27. 27. POSSIAMO MODIFICARE TUTTI I VALORI DELLE CELLE CORRISPONDENTI ALLE CATEGORIE, SEMPLICEMENTE MODIFICANDO IL TESTO DEL FACET. BASTA CLICCARE “EDIT” CHE APPARE A FIANCO DEL “COICHE”.
  28. 28. ORA ABBIAMO SEMPLIFICATO TUTTE LE CATEGORIE. DOBBIAMO SCOPRIRE A QUALI CATEGPRIE APPARTENGONO LE 872 CELLE BIANCHE SE CLICCLIAMO SU UNA CATEGORIA IL FACET FUNGE DA FILTRO E SELEZIONA SOLO LE CELLE CORRISPONDENTI ALLA CHOICE ILLUMINATA
  29. 29. IL FACET È UNO STRUMENTO POTENTISSIMO PERCHÈ POSSIAMO AGGIUNGERNE PER OGNI CAMPO PERMETTENDOCI DI FARE UN FILTRO GERARCHICO ED ESTREMAMENTE DINAMICO IN QUESTO CASO AGGUNGO UN TEXT FACET AL CAMPO SOGGETTI ATTUATORI. LE CATEGORIE SI RIFERISCONO A QUELLA SELEZIONATA NEL FACET PRECEDENTE! QUINDI POSSO CAPIRE QUALI CATEGORIE DI SOGGETTI ATTUATORI CI SONO IN BASE ALLE CELLE BIANCHE DELLE TIPOLOGIA SOGGETTI
  30. 30. POSSO AGGIUNGERE TANTI FACET COME DETTO PRIMA, MA SPESSO È UTILE AGGIUNGERE ANCHE UN SEMPLICE FILTRO DI TESTO. PER FARLO BASTA SELEZIONARLO DAL MENU DEL CAMPO, IN QUESTO CASO SEMPRE SOGGETTI_ATTUATORI. INSERENDO “comune” TROVO TUTTI I SOGGETTI CHE SONO UN COMUNE E CHE APPARTENGONO ALLE CELLE BIANCHE DEL CAMPO TIPOLOGIA SOGGETTI
  31. 31. GUARDANDO IL PRIMO FACET CAPISCO CHE QUESTO PROCESSO MI HA FATTO INDIVIDUARE BEN 515 CELLE BIANCHE NEL CAMPO TIPOLOGIA SOGGETTI. ESSENDO DEI COMUNI LI VOGLIO INTEGRARE NELLA CATEGORIA amministrazione. PER FARLO BASTA MODIFICARE LA CATEGORIA (blank) CHE IN QUESTO MOMENTO RIGUARDA SOLO ED ESCLUSIVAMENTE LE CELLE CORRISPONDENTI AI SOGGETTI ATTUATORI CHE CONTENGONO LA PAROLA “comune”.
  32. 32. CONTINUANDO A LAVORARE TRA FACET E FILTRI OTTENGO FINALMENTE DELLE CATEGORIE CHE IDENTIFICANO I SOGGETTI ATTUATORI
  33. 33. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche ❏ somma di euro per per tipologia di attuatori ❏ conteggio di progetti PER ANALIZZARE I DATI OCCORRE ANCORA QUALCHE RITOCCO
  34. 34. RISOLVIAMO DA QUI (SEMPRE GREL) IL NUMERO È MEMORIZZATO COME TESTO
  35. 35. SOSTITUISCO LA VIRGOLA CON IL PUNTO (DANNATI INGLESI)
  36. 36. FUNZIONE GREL PER SOSTITUIRE value.replace("caratteredatogliere","caratteredamettere") (basta semplicemente sostituire i grasseti )
  37. 37. CONVERTO IN NUMERO
  38. 38. CON IL CUSTOM TABUALR EXPORTER POSSO AVERE TANTE OPZIONI PER L’ ESPORTAZIONE POSSO DECIDERE QUALI CAMPI ESPORTARE, E IN QUALE ORDINE
  39. 39. ANALIZZARE I DATI
  40. 40. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche ❏ somma di euro per tipologia di attuatori ❏ conteggio di progetti
  41. 41. LIBREOFFICE CALC ❏ è un foglio di calcolo ma non è excel ❏ è open source ❏ è open data friendly ❏ gestisce meglio i csv
  42. 42. PER OTTENERE UN DELLE TABELLE RIASSUNTIVE DAL MIO DATASET, USO LA FUNZIONE TABELLA PIVOT. PRIMA SELEZIONO I CAMPI CHE MI INTERESSANO E POI CLICCO SU CREA
  43. 43. SPOSTANDO I CAMPI CON UN DRA&DROP SULLE DIVERSE PARTI DELLA PIVOT CREO LA MIA TABELLA
  44. 44. OTTENGO COSÌ UNA TABELLA A DOPPIA ENTRATA DOVE INCROCIO IL TEMA SINTETICO DPS CON I SOGGETTI DIVISI PER TIPOLOGIA
  45. 45. INFRASTRUTTURE PUGLIA 1. esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ pulizia delle anagrafiche ❏ somma di euro per tipologia di attuatori ❏ conteggio di progetti
  46. 46. FACENDO DOPPIO CLIC SU UN CAMPO DENTRO IL “CAMPO DATI” POSSO DECIDERE IN BASE A QUALE FUNZIONE OTTENERE I DATI DELLA TABELLA
  47. 47. ED ECCO LA TABELLA CON IL NUMERO DI PROGETTI E NON LA SOMMA DEL LORO VALORE
  48. 48. PER AVERE VALORI PIÙ SIGNIFICATIVI POSSO DECIDERE DI VISUALIZZARE LA TABELLA IN %
  49. 49. INFRASTRUTTURE PUGLIA ❏ esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ facciamo una veloce analisi territoriale ❏ scopriamo e monitoriamo i dieci progetti più grossi
  50. 50. DAL CAMPO TERRITORI, NOTO CHE PIÙ TERRITORI SONO CONCATENATI IN UN UNICO CAMPO, SEPARATI DA “:::”
  51. 51. POSSO SEPARARE LE CELLE DAL COMANDO SPLIT MULTI-VALUED CELLS CHE TROVO IN EDIT CELLS
  52. 52. SCELGO IL SEPARATORE CHE COME DETTO È “:::”
  53. 53. CON LA FUNZIONE SPLIT HO CREATO NUOVE RIGHE IN BASE AL CAMPO TERRITORI. LE RIGHE SONO PERÒ VUOTE IN TUTTI GLI ALTRI CAMPI, MA DALLA FUNZIONE FILL DOWN POSSO PORRE RIMEDIO
  54. 54. IN SEGUITO FACCIO UNA ESPORAZIONE IN LIBREOFFICE SELEZIONANDO I CAMPI CHE MI SERVONO COL CUSTO TABLUAR EXORTER
  55. 55. SE FACCIO UNA PIVOT POSSO CONTARE I PROGETTI PER TERRITORIO E TIPOLOGIA DEI SOGGETTI ATTUATORI
  56. 56. INFRASTRUTTURE PUGLIA ❏ esploriamo i soggetti attuatori per capire chi le sta costruendo e quali tipologie di progetti sono stati finanziati ❏ facciamo una veloce analisi territoriale ❏ scopriamo e monitoriamo i dieci progetti più grossi
  57. 57. DEVO RIPRISTINARE IL DATASET A PRIMA DELLO SPLITTAMENTO CHE MI HA AGGIUNTO RIGHE CHE NON MI SERVONO IN QUESTO CASO E CHE ANZI RENDONO PIÙ DIFFICOLTOSA L’ANALISI PER FARLO USO UNDO/REDO
  58. 58. PER SELEZIONARE IL RANGE DEGLI IMPORTI DEI PROGETTI FINANZIATI INSERISCO NEL CAMPO FIN_TOTALE_PROGETTO UN NUMERIC FACET
  59. 59. SPOSTANDO GLI ESTREMI DELLA BARRA POSSO SELEZIONARE IL RANGE DESIDERATO
  60. 60. SINTETIZZARE E RAPPRESENTARE I DATI
  61. 61. http://cf.datawrapper.de/uVSEe/4/
  62. 62. RACCONTARE UNA STORIA
  63. 63. Grazie a tutti! a.zedda@kode-solutions.net @andria_tzedda
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×