SlideShare a Scribd company logo
1 of 41
INICIATIVA BARCELONA OPEN DATA
EL VALOR D’OBRIR LES DADES
Procés de Publicació de
Dades
curs 1.5
Docents:
Eduard Gil @edugil39
Enric Montia @EnricMontia
INTRODUCCIÓ A LES DADES OBERTES
● Identificar les tasques previes que forman part d´un procés de
públicació de dades obertes.
● Descriure el que i el perquè de les tasques relacionades a un
procés de públicacio de dades obertes.
● Aplicar tot allò après a casos concrets per ser capaç de
protagonitzar casos d'èxit.
Objectius
Publicació de Dades Obertes
● Un pla de dades obertes
● Seleccionar les dades
● Generar un Dataset
● Publicar
● Promocionar
Publicació de Dades Obertes
1.
Començar
amb un
pla
5. Manteir-
lo
2.
Selecció
de les
dades
4.
Publicació
3. Creació
d’un
Dataset
Procés de
l’Open Data
Publicació de Dades Obertes
Pla de Dades Obertes
Tenir un Objectiu
Avaluar la
Publicació i els
usos actuals
Aconseguir Suport
Demostrar el
valors
Pla de Dades Obertes
● Clarificar els objectius : Que vull aconseguir?
● Establir un pla de publicació: per on vull començar?
● No oblidar temes de LOPD i nou GRDP
Pla de Dades Obertes
Abans de decidir quines dades es publiquen com dades obertes,
les entitats públiques han de tenir una visió general de les dades
que es gestionen en l'actualitat, i per tant podrien Inclouen bases de
dades, registres, recollides de dades i enquestes, conjunts de
dades geoespacials etc.
Diagnòstic situació actual:
Pla de Dades Obertes
● Clarificar els objectius : Que vull aconseguir?
● Establir un pla de publicació: per on vull començar?
● Guia “Com fer un cas de negoci amb open data”
http://theodi.org/guides/how-make-business-case-open-data
Pla de Dades Obertes
● Buscar lideratge i suport: Directius, Open Data Evangelists, TIC
compartint informació sobre els objectius i els resultats del pla.
● Capturar evidències que les dades obertes estan aportant valor:
consultes, impacte, etc.
Escollir les Dades
Identificar les dades que tens
Seleccionar les dades
obertes que vols publicar
Desenvolupar un Pla de
Publicació de Dades
Obertes
Escollir les Dades
● Hi ha tres principals vies per seleccionar quines dades es
publiquen:
■Actualització de les dades que ja estan en el domini públic.
■Seguir les millors pràctiques internacionals.
■Les demandes a la unitat.
Escollir les Dades
Crear Datasets
Aplicar un format
obert
Capturar els
metadades
Aplicar una llicència
oberta
Revisar els
datasets
Crear Datasets
Després de seleccionar la informació que es desitja publicar es
necessari organitzar les dades de manera que pugui posar a
disposició per a baixar en formats llegibles per les màquines i tenir
en compte si existeixen o no estàndards internacionals (INSPIRE,
els 8 principis del OPEN GOVERNMENT DATA).
Metadades
● Identificar Metadades: informació descriptiva sobre les dades.
● Pot descriure elements com el contingut, el formats etc.
● Unes bones metadades poden permetre la interoperabilitat amb
altres data sets.
Metadades
● Hi ha tres tipus principals de metadades:
■Les metadades descriptives (títol, autor)
■Les metadades estructurals (pg x capítol)
■Les metadades administratives (format)
Neteja de les Dades
● La neteja de dades és l'acte de descobriment i correcció o
eliminació de registres de dades errònies d'una taula o base de
dades.
● El procés de neteja de dades permet identificar dades
incompletes, incorrectes, inexactes, no pertinents, etc. i després
substituir, modificar o eliminar aquestes dades bruts.
● Després de la neteja, la base de dades podrà ser compatible
amb altres bases de dades similars en el sistema.
Neteja de les Dades
● Si les dades estan netes, és més fàcil de combinar diferents
conjunts de dades i obtenir una visió més profunda.
● Hi ha una sèrie d'errors comuns en les dades que hauríem de
tenir en compte en qualsevol conjunt de dades que està
treballant.
Neteja de les Dades
● Errors en el format de les dates: L'error més comú és l'ús mixt
de formats americans (MM/DD/AAAA) i europeus
(DD/MM/AAAA).
● Les persones sovint tracten d'estalviar temps en introduir dades
abreujant termes. Si aquestes abreviatures no són consistents,
pot causar errors en el conjunt de dades.
Neteja de les Dades
● Un registre duplicat és quan s'ha introduït la mateixa peça de
dades més d'una vegada. Sovint es produeixen quan els
conjunts de dades s'han combinat o perquè no se sabia que ja
existia una entrada.
● Les dades redundats son qualsevol cosa que no sigui rellevant
per al seu treball amb el conjunt de dades.
Neteja de les Dades
● Un registre duplicat és quan s'ha introduït la mateixa peça de
dades més d'una vegada. Sovint es produeixen quan els
conjunts de dades s'han combinat o perquè no se sabia que ja
existia una entrada.
● Les dades redundats son qualsevol cosa que no sigui rellevant
per al seu treball amb el conjunt de dades.
Neteja de les Dades
● Els valors numèrics en els conjunts de dades sovint utilitzen
diferents escales perquè sigui més fàcil per a un ésser humà al
llegir. No obstant, això per a una màquina provoca errors.
● Els errors d'ortografia.
Open Refine 2.0 - Introducció
https://www.youtube.com/watch?v=B70J_H_zAWM
Neteja de les Dades
Llicències
El Sector Públic sobvint externalitza serveis, es fa necessari
explicitar en els contractes de servei que les dades vinculades a
l´activitat del contracte estaran subjectes al Open Data i podran ser
consultades per tothom de forma gratuïta.
Llicències
Hi ha mètodes diferents per facilitar l'accés a dades obertes: com
dades en bloc (dadesdump), a través d'una interfície de
programació d'aplicacions (API), com alimentació, a través d'un
punt final SPARQL, etc. El mètode més utilitzat i útil és dades en
bloc, el que significa que el conjunt complet de dades ha d'estar
disponible en format descarregable.
Publicar
● Hem de decidir on publiquem les dades:
■Web corporativa.
■Portal de dades Obertes.
Publicar
Un catàleg de dades proporciona un registre o llista de tots els
conjunts de dades existents i un punter (URL) a on es pot accedir a
les dades. Un catàleg de dades de tots els conjunts de dades
obertes de dades disponibles és generalment el component clau
d'un portal de dades obertes, a més de socials, notícies i els
elements de la comunitat.
Promoció
● Que la gent sàpiga que has obert alguns conjunts de dades.
● Si hi ha un cert grup de persones al que voleu arribar, pensar
quina seria la millor manera d'aconseguir el missatge per a ells?
● Cal per animar-los a utilitzar les seves dades.
Activitat final
Exercici pràctic de publicació de
dades.
Activitat individual.
Temps: 1,5 hores.
De dades no estructurades a dades estructurades
● Vegem com de propers estem a les dades no-estructurades.
● Maneres d’estructurar dades no estructurades ?
● Vegem un exemple:
https://www.youtube.com/watch?v=OiskE1Jsr6A
De dades no estructurades a dades estructurades
● Extraiem el so del vídeo usant: www.vidtomp3.com
● Comprovem que l’àudio estigui ben descarregat en el nostre
ordinador.
● Canviem el format fent servir:
www.audio.onlineconvert.com/convert-to-wav
De dades no estructurades a dades estructurades
● Ara anem a: https://speech-to-text-demo.mybluemix.net
● Pugem l’arxiu .wav i esperem la conversió a text (5 min)
● Copieu el text en un arxiu .txt i guardeu-lo.
De dades no estructurades a dades estructurades
● Visitem el web:
http://www.online-utility.org/text/analyzer.jsp
● Copiem el text i busquem a les estadístiques.
● Fem una fulla de càlcul amb les frases més usades de tres
paraules i la guardem com a CSV.
De dades no estructurades a dades estructurades
● Pugem la informació a http://demo.ckan.org
● Revisar que la informació estigui disponible online.
Activitat final
(Ara de veritat)
Exercici pràctic de publicació i
anàlisi de dades.
Activitat individual.
Temps: 1,5 hores.
Activitat final
Buscar a quines hores, en el primer
trimestre de 2016, es van posar les
multes més cares a Madrid.
Activitat individual.
Temps: 1,5 hores.
Activitat final
És un bon portal de dades obertes el
portal de l’Ajuntament de Madrid ?
Activitat individual.
Temps: 1,5 hores.
Activitat final
Amb quins problemes ens trobem ?
Activitat individual.
Temps: 1,5 hores.
Activitat final
Amb quins problemes ens trobem ?
Activitat individual.
Temps: 1,5 hores.
>CD «Direcció_on_volem_el_.csv_combinat»
>copy «Direcció_on_són_els_.csv_a_combinar»
«nom_del_nou_arxiu.csv»
Combinar .csv
Activitat individual.
Temps: 1,5 hores.

More Related Content

What's hot

Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Iniciativa Barcelona Open Data
 
Barcelona Activa - Curs 1.3. Economica Open Data i Impacte Social
Barcelona Activa - Curs 1.3. Economica Open Data i Impacte SocialBarcelona Activa - Curs 1.3. Economica Open Data i Impacte Social
Barcelona Activa - Curs 1.3. Economica Open Data i Impacte SocialIniciativa Barcelona Open Data
 
III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...
III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...
III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...Iniciativa Barcelona Open Data
 
Barcelona Activa - Curs 1.4. Reutilització de Dades Obertes
Barcelona Activa - Curs 1.4. Reutilització de Dades ObertesBarcelona Activa - Curs 1.4. Reutilització de Dades Obertes
Barcelona Activa - Curs 1.4. Reutilització de Dades ObertesIniciativa Barcelona Open Data
 
Barcelona Activa - Curs 1.5. Procés Publicació de dades
Barcelona Activa - Curs 1.5. Procés Publicació de dadesBarcelona Activa - Curs 1.5. Procés Publicació de dades
Barcelona Activa - Curs 1.5. Procés Publicació de dadesIniciativa Barcelona Open Data
 
Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...Iniciativa Barcelona Open Data
 
Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Iniciativa Barcelona Open Data
 
Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Iniciativa Barcelona Open Data
 
Periodisme de Dades - Curs 3.1. Open Data en la Redacció
Periodisme de Dades - Curs 3.1. Open Data en la RedaccióPeriodisme de Dades - Curs 3.1. Open Data en la Redacció
Periodisme de Dades - Curs 3.1. Open Data en la RedaccióIniciativa Barcelona Open Data
 
Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...
Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...
Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...Iniciativa Barcelona Open Data
 
Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Iniciativa Barcelona Open Data
 
Workshop Carmen Lavado (11-07-2017)
Workshop Carmen Lavado (11-07-2017)Workshop Carmen Lavado (11-07-2017)
Workshop Carmen Lavado (11-07-2017)Eric Sueiro
 
Curs sobre Open Data i Visualització de dades
Curs sobre Open Data i Visualització de dadesCurs sobre Open Data i Visualització de dades
Curs sobre Open Data i Visualització de dadesMarc Garriga
 

What's hot (20)

Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 4 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
 
Curs 1.3. Economia Open Data i Impacte Social
Curs 1.3. Economia Open Data i Impacte SocialCurs 1.3. Economia Open Data i Impacte Social
Curs 1.3. Economia Open Data i Impacte Social
 
Barcelona Activa - Curs 1.3. Economica Open Data i Impacte Social
Barcelona Activa - Curs 1.3. Economica Open Data i Impacte SocialBarcelona Activa - Curs 1.3. Economica Open Data i Impacte Social
Barcelona Activa - Curs 1.3. Economica Open Data i Impacte Social
 
III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...
III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...
III Edició del Taller de visualització de dades. AQuAS - Nous formats visuals...
 
Curs 1. 1. Introducció a l'Open Data
Curs 1. 1. Introducció a l'Open DataCurs 1. 1. Introducció a l'Open Data
Curs 1. 1. Introducció a l'Open Data
 
Barcelona Activa - Curs 1.4. Reutilització de Dades Obertes
Barcelona Activa - Curs 1.4. Reutilització de Dades ObertesBarcelona Activa - Curs 1.4. Reutilització de Dades Obertes
Barcelona Activa - Curs 1.4. Reutilització de Dades Obertes
 
Barcelona Activa - Curs 1.5. Procés Publicació de dades
Barcelona Activa - Curs 1.5. Procés Publicació de dadesBarcelona Activa - Curs 1.5. Procés Publicació de dades
Barcelona Activa - Curs 1.5. Procés Publicació de dades
 
Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió Directius - Programa formatiu Dades Obertes per Entitats sense Ànim de...
 
Curs 1.1. Introducció Open Data (OpenDataLab)
Curs 1.1. Introducció Open Data (OpenDataLab)Curs 1.1. Introducció Open Data (OpenDataLab)
Curs 1.1. Introducció Open Data (OpenDataLab)
 
Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 3 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
 
Curs 1.1 Introduccio a l'Open Data
Curs 1.1 Introduccio a l'Open Data  Curs 1.1 Introduccio a l'Open Data
Curs 1.1 Introduccio a l'Open Data
 
Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
 
Periodisme de Dades - Curs 3.1. Open Data en la Redacció
Periodisme de Dades - Curs 3.1. Open Data en la RedaccióPeriodisme de Dades - Curs 3.1. Open Data en la Redacció
Periodisme de Dades - Curs 3.1. Open Data en la Redacció
 
Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...
Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...
Sessió 2.1 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim ...
 
Workshop "Portals de Dades Obertes" amb Marc Garriga
Workshop "Portals de Dades Obertes" amb Marc GarrigaWorkshop "Portals de Dades Obertes" amb Marc Garriga
Workshop "Portals de Dades Obertes" amb Marc Garriga
 
Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
Sessió 5 Tècnics - Programa formatiu Dades Obertes per Entitats sense Ànim de...
 
Workshop Carmen Lavado (11-07-2017)
Workshop Carmen Lavado (11-07-2017)Workshop Carmen Lavado (11-07-2017)
Workshop Carmen Lavado (11-07-2017)
 
1.1 Introducció a l'Open Data
1.1 Introducció a l'Open Data1.1 Introducció a l'Open Data
1.1 Introducció a l'Open Data
 
1.3 Economia Open Data
1.3 Economia Open Data1.3 Economia Open Data
1.3 Economia Open Data
 
Curs sobre Open Data i Visualització de dades
Curs sobre Open Data i Visualització de dadesCurs sobre Open Data i Visualització de dades
Curs sobre Open Data i Visualització de dades
 

Viewers also liked

7 motius d'inspiració per explorar el Periodisme de Dades
7 motius d'inspiració per explorar el Periodisme de Dades7 motius d'inspiració per explorar el Periodisme de Dades
7 motius d'inspiració per explorar el Periodisme de DadesIniciativa Barcelona Open Data
 
Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)
Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)
Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)Iniciativa Barcelona Open Data
 
Big Data for Smart City
Big Data for Smart CityBig Data for Smart City
Big Data for Smart CityKoltiva
 

Viewers also liked (15)

Curs 1.6. Bases Tècniques Legal Data
Curs 1.6. Bases Tècniques Legal DataCurs 1.6. Bases Tècniques Legal Data
Curs 1.6. Bases Tècniques Legal Data
 
Presentació Lourdes Muñoz #eapcOpenLab
Presentació Lourdes Muñoz #eapcOpenLabPresentació Lourdes Muñoz #eapcOpenLab
Presentació Lourdes Muñoz #eapcOpenLab
 
Curs 1.6 Datos Enlazados
Curs 1.6 Datos EnlazadosCurs 1.6 Datos Enlazados
Curs 1.6 Datos Enlazados
 
Curs 1.2. Legal Open Data
Curs 1.2. Legal Open DataCurs 1.2. Legal Open Data
Curs 1.2. Legal Open Data
 
Curs 1.2. Legal Open Data (21/02)
Curs 1.2. Legal Open Data (21/02)Curs 1.2. Legal Open Data (21/02)
Curs 1.2. Legal Open Data (21/02)
 
7 motius d'inspiració per explorar el Periodisme de Dades
7 motius d'inspiració per explorar el Periodisme de Dades7 motius d'inspiració per explorar el Periodisme de Dades
7 motius d'inspiració per explorar el Periodisme de Dades
 
Hri experiences from open data-12122013 ok
Hri experiences from open data-12122013 okHri experiences from open data-12122013 ok
Hri experiences from open data-12122013 ok
 
El valor de obrir les dades - Ignasi Alcalde
El valor de obrir les dades - Ignasi AlcaldeEl valor de obrir les dades - Ignasi Alcalde
El valor de obrir les dades - Ignasi Alcalde
 
Curs 1.6. Bases Tècniques Legal Data (14/02)
Curs 1.6. Bases Tècniques Legal Data (14/02)Curs 1.6. Bases Tècniques Legal Data (14/02)
Curs 1.6. Bases Tècniques Legal Data (14/02)
 
Curs 1.6. Dades Enllaçades (14/02)
Curs 1.6. Dades Enllaçades (14/02)Curs 1.6. Dades Enllaçades (14/02)
Curs 1.6. Dades Enllaçades (14/02)
 
Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)
Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)
Workshop "Neteja de Dades" amb Enrique Rodríguez (Datanauta)
 
Presentació Iniciativa Barcelona Open Data
Presentació Iniciativa Barcelona Open DataPresentació Iniciativa Barcelona Open Data
Presentació Iniciativa Barcelona Open Data
 
Presentacio Iniciativa Barcelona Open Data - UPF
Presentacio Iniciativa Barcelona Open Data - UPFPresentacio Iniciativa Barcelona Open Data - UPF
Presentacio Iniciativa Barcelona Open Data - UPF
 
Big Data for Smart City
Big Data for Smart CityBig Data for Smart City
Big Data for Smart City
 
Drinks & Data amb Jordi Graells (22 Nov 2016)
Drinks & Data amb Jordi Graells (22 Nov 2016)Drinks & Data amb Jordi Graells (22 Nov 2016)
Drinks & Data amb Jordi Graells (22 Nov 2016)
 

Similar to Curs 1.5 Publicació de Dades

Similar to Curs 1.5 Publicació de Dades (20)

Curs 1.4 Reutilització de Dades Obertes 21/03
Curs 1.4 Reutilització de Dades Obertes 21/03Curs 1.4 Reutilització de Dades Obertes 21/03
Curs 1.4 Reutilització de Dades Obertes 21/03
 
Curs 1.4. Reutilització de dades obertes OpenDataLab
Curs 1.4. Reutilització de dades obertes OpenDataLabCurs 1.4. Reutilització de dades obertes OpenDataLab
Curs 1.4. Reutilització de dades obertes OpenDataLab
 
Com pot ajudar la gestió de les dades de recerca a posar en pràctica la ciènc...
Com pot ajudar la gestió de les dades de recerca a posar en pràctica la ciènc...Com pot ajudar la gestió de les dades de recerca a posar en pràctica la ciènc...
Com pot ajudar la gestió de les dades de recerca a posar en pràctica la ciènc...
 
Marc Garriga
Marc GarrigaMarc Garriga
Marc Garriga
 
Curs 2.4 Institucions Intel·ligents
Curs 2.4 Institucions Intel·ligentsCurs 2.4 Institucions Intel·ligents
Curs 2.4 Institucions Intel·ligents
 
Open Data Day 2017
Open Data Day 2017Open Data Day 2017
Open Data Day 2017
 
Big data Curs del Cibernarium de Barcelona 2013
Big data Curs del Cibernarium de Barcelona 2013Big data Curs del Cibernarium de Barcelona 2013
Big data Curs del Cibernarium de Barcelona 2013
 
Barcelona Activa - Curs 2.4. Institucions Intel·ligents
Barcelona Activa - Curs 2.4. Institucions Intel·ligents Barcelona Activa - Curs 2.4. Institucions Intel·ligents
Barcelona Activa - Curs 2.4. Institucions Intel·ligents
 
Curs 2.1. Experiències en Open Data
Curs 2.1. Experiències en Open DataCurs 2.1. Experiències en Open Data
Curs 2.1. Experiències en Open Data
 
Internet i xarxes locals
Internet i xarxes localsInternet i xarxes locals
Internet i xarxes locals
 
Power Tecno
Power TecnoPower Tecno
Power Tecno
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 
TECNOLOGIES
TECNOLOGIESTECNOLOGIES
TECNOLOGIES
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 
Unitat 01p
Unitat 01pUnitat 01p
Unitat 01p
 

More from Iniciativa Barcelona Open Data

Presentació Programa Acadèmic FormacióxDonesxBarris
Presentació Programa Acadèmic FormacióxDonesxBarrisPresentació Programa Acadèmic FormacióxDonesxBarris
Presentació Programa Acadèmic FormacióxDonesxBarrisIniciativa Barcelona Open Data
 
Lourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_sc
Lourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_scLourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_sc
Lourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_scIniciativa Barcelona Open Data
 
Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...
Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...
Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...Iniciativa Barcelona Open Data
 
Workshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro Llorente
Workshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro LlorenteWorkshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro Llorente
Workshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro LlorenteIniciativa Barcelona Open Data
 
Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'
Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'
Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'Iniciativa Barcelona Open Data
 
Jornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecte
Jornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecteJornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecte
Jornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecteIniciativa Barcelona Open Data
 

More from Iniciativa Barcelona Open Data (20)

Presentació Programa Acadèmic FormacióxDonesxBarris
Presentació Programa Acadèmic FormacióxDonesxBarrisPresentació Programa Acadèmic FormacióxDonesxBarris
Presentació Programa Acadèmic FormacióxDonesxBarris
 
Programa Acadèmic FormacióxDonesxBarris
Programa Acadèmic FormacióxDonesxBarrisPrograma Acadèmic FormacióxDonesxBarris
Programa Acadèmic FormacióxDonesxBarris
 
Presentacions DATAVIZ La tecnòloga .pdf
Presentacions DATAVIZ La tecnòloga .pdfPresentacions DATAVIZ La tecnòloga .pdf
Presentacions DATAVIZ La tecnòloga .pdf
 
Datos x Comercio
Datos x ComercioDatos x Comercio
Datos x Comercio
 
OpenDataDay2022_IgnasiServià
OpenDataDay2022_IgnasiServiàOpenDataDay2022_IgnasiServià
OpenDataDay2022_IgnasiServià
 
OpenDataDay2022_SusanaGil
OpenDataDay2022_SusanaGilOpenDataDay2022_SusanaGil
OpenDataDay2022_SusanaGil
 
OpenDataDay2022_KarmaPeiro
OpenDataDay2022_KarmaPeiroOpenDataDay2022_KarmaPeiro
OpenDataDay2022_KarmaPeiro
 
OpenDataDay2022_OriolRoselló
OpenDataDay2022_OriolRosellóOpenDataDay2022_OriolRoselló
OpenDataDay2022_OriolRoselló
 
OpenDataDay2022_PepBudi
OpenDataDay2022_PepBudiOpenDataDay2022_PepBudi
OpenDataDay2022_PepBudi
 
OpenDataDay2022_XescaSerra
OpenDataDay2022_XescaSerraOpenDataDay2022_XescaSerra
OpenDataDay2022_XescaSerra
 
Presentació projecte Dades x Comerç
Presentació projecte Dades x ComerçPresentació projecte Dades x Comerç
Presentació projecte Dades x Comerç
 
Roberto Fraile - Proyecto LORD
Roberto Fraile - Proyecto LORDRoberto Fraile - Proyecto LORD
Roberto Fraile - Proyecto LORD
 
Maria Quiles - Inteligencia Artificial Industrial
Maria Quiles - Inteligencia Artificial IndustrialMaria Quiles - Inteligencia Artificial Industrial
Maria Quiles - Inteligencia Artificial Industrial
 
Pol Colomer - Caso de uso Reby
Pol Colomer - Caso de uso RebyPol Colomer - Caso de uso Reby
Pol Colomer - Caso de uso Reby
 
Juantomás - Unir PDP en Inteligencia Artificial 2020
Juantomás - Unir PDP en Inteligencia Artificial 2020Juantomás - Unir PDP en Inteligencia Artificial 2020
Juantomás - Unir PDP en Inteligencia Artificial 2020
 
Lourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_sc
Lourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_scLourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_sc
Lourdes m iguel_workshop final de temporada open_datalab tarragona 20200702_sc
 
Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...
Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...
Isadora Christel Jiménez i el Valor de les Dades Obertes per als projectes so...
 
Workshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro Llorente
Workshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro LlorenteWorkshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro Llorente
Workshop Aplicar reutilizacion datos abiertos ambito Social. Alejandro Llorente
 
Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'
Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'
Les dades obertes per innovar en la Sociologia i en l'anàlisi de la realitat'
 
Jornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecte
Jornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecteJornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecte
Jornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecte
 

Curs 1.5 Publicació de Dades

  • 1. INICIATIVA BARCELONA OPEN DATA EL VALOR D’OBRIR LES DADES Procés de Publicació de Dades curs 1.5 Docents: Eduard Gil @edugil39 Enric Montia @EnricMontia
  • 2. INTRODUCCIÓ A LES DADES OBERTES ● Identificar les tasques previes que forman part d´un procés de públicació de dades obertes. ● Descriure el que i el perquè de les tasques relacionades a un procés de públicacio de dades obertes. ● Aplicar tot allò après a casos concrets per ser capaç de protagonitzar casos d'èxit. Objectius
  • 3. Publicació de Dades Obertes ● Un pla de dades obertes ● Seleccionar les dades ● Generar un Dataset ● Publicar ● Promocionar
  • 4. Publicació de Dades Obertes 1. Començar amb un pla 5. Manteir- lo 2. Selecció de les dades 4. Publicació 3. Creació d’un Dataset Procés de l’Open Data
  • 6. Pla de Dades Obertes Tenir un Objectiu Avaluar la Publicació i els usos actuals Aconseguir Suport Demostrar el valors
  • 7. Pla de Dades Obertes ● Clarificar els objectius : Que vull aconseguir? ● Establir un pla de publicació: per on vull començar? ● No oblidar temes de LOPD i nou GRDP
  • 8. Pla de Dades Obertes Abans de decidir quines dades es publiquen com dades obertes, les entitats públiques han de tenir una visió general de les dades que es gestionen en l'actualitat, i per tant podrien Inclouen bases de dades, registres, recollides de dades i enquestes, conjunts de dades geoespacials etc. Diagnòstic situació actual:
  • 9. Pla de Dades Obertes ● Clarificar els objectius : Que vull aconseguir? ● Establir un pla de publicació: per on vull començar? ● Guia “Com fer un cas de negoci amb open data” http://theodi.org/guides/how-make-business-case-open-data
  • 10. Pla de Dades Obertes ● Buscar lideratge i suport: Directius, Open Data Evangelists, TIC compartint informació sobre els objectius i els resultats del pla. ● Capturar evidències que les dades obertes estan aportant valor: consultes, impacte, etc.
  • 11. Escollir les Dades Identificar les dades que tens Seleccionar les dades obertes que vols publicar Desenvolupar un Pla de Publicació de Dades Obertes
  • 12. Escollir les Dades ● Hi ha tres principals vies per seleccionar quines dades es publiquen: ■Actualització de les dades que ja estan en el domini públic. ■Seguir les millors pràctiques internacionals. ■Les demandes a la unitat.
  • 14. Crear Datasets Aplicar un format obert Capturar els metadades Aplicar una llicència oberta Revisar els datasets
  • 15. Crear Datasets Després de seleccionar la informació que es desitja publicar es necessari organitzar les dades de manera que pugui posar a disposició per a baixar en formats llegibles per les màquines i tenir en compte si existeixen o no estàndards internacionals (INSPIRE, els 8 principis del OPEN GOVERNMENT DATA).
  • 16. Metadades ● Identificar Metadades: informació descriptiva sobre les dades. ● Pot descriure elements com el contingut, el formats etc. ● Unes bones metadades poden permetre la interoperabilitat amb altres data sets.
  • 17. Metadades ● Hi ha tres tipus principals de metadades: ■Les metadades descriptives (títol, autor) ■Les metadades estructurals (pg x capítol) ■Les metadades administratives (format)
  • 18. Neteja de les Dades ● La neteja de dades és l'acte de descobriment i correcció o eliminació de registres de dades errònies d'una taula o base de dades. ● El procés de neteja de dades permet identificar dades incompletes, incorrectes, inexactes, no pertinents, etc. i després substituir, modificar o eliminar aquestes dades bruts. ● Després de la neteja, la base de dades podrà ser compatible amb altres bases de dades similars en el sistema.
  • 19. Neteja de les Dades ● Si les dades estan netes, és més fàcil de combinar diferents conjunts de dades i obtenir una visió més profunda. ● Hi ha una sèrie d'errors comuns en les dades que hauríem de tenir en compte en qualsevol conjunt de dades que està treballant.
  • 20. Neteja de les Dades ● Errors en el format de les dates: L'error més comú és l'ús mixt de formats americans (MM/DD/AAAA) i europeus (DD/MM/AAAA). ● Les persones sovint tracten d'estalviar temps en introduir dades abreujant termes. Si aquestes abreviatures no són consistents, pot causar errors en el conjunt de dades.
  • 21. Neteja de les Dades ● Un registre duplicat és quan s'ha introduït la mateixa peça de dades més d'una vegada. Sovint es produeixen quan els conjunts de dades s'han combinat o perquè no se sabia que ja existia una entrada. ● Les dades redundats son qualsevol cosa que no sigui rellevant per al seu treball amb el conjunt de dades.
  • 22. Neteja de les Dades ● Un registre duplicat és quan s'ha introduït la mateixa peça de dades més d'una vegada. Sovint es produeixen quan els conjunts de dades s'han combinat o perquè no se sabia que ja existia una entrada. ● Les dades redundats son qualsevol cosa que no sigui rellevant per al seu treball amb el conjunt de dades.
  • 23. Neteja de les Dades ● Els valors numèrics en els conjunts de dades sovint utilitzen diferents escales perquè sigui més fàcil per a un ésser humà al llegir. No obstant, això per a una màquina provoca errors. ● Els errors d'ortografia.
  • 24. Open Refine 2.0 - Introducció https://www.youtube.com/watch?v=B70J_H_zAWM Neteja de les Dades
  • 25. Llicències El Sector Públic sobvint externalitza serveis, es fa necessari explicitar en els contractes de servei que les dades vinculades a l´activitat del contracte estaran subjectes al Open Data i podran ser consultades per tothom de forma gratuïta.
  • 26. Llicències Hi ha mètodes diferents per facilitar l'accés a dades obertes: com dades en bloc (dadesdump), a través d'una interfície de programació d'aplicacions (API), com alimentació, a través d'un punt final SPARQL, etc. El mètode més utilitzat i útil és dades en bloc, el que significa que el conjunt complet de dades ha d'estar disponible en format descarregable.
  • 27. Publicar ● Hem de decidir on publiquem les dades: ■Web corporativa. ■Portal de dades Obertes.
  • 28. Publicar Un catàleg de dades proporciona un registre o llista de tots els conjunts de dades existents i un punter (URL) a on es pot accedir a les dades. Un catàleg de dades de tots els conjunts de dades obertes de dades disponibles és generalment el component clau d'un portal de dades obertes, a més de socials, notícies i els elements de la comunitat.
  • 29. Promoció ● Que la gent sàpiga que has obert alguns conjunts de dades. ● Si hi ha un cert grup de persones al que voleu arribar, pensar quina seria la millor manera d'aconseguir el missatge per a ells? ● Cal per animar-los a utilitzar les seves dades.
  • 30. Activitat final Exercici pràctic de publicació de dades. Activitat individual. Temps: 1,5 hores.
  • 31. De dades no estructurades a dades estructurades ● Vegem com de propers estem a les dades no-estructurades. ● Maneres d’estructurar dades no estructurades ? ● Vegem un exemple: https://www.youtube.com/watch?v=OiskE1Jsr6A
  • 32. De dades no estructurades a dades estructurades ● Extraiem el so del vídeo usant: www.vidtomp3.com ● Comprovem que l’àudio estigui ben descarregat en el nostre ordinador. ● Canviem el format fent servir: www.audio.onlineconvert.com/convert-to-wav
  • 33. De dades no estructurades a dades estructurades ● Ara anem a: https://speech-to-text-demo.mybluemix.net ● Pugem l’arxiu .wav i esperem la conversió a text (5 min) ● Copieu el text en un arxiu .txt i guardeu-lo.
  • 34. De dades no estructurades a dades estructurades ● Visitem el web: http://www.online-utility.org/text/analyzer.jsp ● Copiem el text i busquem a les estadístiques. ● Fem una fulla de càlcul amb les frases més usades de tres paraules i la guardem com a CSV.
  • 35. De dades no estructurades a dades estructurades ● Pugem la informació a http://demo.ckan.org ● Revisar que la informació estigui disponible online.
  • 36. Activitat final (Ara de veritat) Exercici pràctic de publicació i anàlisi de dades. Activitat individual. Temps: 1,5 hores.
  • 37. Activitat final Buscar a quines hores, en el primer trimestre de 2016, es van posar les multes més cares a Madrid. Activitat individual. Temps: 1,5 hores.
  • 38. Activitat final És un bon portal de dades obertes el portal de l’Ajuntament de Madrid ? Activitat individual. Temps: 1,5 hores.
  • 39. Activitat final Amb quins problemes ens trobem ? Activitat individual. Temps: 1,5 hores.
  • 40. Activitat final Amb quins problemes ens trobem ? Activitat individual. Temps: 1,5 hores.