Sessió impartida pel Marc Torres i l'Enric Montia

1. INICIATIVA BARCELONA OPEN DATA
EL VALOR D’OBRIR LES DADES
Utilització De Dades Obertes
Reals
curs 2.2
Docents:
Enric Montia, Marc Torres

2. OBJECTIU DE LA SESSIÓ D’UTILITZACIÓ DE DADES OBERTES
REALS
● Al final de la sessió sereu capaços de:
1. Entendre què són les Dades Obertes automatitzades i massives,
2. Conèixer i accedir a serveis sincrònics de dades,
3. Conèixer les APIs de diferents plataformes de Dades Obertes,
4. Fer servir eines per la reutilització massiva i automàtica de dades, i
5. Preparar les dades per a la seva visualització automàtica.
Adquirir el coneixement que ens permeti l’ús real de Dades Obertes
sincronitzades i massives, així com la neteja i preparat de dades per a la
seva visualització.

3. 1. Dades Obertes automatitzades i
massives

4. Heu fet servir mai
dades obertes
automatitzades i
massives?
Expliqueu les vostres experiències
(i de pas ens coneixem)
Activitat Inicial
Temps: 10
minuts

5. 1. Sincronitzades
● de l’estàtic al dinàmic,
● de l’ahir al ara,
● de l’arxiu al servei de dades,
● de portal al flux descentalitzat.
1. Massives
● del dataset al BIG DATA,
● el mega al tera,
● del durador al perible.
QUÈ VOL DIR DADES SINCRONITZADES I
MASSIVES?

6. Havent comentat
la diapositiva anterior,
visitem:
http://www.idescat.cat/dev/api/
http://opendata.bcn.cat/opendata/ca/catalog
http://aca-
web.gencat.cat/aca/appmanager/aca/aca?_nfpb=true&_pageLabel=P56600137
761453129970599
...i parlem de quins són els aspectes relacionats amb
dades massives i sincronitzades
Activitat
Activitat individual, temps: 10
minuts

7. 2. Serveis sincrònics de dades

8. Serveis REST (Representational State Transfer)
● Es tracta d’un mètode de transferència de dades basat en l’arquitectura client-
servidor.
● Les peticions es realitzen a demanda via URL des dels navegadors mitjançant
mètodes HTTP (get, post, put, delete)
● La resposta del servidor pot ser en diferents formats: JSON (JavaScript Object
Notation), XML (Extensible Markup Language) i CSV (Comma Separated
Values)
● Les respostes són compressibles per un humà i interpretables per una
aplicació.
Serveis sincrònics de dades

9. Serveis REST (Representational State Transfer). Exemples
● Podem cridar un recurs i afegir paràmetres a continuació
● Accés a un recurs:
https://data.cityofchicago.org/resource/ydr8-5enu.json
● Subrecursos:
● https://data.cityofchicago.org/resource/ydr8-
5enu.json?$select=street_name,street_number
● Element:
https://data.cityofchicago.org/resource/ydr8-5enu.json?id=911610
● Filtrat:
https://data.cityofchicago.org/resource/ydr8-
5enu.json?street_name=ABERDEEN
Serveis sincrònics de dades

10. ODATA (Open Data Protocol)
● És un estàndard que permet la creació de serveis de dades REST-ful.
● OData és en realitat una API REST que especifica un protocol determinat que
defineix bones pràctiques per construir bons serveis REST.
● Cada implementació OData és, en realitat, un servei web REST.
● Els recursos són identificats per una URL i definits en un model de dades
● Està basat en diferents estàndard d’Internet: HTTP, XML, Atom, JSON.
● ODATA és publicat per Microsoft sota Open Specification Promise.
● Enllaç: http://www.odata.org
Serveis sincrònics de dades

11. ODATA (Open Data Protocol). Exemples
http://cloudbcnodata.cloudapp.net/DataBrowser/Data/OPENDATAACCIDENTSGUBCN2015 (GUI)
Accés a un recurs (XML):
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015
● Subrecursos:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$select=mesdea
ny,diademes,horadedia
● Element:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$filter=numero
dexpedient eq '2015S001576'
● Filtrat:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$filter=codidistricte eq 5
Serveis sincrònics de dades

12. 3. APIs de plataformes de Dades
Obertes

13. Sabeu què és una API?
Utilitzeu serveis de les APIs
en el vostre dia a dia?
Quins?
Activitat
Activitat, temps: 5 minuts

14. ...una interfície de programació d'aplicacions on es descriu com els
programaris poden interactuar entre ells.
Per exemple API de Twitter https://dev.twitter.com/
Una API és...

15. Socrata
● És un producte comercial.
● És una plataforma per a la publicació de dades de govern obert, està molt
difosa entre les administracions catalanes.
● Les dades poden ser publicades a través d'una interfície web o un API.
● Es poden fer consultes via una interfície gràfica web específica del client.
● El lloc web proporciona una visualització de les dades en taules, gràfics,
taules i mapes.
● Les dades poden descarregar-se en formats com CSV, JSON, jeojson,
Excel, XML, ODATA...
● Socrata ha desenvolupat la seva pròpia API REST SODA que pot ser
utilitzat no només per descarregar les dades, sinó també per pujar i
publicar les dades a la plataforma.
https://dev.socrata.com/docs/endpoints.html
Plataformes de Dades Obertes. APIs

16. CKAN
● És de codi obert. https://github.com/ckan/ckan/network
● Impulsada per l’OKFN. Utilitzada per l’ajuntament de Barcelona
● Compte amb una viva comunitat de desenvolupadors
● Està ben documentada incloent instruccions d'instal•lació.
● Multitud de formats d’arxius com a font de dades i exportació.
● Disposa de l’API CKAN Action que exposa als clients les seves
funcionalitats bàsiques. http://docs.ckan.org/en/latest/api/
Exemples: http://docs.ckan.org/en/latest/api/#api-examples
Plataformes de Dades Obertes. APIs

17. 4. Eines per la reutilització
massiva i automàtica de dades

18. Algunes eines que cal conèixer
● Fulls de càlcul Google Sheets. Sous Granollers
https://opendata.granollers.cat/api/views/r63v-
b675/rows.csv?accessType=DOWNLOAD
● Eina de mapificació de dades Instamaps. Bicing
http://opendata-ajuntament.barcelona.cat/data/ca/dataset/bicing/resource/62c0c9cf-
c104-4105-8e0d-6f483d39c0b2/proxy

19. Activitat
Activitat individual. Temps: 15 minuts
Fem servir Google Sheets per treballar amb datasets
automatitzats de dades. Sous Granollers
https://support.google.com/docs/answer/3093342?hl=en
=IMPORTDATA("https://opendata.granollers.cat/api/views/r63v-b675/rows.csv?accessType=DOWNLOAD")
https://docs.google.com/spreadsheets/d/1TmB8WwoT5WJ2Cc7AngWgYzam8PD9IhbdMn7HJ0goyfg/edit#gid=0
<iframe width="600" height="371" seamless frameborder="0" scrolling="no"
src="https://docs.google.com/spreadsheets/d/1TmB8WwoT5WJ2Cc7AngWgYzam8PD9IhbdMn7HJ0goyfg/pubchart?oid=134
9816622&amp;format=interactive"></iframe>

20. Activitat
Activitat individual. Temps: 15 minuts
Fem servir Instamaps per treballar amb datasets automatitzats
de dades. Servei json. Open data BCN
http://opendata-ajuntament.barcelona.cat/data/ca/dataset/bicing/resource/62c0c9cf-c104-4105-8e0d-
6f483d39c0b2/proxy
http://www.instamaps.cat/instavisor/1611695/9bc3f1f70b640195e0cdd983b22b58c0/Estacions_de_Bicing_a_Barcelona.ht
ml?3D=false
<iframe width="640" height="480" frameborder="0" scrolling="no" marginheight="0" marginwidth="0"
src="http://www.instamaps.cat/instavisor/1611695/9bc3f1f70b640195e0cdd983b22b58c0/Estacions_de_Bicing_a_Barcelon
a.html?3D=false&embed=1" ></iframe>

21. 5. Preparació de dades per a la
seva visualització automàtica.

22. Algunes eines que cal conèixer
● Plataforma de mineria de dades amb UI
KNIME
● Programa de mineria de dades
RapidMiner

23. Activitat
Activitat individual. Temps: 20 minuts
Fem servir KNIME per treballar
amb grans datasets de dades
automatitzades