Presentació de la segona part del curs per part de l'Enric Montia per a Iniciativa BCN Open Data.

1. INICIATIVA BARCELONA OPEN DATA
EL VALOR D’OBRIR LES DADES
Utilització De Dades Obertes
Reals
curs 2.2
Docents:
Enric Montia, Marc Torres

2. OBJECTIU DE LA SESSIÓ D’UTILITZACIÓ DE DADES OBERTES
REALS
● Al final de la sessió sereu capaços de:
1. Entendre què són les Dades Obertes automatitzades i massives,
2. Conèixer i accedir a serveis sincrònics de dades,
3. Conèixer les APIs de diferents plataformes de Dades Obertes,
4. Fer servir eines per la reutilització massiva i automàtica de dades, i
5. Preparar les dades per a la seva visualització automàtica.
Adquirir el coneixement que ens permeti l’ús real de Dades Obertes
sincronitzades i massives, així com la neteja i preparat de dades per a la
seva visualització.

3. 1. Dades Obertes automatitzades i
massives

4. Heu fet servir mai
dades obertes
automatitzades i
massives?
Expliqueu les vostres experiències
(i de pas ens coneixem)
Activitat Inicial
Temps: 10
minuts

5. 1. Sincronitzades
● de l’estàtic al dinàmic,
● de l’ahir al ara,
● de l’arxiu al servei de dades,
● de portal al flux descentralitzat.
2. Massives
● del dataset al BIG DATA,
● del mega al tera,
● del durador al perible.
QUÈ VOL DIR DADES SINCRONITZADES I
MASSIVES?

6. Havent comentat
la diapositiva anterior,
visitem:
http://www.idescat.cat/ (dades/serveis)
http://opendata.bcn.cat/opendata/ca/catalog (Immediata)
http://aca-web.gencat.cat/aca/appmanager/aca/aca/ (Consulta de dades)
...i parlem de quins són els aspectes relacionats amb
dades massives i sincronitzades
Activitat
Activitat individual, temps: 10 minuts

7. 2. Serveis sincrònics de dades

8. Serveis REST (Representational State Transfer)
● Es tracta d’un mètode de transferència de dades basat en l’arquitectura
client-servidor.
● Les peticions es realitzen a demanda via URL des dels navegadors mitjançant
mètodes HTTP (get, post, put, delete)
● La resposta del servidor pot ser en diferents formats: JSON (JavaScript Object
Notation), XML (Extensible Markup Language) i CSV (Comma Separated Values)
● Les respostes són compressibles per un humà i interpretables per una
aplicació.
Serveis sincrònics de dades

9. Serveis REST (Representational State Transfer). Exemples
● Podem cridar un recurs i afegir paràmetres a continuació
● Accés a un recurs:
https://data.cityofchicago.org/resource/ydr8-5enu.json
● Subrecursos:
● https://data.cityofchicago.org/resource/ydr8-5enu.json?$select=street_name,street_
number
● Element:
https://data.cityofchicago.org/resource/ydr8-5enu.json?id=911610
● Filtrat:
https://data.cityofchicago.org/resource/ydr8-5enu.json?street_name=ABERDEEN
Serveis sincrònics de dades

10. ODATA (Open Data Protocol)
● És un estàndard que permet la creació de serveis de dades REST-ful.
● OData és en realitat una API REST que especifica un protocol determinat que
defineix bones pràctiques per construir bons serveis REST.
● Cada implementació OData és, en realitat, un servei web REST.
● Els recursos són identificats per una URL i definits en un model de dades
● Està basat en diferents estàndard d’Internet: HTTP, XML, Atom, JSON.
● ODATA és publicat per Microsoft sota Open Specification Promise.
● Enllaç: http://www.odata.org
Serveis sincrònics de dades

11. ODATA (Open Data Protocol). Exemples
http://cloudbcnodata.cloudapp.net/DataBrowser/Data/OPENDATAACCIDENTSGUBCN2015 (GUI)
Accés a un recurs (XML):
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015
● Subrecursos:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$select=mesdea
ny,diademes,horadedia
● Element:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$filter=numero
dexpedient eq '2015S001576'
● Filtrat:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$filter=codidistricte eq 5
Serveis sincrònics de dades

12. 3. APIs de plataformes de Dades
Obertes

13. Sabeu què és una API?
Utilitzeu serveis de les APIs
en el vostre dia a dia?
Quins?
Teniu el widget del tems al mòbil?
Activitat
Activitat, temps: 5 minuts

14. ...una interfície de programació d'aplicacions on es descriu com els
programaris poden interactuar entre ells.
Per exemple API d’OpenWeatherMap
https://openweathermap.org/api
Exemple de petició a Múnic:
http://samples.openweathermap.org/data/2.5/forecast?q=M%C3%BCn
chen,DE&appid=b1b15e88fa797225412429c1c50c122a1
Els portals de dades obertes van evolucionant cap a plataformes de
serveis sincronitzats basats en APIs.
L’èxit de les dades obertes no vindrà per l’usuari que baixa un arxiu, sinó
per consum de les dades de aplicacions i serveis web.
Una API és...

15. Socrata (https://socrata.com/)
● És un producte comercial.
● És una plataforma per a la publicació de dades de govern obert, està molt
difosa entre les administracions catalanes.
● Les dades poden ser publicades a través d'una interfície web o un API.
● Es poden fer consultes via una interfície gràfica web específica del client.
● El lloc web proporciona una visualització de les dades en taules, gràfics,
taules i mapes.
● Les dades poden descarregar-se en formats com CSV, JSON, jeojson,
Excel, XML, ODATA...
● Socrata ha desenvolupat la seva pròpia API REST SODA que pot ser
utilitzat no només per descarregar les dades, sinó també per pujar i
publicar les dades a la plataforma.
https://dev.socrata.com/docs/endpoints.html
Plataformes de Dades Obertes. APIs

16. CKAN (https://ckan.org/)
● És de codi obert. https://github.com/ckan/ckan/network
● Impulsada per l’OKFN. Utilitzada per l’ajuntament de Barcelona
● Compte amb una viva comunitat de desenvolupadors
● Està ben documentada incloent instruccions d'instal•lació.
● Multitud de formats d’arxius com a font de dades i exportació.
● Disposa de l’API CKAN Action que exposa als clients les seves
funcionalitats bàsiques. http://docs.ckan.org/en/latest/api/
Exemples: http://docs.ckan.org/en/latest/api/#api-examples
Plataformes de Dades Obertes. APIs

17. 4. Eines per la reutilització
massiva i automàtica de dades

18. Algunes eines que cal conèixer
● Fulls de càlcul Google Sheets. Despeses personal. Aj. Granollers
https://opendata.granollers.cat/api/views/r63v-b675/rows.csv?accessType=DOWNLOAD
● Eina de mapificació de dades Instamaps. Bicing
http://opendata-ajuntament.barcelona.cat/data/ca/dataset/bicing/resource/62c0c9cf-c104-4105-
8e0d-6f483d39c0b2/proxy

19. Activitat
Activitat individual. Temps: 15 minuts
Fem servir Google Sheets per treballar amb datasets
automatitzats de dades.
Increment despeses de personal, aj. Granollers
https://support.google.com/docs/answer/3093342?hl=en
=IMPORTDATA("https://opendata.granollers.cat/api/views/r63v-b675/rows.csv?accessType=DOWNLOAD")
https://docs.google.com/spreadsheets/d/1TmB8WwoT5WJ2Cc7AngWgYzam8PD9IhbdMn7HJ0goyfg/edit#gid=0
<iframe width="600" height="371" seamless frameborder="0" scrolling="no"
src="https://docs.google.com/spreadsheets/d/1TmB8WwoT5WJ2Cc7AngWgYzam8PD9IhbdMn7HJ0goyfg/pubchart?oid=134
9816622&amp;format=interactive"></iframe>
https://opendata.granollers.cat/resource/2qb3-kafz.json?place=REGIDOR

20. Activitat
Activitat individual. Temps: 15 minuts
Fem servir Instamaps per treballar amb datasets automatitzats
de dades. Servei json. Open data BCN, bicing
http://opendata-ajuntament.barcelona.cat/data/ca/dataset/bicing/resource/62c0c9cf-c104-4105-8e0d-6f483d39c0b2/proxy
https://www.instamaps.cat/instavisor/1611695/2ffdaae88c0994e62f353296368ede84/Estat_bicing.html?3D=false
<iframe width="640" height="480" frameborder="0" scrolling="no" marginheight="0" marginwidth="0"
src="https://www.instamaps.cat/instavisor/1611695/2ffdaae88c0994e62f353296368ede84/Estat_bicing.html?3D=false&em
bed=1" ></iframe>
http://opendata-ajuntament.barcelona.cat/

21. 5. Preparació de dades per a la
seva visualització automàtica.

22. Algunes eines que cal conèixer
● Plataforma de mineria de dades amb UI
KNIME
● Programa de mineria de dades
RapidMiner
● Programa de mineria de dades
Orange Canvas

23. Activitat
Activitat. Temps: 15 minuts
Fem servir KNIME per preparar
datasets de dades pel seu
consum automatitzat.