Presentació utilitzada durant la cinquena sessió de tècnics del programa formatiu Dades Obertes per Entitats sense Ànim de lucre on s'expliquen els conceptes bàsics de l'Open Data
Presentació utilitzada durant la tercera sessió de tècnics del programa formatiu Dades Obertes per Entitats sense Ànim de lucre on s'expliquen els conceptes bàscis de l'Open Data
Presentació utilitzada durant la cinquena sessió de tècnics del programa formatiu Dades Obertes per Entitats sense Ànim de lucre on s'expliquen els conceptes bàsics de l'Open Data
Presentació utilitzada durant la tercera sessió de tècnics del programa formatiu Dades Obertes per Entitats sense Ànim de lucre on s'expliquen els conceptes bàscis de l'Open Data
Presentació de Jordi Guimet (Infraestructura de Dades Espacials de Catalunya (IDEC) en el marc de la jornada "Eines de suport per a l'avaluació ambiental de parcs eòlics" el 15/10/2013 i organitzada per la Direcció general de Polítiques Ambientals del Departament de Territori i Sostenibilitat de la Generalitat de Catalunya
Estudi de l’entorn WAP i desenvolupament d’un analitzador de crides WAP
Motivació: Aprofitar els entorns de BD de Synera preparats per Data Mining en l’entorn de la telefonia mòbil.
Problema i oportunitat
* Generació de molt tràfic WAP però les operadores i empreses proveïdores en desconeixen les pautes d´ús.
* Cada operadora té la seva solució, incompatibles entre sí i no genèriques.
* Les solucions desenvolupades no permeten un anàlisi gaire complex: es perd informació valuosa tan de tràfic com de clients.
Objectius
* Permeti analitzar, el més ràpid possible, logs de diferent format i/o generats per diferents WAP Gateways.
* Aporti valor afegit a les operadores:
+ Generant anàlisi més complexos que donin ràpidament resposta a les seves preguntes.
+ Facilitant l’extracció de coneixement, generant una BD que homogeneïtzi la informació que s’amaga en gigues de logs.
* Multiplataforma i extensible.
* Genèric i parametritzable al màxim.
* Objectiu específic: Fer l’anàlisi i desenvolupament necessaris per resoldre el problema amb el sistema Synera.
Presentació de Felipe Ruiz, Carlos Molina i Jesús Gomiz dels Ajuntaments de Tarragona i Rubí a la Jornada “Obre les teves dades. Crea, publica i aporta valor amb les dades obertes”
Casa Golferichs - 5 de març de 2020
Weave basada en una solució open source sense cost (FOSS), ens permet una manera fàcil i estandarditzada de connectar-nos a Portals OpenData com CKAN i Socrata
Conceptes emergents a Internet: web 2.0, agregadors i RSSIsmael Fanlo
Presentación utilizada en la charla impartida en la Jornada "La Xarxa de contactes on-line en la recerca de feina i les noves tecnologies", organizada por la Xarxa Local de Promoció Econòmica, Formació i Ocupació. En catalán.
Projecte de formació en dades obertes per a dones als barris. Aquest projecte vol millorar les capacitats digitals de dones en les tecnologies de dades per millorar les seves oportunitats professionals i de trobar feina, amb l’edició del Certificat Professional Open Data Social Visual que compta amb reconeixement internacional del Open Data Institute.
Projecte de formació en dades obertes per a dones als barris. Aquest projecte vol millorar les capacitats digitals de dones en les tecnologies de dades per millorar les seves oportunitats professionals i de trobar feina, amb l’edició del Certificat Professional Open Data Social Visual que compta amb reconeixement internacional del Open Data Institute.
More Related Content
Similar to Curs 2.2. Utilització de Dades Obertes Reals (Part 2)
Presentació de Jordi Guimet (Infraestructura de Dades Espacials de Catalunya (IDEC) en el marc de la jornada "Eines de suport per a l'avaluació ambiental de parcs eòlics" el 15/10/2013 i organitzada per la Direcció general de Polítiques Ambientals del Departament de Territori i Sostenibilitat de la Generalitat de Catalunya
Estudi de l’entorn WAP i desenvolupament d’un analitzador de crides WAP
Motivació: Aprofitar els entorns de BD de Synera preparats per Data Mining en l’entorn de la telefonia mòbil.
Problema i oportunitat
* Generació de molt tràfic WAP però les operadores i empreses proveïdores en desconeixen les pautes d´ús.
* Cada operadora té la seva solució, incompatibles entre sí i no genèriques.
* Les solucions desenvolupades no permeten un anàlisi gaire complex: es perd informació valuosa tan de tràfic com de clients.
Objectius
* Permeti analitzar, el més ràpid possible, logs de diferent format i/o generats per diferents WAP Gateways.
* Aporti valor afegit a les operadores:
+ Generant anàlisi més complexos que donin ràpidament resposta a les seves preguntes.
+ Facilitant l’extracció de coneixement, generant una BD que homogeneïtzi la informació que s’amaga en gigues de logs.
* Multiplataforma i extensible.
* Genèric i parametritzable al màxim.
* Objectiu específic: Fer l’anàlisi i desenvolupament necessaris per resoldre el problema amb el sistema Synera.
Presentació de Felipe Ruiz, Carlos Molina i Jesús Gomiz dels Ajuntaments de Tarragona i Rubí a la Jornada “Obre les teves dades. Crea, publica i aporta valor amb les dades obertes”
Casa Golferichs - 5 de març de 2020
Weave basada en una solució open source sense cost (FOSS), ens permet una manera fàcil i estandarditzada de connectar-nos a Portals OpenData com CKAN i Socrata
Conceptes emergents a Internet: web 2.0, agregadors i RSSIsmael Fanlo
Presentación utilizada en la charla impartida en la Jornada "La Xarxa de contactes on-line en la recerca de feina i les noves tecnologies", organizada por la Xarxa Local de Promoció Econòmica, Formació i Ocupació. En catalán.
Projecte de formació en dades obertes per a dones als barris. Aquest projecte vol millorar les capacitats digitals de dones en les tecnologies de dades per millorar les seves oportunitats professionals i de trobar feina, amb l’edició del Certificat Professional Open Data Social Visual que compta amb reconeixement internacional del Open Data Institute.
Projecte de formació en dades obertes per a dones als barris. Aquest projecte vol millorar les capacitats digitals de dones en les tecnologies de dades per millorar les seves oportunitats professionals i de trobar feina, amb l’edició del Certificat Professional Open Data Social Visual que compta amb reconeixement internacional del Open Data Institute.
El documento describe un proyecto para reducir la brecha digital entre grandes y pequeñas empresas de comercio minorista mediante el uso de datos abiertos. El proyecto ofrece varios servicios como una aplicación móvil que permite a los comercios analizar datos sobre su zona para mejorar su negocio, una página web con información demográfica y de consumo de la zona, y capacitación individualizada para enseñar a los comercios a utilizar las herramientas y datos. El objetivo final es empoderar a los comercios locales
El documento habla sobre el proyecto LORD (Registro Local de Datos Abiertos) llevado a cabo por el Ayuntamiento de Alcobendas. El proyecto busca aumentar la publicación de datos abiertos interconectando registros locales, autonómicos, nacionales y europeos para garantizar el cumplimiento de requisitos legales de las actividades económicas. Se desarrollará una herramienta de interoperabilidad semántica y una API para publicar datos abiertos. El proyecto pretende mejorar la interoperabilidad entre registros a diferentes
El documento describe el uso de la inteligencia artificial industrial para mejorar los procesos de manufactura mediante el análisis de datos. Actualmente, la industria recopila grandes cantidades de datos de sensores pero el análisis es manual y costoso. La propuesta es unificar los datos, auditar su calidad y aplicar técnicas de IA para monitorear la planta en tiempo real, reducir tiempos de reacción y mejorar la toma de decisiones. Se detalla un caso de éxito donde se redujo el consumo eléctrico de un horno de ac
Este documento describe un caso de uso para predecir la demanda de movilidad compartida mediante patinetes eléctricos utilizando datos abiertos y algoritmos de optimización. El objetivo es maximizar el uso de los patinetes mediante la predicción de la demanda y la optimización de su distribución espacial. El algoritmo considera factores como puntos de interés, residencias de usuarios, aforo de transporte y restricciones logísticas para predecir dónde y cuándo habrá mayor demanda y distribuir los patinetes de forma
Este documento presenta una discusión sobre inteligencia artificial y análisis de datos. Explica conceptos como analítica funcional, cultura orientada a datos, métricas de rendimiento e inteligencia de procesos en tiempo real. También describe tecnologías como Apache Kafka y Apache Spark que son útiles para implementar proyectos orientados a datos. Finalmente, discute tendencias emergentes en business intelligence e inteligencia operativa.
Isadora, ens ha parlat de les dades obertes i com es fan servir en l’àmbit del canvi climàtic dins el workshop online que es va portar a terme el dia 7 d'abril de 2020
Workshop Open Data X social. Iniciativa Barcelona Open Data Marzo 2020
Proyecto Citizenlab de Piperlab por Alejandro Llorente
Crónica + todos materiales del evento: http://iniciativabarcelonaopendata.cat/es/2020/03/cronica-26-03-workshop-sobre-open-data-y-proyectos-sociales/
Ponencia de l'Alberto Abella, co-fundador d'Iniciativa Barcelona Open Data, dins el cicle Estiu Open Data al Cibernarium. L'eix de la jornada és com les empreses poden aprofitar les dades obertes per generar valor econòmic.
Jornada Divulgativa per Empreses: Les dades obertes, un valor pel meu projecte
Curs 2.2. Utilització de Dades Obertes Reals (Part 2)
1. INICIATIVA BARCELONA OPEN DATA
EL VALOR D’OBRIR LES DADES
Utilització De Dades Obertes
Reals
curs 2.2
Docents:
Enric Montia, Marc Torres
2. OBJECTIU DE LA SESSIÓ D’UTILITZACIÓ DE DADES OBERTES
REALS
● Al final de la sessió sereu capaços de:
1. Entendre què són les Dades Obertes automatitzades i massives,
2. Conèixer i accedir a serveis sincrònics de dades,
3. Conèixer les APIs de diferents plataformes de Dades Obertes,
4. Fer servir eines per la reutilització massiva i automàtica de dades, i
5. Preparar les dades per a la seva visualització automàtica.
Adquirir el coneixement que ens permeti l’ús real de Dades Obertes
sincronitzades i massives, així com la neteja i preparat de dades per a la
seva visualització.
4. Heu fet servir mai
dades obertes
automatitzades i
massives?
Expliqueu les vostres experiències
(i de pas ens coneixem)
Activitat Inicial
Temps: 10
minuts
5. 1. Sincronitzades
● de l’estàtic al dinàmic,
● de l’ahir al ara,
● de l’arxiu al servei de dades,
● de portal al flux descentralitzat.
2. Massives
● del dataset al BIG DATA,
● del mega al tera,
● del durador al perible.
QUÈ VOL DIR DADES SINCRONITZADES I
MASSIVES?
6. Havent comentat
la diapositiva anterior,
visitem:
http://www.idescat.cat/ (dades/serveis)
http://opendata.bcn.cat/opendata/ca/catalog (Immediata)
http://aca-web.gencat.cat/aca/appmanager/aca/aca/ (Consulta de dades)
...i parlem de quins són els aspectes relacionats amb
dades massives i sincronitzades
Activitat
Activitat individual, temps: 10 minuts
8. Serveis REST (Representational State Transfer)
● Es tracta d’un mètode de transferència de dades basat en l’arquitectura
client-servidor.
● Les peticions es realitzen a demanda via URL des dels navegadors mitjançant
mètodes HTTP (get, post, put, delete)
● La resposta del servidor pot ser en diferents formats: JSON (JavaScript Object
Notation), XML (Extensible Markup Language) i CSV (Comma Separated Values)
● Les respostes són compressibles per un humà i interpretables per una
aplicació.
Serveis sincrònics de dades
9. Serveis REST (Representational State Transfer). Exemples
● Podem cridar un recurs i afegir paràmetres a continuació
● Accés a un recurs:
https://data.cityofchicago.org/resource/ydr8-5enu.json
● Subrecursos:
● https://data.cityofchicago.org/resource/ydr8-5enu.json?$select=street_name,street_
number
● Element:
https://data.cityofchicago.org/resource/ydr8-5enu.json?id=911610
● Filtrat:
https://data.cityofchicago.org/resource/ydr8-5enu.json?street_name=ABERDEEN
Serveis sincrònics de dades
10. ODATA (Open Data Protocol)
● És un estàndard que permet la creació de serveis de dades REST-ful.
● OData és en realitat una API REST que especifica un protocol determinat que
defineix bones pràctiques per construir bons serveis REST.
● Cada implementació OData és, en realitat, un servei web REST.
● Els recursos són identificats per una URL i definits en un model de dades
● Està basat en diferents estàndard d’Internet: HTTP, XML, Atom, JSON.
● ODATA és publicat per Microsoft sota Open Specification Promise.
● Enllaç: http://www.odata.org
Serveis sincrònics de dades
11. ODATA (Open Data Protocol). Exemples
http://cloudbcnodata.cloudapp.net/DataBrowser/Data/OPENDATAACCIDENTSGUBCN2015 (GUI)
Accés a un recurs (XML):
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015
● Subrecursos:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$select=mesdea
ny,diademes,horadedia
● Element:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$filter=numero
dexpedient eq '2015S001576'
● Filtrat:
http://cloudbcnodata.cloudapp.net:8080/v1/Data/OPENDATAACCIDENTSGUBCN2015/?$filter=codidistricte eq 5
Serveis sincrònics de dades
13. Sabeu què és una API?
Utilitzeu serveis de les APIs
en el vostre dia a dia?
Quins?
Teniu el widget del tems al mòbil?
Activitat
Activitat, temps: 5 minuts
14. ...una interfície de programació d'aplicacions on es descriu com els
programaris poden interactuar entre ells.
Per exemple API d’OpenWeatherMap
https://openweathermap.org/api
Exemple de petició a Múnic:
http://samples.openweathermap.org/data/2.5/forecast?q=M%C3%BCn
chen,DE&appid=b1b15e88fa797225412429c1c50c122a1
Els portals de dades obertes van evolucionant cap a plataformes de
serveis sincronitzats basats en APIs.
L’èxit de les dades obertes no vindrà per l’usuari que baixa un arxiu, sinó
per consum de les dades de aplicacions i serveis web.
Una API és...
15. Socrata (https://socrata.com/)
● És un producte comercial.
● És una plataforma per a la publicació de dades de govern obert, està molt
difosa entre les administracions catalanes.
● Les dades poden ser publicades a través d'una interfície web o un API.
● Es poden fer consultes via una interfície gràfica web específica del client.
● El lloc web proporciona una visualització de les dades en taules, gràfics,
taules i mapes.
● Les dades poden descarregar-se en formats com CSV, JSON, jeojson,
Excel, XML, ODATA...
● Socrata ha desenvolupat la seva pròpia API REST SODA que pot ser
utilitzat no només per descarregar les dades, sinó també per pujar i
publicar les dades a la plataforma.
https://dev.socrata.com/docs/endpoints.html
Plataformes de Dades Obertes. APIs
16. CKAN (https://ckan.org/)
● És de codi obert. https://github.com/ckan/ckan/network
● Impulsada per l’OKFN. Utilitzada per l’ajuntament de Barcelona
● Compte amb una viva comunitat de desenvolupadors
● Està ben documentada incloent instruccions d'instal•lació.
● Multitud de formats d’arxius com a font de dades i exportació.
● Disposa de l’API CKAN Action que exposa als clients les seves
funcionalitats bàsiques. http://docs.ckan.org/en/latest/api/
Exemples: http://docs.ckan.org/en/latest/api/#api-examples
Plataformes de Dades Obertes. APIs
17. 4. Eines per la reutilització
massiva i automàtica de dades
18. Algunes eines que cal conèixer
● Fulls de càlcul Google Sheets. Despeses personal. Aj. Granollers
https://opendata.granollers.cat/api/views/r63v-b675/rows.csv?accessType=DOWNLOAD
● Eina de mapificació de dades Instamaps. Bicing
http://opendata-ajuntament.barcelona.cat/data/ca/dataset/bicing/resource/62c0c9cf-c104-4105-
8e0d-6f483d39c0b2/proxy
19. Activitat
Activitat individual. Temps: 15 minuts
Fem servir Google Sheets per treballar amb datasets
automatitzats de dades.
Increment despeses de personal, aj. Granollers
https://support.google.com/docs/answer/3093342?hl=en
=IMPORTDATA("https://opendata.granollers.cat/api/views/r63v-b675/rows.csv?accessType=DOWNLOAD")
https://docs.google.com/spreadsheets/d/1TmB8WwoT5WJ2Cc7AngWgYzam8PD9IhbdMn7HJ0goyfg/edit#gid=0
<iframe width="600" height="371" seamless frameborder="0" scrolling="no"
src="https://docs.google.com/spreadsheets/d/1TmB8WwoT5WJ2Cc7AngWgYzam8PD9IhbdMn7HJ0goyfg/pubchart?oid=134
9816622&format=interactive"></iframe>
https://opendata.granollers.cat/resource/2qb3-kafz.json?place=REGIDOR
20. Activitat
Activitat individual. Temps: 15 minuts
Fem servir Instamaps per treballar amb datasets automatitzats
de dades. Servei json. Open data BCN, bicing
http://opendata-ajuntament.barcelona.cat/data/ca/dataset/bicing/resource/62c0c9cf-c104-4105-8e0d-6f483d39c0b2/proxy
https://www.instamaps.cat/instavisor/1611695/2ffdaae88c0994e62f353296368ede84/Estat_bicing.html?3D=false
<iframe width="640" height="480" frameborder="0" scrolling="no" marginheight="0" marginwidth="0"
src="https://www.instamaps.cat/instavisor/1611695/2ffdaae88c0994e62f353296368ede84/Estat_bicing.html?3D=false&em
bed=1" ></iframe>
http://opendata-ajuntament.barcelona.cat/
22. Algunes eines que cal conèixer
● Plataforma de mineria de dades amb UI
KNIME
● Programa de mineria de dades
RapidMiner
● Programa de mineria de dades
Orange Canvas