Desarrollo práctico de aplicaciones Linked Data: metodología y herramientas

Desarrollo práctico de aplicaciones Linked Data: metodología y herramientas Guillermo Álvaro Rey La Granja de San Ildefonso, 14 Julio 2010 Cursos de Verano UPM 2010 Linked Data: ¿Una oportunidad o un riesgo?

Desarrollo práctico de aplicaciones Linked Data Intro ¿De qué va la lección? Desarrollo práctico de aplicaciones Linked Data : Metodología y herramientas

Desarrollo práctico de aplicaciones Linked Data Agenda 1: Linked Data (intro y recordatorio) 2: Linked Data desde BD (recordatorio) 3: Aplicaciones Linked Data (ejemplo concreto, hands-on) 4: Consumo de Linked Data (más ejemplos)

Desarrollo práctico de aplicaciones Linked Data Intro Linked Data (Re-)Introducción a Linked Data 1

Desarrollo práctico de aplicaciones Linked Data Intro Linked Data
Linked Data : ¿Por qué?
Para pasar de una Web de documentos a una Web de Datos
Ejemplo:
¿Jugadores de fútbol de la provincia de Albacete que han marcado un gol en la final de la Copa del Mundo?

¿?

No debería ser…?

Mejor encontrar que buscar:
(jugadores de fútbol de la provincia de Albacete que jugaron la Eurocopa 2008)

¿Qué sucede?
Nos interesan “cosas” concretas, no documentos
Tenemos que encontrar las cosas que buscamos en los documentos
Las máquinas no pueden saber (aunque adivinan bien) los contenidos
Publicando datos en bruto…
Hacemos más fácil a las máquinas encontrar cosas

Pero… si ya publicamos datos en bruto:
XML
BDs
APIs
CSV
XLS
…
Cierto: Pero en diferentes formatos, modelos…
Difícil de integrar
Datos no enlazados

Igual que hay una manera estándar de publicar en la Web…
HTML

Formato de datos en esta gran BD:
RDF
(Resource Description Framework)
Modelo de datos
Basado en tripletas: sujeto, verbo, predicado . Ej:
<Guillermo> <vive en> <Madrid>
<Madrid> <es la capital de> <España>
<España> <es campeona de> <Mundial de Fútbol>
…
Serializable en diferentes formatos:
RDF/XML, RDFa, N3, Turtle, JSON…

Ejemplo, info en una API
Servicio Operación Mensaje entrada Mensaje salida

Desarrollo práctico de aplicaciones Linked Data Intro Linked Data http://...service#lastFm
Esto en RDF… (cada cosa tiene una URI)
http://...operation#getEvents http://...inMessage http://...outMessage hasOperation hasInput hasOutput Last.fm service geo.getEvents label label

Enlazando estos datos con otros (ej: comentario)
http://...operation#getEvents http://...inMessage http://...outMessage hasOperation hasInput hasOutput Last.fm service geo.getEvents label label http://...review http://...reviewer Guillermo Great music service! hasReview hasReviewer name text

Y más…
http://...operation#getEvents http://...inMessage http://...outMessage hasOperation hasInput hasOutput Last.fm service geo.getEvents label label http://...review http://...reviewer Guillermo Great music service! hasReview hasReviewer name text http://dbpedia.org/resource/Madrid lives in

Datos en la Web expuestos como RDF, y enlazados con otros datos. Eso es:
Linked Data!

Los cuatro principios (Tim Berners-Lee, 2006)
Usar URIs para identificar cosas
Usar el protocolo HTTP para esas URIs
Ofrecer información útil en esas direcciones
Incluir enlaces a otras URIs
Image by http://www.flickr.com/photos/PhOtOnQuAnTiQuE/

2007
2008
2009

La Web se transforma en una gran Base de Datos!
¿Cómo consultar esta gran BD?
SPARQL
(W3C Recommendation)
http://www.w3.org/TR/rdf-sparql-query/

Ejemplo SPARQL: “Dame los últimos 5 comentarios sobre el servicio http://...#lastFm”
PREFIX rev: <http://purl.org/stuff/rev#>
SELECT ?text ?when
WHERE
{
< http://...#lastFm > rev:hasReview ?review .
?review rev:text ?text .
?review rev:createdOn ?when .
}
ORDER BY DESC(?when)
LIMIT 5

Desarrollo práctico de aplicaciones Linked Data Exponiendo datos como Linked Data Exponiendo datos como Linked Data 2

Desarrollo práctico de aplicaciones Linked Data Exponiendo datos como Linked Data
Dos grandes vías:
1) De Bases de Datos relacionales a Linked Data
D2R
Triplify
Virtuoso
Ultrawrap
…
2) Usando Repositorios RDF nativos
Sesame
Jena
Owlim
Talis platform
…
(También en CMS tipo Drupal 7, en HTML + RDFa…)

Ejemplo: Triplify
http://triplify.org

Ejemplo: D2R Server
http://www4.wiwiss.fu-berlin.de/bizer/d2r-server/

Desarrollo práctico de aplicaciones Linked Data Caso práctico: LUF Aplicación Linked Data (ejemplo usando repositorio nativo) 3

Desarrollo práctico de aplicaciones Linked Data Caso práctico: LUF
Creando una aplicación con repositorio. Caso práctico:
Linked User Feedback
Un servicio para almacenar y exponer como Linked Data feedback de los usuarios en forma de:
Ratings
Comentarios
Etiquetas
http://soa4all.isoco.net/luf/about

¿Qué necesitamos? (I)
Vocabularios : (usados en Revyu.com)
Review vocabulary
http://www.purl.org/stuff/rev
Tag Ontology
http://www.holygoat.co.uk/projects/tags/
(Añadidos posibles)
Provenance vocabulary
http://purl.org/net/provenance/

Desarrollo práctico de aplicaciones Linked Data Caso práctico: LUF @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rev: <http://purl.org/stuff/rev#> . @prefix tags: <http://www.holygoat.co.uk/owl/redwood/0.1/tags/> . <http://example.com/items#item1> rev:hasReview <http://soa4all.isoco.net/luf/ratings/xxx> ; rev:hasReview <http://soa4all.isoco.net/luf/comments/yyy> ; tags:tag <http://soa4all.isoco.net/luf/taggings/zzz> . <http://soa4all.isoco.net/luf/ratings/xxx> rdf:Type rev:Review ; rev:rating "3" ; rev:minRating "1" ; rev:maxRating "5" ; rev:reviewer <http://example.com/users#user1> ; rev:createdOn "2010-06-22T12:29:28+0200"^^xsd:dateTime . <http://soa4all.isoco.net/luf/comments/yyy> rdf:Type rev:Review ; rev:text "This is a comment" ; rev:reviewer <http://example.com/users#user1> ; rev:createdOn "2010-06-22T10:59:01+0200"^^xsd:dateTime . <http://soa4all.isoco.net/luf/taggings/zzz> rdf:Type tags:Tagging ; tags:associatedTag "one tag" , "other tag" ; tags:taggedBy <http://example.com/users#user1> ; tags:taggedOn "2010-06-22T13:03:05+0200"^^xsd:dateTime . Un rating: Un comentario: Un etiquetado:

Desarrollo práctico de aplicaciones Linked Data Caso práctico: LUF @prefix rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#> . @prefix rev: <http://purl.org/stuff/rev#> . @prefix tags: <http://www.holygoat.co.uk/owl/redwood/0.1/tags/> . <http://example.com/items#item1> rev:hasReview <http://soa4all.isoco.net/luf/ratings/xxx> ; rev:hasReview <http://soa4all.isoco.net/luf/comments/yyy> ; tags:tag <http://soa4all.isoco.net/luf/taggings/zzz> . <http://soa4all.isoco.net/luf/ratings/xxx> rdf:Type rev:Review ; rev:rating "3" ; rev:minRating "1" ; rev:maxRating "5" ; rev:reviewer <http://example.com/users#user1> ; rev:createdOn "2010-06-22T12:29:28+0200"^^xsd:dateTime . <http://soa4all.isoco.net/luf/comments/yyy> rdf:Type rev:Review ; rev:text "This is a comment" ; rev:reviewer <http://example.com/users#user1> ; rev:createdOn "2010-06-22T10:59:01+0200"^^xsd:dateTime . <http://soa4all.isoco.net/luf/taggings/zzz> rdf:Type tags:Tagging ; tags:associatedTag "one tag" , "other tag" ; tags:taggedBy <http://example.com/users#user1> ; tags:taggedOn "2010-06-22T13:03:05+0200"^^xsd:dateTime . http://example.com/items#item1 http://soa4all.isoco.net/luf/comments/yyy http://example.com/users#user1 This is a comment hasReview hasReviewer text

¿Qué necesitamos? (II)
Un repositorio RDF :
Para almacenar los datos semánticamente.
Usaremos SESAME
http://www.openrdf.org/

Instalando Sesame :
Bajarlo de http://www.openrdf.org/download.jsp
Hace falta JDK, Tomcat
(en la memoria USB: openrdf-sesame-2.3.0-sdk.zip )
Desplegar el .war en un tomcat e iniciar
Comprobar: http://localhost:8080/openrdf-sesame

Usando consola para meter tripletas en Sesame :
Conectar al Sesame
Crear repositorio
Añadimos contenido
(y para borrar)

Y ya tenemos SPARQL endpoint con el Sesame !
http://localhost:8080/openrdf-sesame/repositories/LUF
Ejemplo de query:
http://localhost:8080/openrdf-sesame/repositories/LUF?query=PREFIX%20rev%3A%20%3Chttp%3A%2F%2Fpurl.org%2Fstuff%2Frev%23%3E%20SELECT%20%3Ftext%20%3Fwhen%20WHERE%20%7B%20%20%20%20%3Fitem%20rev%3AhasReview%20%3Freview%20.%20%20%20%3Freview%20rev%3Atext%20%3Ftext%20.%20%20%20%3Freview%20rev%3AcreatedOn%20%3Fwhen%20.%20%7D%20ORDER%20BY%20DESC(%3Fwhen)%20LIMIT%205
Podemos ver todos los statements también:
http://localhost:8080/openrdf-sesame/repositories/LUF/statements

¿Qué necesitamos? (III)
Un frontend Linked Data :
Para exponer los datos como Linked Data (con content negotiation, etc.)
Usaremos Pubby
http://www4.wiwiss.fu-berlin.de/pubby/

Instalando Pubby :
Bajarlo de http://www4.wiwiss.fu-berlin.de/pubby/
(en la memoria USB: pubby-0.3.zip )
Desplegar la carpeta webapp (y renombrar) en el tomcat
Modificar el config.n3
Reiniciar tomcat
Comprobar: http://localhost:8080/LUF/

Y ya tenemos los datos expuestos como Linked Data con Pubby :
Acceso HTML:
http://localhost:8080/LUF/comments/7a584c3eda88adb9e085251ca346b608
http://localhost:8080/LUF/ratings/1a1f07fd9e221fee2538d1bbaf2d7426
http://localhost:8080/LUF/taggings/83c993d7d9f7ffee74db8b45c958f1c3
Con content-negotiation. También ofrece los datos como RDF/XML:
?output=n3
?output=xml
(bueno, estas urls de localhost no son realmente Linked Data;-)

Desarrollo práctico de aplicaciones Linked Data Caso práctico: LUF Añadidos (I): Una API

RDF2Go:
Abstracción java sobre repositorios RDF
Programación independiente del repositorio
http://rdf2go.semweb4j.org/
Alternativa, programar sobre la interfaz del repositorio

Desarrollo práctico de aplicaciones Linked Data Caso práctico: LUF Añadidos (II): Un SPARQL explorer

Snorql:
SPARQL explorer
http://wiki.github.com/kurtjx/SNORQL/
Ejemplo:
http://soa4all.isoco.net/luf/snorql/

Desarrollo práctico de aplicaciones Linked Data Consumiendo Linked Data Aplicaciones que consumen Linked Data 4

Desarrollo práctico de aplicaciones Linked Data Consumiendo Linked Data
Navegadores Linked Data (páginas y extensiones sobre navegadores, etc.)
Tabulator
http://www.w3.org/2005/ajar/tab
Disco
http://www4.wiwiss.fu-berlin.de/bizer/ng4j/disco/
LENA
http://www.uni-koblenz-landau.de/koblenz/fb4/institute/IFI/AGStaab/Research/systeme/lena
Marble
http://marbles.sourceforge.net/
VisiNav
http://visinav.deri.org/
…

Herramientas para visualizar relaciones.
Ejemplo RelFinder:
http://relfinder.semanticweb.org

Consumiendo Linked Data con SPARQL
Usando los SPARQL endpoints que exponen los diferentes conjuntos de datos
Ejemplos:
Dbpedia: http://dbpedia.org/sparql
UK Government: http://data.gov.uk/sparql
USA Government: http://semantic.data.gov/sparql
Musicbrainz: http://dbtune.org/musicbrainz/sparql
…
LUF: http://soa4all.isoco.net/luf/sparql

Un SPARQL endpoint es un servicio REST
HTTP GET con parámetro query
GET /sparql?query=PREFIX+...
Respuestas:
(usando la cabecera ACCEPT o vía parámetro ej. “& out=json ”)
RDF
XML
(JSON)

Ejemplo de integración de LUF
(via query al SPARQL endpoint)
SPICES (Semantic Platform for the Interaction and Consumption of Enriched Services) http://soa4all.isoco.net/spices/ iServe (Linked Data services repository) http://iserve.kmi.open.ac.uk/browser.html

Usando librerías para manejar SPARQL en diferentes entornos:
SPARQL Javascript
http://www.thefigtrees.net/lee/blog/2006/04/sparql_calendar_demo_a_sparql.html
RAP – RDF API for PHP
http://www4.wiwiss.fu-berlin.de/bizer/rdfapi/index.html
Sesame (Java)
http://www.openrdf.org/
Jena / ARQ (Java)
http://jena.sourceforge.net
PySPARQL (Python)
http://code.google.com/p/pysparql
…

Ejemplo: RAP (RDF API for PHP)
Usado en la página de LUF
http://soa4all.isoco.net/luf/about

Ejemplo: K-Analytics (Knowledge Analytics)
Sacando datos de iServe y otras fuentes…
<?xml version="1.0" encoding="UTF-8"?> <sparql xmlns:xsi=http://www.w3.org/2001/XMLSchema-instance xsi:schemaLocation="http://www.w3.org/2007/SPARQL/result.xsd"> <head> <variable name="op"/> <variable name="labelOp"/> </head> <results> <result> <binding name="op"> < uri> http://iserve.kmi.open.ac.uk/…#LastFmGetEventsOperation </uri> </binding> <binding name="labelOp"> <literal> geo.getEvents </literal> </binding> </result> </results> </sparql> PREFIX rdfs: <http://www.w3.org/2000/01/rdf-schema#> PREFIX wsl: <http://cms-wg.sti2.org/ns/minimal-service-model#> SELECT DISTINCT ?op ?labelOp WHERE { <http://iserve.kmi.open.ac.uk/...#LastFmEvents> wsl:hasOperation ?op . OPTIONAL{ ?op rdfs:label ?labelOp . } }

Desarrollo práctico de aplicaciones Linked Data Consumiendo Linked Data Ejemplo k-Analytics

The New York Times: Alumni In The News
http://data.nytimes.com/schools/schools.html

The New York Times: Código fuente disponible
… y son consultas SPARQL

Ejemplo: Clean Air Status and Trends (CASTNET)
http://data-gov.tw.rpi.edu/demo/exhibit/demo-8-castnet.php

Ejemplo: Research Funding Explorer
http://bis.clients.talis.com/

Ejemplo: Calidad de las aguas en playas asturianas
http://datos.fundacionctic.org/sandbox/asturias/playas/

Desarrollo práctico de aplicaciones Linked Data Consumiendo Linked Data Ejercicios y Ejemplos Extra

Relaciones entre películas en RelFinder:
“ Pulp Fiction”, “Kill Bill” y “Reservoir Dogs”

En data.gov.uk:
Colegios de la administración de Londres, que contengan la palabra “music”

Desarrollo práctico de aplicaciones Linked Data Consumiendo Linked Data Por sugerencia de Vader… ( http://dbpedia.org/resource/Darth_Vader )
(etc)
Asesinos en serie (de ficción) en la dbpedia
Image by http://www.flickr.com/photos/bflv/

Desarrollo práctico de aplicaciones Linked Data Fin Preguntas - Discusión Guillermo Álvaro Rey [email_address] @guillelamb ¡Gracias!

Desarrollo práctico de aplicaciones Linked Data Fin Agradecimientos / Acknowledgements
Credits go at least to the following people for ideas and particular examples:
Juan Sequeda @juansequeda (many ideas from his Consuming Linked Data slides at SemTech2010)
Olaf Hartig @olafhartig (Consuming Linked Data with SPARQL)
Michael Hausenblas @mhausenblas , (using Darth Vader example )
Leigh Dodds @ldodds (querying Edubase data )
(And in general to the LOD community:-)

http://aelid.isoco.net	21
http://lab.isoco.net	18
http://linkeddata.es	2

Desarrollo práctico de aplicaciones Linked Data: metodología y herramientas

by Guillermo Álvaro Rey on Jul 15, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

3 Embeds 41

Statistics

Desarrollo práctico de aplicaciones Linked Data: metodología y herramientas — Presentation Transcript