Atvērtie saistītie dati(Linked Open Data)Uldis Bojārsuldis.bojars@gmail.comLU Datorikas fakultāte29-Apr-2013
Saistīto datu “ģimene”• Linked Data (saistītie dati)– principi datu publicēšanai tīmeklī• Open Data (atvērtie dati)– infor...
"Linked Data is the Semantic Web doneright, and the Web done right”Tim Berners-Lee – LDoW 2008
Proposalhttp://www.w3.org/History/1989/proposal.htmlTim Berners-Lee. „Weaving the Web”http://www.w3.org/People/Berners-Lee...
URI• Uniform Resource Identifier (URI)– vienota formāta teksta virkne, kas ļauj identificētresursus (tīmekļa lapas, u.c.)–...
HTTP• HyperText Transfer Protocol (HTTP)– klienta-servera datu apmaiņas protokols,kas ir tīmekļa uzbūves pamatā– izmantoja...
Web of Data( Datu tīmeklis )• datoram saprotami dati– ne tikai tīmekļa lapas• globāli un publiski pieejami– to nodrošina t...
Linked Data Principles1. Use URIs as names for things2. Use HTTP URIs so that people can look upthose names.3. When someon...
10Pamati• URI – Uniform Resource Identifier– Vienota norāžu (identifikatoru) sistēma – lietojotvienu URI mēs varam būt dro...
RDF izteikumiSubject Predicate ObjectVienkārši, nepaplašināti teikumi.
RDF grafs
13RDF vārdnīcas / ontoloģijas• Lai mēs varētu izteikt apgalvojumus par pasauli unlietām tajā, ir nepieciešami vārdi – liet...
14Ontoloģiju piemēri• Dublin Core Metadata Terms– http://dublincore.org/documents/dcmi-terms/– Objektu metadatu informācij...
Plašāka informācija• Short introduction to the Semantic Web– Ivan Herman, 2010-06-04– http://www.w3.org/People/Ivan/CorePr...
“Data is a 21st century commodity:it’s the new oil.There’s almost no limit to the economic andsocial wonders it can genera...
“A piece of data or content is openif anyone is free to use, reuse, andredistribute it—subject only, at most, to the requi...
Motivācija datu atvērtībai• Publiskā sektora informācijas (PSI) atvērtība• Mērķi:– publiskā sektora (valdības, ...) iestāž...
ES PSI direktīva• 2003. gada ES PSI (Public Sector Information)direktīvas revīzija1. “If you make it public, it should be ...
ES PSI direktīva• The best way to get value from data is to give itaway– The Guardian– http://www.guardian.co.uk/world/dat...
http://open-data.europa.eu/en
UK Open Data Institute• Non-profit, est. 2012• 10 million GBP funding fromthe UK Technology Strategy Board... will catalys...
http://datahub.io
http://opendata.lv
Atvērtie dati Latvijā• Atvērto datu interešu grupa– http://groups.google.com/group/opendata_lv• OpenData.LV– Atvērto datu ...
Saeimas balsojumu dati• Dati tika “atvērti” (savākti no Saeimaslapas, apstrādāti un vizualizēti) 2. Latvijasatvērto datu “...
Atvērto datu veidi• Valdības dati• Pašvaldību dati• Kultūras mantojuma dati• Izglītības un zinātnes organizāciju dati• Por...
University of Southampton• universitātes atvērtie dati– http://data.southampton.ac.uk/– publicē atvērtos datus kopš 2006. ...
Lielveikalu produktu cenas• “A bill to allow shoppers instant, online accessto supermarket prices, product by product ands...
http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html
LOD project• Linking Open Data community project– http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/LinkingOpenDa...
http://inkdroid.org/journal/2010/06/04/the-5-stars-of-open-linked-data/
Linking Open Data cloud diagram (Sept 2011),by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/
• Virtual Internet Authority File– saites no Wikipedia– Jānis Rainis: http://viaf.org/viaf/77113948/• => http://libris.kb....
The Europeana library• Metadata for all Europeana objects isopen, available under a CC0 license– http://pro.europeana.eu/l...
Saistīto datu izmantošana• SPARQL vaicājumu valoda– RDF grafiem paredzēta valoda, līdzīga SQL– http://www.w3.org/TR/sparql...
SPARQL piemērsPREFIX dbo: <http://dbpedia.org/ontology/>SELECT ?name ?birth ?death ?person WHERE {?person dbo:birthPlace :...
Atvērtie + saistītie datiKā atvērto datu projekti izmantosaistīto datu tehnoloģijas?
• “The UK government is convinced linked datais the best approach available– for publishing data in a hugely diverse anddi...
Atvērtie + saistītie dati1. Datu kopu metadatu katalogi– metadatu shēmas / vārdnīcas / ontoloģijas2. URI = objektu identif...
URI = objektu identifikatori• Lielbritānijā:– URI veidošanas kārtība noteikta valsts līmenī• Designing URI Sets for the UK...
Datu kopu katalogi• data.gov.uk– izmanto CKAN.org programmatūru– datu kopu katalogam ir JSON API• http://data.gov.uk/datas...
Linking Open Data cloud diagram (Sept 2011),by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/
Southampton University• Where possible we aim to provide the data asfull ★★★★★ data. Most datasets areavailable as RDF+XML...
Piemērs• Dataset: Southampton Bus Information– http://data.southampton.ac.uk/dataset/bus-info.html• datu kopas metadati• U...
Piemērs• Dataset: BBC Music data– http://datahub.io/dataset/bbc-music• datu kopas metadati (datahub.io)• datu piemēri (SPA...
Kopsavilkums• Saistītie dati– tehnoloģija [saistītu] datu publicēšanai tīmeklī• Atvērtie dati– informācija, kas ir brīvi u...
Diskusija1. Kādi atvērto datu veidi jūs interesēvai būtu jums vajadzīgi?2. Kas nepieciešams atvērto datu attīstībaiLatvijā...
Linked Open Data / Atvērtie saistītie dati
Linked Open Data / Atvērtie saistītie dati
Linked Open Data / Atvērtie saistītie dati
Linked Open Data / Atvērtie saistītie dati
Linked Open Data / Atvērtie saistītie dati
Linked Open Data / Atvērtie saistītie dati
Upcoming SlideShare
Loading in …5
×

Linked Open Data / Atvērtie saistītie dati

948 views

Published on

Open lecture at the University of Latvia

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
948
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
7
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • To-Do: - pieliktTimBLTEd-talk
  • http://blog.okfn.org/2012/09/20/rest-assured-the-eu-is-behind-you-says-european-commissioner-neelie-kroes-to-okfestival-participants/
  • http://blog.okfn.org/2012/09/20/rest-assured-the-eu-is-behind-you-says-european-commissioner-neelie-kroes-to-okfestival-participants/
  • https://ec.europa.eu/digital-agenda/en/blog/open-data-and-re-use-of-public-sector-information
  • http://www.theodi.org/sites/default/files/360s/Office/office.htmlhttp://www.theodi.org/faq
  • Neo (workshops, Japāna)
  • nākamāsaktivitātes / virzieni: - atvieglotinformācijasapstrādi (= data journalist’s workflow)
  • http://www.guardian.co.uk/news/datablog/2011/may/19/train-stations-listed-rail#datacilvēkikāsensori
  • atvērtodatuieguvumi: unexpected re-use - nekadnevarzinātkāduspielietojumuscilvēkiizgudrosizmantojot linked data, tie paširīkistrādāarīarcituuniversitāšudatiem
  • https://twitter.com/JeniT/status/326992015856377856Tesco Open Data: want to expose customers, places, products, orders, journeys, rewards as open data &amp; link to other sources
  • http://richard.cyganiak.de/2007/10/lod/šiedatiirinteresantāki
  • http://europeana.ontotext.com/
  • varuzdotbagātākusvaicājumuskānezināmaformāta CSV datiem
  • kādažādosatvērtodatuprojektosizmantosaistītosdatus
  • skat. JeniTblogaierakstu
  • metadatukatalogi
  • Nepieciešamairdatukopuatklāšanasfunkcija + datukopuaprakstufederēšana(oriģinālipublicēkopāarvisiemmetadatiem, tad apkopo)
  • http://lod-cloud.net/versions/2011-09-19/lod-cloud_colored.html
  • http://lod-cloud.net/versions/2011-09-19/lod-cloud.html
  • Linked Open Data / Atvērtie saistītie dati

    1. 1. Atvērtie saistītie dati(Linked Open Data)Uldis Bojārsuldis.bojars@gmail.comLU Datorikas fakultāte29-Apr-2013
    2. 2. Saistīto datu “ģimene”• Linked Data (saistītie dati)– principi datu publicēšanai tīmeklī• Open Data (atvērtie dati)– informācija, kas ir brīvi un publiski izmantojama– publiskā sektora (valsts, ...) atvērtie dati• Linked Open Data (atvērtie saistītie dati)– a) atvērtie dati + saistītie dati– b) Linking Open Data [community] project
    3. 3. "Linked Data is the Semantic Web doneright, and the Web done right”Tim Berners-Lee – LDoW 2008
    4. 4. Proposalhttp://www.w3.org/History/1989/proposal.htmlTim Berners-Lee. „Weaving the Web”http://www.w3.org/People/Berners-Lee/Weaving/
    5. 5. URI• Uniform Resource Identifier (URI)– vienota formāta teksta virkne, kas ļauj identificētresursus (tīmekļa lapas, u.c.)– veidi = URL un URN– ietver protokolu (URL gadījumā) vai URN shēmuhttp://www.df.lu.lv/par/http://www.w3.org/People/Berners-Lee/card#i
    6. 6. HTTP• HyperText Transfer Protocol (HTTP)– klienta-servera datu apmaiņas protokols,kas ir tīmekļa uzbūves pamatā– izmantojam ikdienā, par to daudz nedomājot > GET /par/ HTTP/1.1> Host: www.df.lu.lv< HTTP/1.0 200 OK< ...
    7. 7. Web of Data( Datu tīmeklis )• datoram saprotami dati– ne tikai tīmekļa lapas• globāli un publiski pieejami– to nodrošina tīmeklis• saistīti savā starpā (linked)
    8. 8. Linked Data Principles1. Use URIs as names for things2. Use HTTP URIs so that people can look upthose names.3. When someone looks up a URI, provideuseful information, using the standards- RDF, SPARQL4. Include links to other URIs. so that they candiscover more things.http://www.w3.org/DesignIssues/LinkedData.html
    9. 9. 10Pamati• URI – Uniform Resource Identifier– Vienota norāžu (identifikatoru) sistēma – lietojotvienu URI mēs varam būt droši, ka runājam par vienuun to pašu lietu / jēdzienu• RDF – Resource Description Framework– Resursu apraksta ietvars (formāts) – ļauj izteiktapgalvojumus vienkāršu teikumu (“trijnieku”) formā– “Trijnieki” kas sastāv no teikuma priekšmeta(subject), īpašības (property) un vērtības / objekta(object)
    10. 10. RDF izteikumiSubject Predicate ObjectVienkārši, nepaplašināti teikumi.
    11. 11. RDF grafs
    12. 12. 13RDF vārdnīcas / ontoloģijas• Lai mēs varētu izteikt apgalvojumus par pasauli unlietām tajā, ir nepieciešami vārdi – lietām, darbībām, ...• RDF vārdnīcas un ontoloģijas apraksta pasaules modeliun dod lietām vārdus (URI), kas ļauj uz tāmviennozīmīgi atsaukties veidojot RDF “trijniekus”• Klases – rdfs:Class; rdf:type; rdfs:subClassOf• Predikāti – rdf:Property; rdfs:subPropertyOf;rdfs:range; rdfs:domain
    13. 13. 14Ontoloģiju piemēri• Dublin Core Metadata Terms– http://dublincore.org/documents/dcmi-terms/– Objektu metadatu informācija• Friend of a Friend (FOAF) Vocabulary– http://xmlns.com/foaf/spec/– Informācija par cilvēkiem un to sociālajiem tīkliem• Semantically-Interlinked Online Communities(SIOC)– http://rdfs.org/sioc/spec/– Informācija par cilvēku radīto saturu (sociālajā tīmeklī)
    14. 14. Plašāka informācija• Short introduction to the Semantic Web– Ivan Herman, 2010-06-04– http://www.w3.org/People/Ivan/CorePresentations/IntroThroughExample/• Linked Data– http://linkeddata.org/
    15. 15. “Data is a 21st century commodity:it’s the new oil.There’s almost no limit to the economic andsocial wonders it can generate: ...”Neelie Kroes (at OKFN 2012),VP of the European Commission andCommissioner for the Digital Agenda
    16. 16. “A piece of data or content is openif anyone is free to use, reuse, andredistribute it—subject only, at most, to the requirement toattribute and/or share-alike.”The Open Definition:http://opendefinition.org/
    17. 17. Motivācija datu atvērtībai• Publiskā sektora informācijas (PSI) atvērtība• Mērķi:– publiskā sektora (valdības, ...) iestāžu darbībascaurspīdīgums, atklātība– veicināt iedzīvotāju aktivitāti un iesaistīšanos– uzlabot publiskā sektora iestāžu efektivitāti uniekšējo komunikāciju– veicināt inovācijas un ekonomisko aktivitāti
    18. 18. ES PSI direktīva• 2003. gada ES PSI (Public Sector Information)direktīvas revīzija1. “If you make it public, it should be openfor everyone to reuse”2. Includes cultural heritage(libraries, museums, archives) data3. Explicit mention of “machine readable” formats andmetadata4. Where charges exist, they will be capped at "marginalcosts incurred for their reproduction anddissemination".
    19. 19. ES PSI direktīva• The best way to get value from data is to give itaway– The Guardian– http://www.guardian.co.uk/world/datablog/2011/dec/13/eu-open-government-data• The new PSI Directive – as good as it seems?– Open Knowledge Foundation– http://blog.okfn.org/2013/04/19/the-new-psi-directive-as-good-as-it-seems/
    20. 20. http://open-data.europa.eu/en
    21. 21. UK Open Data Institute• Non-profit, est. 2012• 10 million GBP funding fromthe UK Technology Strategy Board... will catalyse an open data culture that haseconomic, environmental and social benefits....will convene world-class experts tocollaborate, incubate, nurture and mentor new ideas, andpromote innovation.... will enable anyone to learn and engage with opendata, and empower our teams to help others throughprofessional coaching and mentoring.
    22. 22. http://datahub.io
    23. 23. http://opendata.lv
    24. 24. Atvērtie dati Latvijā• Atvērto datu interešu grupa– http://groups.google.com/group/opendata_lv• OpenData.LV– Atvērto datu kopas: http://data.opendata.lv/• Valsts līmenī notiek konsultācijas par PSIdirektīvas ieviešanu (bet pagaidām nav“taustāmi” rezultāti = atvērti dati)
    25. 25. Saeimas balsojumu dati• Dati tika “atvērti” (savākti no Saeimaslapas, apstrādāti un vizualizēti) 2. Latvijasatvērto datu “hakatona” laikā• Exploring the Networks in Open Public Data– Uldis Bojārs, Valdis Krebs, Pēteris Ručevskis– http://www.slideshare.net/CaptSolo/exploring-the-networks-in-open-public-data-13391338
    26. 26. Atvērto datu veidi• Valdības dati• Pašvaldību dati• Kultūras mantojuma dati• Izglītības un zinātnes organizāciju dati• Portālu un ziņu aģentūru dati– ar rakstiem saistītā informācija• “Crowdsourced” dati– cilvēki, sociālais tīmekli• ... citu organizāciju un cilvēku apkopoti dati ...
    27. 27. University of Southampton• universitātes atvērtie dati– http://data.southampton.ac.uk/– publicē atvērtos datus kopš 2006. gada• piemēram:– universitātes kursu informācija– ēku elektrības patēriņš• data.ac.uk launched in March 2013.– It will provide a hub for linked data in .ac.ukopen data services, and aggregate open datafrom UK academia.
    28. 28. Lielveikalu produktu cenas• “A bill to allow shoppers instant, online accessto supermarket prices, product by product andstore by store will be introduced to Parliamentthis week”– http://www.theodi.org/news/gains-opening-supermarket-pricing-information-%E2%80%9Cshould-not-be-under-estimated%E2%80%9D-says-odi
    29. 29. http://www.ted.com/talks/tim_berners_lee_on_the_next_web.html
    30. 30. LOD project• Linking Open Data community project– http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/LinkingOpenData– (sk. jaunumus News sadaļā)• Sākumā: entuziastu grupas projekts esošo datu kopu“atvēršanai” un “linkošanai”– DBPedia - http://dbpedia.org/About• Pilnībā atbilst saistīto datu definīcijai– 1) URI, HTTP, RDF, ...– 2) saites datu kopu starpā
    31. 31. http://inkdroid.org/journal/2010/06/04/the-5-stars-of-open-linked-data/
    32. 32. Linking Open Data cloud diagram (Sept 2011),by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/
    33. 33. • Virtual Internet Authority File– saites no Wikipedia– Jānis Rainis: http://viaf.org/viaf/77113948/• => http://libris.kb.se/auth/85912 => DBPedia• DBPedia– Jānis Rainis: http://dbpedia.org/page/Rainis• => http://dbpedia.org/page/Category:Latvian_poets
    34. 34. The Europeana library• Metadata for all Europeana objects isopen, available under a CC0 license– http://pro.europeana.eu/linked-open-data• Large subset of this data was transformed to andpublished as linked data– http://pro.europeana.eu/datasets• Data is represented using the Europeana DataModel (EDM) [ontology]
    35. 35. Saistīto datu izmantošana• SPARQL vaicājumu valoda– RDF grafiem paredzēta valoda, līdzīga SQL– http://www.w3.org/TR/sparql11-overview/– ļauj uzdot RDF (saistītajiem) datiem dažādaveida vaicājumus• DBPedia– Online Access: http://dbpedia.org/OnlineAccess#h28-6– piem.: “cilvēki, kas dzimuši Rīgā pirms 1900 gada”
    36. 36. SPARQL piemērsPREFIX dbo: <http://dbpedia.org/ontology/>SELECT ?name ?birth ?death ?person WHERE {?person dbo:birthPlace :Riga .?person dbo:birthDate ?birth .?person foaf:name ?name .?person dbo:deathDate ?death .FILTER (?birth < "1900-01-01"^^xsd:date) .}ORDER BY ?name
    37. 37. Atvērtie + saistītie datiKā atvērto datu projekti izmantosaistīto datu tehnoloģijas?
    38. 38. • “The UK government is convinced linked datais the best approach available– for publishing data in a hugely diverse anddistributed environment,– in a gradual and sustainable way.”• source: “Why Linked Data for data.gov.uk?”– http://www.jenitennison.com/blog/node/140
    39. 39. Atvērtie + saistītie dati1. Datu kopu metadatu katalogi– metadatu shēmas / vārdnīcas / ontoloģijas2. URI = objektu identifikatori– vienota objektu identifikācijas kārtība3. Pilnvērtīgi saistīto datu avoti– RDF dati (+ citi datu veidi)– saites datu kopu starpā
    40. 40. URI = objektu identifikatori• Lielbritānijā:– URI veidošanas kārtība noteikta valsts līmenī• Designing URI Sets for the UK Public Sector– http://www.cabinetoffice.gov.uk/resource-library/designing-uri-sets-uk-public-sector• Piemērs:– http://{domain}/doc/{concept}/{reference}– http://data.archiveshub.ac.uk/id/person/ncarules/skinnerbeverley1938-1999artist– Dažādi URI veidi:• Identifier URI, Document URI, Representation URI
    41. 41. Datu kopu katalogi• data.gov.uk– izmanto CKAN.org programmatūru– datu kopu katalogam ir JSON API• http://data.gov.uk/dataset/england-national-crime-mapping• EU open data portal– Dataset catalogue = SPARQL endpoint• http://open-data.europa.eu/en/linked-data
    42. 42. Linking Open Data cloud diagram (Sept 2011),by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/
    43. 43. Southampton University• Where possible we aim to provide the data asfull ★★★★★ data. Most datasets areavailable as RDF+XML and Turtle.– http://data.southampton.ac.uk/faq.html• However, that may be a long process, and wewould rather make good data availablenow, than perfect data the day aftertomorrow.
    44. 44. Piemērs• Dataset: Southampton Bus Information– http://data.southampton.ac.uk/dataset/bus-info.html• datu kopas metadati• URI identifikatori: pieturām, maršrutiem• dati RDF formā (RDF/XML, Turtle)
    45. 45. Piemērs• Dataset: BBC Music data– http://datahub.io/dataset/bbc-music• datu kopas metadati (datahub.io)• datu piemēri (SPARQL endpoint, RDF/XML)• URI identifikatori: izpildītāji, albumi, ...• dati RDF formā (RDF/XML)
    46. 46. Kopsavilkums• Saistītie dati– tehnoloģija [saistītu] datu publicēšanai tīmeklī• Atvērtie dati– informācija, kas ir brīvi un publiski izmantojama– publiskā sektora atvērtie dati ir aktuāla tēma• Atvērtie saistītie dati– LOD projekts– atvērtie + saistītie dati• URI identifikatori, datu kopu metadati, saistītie dati
    47. 47. Diskusija1. Kādi atvērto datu veidi jūs interesēvai būtu jums vajadzīgi?2. Kas nepieciešams atvērto datu attīstībaiLatvijā?3. Kādas (jūsuprāt) ir sakarības starpatvērtajiem datiem un saistītajiem datiem?

    ×