semantisch zoeken
over knowledge graph, semantisch web,
rdf, linked data, ontologieën, metadata, ...
VOGIN-IP-lezing 2014
...
semantisch zoeken
een deel van het materiaal in deze presentatie
wordt ook gebruikt in de eendaagse cursus
"semantisch zoe...
conflicting views?
Semantic Web Business: Going Nowhere
Slowly
I've been a semantic web skeptic for years.
SemWeb is usefu...
semantisch zoeken
vraag 1:
• wanneer is een zoeksysteem een semantisch
zoeksysteem?
.... als het erop staat?
eric sieverts...
semantisch zoeken
vraag 2:
• welke functionaliteit van een zoeksysteem zou u
semantisch noemen?
eric sieverts, maart 20145
semantisch zoeken
10 Things that Make Search a Semantic Search
[volgens Hakia dat zelf beweert semantische zoekmachine te ...
semantisch zoeken
Current trend : the semantic search system should be able to understand the
query and give relevant resu...
8
maar dat is
vooral vanuit
SEO perspectief
semantisch zoeken
samenvattend: globaal 3 soorten toepassingen
1. inschatten van de intentie van de zoeker - en liefst
con...
1. intentie van de zoeker
intentie of context van vraag kan worden bepaald:
• op basis van de lokatie van de zoeker
– glob...
intentie van de zoeker
intentie of context van vraag kan worden bepaald:
• op basis van lokatie
• op basis van analyse van...
eric sieverts, maart 2014
Wie op “Bach” zoekt, vindt vermoedelijk liever
gegevens over hem dan websites over hem.
Google's Knowledge Graph kent 500 ...
wat is in dit verband
een "graph"?
 een netwerk van al die concepten met
hun onderlinge relaties en kenmerken
14
graphs zijn nu "hot"
15 eric sieverts, maart 2014
social graph uit Twitter
social graph uit Facebook
relaties in Freebase
16 eric sieverts, maart 2014
meer uit de Knowledge Graph
generieke vragen
leveren lijstjes/"carousel",
soms in meer rubrie...
17 eric sieverts, maart 2014
18 eric sieverts, maart 2014
20 eric sieverts, maart 2014
feitelijk antwoord
boven gewone
resultaten
21
22 eric sieverts, maart 2014
vergelijkingen
23 eric sieverts, maart 2014
Bing heeft iets soortgelijks: "Satori"
maar dat reageert nog niet altijd zo
slim op combinaties van woorden
intermezzo: een onderzoekje
wat geeft beter antwoord op wat voor soort vragen?
zie: http://webzoek.pbworks.com/semantisch
...
intentie van de zoeker
intentie of context van vraag kan worden bepaald:
• op basis van de lokatie van de zoeker
• op basi...
2. bepalen van betekenis
betekenis herkennen van woorden en gegevens in te
indexeren tekst en/of in al gevonden resultaten...
example:
article from NYTimes
analysed by
….. >>
herkennen van "entiteiten"
29
example:
article from NYTimes
analysed by
"Open Calais"
http://viewer.opencalais.com/
30
example:
article from NYTimes
analysed by "Zemanta"
http://www.zemanta.com/demo/
31
betekenis door structuur
Facebook
• kent betekenis toe door gegevens gestructureerd op te slaan
• doet dat ook in een "gra...
2. bepalen van betekenis
betekenis herkennen van woorden en gegevens in te
indexeren tekst en/of in al gevonden resultaten...
sentiment detection
34
>> andere
voorbeelden
voorbeeld:
PDF document
geanalyseerd met
Dewey Classifier
automatische classificatie
35
resultaat van analyse
van PDF document
36
Google herkent
objecten in images
pinterest
biedt automatisch (?) gegenereerde
filters op onder meer recepten
?
2. bepalen van betekenis
betekenis herkennen van woorden en gegevens in te
indexeren tekst en/of in al gevonden resultaten...
eric sieverts, maart 2014
uit semantische codering
gestandaardiseerde markering van kenmerken in
webpagina's
voorbeelden v...
41
in huidig Google-interface
onzichtbaar en minder
handig geworden;
NB: alleen in google.com
bij Yahoo overzichtelijker
browser extensies
(in Chrome) om
embedded metadata
uit pagina's te pikken
standaardisatie van
kenmerken van producten
met "GR-ontologie"
volgens "RDFa“ in “XHTML”
43
44
nieuwe standaard van de zoekmachinegiganten: microdata
hiërarchie van kenmerken voor embeddable metadata in webpagina’s
45...
de concepten uit de
good relations ontology
zijn recent ook in
schema.org geïncorporeerd
door Google, Bing en Yahoo vastge...
microdata en RDFa
• toepassing van deze technieken is vaak "SEO-driven"
• Google biedt webmasters "Structured data testing...
wat heeft zoeker hieraan?
• zoeker kan gerichter zoeken en filteren
(zoals in Google's receptenzoeker)
• zoeker krijgt dui...
metadata tools
• er zijn handige browsertools (voor chrome) die analyse
maken van in webpagina aanwezige metadata volgens
...
hulp voor makers
van pagina's voor
toevoegen metadata
2. bepalen van betekenis
betekenis herkennen van woorden en gegevens in te
indexeren tekst en/of in al gevonden resultaten...
rdf
eric sieverts, maart 2014
RDF = resource description framework
• RDF is een standaard voor het beschrijven van de rela...
rdf tripels
eric sieverts, maart 2014
• eigenschappen (metadata) worden vastgelegd in zogenaamde
tripels: subject <predica...
rdf tripels grafisch
eric sieverts, maart 2014
subject <predicaat> object
doc1 <heeft auteur> auth1
auth1 <heeft naam> joh...
rdf - weergave in xml
eric sieverts, maart 2014
<rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
xmlns="ht...
rdf tripels
eric sieverts, maart 201462
naar idee van
Lucas Koster / IP
"Uit Berlijn"
boek
Uit Berlijn
"Armando"
Schuldig
...
rdf bekijken
eric sieverts, maart 201463
intermezzo RDF
voor het bekijken van RDF in webpagina's bestaan,
behalve een paar...
in semantisch web
wordt van "alles"
de betekenis
vastgelegd
eric sieverts, maart 2014
semantisch web
om betekenis ook te
k...
ontologieën
eric sieverts, maart 2014
"Ontology is the philosophical study of the nature of
being, becoming, existence, or...
ontologieën
eric sieverts, maart 2014
een strikt en uitputtend schema
voor een bepaald onderwerpsdomein,
meestal in een hi...
ontologieën
• "kennis-representatie“ waarin kennis over (klein stukje van)
de wereld in geformaliseerde vorm is weergegeve...
relaties tussen enkele concepten
in een eenvoudige "wijn-ontologie"
Château Lafitte Rothschild {is een} wijnhuis
Château L...
ontologieën
eric sieverts, maart 2014
elk soort kennisorganisatiesysteem waarmee betekenis
beschreven kan worden, zoals
• ...
ontologieën
eric sieverts, maart 2014
"conceptuele datamodellen" voor allerlei domeinen, zoals
• foaf (persoonsgegevens)
•...
ontologieën
voor “ontologieën” in het kader van semantisch web en
linked data is essentieel dat:
– ontologie zo beschikbaa...
voorbeeld van de relaties
tussen concepten m.b.t.
het standbeeld van Balzac
door Rodin [CIDOC-CRM]
72
73
74
75
voorbeeld hoe diverse semantische standaarden
(ontologieën) via RDF werden gecombineerd
vroeger veel gebruikte
standaarden...
grafische weergave van
SKOS-representatie van
thesaurustermen & relaties:
netwerk van RDF-tripels
Term: Economic cooperati...
SKOS relaties
in dit voorbeeld zagen we standaard thesaurusrelaties:
<skos:prefLabel> voorkeursterm voor concept
<skos:alt...
semantisch web
• ultieme toepassing van interoperabiliteit
• gebruikt combinatie van
– RDF(S)
– ontologieën (ook thesauri,...
Tim Berners Lee:
1989: "invented" the World Wide Web
2004: proposed the "semantic web"
2006: designed "linked data" as a s...
81
intermezzo linked data
linked data
linked (open) data
• kan weergegeven als RDF-tripels
zodat die data computer-leesbaar zijn
• ze staan op inter...
dbpedia: data
from Wikipedia
last.fm: artists
geonames:
6.2 M toponyms
BBC: wildlife
finder
project
GutenbergIMDB
music br...
fragment uit het
linked data
VIAF-record voor
Lewis Carroll
viaf.org/viaf/66462036/rdf.xml
84
fragment uit het
linked data
VIAF-record voor
Hugo Brandt Corstius
viaf.org/viaf/94439179/rdf.xml
85
linked data in worldcat
eric sieverts, maart 201486
linked data in worldcat
eric sieverts, maart 201487
sparql - endpoints
nog wat linked data jargon:
SPARQL Sparql Protocol And Rdf Query Language
wat SQL is voor relationele d...
3. aanpassen zoekacties
aanpassen / verbeteren van zoekacties
 vooraf (automatisch) bewerken van zoekvraag
• variaties op...
eric sieverts, maart 2014
3. aanpassen zoekacties
aanpassen / verbeteren van zoekacties
 achteraf bewerken van zoekresult...
91
92
93
semantische zoekmachines
voor "semantisch" gaan door:
• Wolfram|Alpha "computational knowledge engine", feitelijke gegeven...
what all that alphabet soup means
• CC Creative Commons
• CIDOC-CRM CIDOC Conceptual Reference Model
• DC Dublin Core
• FO...
the end
eric sieverts, maart 201496
voor meer "didactische" informatie zie o.a. semantic university
http://www.cambridgese...
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.
Upcoming SlideShare
Loading in …5
×

Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

1,155 views
1,025 views

Published on

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,155
On SlideShare
0
From Embeds
0
Number of Embeds
412
Actions
Shares
0
Downloads
18
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Semantisch zoeken - over knowledge graph, semantisch web, rdf enz.

  1. 1. semantisch zoeken over knowledge graph, semantisch web, rdf, linked data, ontologieën, metadata, ... VOGIN-IP-lezing 2014 Eric Sieverts @sieverts
  2. 2. semantisch zoeken een deel van het materiaal in deze presentatie wordt ook gebruikt in de eendaagse cursus "semantisch zoeken" bij GO Opleidingen eric sieverts, maart 20142
  3. 3. conflicting views? Semantic Web Business: Going Nowhere Slowly I've been a semantic web skeptic for years. SemWeb is useful for information enrichment in certain domains, via a circumscribed set of tools. However, the SemWeb offers a vanishingly small benefit to the vast majority of businesses. The vision persists but is unachievable; the business reality of SemWeb is going pretty much nowhere. The SemWeb dream centers on sharing linked data via the W3C's Resource Description Framework protocol. There is no question that SemWeb aspires to a worthy goal, but its tools and processes are no match for the reality of never-diminishing online, social, and enterprise data chaos. We will never achieve its ideal universe of neatly marked up data, published by content producers in accordance with the prescriptive W3C standards. Seth Grimes on January 7, 2014 in InformationWeek eric sieverts, maart 20143 In case you missed it, a series of recent articles have made a Big Announcement: The Semantic Web is not here yet. Additionally, neither are flying cars, the cure for cancer, humans traveling to Mars or a bunch of other futuristic ideas that still have merit. A problem with many of these articles is that they conflate the Vision of the Semantic Web with the practical technologies associated with the standards. While the Whole Enchilada has yet to emerge (and may never do so), the individual technologies are finding their way into ever more systems in a wide variety of industries. These are not all necessarily on the public Web, they are simply Webs of Data. Brian Sletten on January 13, 2014 in semanticweb.com
  4. 4. semantisch zoeken vraag 1: • wanneer is een zoeksysteem een semantisch zoeksysteem? .... als het erop staat? eric sieverts, maart 20144
  5. 5. semantisch zoeken vraag 2: • welke functionaliteit van een zoeksysteem zou u semantisch noemen? eric sieverts, maart 20145
  6. 6. semantisch zoeken 10 Things that Make Search a Semantic Search [volgens Hakia dat zelf beweert semantische zoekmachine te zijn] 1. Handling morphological variations 2. Handling synonyms with correct senses 3. Handling generalizations 4. Handling concept matching 5. Handling knowledge matching 6. Handling natural language queries and questions 7. Ability to point to uninterrupted paragraph and the most relevant sentence 8. Ability to Customize and Organic Progress 9. Ability to operate without relying on statistics, user behavior, and other artificial means 10. Ability to detect its own performance eric sieverts, maart 2014 http://company.hakia.com/whatis.html 6
  7. 7. semantisch zoeken Current trend : the semantic search system should be able to understand the query and give relevant results based on the current trend and news. Location of search : When searching for 'what is the temperature', semantic search should provide results based on the current location. Intent of the search : Semantic search should give appropriate search results based on the intent of the search and not on the specific words used. Variations of words : Semantic search should consider tenses, plural, singular etc and provide results for all semantic word variations. Synonyms : Semantic search should understand synonyms and give more or less the same results on any synonyms of the word users search for. Generalized and Specialized queries : Semantic Search should set relation between generalized and specialized queries and provide appropriate results. Concept matching : Sub-set of context matching. Semantic search should understand the broad concept of the query and return relevant results. Natural language queries : On search for 'What time is it in Arizona‘, Semantic Search would show you the current time in Arizona, USA. Change of meaning based on the group of words. The last word in a query may completely change its meaning. Semantic Search should distinguish such differences and give relevant search results. eric sieverts, maart 2014 http://www.techulator.com/resources/59Tony John (2012) - Semantic Search: Factors considered by Search Engines 7
  8. 8. 8 maar dat is vooral vanuit SEO perspectief
  9. 9. semantisch zoeken samenvattend: globaal 3 soorten toepassingen 1. inschatten van de intentie van de zoeker - en liefst concreet antwoord in plaats van "ten blue links" bijv.: zoekt mobiel in buurt van de Damstraat naar “pizza” >> adres van pizzeria in de buurt 2. bepalen van betekenis van woorden/tekst in documenten vooraf bij indexeren of achteraf in zoekresultaat; van eenvoudige herkenning van entiteiten of meegegeven metadata, tot complexe kennis van de wereld, zodat automatisch concepten worden toegekend of relevante aanvullende informatie verschijnt 3. automatisch aanpassen van zoekacties bijv.: zoekactie uitbreiden met gerelateerde zoekwoorden, zoekwoorden vervangen door betere zoekwoorden, (ook) in andere systemen zoeken eric sieverts, maart 20149
  10. 10. 1. intentie van de zoeker intentie of context van vraag kan worden bepaald: • op basis van de lokatie van de zoeker – globaal: op basis van internetdomein waar gebruiker zit (ip-adres) op google.nl krijg je ander antwoord dan op google.com – heel precies: op basis van bekende gps- of gsm-gegevens (mobiel) • op basis van analyse van de gestelde vraag • op basis van eerder zoekgedrag van de zoeker ook bij dubbelzinnige zoekwoorden? eric sieverts, maart 201410
  11. 11. intentie van de zoeker intentie of context van vraag kan worden bepaald: • op basis van lokatie • op basis van analyse van de gestelde vraag – naam van persoon, bedrijf, product, gebeurtenis, … >> feiten – naam van gewoon persoon >> facebook / linked-in gegevens – herkent vaste combinaties van woorden – natuurlijke taal interpretatie – statistiek op frequente eerdere vragen • op basis van eerder zoekgedrag eric sieverts, maart 201411 Google Knowledge Graph wolfram|alpha
  12. 12. eric sieverts, maart 2014
  13. 13. Wie op “Bach” zoekt, vindt vermoedelijk liever gegevens over hem dan websites over hem. Google's Knowledge Graph kent 500 miljoen objecten met 3,5 miljard kenmerken (binnenkort ook in het Nederlands) 13 gegevens o.a. afkomstig uit: "Freebase" (crowdsourced kennisbank), Wikipedia, CIA World factbook en statistische analyse van eigen gegevens
  14. 14. wat is in dit verband een "graph"?  een netwerk van al die concepten met hun onderlinge relaties en kenmerken 14
  15. 15. graphs zijn nu "hot" 15 eric sieverts, maart 2014 social graph uit Twitter social graph uit Facebook relaties in Freebase
  16. 16. 16 eric sieverts, maart 2014 meer uit de Knowledge Graph generieke vragen leveren lijstjes/"carousel", soms in meer rubrieken
  17. 17. 17 eric sieverts, maart 2014
  18. 18. 18 eric sieverts, maart 2014
  19. 19. 20 eric sieverts, maart 2014 feitelijk antwoord boven gewone resultaten
  20. 20. 21
  21. 21. 22 eric sieverts, maart 2014 vergelijkingen
  22. 22. 23 eric sieverts, maart 2014
  23. 23. Bing heeft iets soortgelijks: "Satori" maar dat reageert nog niet altijd zo slim op combinaties van woorden
  24. 24. intermezzo: een onderzoekje wat geeft beter antwoord op wat voor soort vragen? zie: http://webzoek.pbworks.com/semantisch • antwoord uit Google's Knowledge Graph • antwoord uit Bing's Satori • antwoord uit Wolfram|Alpha • gegevens over dat onderwerp uit de Wikipedia • eerste weblinks uit gewone zoekresultaat uit Google • door Sensebot geselecteerde antwoorden • door Cluuz geselecteerde antwoorden • antwoord uit Ask-Cluuz • antwoord uit Kngine • door Factbites samengevatte antwoorden • eerste weblinks uit (semantisch?) zoekresultaat uit Hakia eric sieverts, maart 201426
  25. 25. intentie van de zoeker intentie of context van vraag kan worden bepaald: • op basis van de lokatie van de zoeker • op basis van analyse van de gestelde vraag • op basis van eerder zoekgedrag van de zoeker – wat voor zoekvragen stelde gebruiker eerder – naar welke resultaten keek gebruiker dan (bijvoorbeeld al toegepast in Google's relevantie-personalisatie; opgeslagen "history" is ook al "big data") eric sieverts, maart 201427
  26. 26. 2. bepalen van betekenis betekenis herkennen van woorden en gegevens in te indexeren tekst en/of in al gevonden resultaten • herkennen van "entiteiten" in tekst (herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...) • tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection") • betekenis die herkenbaar aanwezig is in "embedded metadata" (bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web • inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data") • ... eric sieverts, maart 201428
  27. 27. example: article from NYTimes analysed by ….. >> herkennen van "entiteiten" 29
  28. 28. example: article from NYTimes analysed by "Open Calais" http://viewer.opencalais.com/ 30
  29. 29. example: article from NYTimes analysed by "Zemanta" http://www.zemanta.com/demo/ 31
  30. 30. betekenis door structuur Facebook • kent betekenis toe door gegevens gestructureerd op te slaan • doet dat ook in een "graph" >> graph search 32 eric sieverts, maart 2014
  31. 31. 2. bepalen van betekenis betekenis herkennen van woorden en gegevens in te indexeren tekst en/of in al gevonden resultaten • herkennen van "entiteiten" in tekst (herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...) • tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection") • betekenis die herkenbaar aanwezig is in "embedded metadata" (bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web • inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data") • ... eric sieverts, maart 201433
  32. 32. sentiment detection 34 >> andere voorbeelden
  33. 33. voorbeeld: PDF document geanalyseerd met Dewey Classifier automatische classificatie 35
  34. 34. resultaat van analyse van PDF document 36
  35. 35. Google herkent objecten in images
  36. 36. pinterest biedt automatisch (?) gegenereerde filters op onder meer recepten ?
  37. 37. 2. bepalen van betekenis betekenis herkennen van woorden en gegevens in te indexeren tekst en/of in al gevonden resultaten • herkennen van "entiteiten" in tekst (herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...) • tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection") • betekenis die herkenbaar aanwezig is in "embedded metadata" (bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web • inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data") • ... eric sieverts, maart 201439
  38. 38. eric sieverts, maart 2014 uit semantische codering gestandaardiseerde markering van kenmerken in webpagina's voorbeelden van “embedded metadata”: – recipe search bij Google en Yahoo – toepassing e-commerce ontology daarbij gebruikte standaarden: – microformats / rich snippet markup / microdata / schema.org (Google, Yahoo, Bing) onder andere voor: recepten, recencies, personen, producten, organisaties, gebeurtenissen, muziek – RDFa 40
  39. 39. 41 in huidig Google-interface onzichtbaar en minder handig geworden; NB: alleen in google.com bij Yahoo overzichtelijker
  40. 40. browser extensies (in Chrome) om embedded metadata uit pagina's te pikken
  41. 41. standaardisatie van kenmerken van producten met "GR-ontologie" volgens "RDFa“ in “XHTML” 43
  42. 42. 44
  43. 43. nieuwe standaard van de zoekmachinegiganten: microdata hiërarchie van kenmerken voor embeddable metadata in webpagina’s 45 + nu ook Yandex
  44. 44. de concepten uit de good relations ontology zijn recent ook in schema.org geïncorporeerd door Google, Bing en Yahoo vastgelegde standaard: microdata met hiërarchie van embeddable metadata kenmerken voor het web
  45. 45. microdata en RDFa • toepassing van deze technieken is vaak "SEO-driven" • Google biedt webmasters "Structured data testing tool" dat fouten in codering detecteert zie blogpost op SearchEngineLand http://searchengineland.com/how-to-u eric sieverts, maart 201447
  46. 46. wat heeft zoeker hieraan? • zoeker kan gerichter zoeken en filteren (zoals in Google's receptenzoeker) • zoeker krijgt duidelijker informatie over gevonden items (zoals Google's rich snippets) eric sieverts, maart 2014
  47. 47. metadata tools • er zijn handige browsertools (voor chrome) die analyse maken van in webpagina aanwezige metadata volgens microformat, microdata of RDFa standaard http://searchengineland.com/how-to-use-rich-snippets-semantic-markup chrome extensions: https://chrome.google.com/webstore/category/extensions • met Google's "webmaster structured data testing tool" kun je indirect net zo iets: http://www.google.com/webmasters/tools/richsnippets eric sieverts, maart 201449 intermezzo metadata tools
  48. 48. hulp voor makers van pagina's voor toevoegen metadata
  49. 49. 2. bepalen van betekenis betekenis herkennen van woorden en gegevens in te indexeren tekst en/of in al gevonden resultaten • herkennen van "entiteiten" in tekst (herkennen van woorden/samenstellingen behorend tot categorieën als plaats, persoon, bedrijf, product, ...) • tekstanalyse voor automatisch categoriseren (door "machine learning" getraind op taxonomie of thesaurus, zowel inhoudelijk als bijv. "sentiment detection") • betekenis die herkenbaar aanwezig is in "embedded metadata" (bijvoorbeeld binnen XML of (X)HTML coderingen) >> semantisch web • inhoudelijke koppeling met geselecteerde andere bronnen (bijvoorbeeld via "linked data") • ... eric sieverts, maart 201457 intermezzo: RDF, semantisch web, ontologieën, linked data, …
  50. 50. rdf eric sieverts, maart 2014 RDF = resource description framework • RDF is een standaard voor het beschrijven van de relatie tussen een resource (of een object) en zijn metadata • RDF gebruikt “namespaces” om naar computer-leesbare beschrijving van gebruikte metadatastandaarden te verwijzen (link via URL) • RDF is bedoeld om bestaande semantische systemen te (her)gebruiken en te combineren • RDF wordt meestal in XML-notatie weergegeven • RDFa = “RDF in attributes” , standaard om metadata in de inhoud van (X)HTML webpagina’s te verwerken 58 intermezzo RDF
  51. 51. rdf tripels eric sieverts, maart 2014 • eigenschappen (metadata) worden vastgelegd in zogenaamde tripels: subject <predicaat> object (wat je ook zou mogen noemen : ding <eigenschap> waarde ) • waarbij – te beschrijven ding een webadres (URI) heeft – eigenschap van dat ding liefst ook een URI heeft – "waarde" van die eigenschap liefst ook een URI heeft • voorbeeld: – boek (heeft een webadres: URI) – heeft auteur (betekenis van eigenschap ergens beschreven: URI) – persoon (gegevens van persoon ergens op web te vinden: URI) • RDF-tripels worden ook gebruikt in "linked data" • ze worden opgeslagen in zogenaamde triple-stores 59 intermezzo RDF
  52. 52. rdf tripels grafisch eric sieverts, maart 2014 subject <predicaat> object doc1 <heeft auteur> auth1 auth1 <heeft naam> john smith auth1 <heeft affiliatie> home inc. auth1 <heeft email> smith@home.com grafische representatie van simpel netwerk van 4 RDF-tripels 60 intermezzo RDF
  53. 53. rdf - weergave in xml eric sieverts, maart 2014 <rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#" xmlns="http://www.john.smith.net/rdfexample/"> <rdf:Description rdf:about="http://www.xxx.com/yyy/doc1.xml"> <author> <rdf:Description rdf:about="http://www.xxx.com/autId/7801"> <name>John Smith</name> <affiliation>Home Inc.</affiliation> <email>Smith@home.com</email> </rdf:Description> </author> </rdf:Description> </rdf:RDF> namespaces URI's van beschreven resources 61 je zou eigenlijk ook nog met URI's moeten verwijzen naar de plek waar die kenmerken gedefinieerd zijn intermezzo RDF
  54. 54. rdf tripels eric sieverts, maart 201462 naar idee van Lucas Koster / IP "Uit Berlijn" boek Uit Berlijn "Armando" Schuldig landschap http://www.worldcat.org/oclc/10098995   is een http://www.w3.org/1999/02/22-rdf-syntax-ns#type naam http://xmlns.com/foaf/spec/#term_name http://viaf.org/viaf/9885610/  http://hdl.handle.net/10934/RM0001.COLLECT.496040  is geschreven door is schilder van http://purl.org/dc/terms/creator   http://purl.org/dc/terms/creator   intermezzo RDF http://schema.org/Book title Armando http://purl.org/dc/terms/title  
  55. 55. rdf bekijken eric sieverts, maart 201463 intermezzo RDF voor het bekijken van RDF in webpagina's bestaan, behalve een paar (niet zo handige) Chrome extensies, ook zogenaamde RDF Browsers als webservices, waar je URL's van te analyseren pagina's kunt invoeren bijvoorbeeld: "graphite" – http://graphite.ecs.soton.ac.uk/browser
  56. 56. in semantisch web wordt van "alles" de betekenis vastgelegd eric sieverts, maart 2014 semantisch web om betekenis ook te kunnen begrijpen zijn "ontologieën" nodig 64 intermezzo semantisch web & ontologieën
  57. 57. ontologieën eric sieverts, maart 2014 "Ontology is the philosophical study of the nature of being, becoming, existence, or reality, as well as the basic categories of being and their relations" Wikipedia filosofie kunstmatige intelligentie semantisch web 65 intermezzo semantisch web & ontologieën linked (open) data
  58. 58. ontologieën eric sieverts, maart 2014 een strikt en uitputtend schema voor een bepaald onderwerpsdomein, meestal in een hiërarchische structuur, die alle relevante grootheden en hun relaties bevat, alsmede de regels waaraan die grootheden en relaties binnen dat domein voldoen filosofie kunstmatige intelligentie semantisch web 66 intermezzo semantisch web & ontologieën linked (open) data
  59. 59. ontologieën • "kennis-representatie“ waarin kennis over (klein stukje van) de wereld in geformaliseerde vorm is weergegeven • meestal niet rechtstreeks gebruikt voor ontsluiting • maakt vollediger en meer complexe representaties van de werkelijkheid mogelijk dan met een thesaurus • veel mogelijke soorten relaties tussen concepten • vastgelegde rollen en eigenschappen van die concepten • vaak voor een beperkt onderwerpsdomein (“wijn ontologie”) • soms breder in een zogenaamde “core ontology” bijvoorbeeld: CIDOC-CRM (conceptual reference model) voor concepten, relaties en eigenschappen op gebied van cultureel erfgoed eric sieverts, maart 201467 intermezzo semantisch web & ontologieën
  60. 60. relaties tussen enkele concepten in een eenvoudige "wijn-ontologie" Château Lafitte Rothschild {is een} wijnhuis Château Lafitte Rothschild {produceert} Château Lafitte Rothschild Pauillac Bordeaux {heeft als beste wijnhuizen} Château Lafitte Rothschild Château Lafitte Rothschild Pauillac {wordt gemaakt door} Château Lafitte Rothschild Château Lafitte Rothschild Pauillac {is een} Pauillac Bordeaux {is een} wijnstreek .... veel meer soorten relaties mogelijk dan alleen BT, NT, RT, Use, Used for 68 hiërarchische structuur van concepten van één soort in een eenvoudige "wijn-ontologie"
  61. 61. ontologieën eric sieverts, maart 2014 elk soort kennisorganisatiesysteem waarmee betekenis beschreven kan worden, zoals • "echte" ontologieën • thesauri • taxonomieën • semantische netwerken • namenlijsten • concordanties • … filosofie kunstmatige intelligentie semantisch web 69 intermezzo semantisch web & ontologieën linked (open) data schema.org is ook simpele vorm hiervan
  62. 62. ontologieën eric sieverts, maart 2014 "conceptuele datamodellen" voor allerlei domeinen, zoals • foaf (persoonsgegevens) • dublin core (15 velden voor vooral erfgoed) • good-relations ontology (e-commerce) • music ontology (muziek) • skos (thesaurusrelaties) • cidoc-crm (erfgoed) definities van "velden", klassen van eigenschappen, e.d., meestal niet van hun inhouden filosofie kunstmatige intelligentie semantisch web 70 intermezzo semantisch web & ontologieën linked (open) data
  63. 63. ontologieën voor “ontologieën” in het kader van semantisch web en linked data is essentieel dat: – ontologie zo beschikbaar is dat een computer-programma hem kan lezen, verwerken en interpreteren → vereist gestandaardiseerde notaties en formele talen om ze te beschrijven, zoals • rdf • rdfs • owl • skos • … eric sieverts, maart 201471 intermezzo semantisch web & ontologieën
  64. 64. voorbeeld van de relaties tussen concepten m.b.t. het standbeeld van Balzac door Rodin [CIDOC-CRM] 72
  65. 65. 73
  66. 66. 74
  67. 67. 75
  68. 68. voorbeeld hoe diverse semantische standaarden (ontologieën) via RDF werden gecombineerd vroeger veel gebruikte standaarden voor beschrijvingselementen: • v: vcard • mo: music ontology • foaf: friend of a friend • owl: web ontology language • geo maar worden nu algemeen vervangen door schema.org 76 oud
  69. 69. grafische weergave van SKOS-representatie van thesaurustermen & relaties: netwerk van RDF-tripels Term: Economic cooperation Used For: Economic co-operation Broader terms: Economic policy Narrower terms: Economic integration, European economic cooperation, European industrial cooperation, Industrial cooperation Related terms: Interdependence Scope Note: Includes cooperative measures in banking, trade, industry etc., between and among countries. SKOS Simple Knowledge Organisation System 77
  70. 70. SKOS relaties in dit voorbeeld zagen we standaard thesaurusrelaties: <skos:prefLabel> voorkeursterm voor concept <skos:altLabel> synoniemen <skos:scopeNote> omschrijving van concept <skos:broader> algemener concept <skos:narrower> specifieker concept ook beschrijving in hoeverre termen uit verschillende thesauri inhoudelijk overeenkomen (concordantie) : <skos:mappingRelation> overeenkomst met term uit ander systeem <skos:exactMatch> term heeft zelfde betekenis <skos:closeMatch> term heeft bijna zelfde betekenis <skos:broadMatch> term is ruimer <skos:narrowMatch> term is specifieker zo kunnen zoekacties worden uitgebreid, ook met termen uit andere systemen eric sieverts, maart 201478
  71. 71. semantisch web • ultieme toepassing van interoperabiliteit • gebruikt combinatie van – RDF(S) – ontologieën (ook thesauri, taxonomieën, semantisch netwerken, …) – formele talen (als SKOS en OWL - ook wel ontologieën genoemd) – annotatie van resources/objecten (=onderwerpsontsluiting) • als vanuit allerlei systemen wordt gelinkt naar dergelijke computerleesbare "databases" met semantische kennis, kan programmatuur allerlei termen met elkaar in verband brengen ten behoeve van zoeken (en andere functies) • dat wordt bijvoorbeeld in Europeana toegepast • en "linked data" moet dat nog makkelijker maken eric sieverts, maart 201479 intermezzo semantisch web & ontologieën
  72. 72. Tim Berners Lee: 1989: "invented" the World Wide Web 2004: proposed the "semantic web" 2006: designed "linked data" as a step towards realisation of the semantic web eric sieverts, maart 201480 van web tot linked data intermezzo linked data
  73. 73. 81 intermezzo linked data
  74. 74. linked data linked (open) data • kan weergegeven als RDF-tripels zodat die data computer-leesbaar zijn • ze staan op internet zodat het "open" is • bedoeld om te worden hergebruikt zodat het belangrijk ingrediënt voor het semantisch web is • is gestandaardiseerd zodat het makkelijk hergebruikt kan worden • iedereen kan (en moet!) data bijdragen waardoor het soms wel een beetje een rommeltje is • je kunt zoeken in linked data triple-stores SPARQL is voor linked data wat SQL is voor relationele database eric sieverts, maart 201482 intermezzo linked data
  75. 75. dbpedia: data from Wikipedia last.fm: artists geonames: 6.2 M toponyms BBC: wildlife finder project GutenbergIMDB music brainz Reuters: openCalais viaf: virtual international authority file LCSH NY times Flickr "linked open data cloud" - 31 miljard data online – 504 miljoen links daartussen door standaardisering van dataformats en metadata, kunnen computers betekenis van die data "begrijpen" en die data gebruiken rechtspraak.nl sept 2011
  76. 76. fragment uit het linked data VIAF-record voor Lewis Carroll viaf.org/viaf/66462036/rdf.xml 84
  77. 77. fragment uit het linked data VIAF-record voor Hugo Brandt Corstius viaf.org/viaf/94439179/rdf.xml 85
  78. 78. linked data in worldcat eric sieverts, maart 201486
  79. 79. linked data in worldcat eric sieverts, maart 201487
  80. 80. sparql - endpoints nog wat linked data jargon: SPARQL Sparql Protocol And Rdf Query Language wat SQL is voor relationele databases is SPARQL voor RDF triple stores Endpoints toegangspunten op het web waar je SPARQL zoekactie op RDF triple stores kunt uitvoeren (je moet daarvoor de SPARQL syntax kennen - door een computer laten uitvoeren) eric sieverts, maart 201488 intermezzo linked data
  81. 81. 3. aanpassen zoekacties aanpassen / verbeteren van zoekacties  vooraf (automatisch) bewerken van zoekvraag • variaties op zoekwoord meenemen in query – spelling verbeterd (statistiek?) [veilgheid >> veiligheid] – zoeken op woordstam (enkel/meervoud, vervoegingen, ….) [vaccination >> vaccinations, vaccine, vaccinate, vaccinated, …] – spellingsvariaties [immunisation <> immunization] – samenstellingen opbreken (en omgekeerd) [catfood <> cat food ; maatregel + veiligheid <> veiligheidsmaatregelen] • synoniemen, acroniemen aan query toevoegen (uit woordenlijst, semantisch netwerk, ontologie) [vaccination <> immunization ; jfk <> john f kennedy] • verwante en specifiekere begrippen aan query toevoegen (uit semantisch netwerk, thesaurus, ontologie) eric sieverts, maart 2014 heeft nog niet zo veel met "semantiek" te maken; Google doet dat wel al allemaal 89
  82. 82. eric sieverts, maart 2014 3. aanpassen zoekacties aanpassen / verbeteren van zoekacties  achteraf bewerken van zoekresultaat • zoekresultaten clusteren op basis van inhoud – meestal op basis van woordstatistiek (voorbeeld Clusty, Polymeta) – soms op basis van automatische classificatie • in gevonden document alinea(s) tonen die antwoord op vraag geeft – KWIC display van zoekmachines is eenvoudige vorm daarvan – zie bijv. Sensebot • uit meer zoekresultaten samenvatting genereren van belangrijkste bevindingen / antwoorden – zie bijv. Factbites 90
  83. 83. 91
  84. 84. 92
  85. 85. 93
  86. 86. semantische zoekmachines voor "semantisch" gaan door: • Wolfram|Alpha "computational knowledge engine", feitelijke gegevens • DuckDuckGo niet semantischer dan google • Hakia enterprise search; webresultaten nogal middelmatig • Cognition voor specifieke databases, bijv. voor Medline • Sensebot vat ook inhoud van meer documenten samen • Factbites samengevatte informatie uit geselecteerde bronnen • Cluuz selecteert (uit) antwoorden; ask.cluuz beantwoordt vragen • Swoogle RDF ontology search engine • Sindice zoekmachine voor sites met RDF metadata • Kngine heeft ook een app voor smartphones • Unsilo nog in ontwikkeling ("invite" aanvragen) 94 eric sieverts, maart 2014
  87. 87. what all that alphabet soup means • CC Creative Commons • CIDOC-CRM CIDOC Conceptual Reference Model • DC Dublin Core • FOAF Friend-of-a friend • GR Good Relations Ontology • HTML HyperText Markup Language • LOD Linked Open Data • MO Music Ontology • OG Open Graph protocol • OWL Web Ontology Language • RDF Resource Description Framework • RDFa RDF in Attributes • SKOS Simple Knowledge Organisation System • SPARQL Sparql Protocol And Rdf Query Language • URI Uniform Resource Identifier • URL Uniform Resource Locator • VIAF Virtual International Authority File (authors) • XHTML eXtensible HyperText Markup Language • XML eXtensible Markup Language
  88. 88. the end eric sieverts, maart 201496 voor meer "didactische" informatie zie o.a. semantic university http://www.cambridgesemantics.com/semantic-university

×