Semantische Suche
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

Semantische Suche

  • 4,066 views
Uploaded on

Traditionelle Suchmaschinen stoßen im World Wide Web heute schnell an ihre Grenzen. Zum Einen erhält der Benutzer auf eine Suchanfrage hin oft Listen mit Millionen von Dokumenten zurück, von denen......

Traditionelle Suchmaschinen stoßen im World Wide Web heute schnell an ihre Grenzen. Zum Einen erhält der Benutzer auf eine Suchanfrage hin oft Listen mit Millionen von Dokumenten zurück, von denen er meist nur die er-sten Seiten in Augenschein nimmt, so dass eine Beurteilung der Vollständig-keit des Suchergebnisses nicht mehr möglich ist. Zum Anderen enthält diese Vielzahl von Ergebnissen zahlreiche nicht relevante Informationen, die durch die Mehrdeutigkeit von Suchbegriffen bzw. auch durch deren Nutzung in un-terschiedlichem Kontext und Pragmatik verursacht werden. Wünschenswert wären demnach sowohl eine höhere Treffgenauigkeit und damit Qualität der erzielten Suchergebnisse sowie ein besserer Überblick über die Suchergebnis-se einerseits und über den gesamten Suchraum andererseits. Abhilfe ver-spricht eine semantische Suche, die sich am tatsächlichen Inhalt und der Bedeutung des Inhalts der durchsuchten Dokumente orientiert, anstatt wie heute üblich am Vergleich von Zeichenketten, wobei Kontext und Pragmatik berücksichtigt werden müssen. Im Semantic Web wird die Bedeutung natür-lichsprachlicher und multimedialer Dokumente mit Hilfe geeigneter Wissens-repräsentationen explizit gemacht. Werden diese Wissensrepräsentationen in den Suchprozess integriert, eröffnen sich neue Möglichkeiten, die Qualität der erzielten Suchergebnisse zu verbessern und speziell an die Bedürfnisse des Benutzers anzupassen. Inhaltliche Zusammenhänge zwischen einzelnen Do-kumenten können explizit gemacht werden und erlauben über Klassifikatio-nen und Kategorisierungen neue Wege der Visualisierung des Such- und Er-gebnisraumes hin zu einer explorativen Suche, die es dem Benutzer gestat-tet, die Suchergebnisse und damit im Zusammenhang stehende Informatio-nen und Dokumente zu erforschen und zu erfahren. Diese neuen Möglichkei-ten der semantischen Suche werden am Beispiel der Videosuchmaschine yovisto.com dargestellt.

More in: Technology , Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
4,066
On Slideshare
3,963
From Embeds
103
Number of Embeds
3

Actions

Shares
Downloads
65
Comments
0
Likes
1

Embeds 103

http://ddcx.blogspot.it 91
http://www.slideshare.net 11
http://www.slideee.com 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Semantische Suche am Beispiel audiovisueller Daten Dr. Harald Sack Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam 11. Juni 2009 Donnerstag, 11. Juni 2009
  • 2. 0. Kurzvorstellung 2 Dr. Harald Sack ■ Promotion Uni Trier, 2002: formale Verifikation ■ 2002-2008: PostDoc FSU Jena ■ 2007-2009: Gastwissenschaftler am HPI ■ seit 1.1.2009: Senior Researcher am HPI ■ Forschungsschwerpunkte: □ Semantic Web Technologien □ Multimedia Retrieval ■ Videosuchmaschine yovisto.com Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 3. 0. Kurzvorstellung 3 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 4. Semantische Suche 4 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 5. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 5 similarity information Anfrage- Indexierung files of records requests formulierung Menge von Anfragen Indexierungs- Menge von Dokumenten sprache “Information-Retrieval Systems • process files of records and requests for information, and • identify and retrieve from the files certain records in response to the information requests. • The retrieval of particular records depends on the similarity between the records and the queries, which in turn is • measured by comparing the values of certain attributes to records and information requests.” (nach Salton,G., McGill, M.J.: Introduction to Modern Information Retrieval. McGraw-Hill, New York 1983) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 6. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 6 Information beruht auf Retrieval mit dem Ziel Analyse/Modellierung Bereitstellen der im Objektbereich von festgelegten Informationen Wissensobjekte durch Anwendung von durch Anwendung von Suchfunktionen Verfahren der und Wissensrekonstruktion Navigationsformen Informations- Retrieval aufbereitung Interne Wissens- Ergebnisse abgelegt als repräsentationen operieren über Allgemeines Modell des Information Retrieval nach [Kuhlen 1995] Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 7. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 7 Information Retrieval Modelle • Boolean Retrieval • Vector Space Model A B • Probabilistic Model C (A ∧ ¬B) ∧ C • verwendet Aussagenlogik als Retrievalsprache • erlaubt Selektion und Verknüpfung beliebiger Dokumentenmengen aus einer einer Dokumentenkollektion • mit Hilfe Boolescher Junktoren (Suchoperatoren) • einfache Implementierung • keine differenzierte Termgewichtung möglich • keine Rangreihenfolge der Ergebnisse (Ranking) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 8. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 8 Information Retrieval Modelle Bsp.: n = 3 • Boolean Retrieval Deskriptor2 Dokument = (2,4,2) Suchabfrage = (1,0,0) • Vector Space Model 4 • Probabilistic Model Dokument • Dokumente und Anfragen werden als Punkte in einem hochdimensionalen, metrischen Vektorraum repräsentiert • Zum Retrieval wird die Distanz zwischen Suchanfrage Suchanfrage- und Dokumentenvektor ρ verwendet • Relevanzbewertung (Ranking) erfolgt nach 2 Deskriptor1 der ermittelten Distanz • Differenzierte Termgewichtung möglich 2 • lineare Termanordnung im Dokument geht Deskriptor3 verloren • mangelnde semantische Sensitivität (Vokabularabhängigkeit) G. Salton, A. Wong, C. S. Yang: quot;A Vector Space Model for Automatic Indexing,quot; Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Communications of the ACM, vol. 18, nr. 11, pp. 613–620, 1975. Donnerstag, 11. Juni 2009
  • 9. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 9 Information Retrieval Modelle • Boolean Retrieval • Vector Space Model • Probabilistic Model • Dokumente werden gemäß der Wahrscheinlichkeit ihrer Relevanz bzgl. der Anfrage gewichtet • IR-System schätzt die Wahrscheinlichkeit der Relevanz bzgl. einer Anfrage ab Robertson, S. E., Sparck Jones, K.: Relevance weighting of search terms. In Document Retrieval Systems, P. Willett, Ed. Taylor Graham Series In Foundations Of Information Science, vol. 3. Taylor Graham Publishing, London, UK, 143-160, 1988. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 10. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 10 Information Retrieval Modelle Dominik Kuropka: Modelle zur Repräsentation natürlichsprachlicher Dokumente. Ontologie-basiertes Information-Filtering und -Retrieval mit relationalen Datenbanken, Advances in Information Systems and Management Science, Bd. 10, Logos Verlag, Berlin, 2004. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 11. 1. Schlüsselwort-basierte Suche 1.1 Klassisches Information Retrieval 11 Evaluation von Information Retrieval Systemen relevante Dokumente, die gefunden wurden |R∩P| Recall= |R| R P |R∩P| Precision= |P| relevante Dokumente gefundene Dokumente Text REtrieval Conference (TREC, seit 1992) veröffentlicht jährlich Challenges in unterschiedlichen Gebieten des Information Retrievals mit zugehörigen Testdaten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 12. Semantische Suche 12 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 13. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 13 • World Wide Web ist ein verteiltes Hypermediasystem • multimediale Dokumente • über Hyperlinks miteinander vernetzt • WWW-Suchmaschinen sind Information Retrieval Systeme mit folgenden Aufgaben • Erstellung und Pflege eines Indexes (Web Crawler + Indexing) • Verarbeitung von Suchabfragen (Retrieval + Ranking) • Aufbereitung der Ergebnisse (Visualisierung) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 14. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 14 Web-Crawler (Web Robot) HTTP Request WWW-Server 2 4 http://www.xxxx.de/1234... http://www.xxxx.de/2234... http://www.xxxx.de/3234... http://www.xxxx.de/4234... <a href=“...“ .../> http://www.xxxx.de/5234... 1 http://www.xxxx.de/6234... http://www.xxxx.de/7234... <a href=“...“ .../> ... WWW-Server liefert angefragte HTML-Dokumente an den 3 Web-Crawler zurück HTML URL Liste Dokumente Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 15. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 15 Vorverarbeitung und Indexierung Datennormalisierung Wortidentifikation Datenanalyse Sprachidentifikation und Anlegen Web Crawler der Index- Word Stemming Datenstrukturen POS-Tagging Deskriptorengenerierung Indexierung Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 16. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 16 Effiziente Indexdatenstrukturen Ananas DocID Pos Frequenz Gewicht Aachen D123 1;13;77;132 4 9.4 Altavista D456 22;38 2 6.7 Ananas … … … … … D998 15 1 1.2 … Invertierte Datei Zustand Zypern Indexdatei Location List D123 Frequenz URL <H1> … <H6> <title> … text 4 1 1 0 1 … 1 D123 http://producers.ananas.org/index.htm <html> <head><title=“Ananas around the World“> </head> <body> … </body> </html> Direkte Datei Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 17. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 17 Relevanzbewertung (Ranking) • Ranking erfolgt nach Linkpopularität (Google PageRank) Ausgangssituation Iteration der PageRank Berechnung resultierender PageRank A B A B 1.0 Nr. PR(A) PR(B) PR(C) PR(D) 1.0 1.49 0,78 1 1,0 1,0 1,0 1,0 2 1,0 0,575 2,275 0,15 3 2,083 0,575 1,1912 0,15 1.0 … … … … … 1.0 1.57 0,15 n 1,49 0,7833 1,577 0,15 C D C D Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 18. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 18 Das ,Google Paradigma‘ • Eingabe einer Suchphrase • Boolesche Verknüpfung einzelner Suchbegriffe • Volltextsuche • Normalisierung ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 19. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 19 Das ,Google Paradigma‘ Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 20. 1. Schlüsselwort-basierte Suche 1.2 Suchmaschinen im World Wide Web 20 Das ,Google Paradigma‘ • Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste • TFIDF / PageRank • Personalisierung (Logdatenanalyse) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 21. Semantische Suche 21 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 22. 1. Schlüsselwort-basierte Suche 1.3 Probleme aktueller WWW-Suchmaschinen 22 Das WWW ist ,ziemlich groß` •ca. 25 x 109 in Suchmaschinen indizierte Dokumente (TNL Blog: Google has 24 billion items index, considers MSN search nearest competitor, September 2005) •Web Crawler: > 1012 Dokumente (The Official Google Blog: We knew the Web was Big....., Juli 25, 2008) •DeepWeb (Darkweb) schätzungsweise bis zu 550 mal größer als das Surface Web (Bergman, 2001) Probleme: • Aktualität des Suchmaschinenindex • syntaktische / semantische Inkonsistenzen im Suchmaschinenindex • Skalierbarkeit der Suchmaschinenanwendung • kann man der Information auch trauen...? Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 23. 1. Schlüsselwort-basierte Suche 1.3 Probleme aktueller WWW-Suchmaschinen 23 Problemfeld 1: Informationssuche • Keyword-Suche führt zu vielen nicht relevanten Ergebnissen • Bedeutungsunterschiede • Homonyme • unterschiedlicher Kontext • Keyword-Suche findet nicht alle relevanten Ergebnisse • Synonyme • fehlende Kontextpräzisierung Suchbegriff: „Golf“ Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 24. 1. Schlüsselwort-basierte Suche 1.3 Probleme aktueller WWW-Suchmaschinen 24 Problemfeld 2: Informationsextraktion bild.de • kann nur von menschlichem “Agenten“ korrekt durchgeführt und bewertet werden • heterogene Anordnung von Information • Software-Agent verfügt nicht über • Kontextwissen • Weltwissen um Informationen aus der Text-/ Bilddarstellung zu lösen • implizites Wissen, muss durch logische Schlussfolgerungen aus der Kombination vorhandener Informationen ermittelt werden Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 25. Semantische Suche 25 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 26. 2. Suche in audiovisuellen Daten 2.1 allgemeine Problematik 26 Wie findet man etwas in einem audiovisuellen Archiv? • Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 27. 2. Suche in audiovisuellen Daten 2.1 allgemeine Problematik 27 Retrieval in Audiovisuellen (zeitabhängigen) Daten automatische inhaltliche Analyse ist • schwierig und • • berechnungs-/speicheraufwändig ???? ???? Marlene Dietrich { „...ich bin von Kopf bis Fuß...“ © Friedrich Wilhelm Murnau Stiftung, DFI Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 28. 2. Suche in audiovisuellen Daten 2.1 allgemeine Problematik 28 Retrieval in Audiovisuellen (zeitabhängigen) Daten • Fazit: Wir benötigen textuelle Beschreibungen • des Inhalts • des Produktionsprozesses • der technischen Parameter • etc.... Metadaten manuell AV-Analyse automatisch Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 29. Semantische Suche 29 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 30. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 30 Videosuchmaschine - prinzipielle Architektur temporale Extraktion von Video- MPEG-7 segmentierung Deskriptoren Indexierung MPEG-Dekoder Metadatengenerierung Metadata Server Retrieval Video Database User-interface Query input, Player, Timeline, Summary,... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 31. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 31 Automatische Metadatengewinnung in AV-Daten •Typische Aufgaben: •Segmentierung (Shot-, Szenen-, Kapiteldetektion) • Videoanalyse • kombinierte Audio-/Videoanalyse... •Intelligent Character Recognition (ICR) •Objekterkennung / Objektverfolgung • Gesichtserkennung / Identifikation ... •Kontextdetektion • in-/outdoor, Landschaft, Gebäude,... •Genreerkennung • Nachrichten, Sport, Werbung,... •Eventanalyse • Tennis, Fußball etc. ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 32. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 32 Videosegmentierung program / news feature film commercials feature film clip level scene scene1 scene2 scene 3 scene4 scene5 level shot shot1 shot2 shot3 level sub-shot sub-shot1 sub-shot2 sub-shot3 sub-shot4 sub-shot5 level frame frames level Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 33. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 33 Szenenerkennung •Eine Szene ist ein zeitliches Videosegment mit 3 konsistenten Eigenschaften: •Ereignis •Kameraeinstellung •Zeitraum Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 34. 2. Suche in audiovisuellen Daten 2.1 Automatisierte Analyse und Metadatengewinnung 34 Keyframe Extraktion Motion:
GoF
/
GoP,
MotionActivity,
CameraMotion,
Motion
Trajectory,
 












Parametric
Motion shot01 shot02 Shot-/Subshotdetection Color:




Dominant
Color,
Scalable
Color,
Color
Layout,
Color
Structure
 Texture:
Edge
Histogram,
Homogeneous
Texture,
Texture
Browsing Shape:


Contour-based
Shape,
Region-based
Shape Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 35. Semantische Suche 35 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 36. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 36 yovisto.com • Videosuchmaschine mit dem Schwerpunkt akademischer Lehrveranstaltungen • aktuell mehr als 6.000 Vorlesungen und wissenschaftliche Vorträge aus der ganzen Welt • automatische Segmentierung und Videoanalyse • benutzergenerierte Co-Annotation • Social Tagging • Diskussionen • Rezensionen • Wikis • Lernmaterialien • Zielgenauer Zugriff auf gesuchte Videoinhalte Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 37. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 37 yovisto.com - Arbeitsweise search engine frontend search for analyze and link to video content any available academic WWW video recording in the WWW browse, play, and annotate video results video analysis and search index creation upload your own academic video recording Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 38. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 38 Strukturelle (temporäre) Segmentierung ■ Grobsegmentierung (rein strukturell) □ --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich Zeit ■ Feinsegmentierung (inhaltsbasiert) □ --> Objekterkennung/-verfolgung □ --> OCR/ICR □ --> Korrelation Audio/Video (NLP) Zusammenfassen Verfeinern Zusammenfassen Zeit Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 39. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 39 Inhaltsbezogene Videoanalyse ■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Metadaten ■ Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren ■ Metadaten als Basis für traditionelles Information Retrieval Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 40. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 40 Metadatengewinnung ICR / OCR Keyterm Spotting Dictionary ASR Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 41. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 41 Benutzergenerierte Metadaten □ automatische Analyse nur begrenzt leistungsfähig □ mangelnde Genauigkeit / Vollständigkeit □ Benutzergenerierte Metadaten können qualitativ zuverlässiger sein □ autoritative Metadaten □ strukturierte Daten □ unstrukturierte (textuelle) Daten □ nicht-autoritative Metadaten □ Tags □ Kommentare □ Diskussionen □ Rezensionen □ Feedback □ etc... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 42. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 42 Kollaborative Annotation Apfel apple Apfel Obst Frühstück Frucht Autor Ressource Benutzer kaufen nicht- autoritative autoritative Metadaten Metadaten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 43. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 43 Kollaborative Annotation -- Social Tagging •Visualisierung der Benutzerannotation als Tag-Cloud Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 44. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 44 Temporale Annotation der Videodaten Key Frame 01 Key Frame 02 Key Frame 03 0:00:00 0:02:34 0:13:57 Zeit • Nutzer1: Informatik • Nutzer1: Sprache • Nutzer2: Phonogramm • Nutzer4: Vorlesung • Nutzer2: Kehlkopf, • Nutzer3: Piktogramm, • Nutzer3: Dr. Sack… Sprache Ideogramm • Nutzer3: Spracherzeugung • Nutzer4: Klausur, • Nutzer4: Klausur Schriftzeichen, • ... Logogramme • ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 45. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 45 Spatiale Annotation (xmin, ymin, xmax, ymax) Hieroglyphen mit Königskartusche, Haute-Relief (xmin, ymin, xmax, ymax) Harald Sack Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 46. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 46 MPEG-7 Metadata Description Framework ■ umfassender XML-basierter Standard zur strukturellen und inhaltlichen Beschreibung von multimedialen Daten <!xml version=“1.0“ encoding=“iso-8859-1“> <Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 …> … <AudioVisualSegment> <TextAnnotation type=“heading“ xml:lang=“de“> <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation> ….. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime> …. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 47. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 47 Facettierte Suche ■ Nutze (strukturierte) Metadaten zur Differenzierung und Kategorisierung der Suchergebnisse ■ ermöglicht besseren Überblick durch facettierte Filterung Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 48. 2. Suche in audiovisuellen Daten 2.2 yovisto.com - Akademische Videosuche 48 Facettierte Suche ■ Nutze (strukturierte) Metadaten zur Differenzierung und Kategorisierung der Suchergebnisse ■ ermöglicht besseren Überblich durch facettierte Filterung Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 49. Semantische Suche 49 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 50. 3. Semantische Suche 3.1 Semantic Web Technologie 50 Die ursprüngliche Vision des World Wide Web Tim Berners-Lee, Semantic Web Roadmap, Sept 1998 „The Web was designed as an information space, with the goal that it should be useful not only for human-human communication, but also that machines would be able to participate and help… “ Voraussetzung: • Inhalte können maschinell gelesen und korrekt interpretiert (= verstanden) werden Wie kann das funktionieren? Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 51. 3. Semantische Suche 3.1 Semantic Web Technologie 51 Inhalte im Web maschinell „verstehen“ •um Inhalte im Web maschinell „verstehen“ zu können werden zwei unterschiedliche Ansätze verfolgt Natural Language Processing Semantic Web • Natürliche Sprache soll mit • (Natürlichsprachliche) Web- Techniken der Linguistik und Inhalte werden explizit mit Hilfe Statistik analysiert werden von semantischen Metadaten • Die Bedeutung (Semantik) soll annotiert implizit (oder auch explizit) • semantische Metadaten tragen daraus erschlossen werden die Bedeutung (Semantik) der • Techniken kommen im Web-Inhalte und lassen sich klassischen Information maschinell lesen und korrekt Retrieval (WWW-Such- interpretieren maschinen) zum Einsatz Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 52. 3. Semantische Suche 3.1 Semantic Web Technologie 52 Inhalte im Web maschinell „verstehen“ Text: „Diego zu Bayern?“ Entitäten- zuweisung Diego Ribas da Cunha (Instanz) Klassen- ist ein zugehörigkeit Fußballspieler (Klasse) Subklasse ist eine ist eine • Die Bedeutung (Semantik) der Klassen Superklasse muss ebenfalls explizit definiert werden. • Bedeutung wird über geeignete Wissens- Person (Klasse) repräsentationen (Ontologien) kodiert Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 53. 3. Semantische Suche 3.1 Semantic Web Technologie 53 Ontologien als Wissensrepräsentation „Philosophische Disziplin, die sich primär mit dem Sein, dem Seienden als solchem und mit den fundamentalen Typen von Entitäten beschäftigt…“ (wikipedia) quot;An ontology is an explicit, formal specification of a shared conceptualization. The term is borrowed from philosophy, where an Ontology is a systematic account of Existence. For AI systems, what ‘exists’ is that which can be represented.“ (Thomas R. Gruber, 1993) Konzeptualisierung: abstraktes Modell (Domäne, identifizierte relevante Begriffe, Beziehungen) Explizit: Bedeutungen aller Begriffe definiert Formal: maschinenverstehbar Gemeinsam: Konsens bzgl. Ontologie Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 54. 3. Semantische Suche 3.1 Semantic Web Technologie 54 Ontologien als Wissensrepräsentation verwenden gemeinsames Konzept Konzept ruft hervor referenziert Symbol Gegenstand steht für „Golf“ Ogden, Richards, semiotisches Dreieck, 1923 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 55. 3. Semantische Suche 3.1 Semantic Web Technologie 55 Das Semantic Web - Datenzentrierte Verarbeitung •Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert) • Damit wird es möglich, •die Bedeutung der Informationen maschinell zu verarbeiten •unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen •implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern Das Semantic Web ist eine Art globaler Datenbank, die ein universales Netz semantischer Aussagen bereit hält Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 56. 3. Semantische Suche 3.1 Semantic Web Technologie 56 Das Semantic Web - Architektur Interface & Application Trust Current Research Proof Unifying Logic Query: Ontology: OWL Rule: RIF Crypto SPARQL RDFS Data Interchange: RDF XML / XSD URI / IRI Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 57. 3. Semantische Suche 3.1 Semantic Web Technologie 57 Inhalte im Semantic Web Webseite <?xml version=quot;1.0quot; encoding=quot;UTF-8quot;?> <!DOCTYPE html PUBLIC quot;-//W3C//DTD XHTML+RDFa 1.0//ENquot; quot;http://www.w3.org/MarkUp/DTD/xhtml-rdfa-1.dtdquot;> <html xmlns=quot;http://www.w3.org/1999/xhtmlquot; xmlns:foaf=quot;http://xmlns.com/foaf/0.1/quot; version=quot;XHTML+RDFa 1.0quot; xml:lang=quot;enquot;> ... <body> ... <div class=“content“ about=“http://www2.diego10.com.br/diego“ instanceof=“foaf:Person“> <span property=“foaf:givenname“>Diego</span> zu Bayern?“ ... <img rel=“foaf:depiction“ src=“http://www.bild.de/xyz.jpg /> ... </div> ... </body> </html> foaf:Person Diego rdf:type foaf:givenname http://www2.diego10.com.br/diego http://www.bild.de/xyz.jpg foaf:depiction Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 58. 3. Semantische Suche 3.1 Semantic Web Technologie 58 Linked Data - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘ Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 59. 3. Semantische Suche 3.1 Semantic Web Technologie 59 Linked Data Mashups □ Linked Data Mashups sind Web-Anwendungen, die vernetzte RDF- Daten aus unterschiedlichen Datenquellen nutzen □ im Gegensatz zu diversen Schnittstellen und Ergebnisformaten regulärer Web-APIs bieten vernetzte Daten (Linked Data) folgende Vorteile: □ flexibles, standardisiertes Datenformat (RDF) □ standardisierter Zugriffsmechanismus (http) □ Möglichkeit, Verweise (Links) zwischen unterschiedlichen Datenquellen zu setzen » ermöglicht Navigation » wird von Suchmaschinen genutzt (Crawler) » Ermöglichung expressiver Suchfunktionalität über gesammelte Daten hinweg S. Auer, J. Lehmann, Ch. Bizer: Semantitsche Mashups auf Basis vernetzter Daten, in T. Pellegrini, A. Blumauer (Hrsg.): Social Semantic Web, Springer, 2009. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 60. Semantische Suche 60 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 61. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 61 Semantisch unterstütztes Information Retrieval • Semantische Annotationen ermöglichen eine Verbesserung der traditionellen Schlüsselwort-basierten Suche durch • Erweiterung / Präzisierung der Suchergebnisse • Herleitung von impliziten Informationen • Herstellung von Querverweisen • Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum (Explorative Suche) •Um semantische Annotationen im Information Retrieval effizient nutzen zu können, müssen diese explizit in die Indexdatenstruktur einer Suchmaschine integriert werden Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 62. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 62 Erweiterung der Suchergebnisse •Keyword-basierte Suche liefert nicht alle inhaltlich relevanten Suchergebnisse zu einer Suchphrase, da Synonyme, Metaphern und Umschreibungen den gesuchten Inhalt mit anderen Termen beschreiben. •Verfeinerung/Erweiterung der ursprünglichen Suchphrase (Query Refinement) • Nutzung von Wörterbüchern und Thesauri • Synonyme, Ober- und Unterbegriffe • Nutzung von Domain Ontologien • Meronyme, Holonyme, Assoziationen Suchphrase: Bank Mögliche Erweiterung: Bank ∨ Kreditanstalt ∨ Sparkasse ∨ ... Bank ∨ Konto ∨ Kredit ∨ ... Bank ∨ Santander ∨ Raiffeisen ∨ ... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 63. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 63 Präzisierung der Suchergebnisse •Keyword-basierte Suche liefert zu viele inhaltlich nicht relevante Suchergebnisse zu einer Suchphrase, da Suchbegriffe mehrere Bedeutung und in unterschiedlichem Kontext/Pragmatik genutzt werden. •Verfeinerung/Erweiterung der ursprünglichen Suchphrase (Query Refinement) • Nutzung von Wörterbüchern und Thesauri • Homonyme mit Hilfe von Ober- und Unterbegriffen disambiguieren • Nutzung von Domain Ontologien • Meronyme, Holonyme Suchphrase: Bank Mögliche Erweiterung: Bank ∧ Kreditanstalt oder Bank ∧ Sitzgelegenheit oder Bank ∧ Sediment Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 64. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 64 Herleitung impliziter Information ■ deduktives Reasoning □ häufigste Form, aus explizit gespeicherten Fakten wird auf implizites Wissen geschlossen □ Anna rdf:type Mutter . Mutter rdf:subClass Frau . Schlussfolgerung: Anna ist eine Frau ■ induktives Reasoning □ Lernprozess, aus vorhandenem Faktenwissen werden allgemeinere Behauptungen aufgestellt □ Anna rdf:type Frau . Anna hasChild Franz . Beate rdf:type Frau . □ Lerne neues Konzept „Mutter“ aus positivem Beispiel (Anna) und negativem Beispiel (Beate) --> (Frau ⊓ ∃hasChild) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 65. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 65 Herstellung von Querverweisen □ Bereitstellung von Suchergebnissen, die zwar den Suchbegriff nicht notwendigerweise enthalten, aber mit diesem in inhaltlichem Zusammenhang stehen □ Nutzung von Domain Ontologien □ Nutzung von Thesauri und Kookurrenzanalysen repräsentativer Dokumentenkorpora Suchphrase: Hemingway ermittelter Oberbegriff zu Hemingway: amerikanischer Autor Ausweitung der Suche auf andere amerikanische Autoren dbpedia:AmericanNovelists rdf:type rdf:type Instanzerkennung Hemingway dbpedia:Ernest_Hemingway dbpedia:Edgar_Allen_Poe Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 66. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 66 Explorative Suche • Abkehr vom „Google Paradigma“ • Visualisierung von Querverbindungen zwischen • Suchbegriffen (Ontologieebene) • Suchergebnissen (Instanzebene) • Ermöglicht es dem Benutzer • Suchergebnisse „zufällig“ zu entdecken, die er eigentlich gar nicht gesucht hat (Serendipity) • einen besseren Überblick über den Suchraum / Ergebnisraum zu gewinnen Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 67. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 67 Implementierung einer explorativen Suche • Beispiel NPBibSearch • bibliografische Suche auf ECCC (Electronic Colloquium of Computational Complexity) NP-complete is special/general variant NP P is weaker / stronger is a is a can be reduced to is a member of decision problem complexity class has member is a is a … problem graph problem logic problem set problem is a is a Colorability SAT 3-SAT (NP-Ontologie, Sack, Niedermeier, Vogel ) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 68. 3. Semantische Suche 3.2 Semantisch unterstütztes Information Retrieval 68 Implementierung einer explorativen Suche • Beispiel NPBibSearch • bibliografische Suche auf ECCC (Electronic Colloquium of Computational Complexity) SAT CNF-SAT le to weaker cib u version red 2-SAT 3-SAT o ib le t generalization uc red SAT SAT Colorability Knapsack Sack: NPBibSearch - an Ontology Augmented Bibliographic Search, SWAP 2005 Sack, Krüger, Dom: A Knowledge Base on NP-complete Decision Problems and Vertex Cover its Application in Bibliographic Search, XML-Tage Berlin, 2006 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 69. 5. Explorative Suche 69 Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 70. Semantische Suche 70 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen 2. Suche in Audiovisuellen Daten 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche 3. Semantische Suche 3.1 Semantic Web Technologie 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 71. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 71 Semantische Videoanalyse ■ Ursprüngliche Metadaten enthalten □ OCR/ICR - Textdaten □ Textdaten aus Audio-Transkribierung □ Low Level Deskriptoren ■ Identifiziere relevante Schlüsselwörter □ traditionell TF/IDF, OKAPI, TF-ICF, KLD, etc. ■ Mapping der relevanten Schlüsselwörter auf Domain-Ontologie □ Statistische Auswahl der relevanten Domain-Ontologie (Kategorisierung) □ Manuelle Auswahl durch Autor/Ersteller ■ Instanz-Erkennung / Konzept-Erkennung □ Disambiguierung durch Koreferenz-/Kontextanalyse, Clustering, Machine Learning, etc. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 72. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 72 Semantische Annotation • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Person xy Metadaten Person yz Ort xyz Ereignis abc Person xy Ort yz semantische Metadaten (z.B. als DC-RDF / MPEG7-COMM u.a.) Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 73. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 73 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien Person xy Person yz Person xy Ort xyz Ort yz Ereignis abc z.B. bibliografische Daten, geografische Daten, enzyklopädische Daten, .... Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 74. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 74 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data) • Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten Klasse A stehtInBeziehungMit Klasse B Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 75. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 75 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data) • Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten • Nutzung der Querbezüge zur Navigation (Visualisierung) der ursprünglichen Grunddaten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 76. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 76 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung gleichartiger Entitäten dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . Finde weitere Ressourcen vom selben Typ, d.h. (1) finde weitere amerikanische Autoren (2) finde Ressourcen (Videos) mit weiteren amerikanischen Autoren Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 77. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 77 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten ,Properties‘ dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound . dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway . dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist . Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 78. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 78 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten ,Properties‘ dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound . dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway . dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist . Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 79. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 79 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten ,Properties‘ dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound . dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway . dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist . Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 80. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 80 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten „Properties“ • Nutzung des Properties zur Navigation/Visualisierung Ezra Pound Ernest Hemingway J.D. Salinger dbpedia:ontology/influences dbpedia:ontology/influences • Erweitere Suche mit asoziierten Entitäten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 81. 3. Semantische Suche 3.3 Semantische Suche in audiovisuellen Daten 81 Explore Window Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009. Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009
  • 82. Semantische Suche 82 1. Schlüsselwort-basierte Suche 1.1 klassisches Information Retrieval 1.2 Suchmaschinen im World Wide Web 1.3 Probleme aktueller WWW-Suchmaschinen Vielen Dank für Ihre Aufmerksamkeit ! 2. Suche in Audiovisuellen Daten Fragen....? 2.1 allgemeine Problematik 2.2 automatisierte Videoanalyse und Metadatengewinnung 2.2 yovisto.com - Akademische Videosuche Links: • HPI Homepage: 3. Semantische Suche http://www.hpi.uni-potsdam.de/meinel/sack.html • Yovisto: www.yovisto.com 3.1 Semantic Web Technologie • Blogs: http://moresemantic.blogspot.com/ http://yovisto.blogspot.com/ 3.2 Semantisch unterstütztes Information Retrieval 3.3 Semantische Suche in Audiovisuellen Daten Kolloquium: Semantische Suche, Dr. Harald Sack, HPI Potsdam Donnerstag, 11. Juni 2009