Explorative Suche vs. traditionelle Suche

  • 2,345 views
Uploaded on

Traditionelle Suche vs. explorative Suche am Beispiel einer Video-Suchmaschine (yovisto.com).

Traditionelle Suche vs. explorative Suche am Beispiel einer Video-Suchmaschine (yovisto.com).

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,345
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
41
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Explorative Suche vs. Schlüsselwort-basierte Suche am Beispiel audiovisueller Daten Dr. Harald Sack Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam 23. April 2009 Dienstag, 28. April 2009
  • 2. Explorative vs. Schlüsselwort-basierte Suche 2 1. Kurzvorstellung HPI 2. Schlüsselwort-basierte Suche 3. Suche in Audiovisuellen Daten 3.1 automatisierte Videoanalyse und Metadatengewinnung 3.2 yovisto.com - Akademische Videosuche 4. Semantisch unterstützte Suche 5. Explorative Suche Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 3. 1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering Universität Potsdam • im Oktober 1998 im Rahmen 3 einer Public Private Partnership gegründet • An-Institut der Universität Potsdam • zwei universitäre Informatik-Studiengänge IT Systems Engineering mit Abschlüssen • Bachelor of Science (6 Semester) und • Master of Science (4 Semester) • 10 Professuren und 438 Studenten • 284 Bachelor Studenten • 154 Master Studenten • 81 Doktoranden cinearchiv digital, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 23. Mai 2009 Dienstag, 28. April 2009
  • 4. 1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering Universität Potsdam • Studiengang IT Systems Engineering 4 Research School „Service-Oriented Systems Engineering“ Virtual reality/Visualization Technology and Workflow Software-Architecturen HCI -Human Computer Internet Technologies Information Systems Operation Systems Business Process and Middleware Communication and Networks and Systems Graphics and Interaction Design IT Systems Engineering cinearchiv digital, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 23. Mai 2009 Dienstag, 28. April 2009
  • 5. 1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering • HPI School of Design Thinking 5 • Started in October 2007 HPI offers Europe‘s first „Design Thinking“ program • Program is inspired and performed in close cooperation with the d-School (Hasso Plattner Institute of Design) at the StanfordU, USA • Interdisciplinary teacher teams teach interdisciplinary student teams how to create new (IT-) products & services in a more creative and user friendly way cinearchiv digital, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 23. Mai 2009 Dienstag, 28. April 2009
  • 6. 1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering Universität Potsdam 6 Dr. Harald Sack ■ Promotion Uni Trier, 2002: formale Verifikation ■ 2002-2008: PostDoc FSU Jena ■ 2007-2009: Gastwissenschaftler am HPI ■ seit 1.1.2009: Senior Researcher am HPI ■ Forschungsschwerpunkte: □ Semantic Web Technologien □ Multimedia Retrieval ■ Videosuchmaschine yovisto.com Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 7. 1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering Universität Potsdam 7 Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 8. 1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering Universität Potsdam 8 yovisto.com • Videosuchmaschine mit dem Schwerpunkt akademischer Lehrveranstaltungen • aktuell mehr als 6.000 Vorlesungen und wissenschaftliche Vorträge aus der ganzen Welt • automatische Segmentierung und Videoanalyse • benutzergenerierte Co-Annotation • Social Tagging • Diskussionen • Rezensionen • Wikis • Lernmaterialien • Zielgenauer Zugriff auf gesuchte Videoinhalte Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 9. 1. Kurzvorstellung Hasso Plattner Institut für IT Systems Engineering Universität Potsdam yovisto.com - Arbeitsweise 9 search engine frontend search for analyze and link to video content any available academic WWW video recording in the WWW browse, play, and annotate video results video analysis and search index creation upload your own academic video recording Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 10. Explorative vs. Schlüsselwort-basierte Suche 0 1. Kurzvorstellung HPI 2. Schlüsselwort-basierte Suche 3. Suche in Audiovisuellen Daten 3.1 automatisierte Videoanalyse und Metadatengewinnung 3.2 yovisto.com - Akademische Videosuche 4. Semantisch unterstützte Suche 5. Explorative Suche Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 11. 2. Schlüsselwort-basiertes Information Retrieval im WWW 1 Das ,Google Paradigma‘ Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 12. 2. Schlüsselwort-basiertes Information Retrieval im WWW 2 Das ,Google Paradigma‘ Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 13. 2. Schlüsselwort-basiertes Information Retrieval im WWW 3 Das ,Google Paradigma‘ Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 14. 2. Schlüsselwort-basiertes Information Retrieval im WWW 4 Das ,Google Paradigma‘ •Eingabe einer Suchphrase •Boolesche Verknüpfung einzelner Suchbegriffe •Volltextsuche •Normalisierung ... •Erzeugung einer linearen (nach Relevanz gewichteten) Ergebnisliste •TF/IDF ... •PageRank •Personalisierung (Logdatenanalyse, etc.) Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 15. 2. Schlüsselwort-basiertes Information Retrieval im WWW 5 Probleme •Es werden viele nicht-relevante Ergebnisse gefunden •Homonyme •Kontext / Weltwissen •Pragmatik •Es werden nicht alle relevanten Ergebnisse gefunden •Synonyme •Metaphern und Umschreibungen •Kontext / Weltwissen Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 16. 2. Schlüsselwort-basiertes Information Retrieval im WWW 6 Das WWW ist ,ziemlich groß` •ca. 25 x 109 in Suchmaschinen indizierte Dokumente (TNL Blog: Google has 24 billion items index, considers MSN search nearest competitor, September 2005) •Web Crawler: > 1012 Dokumente (The Official Google Blog: We knew the Web was Big....., Juli 25, 2008) •DeepWeb (Darkweb) schätzungsweise bis zu 550 mal größer als das Surface Web (Bergman, 2001) Probleme: • Aktualität des Suchmaschinenindex • syntaktische / semantische Inkonsistenzen im Suchmaschinenindex • Skalierbarkeit der Suchmaschinenanwendung • ... Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 17. 2. Schlüsselwort-basiertes Information Retrieval im WWW 7 Noch mehr Probleme... •Informationskonsument •Wie finde ich die richtigen Informationen? •Was ist wichtig, was nicht? •Ist die Information vollständig? •Informationsproduzent •Wie sorge ich dafür, dass jemand die von mir angebotenen Informationen tatsächlich findet? •Kann die Informationssuche (zuverlässig) automatisiert werden? •Kann ich der angebotenen Information auch tatsächlich vertrauen? Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 18. Explorative vs. Schlüsselwort-basierte Suche 8 1. Kurzvorstellung HPI 2. Schlüsselwort-basierte Suche 3. Suche in Audiovisuellen Daten 3.1 automatisierte Videoanalyse und Metadatengewinnung 3.2 yovisto.com - Akademische Videosuche 4. Semantisch unterstützte Suche 5. Explorative Suche Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 19. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung 9 http://www.yovisto.com http://labs.google.com/gaudi Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 20. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung 0 Wie findet man etwas in einem audiovisuellen Archiv? • Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen. Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 21. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Wie findet man etwas in einem audiovisuellen Archiv? 1 automatische inhaltliche Analyse ist • schwierig und • • berechnungs-/speicheraufwändig ???? ???? Marlene Dietrich { „...ich bin von Kopf bis Fuß...“ Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 22. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Wie findet man etwas in einem audiovisuellen Archiv? 2 • Suche in traditionellen (textbasierten) Medien • Digitalisierung, Texterfassung, Texterkennung und Suche ist bereits auf hohem Niveau möglich und skalierbar • Suche in audiovisuellen Medien • Digitalisierung • Erschließung • manuell • automatisiert • zusätzliche Dimension (Zeit) Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 23. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Wie findet man etwas in einem audiovisuellen Archiv? 3 • Fazit: Wir benötigen textuelle Beschreibungen • des Inhalts • des Produktionsprozesses • der technischen Parameter • etc.... Metadaten manuell AV-Analyse automatisch Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 24. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Automatische Metadatengewinnung in AV-Daten 4 •Typische Aufgaben: •Segmentierung (Shot-, Szenen-, Kapiteldetektion) • Videoanalyse • kombinierte Audio-/Videoanalyse... •Intelligent Character Recognition (ICR) •Objekterkennung / Objektverfolgung • Gesichtserkennung / Identifikation ... •Kontextdetektion • in-/outdoor, Landschaft, Gebäude,... •Genreerkennung • Nachrichten, Sport, Werbung,... •Eventanalyse • Tennis, Fußball etc. ... Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 25. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Videosuchmaschine - prinzipielle Architektur 5 temporale Extraktion von Video- MPEG-7 segmentierung Deskriptoren Indexierung MPEG-Dekoder Metadatengenerierung Metadata Server Retrieval Video Database User-interface Query input, Player, Timeline, Summary,... Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 26. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Videosegmentierung 6 program / news feature film commercials feature film clip level scene scene1 scene2 scene 3 scene4 scene5 level shot shot1 shot2 shot3 level sub-shot sub-shot1 sub-shot2 sub-shot3 sub-shot4 sub-shot5 level frame frames level Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 27. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Szenenerkennung 7 •Eine Szene ist ein zeitliches Videosegment mit 3 konsistenten Eigenschaften: •Ereignis •Kameraeinstellung •Zeitraum Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 28. 3. Suche in Audiovisuellen Daten 3.1 Automatisierte Analyse und Metadatengewinnung Keyframe Extraktion 8 Motion:
GoF
/
GoP,
MotionActivity,
CameraMotion,
Motion
Trajectory,
 












Parametric
Motion shot01 shot02 Shot-/Subshotdetection Color:




Dominant
Color,
Scalable
Color,
Color
Layout,
Color
Structure
 Texture:
Edge
Histogram,
Homogeneous
Texture,
Texture
Browsing Shape:


Contour-based
Shape,
Region-based
Shape Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 29. Explorative vs. Schlüsselwort-basierte Suche 9 1. Kurzvorstellung HPI 2. Schlüsselwort-basierte Suche 3. Suche in Audiovisuellen Daten 3.1 automatisierte Videoanalyse und Metadatengewinnung 3.2 yovisto.com - Akademische Videosuche 4. Semantisch unterstützte Suche 5. Explorative Suche Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 30. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 0 Strukturelle (temporäre) Segmentierung ■ Grobsegmentierung (rein strukturell) □ --> Zerlegung Einzelbilder/Blöcke, Histogrammvergleich Zeit ■ Feinsegmentierung (inhaltsbasiert) □ --> Objekterkennung/-verfolgung □ --> OCR/ICR □ --> Korrelation Audio/Video (NLP) Zeit Zusammenfassen Verfeinern Zusammenfassen Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 31. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 1 Inhaltsbezogene Videoanalyse ■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Metadaten ■ Metadaten setzen sich zusammen aus kombinierten Low Level/ High Level Deskriptoren ■ Metadaten als Basis für traditionelles Information Retrieval Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 32. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine Metadatengewinnung 2 ICR / OCR Keyterm Spotting Dictionary ASR Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 33. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 3 Benutzergenerierte Metadaten □ automatische Analyse nur begrenzt leistungsfähig □ mangelnde Genauigkeit / Vollständigkeit □ Benutzergenerierte Metadaten können qualitativ zuverlässiger sein □ autoritative Metadaten □ strukturierte Daten □ unstrukturierte (textuelle) Daten □ nicht-autoritative Metadaten □ Tags □ Kommentare □ Diskussionen □ Rezensionen □ Feedback □ etc... Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 34. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 4 Kollaborative Annotation Apfel apple Apfel Obst Frucht Frühstück Autor Ressource Benutzer kaufen nicht- autoritative autoritative Metadaten Metadaten Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 35. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine Kollaborative Annotation -- Social Tagging 5 •Visualisierung der Benutzerannotation als Tag-Cloud Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 36. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 6 Temporale Annotation der Videodaten Key Frame 02 Key Frame 01 Key Frame 03 Zeit 0:00:00 0:02:34 0:13:57 • Nutzer1: Informatik • Nutzer1: Sprache • Nutzer2: Phonogramm • Nutzer4: Vorlesung • Nutzer2: Kehlkopf, • Nutzer3: Piktogramm, • Nutzer3: Dr. Sack… Sprache Ideogramm • Nutzer3: Spracherzeugung • Nutzer4: Klausur, • Nutzer4: Klausur Schriftzeichen, • ... Logogramme • ... Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 37. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 7 Spatiale Annotation (xmin, ymin, xmax, ymax) Hieroglyphen mit Königskartusche, Haute-Relief (xmin, ymin, xmax, ymax) Harald Sack Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 38. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 8 Metadaten für Audiovisuelle Medien ■ Dublin Core ■ LOM / SCORM Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Metadaten ■ Metadaten beziehen sich auf Zeitpunkt / Ort in den AV-Daten (spatio-temporale Annotation) ■ Metadaten sind benutzerbezogen (Social Tagging) Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 39. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 9 MPEG-7 Metadata Description Framework ■ umfassender XML-basierter Standard zur strukturellen und inhaltlichen Beschreibung von multimedialen Daten <!xml version=“1.0“ encoding=“iso-8859-1“> <Mpeg7 xmlns=urn:mpeg:mpeg7:schema:2001 …> … <AudioVisualSegment> <TextAnnotation type=“heading“ xml:lang=“de“> <FreeTextAnnotation> Der Computer als universales Kommunikationsmedium </FreeTextAnnotation> </TextAnnotation> ….. <MediaTime> <MediaTimePoint> T00:03:42.2 </MediaTimePoint> <MediaDuration> PT1M28.6S </MediaDuration> </MediaTime> …. Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 40. 3. Suche in Audiovisuellen Daten 3.2 yovisto.com - Akademische Videosuchmaschine 0 MPEG-7 Metadata Description Framework ■ Nutzung von MPEG-7 Datenstrukturen für die benutzergenerierte Annotation <CreationInformation> <Classification> <MediaReview> <Rating> <RatingValue>9.1</RatingValue> <RatingScheme style=quot;higherBetterquot;/> </Rating> <FreeTextReview> tag1, tag2, tag3 encode tagging information as </FreeTextReview> <ReviewReference> ( {tag set}, user, date, [rating] ) <CreationInformation> <Date>...</Date> </CreationInformation> </ReviewReference> <Reviewer xsi:type=quot;PersonTypequot; > <Name>Harald Sack</Name> </Reviewer> </MediaReview> <MediaReview>...</MediaReview> </Classification> </CreationInformation> Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 41. Explorative vs. Schlüsselwort-basierte Suche 1 1. Kurzvorstellung HPI 2. Schlüsselwort-basierte Suche 3. Suche in Audiovisuellen Daten 3.1 automatisierte Videoanalyse und Metadatengewinnung 3.2 yovisto.com - Akademische Videosuche 4. Semantisch unterstützte Suche 5. Explorative Suche Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 42. 4. Semantisch unterstützte Suche 2 Dokumentenzentrierte Verarbeitung im WWW •Das WWW ist für die Nutzung durch den Menschen bestimmt •Das Problem mit der Vielfalt: • Informationen sind verstreut, liegen in unterschiedlichen Formaten vor und müssen vom Menschen verstanden und zusammengeführt werden • Ein Beispiel: Reiseplanung Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 43. 4. Semantisch unterstützte Suche 3 Das Semantic Web - Datenzentrierte Verarbeitung •Die Bedeutung der Informationen (Semantik) wird durch standardisierte Wissensrepräsentationen (Ontologien) explizit formalisiert (strukturiert) • Damit wird es möglich, •die Bedeutung der Informationen maschinell zu verarbeiten •unterschiedliche (heterogene) Daten miteinander in Beziehung zu setzen •implizite (nicht offensichtliche) Information aus der vorhandenen (offensichtlichen) Information automatisch zu folgern Das Semantic Web ist eine Art globaler Datenbank, die ein universales Netz semantischer Aussagen bereit hält Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 44. 4. Semantisch unterstützte Suche 4 Das Semantic Web - Datenzentrierte Verarbeitung •Architektur und Standardisierung Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 45. 4. Semantisch unterstützte Suche 5 Das Semantic Web - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘ Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 46. 4. Semantisch unterstützte Suche 6 Semantische Videoanalyse ■ Ursprüngliche Metadaten enthalten □ OCR/ICR - Textdaten □ Textdaten aus Audio-Transkribierung □ Low Level Deskriptoren ■ Identifiziere relevante Schlüsselwörter □ traditionell TF/IDF, OKAPI, TF-ICF, KLD, etc. ■ Mapping der relevanten Schlüsselwörter auf Domain-Ontologie □ Statistische Auswahl der relevanten Domain-Ontologie (Kategorisierung) □ Manuelle Auswahl durch Autor/Ersteller ■ Instanz-Erkennung / Konzept-Erkennung □ Disambiguierung durch Koreferenz-/Kontextanalyse, Clustering, Machine Learning, etc. Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 47. 4. Semantisch unterstützte Suche 7 Semantische Videoanalyse ■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen semantischen Metadaten (Instanzen, Konzepte) Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Metadaten semantische Metadaten (z.B. als DC-RDF / MPEG7-COMM u.a.) Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 48. 4. Semantisch unterstützte Suche 8 Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Metadaten z.B. bibliografische Daten, geografische Daten, enzyklopädische Daten, .... Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 49. Explorative vs. Schlüsselwort-basierte Suche 9 1. Kurzvorstellung HPI 2. Schlüsselwort-basierte Suche 3. Suche in Audiovisuellen Daten 3.1 automatisierte Videoanalyse und Metadatengewinnung 3.2 yovisto.com - Akademische Videosuche 4. Semantisch unterstützte Suche 5. Explorative Suche Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 50. 5. Explorative Suche 0 Mehr Licht..... • Benutzer sieht die Welt durch das Fenster der Suchmaschine • Der Überblick über den Suchraum bleibt dem Benutzer (üblicherweise) verschlossen • Semantische Annotationen ermöglichen eine Verbesserung der traditionellen Schlüsselwort-basierten Suche durch • Erweiterung / Präzisierung der Suchergebnisse • Herleitung von impliziten Informationen • Herstellung von Querverweisen • Nutzung von semantischen Beziehungen zur Visualisierung und Navigation durch den Suchraum Explorative Suche Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 51. 5. Explorative Suche 1 Semantische Annotation • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand Zeit Metadaten Metadaten Metadaten Metadaten Metadaten Person xy Person yz Metadaten Ort xyz Ereignis abc Person xy Ort yz Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 52. 5. Explorative Suche 2 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien Person xy Person yz Person xy Ort xyz Ort yz Ereignis abc Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 53. 5. Explorative Suche 3 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data) • Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten Klasse B Klasse A stehtInBeziehungMit Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 54. 5. Explorative Suche 4 Semantische Annotationen • Entitätenerkennung in den textuellen Metadaten des Grunddatenbestand • Mapping der erkannten Entitäten gegen vorhandene Ontologien (Linked Open Data) • Nutzung von Objektbeziehungen (object properties) innerhalb der Ontologien zur Herstellung von Querbezügen zwischen den vorhandenen textuellen Metadaten • Nutzung der Querbezüge zur Navigation (Visualisierung) der ursprünglichen Grunddaten Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 55. 5. Explorative Suche 5 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten ,Properties‘ dbpedia:Ernest_Hemingway foaf:name “Ernest Hemingway“ . dbpedia:Ernest_Hemingway rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:Ernest_Hemingway dbpedia:ontology/influences dbpedia:Ezra_Pound . dbpedia:Ezra_Pound rdfs:type dbpedia:class/yago/AmericanNovelist . ... dbpedia:J._D._Salinger dbpedia:ontology/influences dbpedia:Ernest_Hemingway . dbpedia:J._D._Salinger rdfs:type dbpedia:class/yago/AmericanNovelist . Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 56. 5. Explorative Suche 6 Explorative Suche - ein einfaches Beispiel • Suche im Grunddatenbestand nach ,Ernest Hemingway‘ • Identifikation einer Entität dbpedia:Ernest_Hemingway • Bestimmung eines geeigneten „Properties“ • Nutzung des Properties zur Navigation/Visualisierung Ezra Pound Ernest Hemingway J.D. Salinger dbpedia:ontology/influences dbpedia:ontology/influences • Erweitere Suche mit asoziierten Entitäten Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 57. 5. Explorative Suche 7 Explore Window Waitelonis, Sack: Augmenting Video Search with Linked Open Data, 2009 Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 58. 5. Explorative Suche 8 Implementierung einer explorativen Suche • NPBibSearch • bibliografische Suche auf ECCC (Electronic Colloquium of Computational Complexity) NP-complete is special/general variant NP P is weaker / stronger is a is a can be reduced to is a member of decision problem complexity class has member is a is a graph problem logic problem set problem … problem is a is a SAT 3-SAT Colorability (NP-Ontologie, Sack, Niedermeier, Vogel ) Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 59. 5. Explorative Suche Implementierung einer explorativen Suche 9 • NPBibSearch • bibliografische Suche auf ECCC (Electronic Colloquium of Computational Complexity) SAT CNF-SAT to le weaker cib edu version r 3-SAT 2-SAT o le t generalization ib c u red SAT SAT Colorability Knapsack Sack: NPBibSearch - an Ontology Augmented Bibliographic Search, SWAP 2005 Sack, Krüger, Dom: A Knowledge Base on NP-complete Decision Problems and Vertex Cover its Application in Bibliographic Search, XML-Tage Berlin, 2006 Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 60. 5. Explorative Suche 0 Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 61. 5. Explorative Suche 1 Explorative Suche • liefert dem Benutzer Vorschläge zur Fortsetzung seiner Suche • orientiert sich am aktuellen Kontext • ermöglicht eine schrittweise Erkundung des Suchraums • ToDo: • Verallgemeinerung und Ausweitung des Konzepts der explorativen Suche zur (sinnvollen) Anwendung in beliebigen Retrieval Operationen • Skalierbarkeit der Suchmaschine setzt offline Indexierung der möglichen Querverknüpfungen voraus Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009
  • 62. Explorative vs. Schlüsselwort-basierte Suche 2 1. Kurzvorstellung HPI 2. Schlüsselwort-basierte Suche 3. Suche in Audiovisuellen Daten 3.1 automatisierte Videoanalyse und Metadatengewinnung 3.2 yovisto.com - Akademische Videosuche 4. Semantisch unterstützte Suche 5. Explorative Suche Vielen Dank für Ihre Aufmerksamkeit ! Fragen....? Links: • Yovisto: www.yovisto.com • Blogs: http://moresemantic.blogspot.com/ http://yovisto.blogspot.com/ Kolloquium: Explorative vs. Schlüsselwort-basierte Suche, Dr. Harald Sack, HPI Potsdam Dienstag, 28. April 2009