Semantische Suche                     in audiovisuellen Daten                                               Dr. Harald Sac...
■ Das HPI wurde im Oktober 1998 im Rahmen einer               Public-Private-Partnership gegründet             ■ Forschung...
Semantic Technologies &   Multimedia Retrieval          ■ Research Topics                □ Semantic Web Technologies      ...
http://projekt-mediaglobe.de/Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationsze...
http://projekt-mediaglobe.de/        ■ THESEUS Forschungsprogramm:          Neue internetbasierte Wissensinfrastruktur.   ...
http://projekt-mediaglobe.de/        ■ THESEUS Forschungsprogramm:          Neue internetbasierte Wissensinfrastruktur.   ...
Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
http://www.yovisto.com/Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum,...
■ Videoportal für akademische Aufzeichnungen              ■ Vorlesungen              ■ Konferenzen & Vorträge             ...
Wie find                 et man e                          twas in          einem Vi                   deoarchi           ...
Wie findet Google     etwas in einem Video?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS –...
Wie findet man etwas        in einem audiovisuellen Archiv?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler M...
Wie findet man etwas        in einem audiovisuellen Archiv?                                            1. Schritt: Digital...
Wie findet man etwas        in einem audiovisuellen Archiv?                                            1. Schritt: Digital...
Wie findet man etwas        in einem audiovisuellen Archiv?               Manuelle Audio-/VideoanalyseDr. Harald Sack - Th...
automat                                isierte in                                           haltliche                     ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse                                                                                   ...
Automatisierte  Audio- und Videoanalyse            • Ergebnis: 	                      Videosegmente mit zugeordneten, zeit...
Semantische Analyse & Annotation              Video Analyse /                                                             ...
Was bri                                 ngt                   ,semanti                            sche Su                 ...
Wie findet man etwas im WWW?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszen...
Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20...
Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20...
Das „Google Dilemma“                                                                                  SuchvorschlägeDr. Ha...
Das „Google Dilemma“                                                                                  Suchvorschläge      ...
Das „Google Dilemma“                                                                                  Suchvorschläge      ...
Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20...
Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20...
Das Dilemma mit der Sprache    Bsp.: Suchbegriff: „Golf“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medi...
Das Dilemma mit der Sprache    Bsp.: Suchbegriff: „Golf“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medi...
Das Dilemma mit der Sprache    Bsp.: Suchbegriff: „Golf“    Homonyme erschweren präzises SuchenDr. Harald Sack - Thementag...
Das Dilemma mit der Sprache    Bsp.: Suchbegriff: „Golf“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medi...
Das Dilemma mit der Sprache    Bsp.: Suchbegriff: „Golf“                                                                  ...
Das Dilemma mit der Sprache    Bsp.: Suchbegriff: „Golf“                                                                  ...
Noch ein Dilemma....    Wie finde ich dieses Auto?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THE...
Noch ein Dilemma....    Wie finde ich dieses Auto?                                                                         ...
Noch ein Dilemma....    Wie finde ich dieses Auto?                                                                         ...
Noch ein Dilemma....    Wie finde ich dieses Auto?                                                                         ...
Noch ein Dilemma....    Wie finde ich dieses Auto?                                                              Buckminster...
Semantis                 Analyse       che                         & Annot                                 ation...Dr. Har...
Semantische Analyse & Annotation   unstrukturierte                                                Wissens-    Metadaten   ...
Semantische Analyse & Annotation   unstrukturierte                                                Wissens-    Metadaten   ...
Semantische Analyse & Annotation   unstrukturierte                                                Wissens-    Metadaten   ...
Semantische Analyse & Annotation   unstrukturierte                                                Wissens-    Metadaten   ...
Semantische Analyse & Annotation   unstrukturierte                                                Wissens-    Metadaten   ...
Semantische Analyse & Annotation   unstrukturierte                                                Wissens-    Metadaten   ...
Semantische Analyse & Annotation    Named Entity Recognition      • Abbildung von Schlüsselwörtern (Text) auf semantische ...
Semantische Analyse & Annotation    Named Entity Recognition      • Abbildung von Schlüsselwörtern (Text) auf semantische ...
Semantische Analyse & Annotation    Named Entity Recognition      • Abbildung von Schlüsselwörtern (Text) auf semantische ...
Semantische Analyse & Annotation    Named Entity Recognition      • Abbildung von Schlüsselwörtern (Text) auf semantische ...
Semantische Analyse & Annotation Kontextanalyse und Disambiguierung     Wie setzt sich Kontext in AV-Daten zusammen?      ...
Semantische Analyse & AnnotationKontextanalyse und Disambiguierung    Wie setzt sich Kontext in AV-Daten zusammen?       •...
Semantische Analyse & AnnotationKontextanalyse und Disambiguierung    Wie setzt sich Kontext in AV-Daten zusammen?       •...
Semantische Analyse & AnnotationKontextanalyse und Disambiguierung    Wie setzt sich Kontext in AV-Daten zusammen?       •...
Semantische Analyse & AnnotationKontextanalyse und Disambiguierung    Wie setzt sich Kontext in AV-Daten zusammen?        ...
Semantische Analyse & Annotation   Kontextanalyse und Disambiguierung   (1) Kookkurrenz-Analyse                           ...
Semantische Analyse & Annotation   Kontextanalyse und Disambiguierung   (1) Kookkurrenz-Analyse                           ...
Semantische Analyse & Annotation   Kontextanalyse und Disambiguierung   (2) semantische Graphanalyse          Keyterm / Us...
Suchen                                                          ist nich                                                  ...
Suchen ist nicht gleich Suchen         Variante 1: Der Benutzer weiß genau, was er sucht....         • Ein einfaches Beisp...
Suchen ist nicht gleich Suchen         Variante 1: Der Benutzer weiß genau, was er sucht....         • Ein einfaches Beisp...
Suchen ist nicht gleich Suchen         Variante 1: Der Benutzer weiß genau, was er sucht....         • Ein einfaches Beisp...
Suchen ist nicht gleich Suchen         Variante 1: Der Benutzer weiß genau, was er sucht....         • Ein einfaches Beisp...
Suchen ist nicht gleich Suchen        Variante 2: ...was, wenn man nicht genau weiß, was man sucht?              Mir hat d...
Suchen ist nicht gleich Suchen        Variante 2: ...was, wenn man nicht genau weiß, was man sucht?              Mir hat d...
Explorative Suche        • Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll?        • Was, wenn...
Wie kann                                            man eine                                explorat                      ...
Semantische Videosuche...              Video Analyse /                                                                    ...
The Web of Data - The Semantic Web                                 Data is a precious thing and will last longer than the ...
http://dbpedia.org/Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20....
Explorative Suche           dbpedia:For_Whom_the_Bell_Tolls                                      Wie soll das semantische ...
Explorative Suche           dbpedia:For_Whom_the_Bell_Tolls                                                               ...
Explorative Suche                                         dbpedia-owl:author                                              ...
Explorative Suche                                                                                              or         ...
Explorative Suche                                                                                              or         ...
Explorative Suche                                                                                              or         ...
Explorative Suche           dbpedia:For_Whom_the_Bell_Tolls                                                               ...
Explorative Suche                                    dbpedia-owl:author dbpedia:For_Whom_the_Bell_Tolls                   ...
Explorative Suche                                                                                                         ...
Explorative Suche                                                                                                   dbpedi...
Explorative Suche                                                                                                   dbpedi...
Explorative Suche                                                                                                   dbpedi...
Explorative Suche                                                                                                         ...
Explorative Suche                                                                                                         ...
Explorative Suche                                                                                                         ...
Explorative Suche                                                                                                         ...
...und wi                              e sieht e                  explorat              ine                           ive ...
29                                                                                                          Waitelonis, Sa...
29                                                                                                          Waitelonis, Sa...
Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
Kontakt:   Dr. Harald Sack / Jörg Waitelonis   Hasso-Plattner-Institut für Softwaresystemtechnik   Universität Potsdam   P...
Upcoming SlideShare
Loading in...5
×

Semantische Suche in audiovisuellen Daten

924

Published on

Vortrag zum TIZ-Thementag: Effiziente Erschließung digitaler Medien, am 20. Juni 2011

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
924
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Semantische Suche in audiovisuellen Daten

  1. 1. Semantische Suche in audiovisuellen Daten Dr. Harald Sack Hasso-Plattner-Institut für Softwaresystemtechnik Universität PotsdamThementag: Effiziente Erschließung digitaler MedienTHESEUS – Innovationszentrum Internet der Dienste Salzufer 6, 10587 Berlin, 20. Juni 2011
  2. 2. ■ Das HPI wurde im Oktober 1998 im Rahmen einer Public-Private-Partnership gegründet ■ Forschung und Lehre am HPI ist dem „IT Systems Engineering“ gewidmet ■ 10 Professoren und ca. 100 Mitarbeiter in Forschung und Lehre ■ aktuell 450 Studenten in universitären Studiengängen „IT Systems Engineering“ ■ CHE-Ranking 2010 sieht HPI auf Top-RangDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  3. 3. Semantic Technologies & Multimedia Retrieval ■ Research Topics □ Semantic Web Technologies □ Ontological Engineering □ Information Retrieval □ Multimedia Analysis & Retrieval □ Social Semantic Web □ Data/Information Visualization ■ Research ProjectsDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  4. 4. http://projekt-mediaglobe.de/Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  5. 5. http://projekt-mediaglobe.de/ ■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur. ■ UseCase Contentus: Technologien für die Mediathek der Zukunft. ■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten. ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-InhaltenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  6. 6. http://projekt-mediaglobe.de/ ■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur. ■ UseCase Contentus: Technologien für die Mediathek der Zukunft. ■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten. ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-InhaltenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  7. 7. Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  8. 8. http://www.yovisto.com/Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  9. 9. ■ Videoportal für akademische Aufzeichnungen ■ Vorlesungen ■ Konferenzen & Vorträge ■ Lehrfilme ■ über 10.000 internationale Videos zu allen wissenschaftlichen Themen ■ automatisierte Videoanalyse ■ kollaborative Annotation ■ Semantische Analyse & Annotation ■ Semantische Suche ■ Explorative Suche http://www.yovisto.com/Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  10. 10. Wie find et man e twas in einem Vi deoarchi v?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  11. 11. Wie findet Google etwas in einem Video?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  12. 12. Wie findet man etwas in einem audiovisuellen Archiv?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  13. 13. Wie findet man etwas in einem audiovisuellen Archiv? 1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computer-gestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden.Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  14. 14. Wie findet man etwas in einem audiovisuellen Archiv? 1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computer-gestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden. 2. Schritt: Verschlagwortung Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  15. 15. Wie findet man etwas in einem audiovisuellen Archiv? Manuelle Audio-/VideoanalyseDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  16. 16. automat isierte in haltliche Erschlie ßung audiovis ueller D atenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  17. 17. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändigDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  18. 18. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändigDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  19. 19. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändigDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  20. 20. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- AnalyseDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  21. 21. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Analyse Face- DetectionDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  22. 22. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Overlay- Face- Analyse text DetectionDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  23. 23. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text DetectionDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  24. 24. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text Detection Szenen- textDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  25. 25. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • komplex (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text Detection Szenen- text { Audio-Mining Strukturelle Sprecher- Transkription Analyse identifikationDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  26. 26. Automatisierte Audio- und Videoanalyse • Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten timeMetadata Extraction • Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren • Metadaten als Basis für traditionelles und semantisches Information RetrievalDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  27. 27. Semantische Analyse & Annotation Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc Ontologien e.g., bibliographical data, geographical data, encyclopedic data, ..Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  28. 28. Was bri ngt ,semanti sche Su che‘?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  29. 29. Wie findet man etwas im WWW?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  30. 30. Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  31. 31. Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  32. 32. Das „Google Dilemma“ SuchvorschlägeDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  33. 33. Das „Google Dilemma“ Suchvorschläge Multimodale ErgebnisseDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  34. 34. Das „Google Dilemma“ Suchvorschläge Suchfacetten Multimodale ErgebnisseDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  35. 35. Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  36. 36. Das „Google Dilemma“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  37. 37. Das Dilemma mit der Sprache Bsp.: Suchbegriff: „Golf“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  38. 38. Das Dilemma mit der Sprache Bsp.: Suchbegriff: „Golf“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  39. 39. Das Dilemma mit der Sprache Bsp.: Suchbegriff: „Golf“ Homonyme erschweren präzises SuchenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  40. 40. Das Dilemma mit der Sprache Bsp.: Suchbegriff: „Golf“Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  41. 41. Das Dilemma mit der Sprache Bsp.: Suchbegriff: „Golf“ Volkswagen Golf Volkswagen RabbitDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  42. 42. Das Dilemma mit der Sprache Bsp.: Suchbegriff: „Golf“ Volkswagen Golf Volkswagen Rabbit Synonyme erschweren vollständiges SuchenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  43. 43. Noch ein Dilemma.... Wie finde ich dieses Auto?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  44. 44. Noch ein Dilemma.... Wie finde ich dieses Auto? Geodätische StrukturenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  45. 45. Noch ein Dilemma.... Wie finde ich dieses Auto? Buckminster FullerDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  46. 46. Noch ein Dilemma.... Wie finde ich dieses Auto? Geodätische Strukturen + Buckminster Fuller +Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011 Dymaxion
  47. 47. Noch ein Dilemma.... Wie finde ich dieses Auto? Buckminster Fuller Geodätische Strukturen Geodätische Strukturen + Buckminster Fuller + DymaxionDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  48. 48. Semantis Analyse che & Annot ation...Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  49. 49. Semantische Analyse & Annotation unstrukturierte Wissens- Metadaten repräsentation Entity Recognition/ textuelle Mapping Metadaten Entität A Low Level / High Level DeskriptorenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  50. 50. Semantische Analyse & Annotation unstrukturierte Wissens- Metadaten repräsentation Entity Recognition/ textuelle Mapping Metadaten Entität A ist ein Low Level / High Level Deskriptoren Klasse XDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  51. 51. Semantische Analyse & Annotation unstrukturierte Wissens- Metadaten repräsentation Entity Recognition/ textuelle Mapping Metadaten Entität A ist ein Low Level / High Level Deskriptoren Klasse X ist Subklasse von Klasse YDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  52. 52. Semantische Analyse & Annotation unstrukturierte Wissens- Metadaten repräsentation Entity Recognition/ textuelle Mapping Metadaten Entität A ist ein Low Level / steht in High Level Deskriptoren Beziehung mit Klasse X Klasse Z ist Subklasse von Klasse YDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  53. 53. Semantische Analyse & Annotation unstrukturierte Wissens- Metadaten repräsentation Entity Recognition/ textuelle Mapping Metadaten Entität A Entität B ist ein ist ein Low Level / steht in High Level Deskriptoren Beziehung mit Klasse X Klasse Z ist Subklasse von Klasse YDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  54. 54. Semantische Analyse & Annotation unstrukturierte Wissens- Metadaten repräsentation Existiert eine Entität B, die mit Entität A in Beziehung steht? Entity Recognition/ textuelle Mapping Metadaten Entität A Entität B ist ein ist ein Low Level / steht in High Level Deskriptoren Beziehung mit Klasse X Klasse Z ist Subklasse von Klasse YDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  55. 55. Semantische Analyse & Annotation Named Entity Recognition • Abbildung von Schlüsselwörtern (Text) auf semantische Entitäten • Kontextanalyse und DisambiguierungDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  56. 56. Semantische Analyse & Annotation Named Entity Recognition • Abbildung von Schlüsselwörtern (Text) auf semantische Entitäten • Kontextanalyse und DisambiguierungDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  57. 57. Semantische Analyse & Annotation Named Entity Recognition • Abbildung von Schlüsselwörtern (Text) auf semantische Entitäten • Kontextanalyse und Disambiguierung Truman Keyterm / User TagDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  58. 58. Semantische Analyse & Annotation Named Entity Recognition • Abbildung von Schlüsselwörtern (Text) auf semantische Entitäten • Kontextanalyse und Disambiguierung Semantic Entities Truman Capote ? Harry S. Truman ? Truman, Minesota ? Truman The Truman Show ? Keyterm / User TagDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  59. 59. Semantische Analyse & Annotation Kontextanalyse und Disambiguierung Wie setzt sich Kontext in AV-Daten zusammen? • Temporale Kohärenz der Metadaten • Spatiale Kohärenz der Metadaten • Provenienz der MetadatenDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  60. 60. Semantische Analyse & AnnotationKontextanalyse und Disambiguierung Wie setzt sich Kontext in AV-Daten zusammen? • Temporale Kohärenz der Metadaten • Spatiale Kohärenz der Metadaten • Provenienz der Metadaten Keyterm / User Tag TrumanDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  61. 61. Semantische Analyse & AnnotationKontextanalyse und Disambiguierung Wie setzt sich Kontext in AV-Daten zusammen? • Temporale Kohärenz der Metadaten • Spatiale Kohärenz der Metadaten • Provenienz der Metadaten Keyterm / User Tag Truman other User Metadata within same segment Eisenhower Potsdam Inauguration Context 1Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  62. 62. Semantische Analyse & AnnotationKontextanalyse und Disambiguierung Wie setzt sich Kontext in AV-Daten zusammen? • Temporale Kohärenz der Metadaten • Spatiale Kohärenz der Metadaten • Provenienz der Metadaten Keyterm / User Tag Truman other User Metadata Analytical Indoor within same segment Eisenhower Metadata Black&White within same segment Potsdam Inauguration Truman becomes President Context 1 Millions mourn Roosevelt Context 2Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  63. 63. Semantische Analyse & AnnotationKontextanalyse und Disambiguierung Wie setzt sich Kontext in AV-Daten zusammen? Authoritative • Temporale Kohärenz der Metadaten Metadata News Parade of 1945 • Spatiale Kohärenz der Metadaten for entire video • Provenienz der Metadaten This Castle newsreel shows us war-related news highlights of the year 1945. Context 3 Keyterm / User Tag Truman other User Metadata Analytical Indoor within same segment Eisenhower Metadata Black&White within same segment Potsdam Inauguration Truman becomes President Context 1 Millions mourn Roosevelt Context 2Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  64. 64. Semantische Analyse & Annotation Kontextanalyse und Disambiguierung (1) Kookkurrenz-Analyse basierend auf Wikipedia Truman ? Eisenhower ? Potsdam Inauguration ? Context Tauchen die Kontext-Terme gemeinsam in den zu disambiguierenden Artikeln auf?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  65. 65. Semantische Analyse & Annotation Kontextanalyse und Disambiguierung (1) Kookkurrenz-Analyse basierend auf Wikipedia Truman Eisenhower Potsdam Inauguration Context Tauchen die Kontext-Terme gemeinsam in den zu disambiguierenden Artikeln auf?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  66. 66. Semantische Analyse & Annotation Kontextanalyse und Disambiguierung (2) semantische Graphanalyse Keyterm / User Tag Truman Eisenhower Potsdam Inauguration Context LOD CloudDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  67. 67. Suchen ist nich t gleich Suchen. ...Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  68. 68. Suchen ist nicht gleich Suchen Variante 1: Der Benutzer weiß genau, was er sucht.... • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe...Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  69. 69. Suchen ist nicht gleich Suchen Variante 1: Der Benutzer weiß genau, was er sucht.... • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe...Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  70. 70. Suchen ist nicht gleich Suchen Variante 1: Der Benutzer weiß genau, was er sucht.... • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Wem die Ernest H Stunde s chlägt. (Stockho E M I N G W A - Fischer lm usw., Y. 8“ Verlag, Bermann- 1941) 56 0 S. II 1, 25 06, 3454 8Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  71. 71. Suchen ist nicht gleich Suchen Variante 1: Der Benutzer weiß genau, was er sucht.... • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Wem die Ernest H Stunde s chlägt. (Stockho E M I N G W A - Fischer lm usw., Y. 8“ Verlag, Bermann- 1941) 56 0 S. II 1, 25 06, 3454 8Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  72. 72. Suchen ist nicht gleich Suchen Variante 2: ...was, wenn man nicht genau weiß, was man sucht? Mir hat das Buch „Wem die Stunde schlägt“ von Ernest Hemingway gefallen und ich weiß nicht genau, was ich als nächstes lesen soll....Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  73. 73. Suchen ist nicht gleich Suchen Variante 2: ...was, wenn man nicht genau weiß, was man sucht? Mir hat das Buch „Wem die Stunde schlägt“ von Ernest Hemingway gefallen und ich weiß nicht genau, was ich als nächstes lesen soll....Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  74. 74. Explorative Suche • Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll? • Was, wenn der Benutzer komplexere Antworten sucht? • Was, wenn er/sie das Wissensgebiet, über das er sich informieren will, nicht (gut) kennt? • Was, wenn er/sie wissen möchte, welche Dokumente es insgesamt zu einem speziellen Thema in einem Repository gibt? • ...einen Überblick gewinnen • ...,Stöbern‘ statt ,Suchen‘ • ...etwas ,zufällig‘ finden • ...SerendipityDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  75. 75. Wie kann man eine explorat ive Such e realisier en?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  76. 76. Semantische Videosuche... Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, ..Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  77. 77. The Web of Data - The Semantic Web Data is a precious thing and will last longer than the systems themselves. (Tim Berners-Lee)Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011 http://linkeddata.org/
  78. 78. http://dbpedia.org/Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  79. 79. Explorative Suche dbpedia:For_Whom_the_Bell_Tolls Wie soll das semantische http://dbpedia.org/page/ For_Whom_the_Bell_Tolls Netzwerk um dbpedia:For_Whom_the_Bell_Tolls herum durchsucht werden?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  80. 80. Explorative Suche dbpedia:For_Whom_the_Bell_Tolls Vielleicht sind andere Bücher desselben Autors für mich interessant...?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  81. 81. Explorative Suche dbpedia-owl:author dbpedia:Ernest_Hemingway dbpedia:For_Whom_the_Bell_TollsDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  82. 82. Explorative Suche or uth :a wl -o dia pe db dbpedia-owl:author dbpedia:Ernest_Hemingway dbpedia:For_Whom_the_Bell_TollsDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  83. 83. Explorative Suche or uth :a wl -o r tho dia u l :a ow pe d ia- db pe db dbpedia-owl:author dbpedia:Ernest_Hemingway dbpedia:For_Whom_the_Bell_TollsDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  84. 84. Explorative Suche or uth :a wl -o r tho dia u l :a ow pe d ia- db pe db dbpedia-owl:author dbpedia-owl:author dbpedia:Ernest_Hemingway dbpedia:For_Whom_the_Bell_TollsDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  85. 85. Explorative Suche dbpedia:For_Whom_the_Bell_Tolls Gibt es Autoren, die in ähnlicher Weise geschrieben haben...?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  86. 86. Explorative Suche dbpedia-owl:author dbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_HemingwayDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  87. 87. Explorative Suche y dbpedia:Raymond_Carver - d _b edia ence bp influ d l: ow dbpedia-owl:author dbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_HemingwayDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  88. 88. Explorative Suche dbpedia:Jack_Kerouac by d_ ce en l:in a- flu ow pedi db _b y dbpedia:Raymond_Carver - d edia ence bp influ d l: ow dbpedia-owl:author dbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_HemingwayDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  89. 89. Explorative Suche dbpedia:Jack_Kerouac by d_ ce en l:in a- flu ow pedi db _b y dbpedia:Raymond_Carver - d edia ence bp influ d l: ow dbpedia-owl:author dbpedia-owl:influenced_by dbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_HemingwayDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011 dbpedia:Jerome_D._Salinger
  90. 90. Explorative Suche dbpedia:Jack_Kerouac dbpedia:Raymond_Carver und was sollte man von diesen eigentlich gelesen haben...?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011 dbpedia:Jerome_D._Salinger
  91. 91. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_CarverDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  92. 92. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWorkDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  93. 93. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork dbpedia-owl:notableWorkDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  94. 94. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork dbpedia- dbpedia-owl:notableWork owl:notableWorkDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  95. 95. ...und wi e sieht e explorat ine ive Video suche aus?Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  96. 96. 29 Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009.Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  97. 97. 29 Waitelonis, Sack: Augmenting Video Search with Linked Open Data, http://mediaglobe.yovisto.com:8080/ in Proc. I-Semantics , Graz 2009.Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  98. 98. Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  99. 99. Dr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  100. 100. Kontakt: Dr. Harald Sack / Jörg Waitelonis Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Prof.-Dr.-Helmert-Str. 2-3 D-14482 Potsdam Homepage: ttp://www.hpi.uni-potsdam.de/meinel/team/sack.html h http://www.yovisto.com/ Blog: http://moresemantic.blogspot.com/ E-Mail: harald.sack@hpi.uni-potsdam.de joerg.waitelonis@hpi.uni-potsdam.de Twitter: lysander07 / biblionomicon / yovisto an k f ür Vi ele n D ke it! erk sam Au fm Ih reDr. Harald Sack - Thementag: Effiziente Erschließung digitaler Medien, THESEUS – Innovationszentrum, 20. Juni 2011
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×