Projekt Mediaglobe / Yovisto

1,332 views
1,177 views

Published on

Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,332
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Projekt Mediaglobe / Yovisto

  1. 1. Projekt Mediaglobe im THESEUS Forschungsprogramm YOVISTO - Akademische Videosuche Dr. Harald Sack / Jörg Waitelonis Hasso-Plattner-Institut für Softwaresystemtechnik Universität PotsdamInhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  2. 2. ■ Das HPI wurde im Oktober 1998 im Rahmen einer Public-Private-Partnership gegründet ■ Forschung und Lehre am HPI ist dem „IT Systems Engineering“ gewidmet ■ 10 Professoren und ca. 100 Mitarbeiter in Forschung und Lehre ■ aktuell 450 Studenten in universitären Studiengängen „IT Systems Engineering“ ■ CHE-Ranking 2010 sieht HPI auf Top-RangDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  3. 3. Semantic Technologies &Multimedia Retrieval ■ Research Topics □ Semantic Web Technologies □ Ontological Engineering □ Information Retrieval □ Multimedia Analysis & Retrieval □ Social Networking □ Data/Information Visualization ■ Research Projects Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  4. 4. http://projekt-mediaglobe.de/Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  5. 5. http://projekt-mediaglobe.de/■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur. ■ UseCase Contentus: Technologien für die Mediathek der Zukunft. ■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten. ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-InhaltenDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  6. 6. http://projekt-mediaglobe.de/■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur. ■ UseCase Contentus: Technologien für die Mediathek der Zukunft. ■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten. ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-InhaltenDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  7. 7. Requirement Analysis and Media Census Data Collection from >200 AV-Archives about digitization, online distribution, and rights management Efficient Digitization of AV-Archives Workflow definition, evaluation, and best practices Software Enabled Digital Rights Management Workflow definition, best practices for unique determination of copyrights Automated AV Media Analysis Extraction of textual and semantic metadata for semantic search Metadata Engineering Definition, interlinking, and validation of (semantic) metadata model for media archives Semantic Search Combining semantic metadata into semantic search index to enable high precision/recall retrieval User Interface Design Support of innovative search strategies with semantic data/information visualizationDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  8. 8. Requirement Analysis and Media Census Data Collection from >200 AV-Archives about digitization, online distribution, and rights management Efficient Digitization of AV-Archives Workflow definition, evaluation, and best practices Software Enabled Digital Rights Management Workflow definition, best practices for unique determination of copyrights Automated AV Media Analysis Extraction of textual and semantic metadata for semantic search Metadata Engineering Definition, interlinking, and validation of (semantic) metadata model for media archives Semantic Search Combining semantic metadata into semantic search index to enable high precision/recall retrieval User Interface Design Support of innovative search strategies with semantic data/information visualizationDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  9. 9. http://www.yovisto.com/Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  10. 10. ■ Videoportal für akademische Aufzeichnungen ■ Vorlesungen ■ Konferenzen ■ ... sonstige (akademische) Beiträge■ über 11.000 internationale Videos zu allen wissenschaftlichen Themen■ automatisierte Videoanalyse ■ Szenen-Erkennung / Segmentierung ■ Intelligente Schrifterkennung (OCR)■ kollaborative Kommentierung http://www.yovisto.com/ ■ Tagging von Video-Szenen ■ Kommentieren von Video-Szenen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  11. 11. ■ Videoportal für akademische Aufzeichnungen ■ Vorlesungen ■ Konferenzen ■ ... sonstige (akademische) Beiträge■ über 11.000 internationale Videos zu allen wissenschaftlichen Themen■ automatisierte Videoanalyse ■ Szenen-Erkennung / Segmentierung ■ Intelligente Schrifterkennung (OCR)■ kollaborative Kommentierung http://www.yovisto.com/ ■ Tagging von Video-Szenen ■ Kommentieren von Video-Szenen Suche in den Videos Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  12. 12. ■ Semantische Verknüpfungen der Daten ■ Ontologie: http://www.yovisto.com/ontology/0.9/ ■ DBpedia, FOAF, DublinCore, MPEG-7, Tagging-Ontology ■ RDFa Annotation ■ SPARQL Endpoint: http://sparql.yovisto.com/■ Explorative Suche http://www.yovisto.com/J. Waitelonis, H. Sack: Augmenting Video Search with Linked OpenData, in Proc. of International Conference on Semantic Systems2009 (i-semantics 2009), September, 2-4, 2009, Graz, Journal ofUniversal Computer Science Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  13. 13. ■ Semantische Verknüpfungen der Daten ■ Ontologie: http://www.yovisto.com/ontology/0.9/ ■ DBpedia, FOAF, DublinCore, MPEG-7, Tagging-Ontology ■ RDFa Annotation ■ SPARQL Endpoint: http://sparql.yovisto.com/■ Explorative Suche http://www.yovisto.com/ Export aller Daten als RDFJ. Waitelonis, H. Sack: Augmenting Video Search with Linked OpenData, in Proc. of International Conference on Semantic Systems2009 (i-semantics 2009), September, 2-4, 2009, Graz, Journal of interoperabel, öffentlichUniversal Computer Science Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  14. 14. Wie find et man e in einem twas Videoarc hiv?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  15. 15. Wie findet Googleetwas in einem Video? Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  16. 16. Wie findet man etwasin einem audiovisuellen Archiv?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  17. 17. Wie findet man etwasin einem audiovisuellen Archiv? 1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computer-gestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden.Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  18. 18. Wie findet man etwasin einem audiovisuellen Archiv? 1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computer-gestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden. 2. Schritt: Verschlagwortung Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  19. 19. Wie findet man etwasin einem audiovisuellen Archiv? • Zur gezielten Suche in audiovisuellen Medien benötigen wir textuelle Beschreibungen • des Inhalts • des Produktionsprozesses • der technischen Parameter • etc.... • Metadaten für AV-Inhalte werden Heute meist immer noch manuell erstellt Manuelle Audio-/VideoanalyseDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  20. 20. ...geht da s auch automat isch?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  21. 21. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändigDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  22. 22. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändigDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  23. 23. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändigDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  24. 24. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- AnalyseDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  25. 25. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Analyse Face- DetectionDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  26. 26. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Overlay- Face- Analyse text DetectionDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  27. 27. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text DetectionDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  28. 28. AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text Detection Szenen- textDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  29. 29. Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text Detection Szenen- text { Audio-MiningStrukturelle Sprecher- Transkription Analyse identifikation Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  30. 30. Automatisierte Audio- und Videoanalyse • Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten timeMetadata Extraction • Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren • Metadaten als Basis für traditionelles und semantisches Information Retrieval Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  31. 31. Semantische Analyse Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  32. 32. Automat ische Videoana lyseverfa hrenDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  33. 33. Automatisierte Audio-/Videoanalyse • Strukturelle Analyse • Intelligent Character Recognition (ICR) • Character/Logo Detection • Character Filtering • Character Recognition • Audio Analyse • Speaker Detection • Automated Speech Recognition (ASR) • Genre Analyse • Face/Body Detection & Clustering Semantische Analyse Semantische SucheDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  34. 34. Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) videoDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  35. 35. Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenesDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  36. 36. Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shotsDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  37. 37. Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shots subhotsDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  38. 38. Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shots subhots framesDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  39. 39. Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shots subhots framesDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  40. 40. Strukturelle Analyse • Shot Boundary Detection Histogram Difference Analysis shots • Identification of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Analytical Shot Boundary Detection Motion Vector Analysis • Analysis of Luminance/Chrominance Histograms • Analysis of Edge Distribution • Analysis of Motion Vectors Machine Learning • Classification of Hard/Soft Cuts based on Image Features • K-Nearest Neighbor • Random Forrest • Support Vector Machines Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  41. 41. Strukturelle Analyse • Shot Boundary Detection shots • Identification of • Hard Cuts Feature Analysis • Luminance Histogram Difference • Chrominance Histogram Difference • Edge Distribution 91927 91928 91929 91930 91931 91932 Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  42. 42. Strukturelle Analyse • Shot Boundary Detection shots • Identification of • Hard Cuts • Drop Outs Histogram/Chrominance Difference Analysis Drop Out Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  43. 43. Strukturelle Analyse • Shot Boundary Detection shots • Identification of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Fade Out Fade In Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  44. 44. Strukturelle Analyse • Shot Boundary Detection Histogram Difference Analysis shots • Identification of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Analytical Shot Boundary Detection • Analysis of Luminance/Chrominance Histograms • Analysis of Edge Distribution Motion Vector Analysis • Analysis of Motion Vectors Machine Learning • Classification of Hard/Soft Cuts based on Image Features • K-Nearest Neighbor • Random Forrest • Support Vector Machines Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  45. 45. AutomatisierteAudio- und Videoanalyse Character Detection Face-Detection Character Recognition Face Clustering Face Tracking Logo-Detection Genre Detection Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  46. 46. AutomatisierteAudio- und Videoanalyse Character Detection Face-Detection Character Recognition Face Clustering Face Tracking Logo-Detection Genre Detection Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  47. 47. AutomatisierteAudio- und Videoanalyse Intelligent Character Recognition • Preprocessing • Character Identification • Text Preprocessing • Text Filtering • Adaption of script geometry (Deskew) • Image quality enhancement • Optical Character Recognition (OCR) • Standard OCR software (OCRopus) • Postprocessing • Lexical analysis • Statistical / context based filtering Ermittlungen nach Bombenfunden Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  48. 48. Intelligent Character Recognition • Preprocessing • Character Identification Filtering • Local Binary Patterns (LBP) • Histogram of Oriented Gradients Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  49. 49. Intelligent Character Recognition • Preprocessing • Character Identification Filtering • Local Binary Patterns (LBP) • Histogram of Oriented Gradients Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  50. 50. Intelligent Character Recognition • Preprocessing • Character Identification Filtering • Local Binary Patterns (LBP) • Histogram of Oriented Gradients Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  51. 51. AutomatisierteAudio- und Videoanalyse Intelligent Character Recognition • Preprocessing • Character Identification • Text Preprocessing • Text Filtering • Adaption of script geometry (Deskew) • Image quality enhancement • Optical Character Recognition (OCR) • Standard OCR software (OCRopus) • Postprocessing • Lexical analysis • Statistical / context based filtering Ermittlungen nach Bombenfunden Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  52. 52. Intelligent Character Recognition Original Image Bounding Box Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  53. 53. Intelligent Character Recognition Advanced Image Enhancement Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  54. 54. Intelligent Character Recognition Standard OCR (OCRopus) Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  55. 55. Intelligent Character Recognition Context-based Spell Correction Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  56. 56. Semantis che Ana lyse...Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  57. 57. Semantische Analyse Video Analyse / time Metadaten Extraktion Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  58. 58. Semantische Analyse Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  59. 59. Semantische Analyse • Named Entity Recognition • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  60. 60. Semantische Analyse • Named Entity Recognition • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  61. 61. Semantische Analyse • Named Entity Recognition • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Truman Keyterm / User Tag Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  62. 62. Semantische Analyse • Named Entity Recognition • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Semantic Entities Truman Capote ? Harry S. Truman ? Truman, Minesota ? Truman The Truman Show ? Keyterm / User Tag Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  63. 63. Semantische Analyse Contextanalyse und Disambiguierung What defines a Context in AV-Data? • Temporal Coherence • Spatial Coherenceurring • Provenanceuationed by order static novels and Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  64. 64. Semantische Analyse Contextanalyse und Disambiguierung What defines a Context in AV-Data? • Temporal Coherence • Spatial Coherence • Provenance Keyterm / User Tag Truman other User Tags within same segment Eisenhower Potsdam Inauguration Context Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  65. 65. Semantische Analyse Contextanalyse und Disambiguierung (1) Co-occurrence Analyse based on wikipediaTruman ? Eisenhower ? Potsdam Inauguration ? Context Do context terms co-occur in matching wikipedia article? Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  66. 66. Semantische Analyse Contextanalyse und Disambiguierung (1) Co-occurrence Analyse based on wikipediaTruman Eisenhower Potsdam Inauguration Context Disambiguation by statistical frequency Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  67. 67. Semantische Analyse Contextanalyse und Disambiguierung (2) Semantic Graph Analysis Keyterm / User Tag Truman Eisenhower Potsdam Inauguration Context LOD Cloud Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  68. 68. Suchen ist nich t gleich Suchen. ...Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  69. 69. Suchen ist nicht gleich Suchen • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  70. 70. Suchen ist nicht gleich Suchen • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  71. 71. Suchen ist nicht gleich Suchen • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Wem die Ernest H Stunde schlägt. (Stockho E M I N G W A - Fischer lm usw., Berman Y. 8“ Verlag, n- 1941) 56 0 S. II 1, 25 06, 3454 8 Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  72. 72. Suchen ist nicht gleich Suchen • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Wem die Ernest H Stunde schlägt. (Stockho E M I N G W A - Fischer lm usw., Berman Y. 8“ Verlag, n- 1941) 56 0 S. II 1, 25 06, 3454 8 Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  73. 73. Suchen ist nicht gleich Suchen • ...aber was, wenn man nicht genau weiß, was man sucht? Mir hat das Buch „Wem die Stunde schlägt“ von Ernest Hemingway gefallen und ich weiß nicht genau, was ich als nächstes lesen soll.... Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  74. 74. Suchen ist nicht gleich Suchen • ...aber was, wenn man nicht genau weiß, was man sucht? Mir hat das Buch „Wem die Stunde schlägt“ von Ernest Hemingway gefallen und ich weiß nicht genau, was ich als nächstes lesen soll.... Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  75. 75. Explorative Suche • Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll? • Was, wenn der Benutzer komplexere Antworten sucht? • Was, wenn er/sie das Wissensgebiet, über das er sich informieren will, nicht (gut) kennt? • Was, wenn er/sie wissen möchte, welche Dokumente es insgesamt zu einem speziellen Thema in einem Repository gibt? • ...,Stöbern‘ statt ,Suchen‘ • ...etwas ,zufällig‘ finden • ...Serendipity • ...einen Überblick gewinnen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  76. 76. Wie kann man eine explorat ive Such e realisier en?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  77. 77. Semantische Videosuche... Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  78. 78. The Web of Data - The Semantic Web Data is a precious thing and will last longer than the systems themselves. (Tim Berners-Lee) Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011 http://linkeddata.org/
  79. 79. http://dbpedia.org/Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  80. 80. DBpedia - die semantische Wikipedia □ Zentraler Bestandteil: Wikipedia Info-Boxen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  81. 81. DBPedia - die semantische Wikipedia □ Zentraler Bestandteil: Wikipedia Info-Boxen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  82. 82. Explorative Suche dbpedia:For_Whom_the_Bell_Tolls Wie soll das semantische http://dbpedia.org/page/ For_Whom_the_Bell_Tolls Netzwerk um dbpedia:For_Whom_the_Bell_Tolls herum durchsucht werden? Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  83. 83. Explorative Suche dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  84. 84. Explorative Suche or uth :a wl -o dia pe db dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  85. 85. Explorative Suche or uth :a wl -o r tho dia u l :a ow pe d ia- db pe db dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  86. 86. Explorative Suche or uth :a wl -o r tho dia u l :a ow pe d ia- db pe db dbpedia-owl:author dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  87. 87. Explorative Suche dbpedia-owl:authordbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  88. 88. Explorative Suche y dbpedia:Raymond_Carver - d _b edia ence bp influ d l: ow dbpedia-owl:authordbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  89. 89. Explorative Suche dbpedia:Jack_Kerouac by d_ ce en l:in a- flu ow pedi db _b y dbpedia:Raymond_Carver - d edia ence bp influ d l: ow dbpedia-owl:authordbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  90. 90. Explorative Suche dbpedia:Jack_Kerouac by d_ ce en l:in a- flu ow pedi db _b y dbpedia:Raymond_Carver - d edia ence bp influ d l: ow dbpedia-owl:author dbpedia-owl:influenced_bydbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway dbpedia:Jerome_D._Salinger Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  91. 91. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  92. 92. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  93. 93. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork dbpedia-owl:notableWork Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  94. 94. Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork dbpedia- dbpedia-owl:notableWork owl:notableWork Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  95. 95. ...und wi e sieht e explorat ine ive Video suche aus?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  96. 96. J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  97. 97. Semantische Suchtechnologien Explorative Suche in audiovisuellen Daten J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  98. 98. Semantische Suchtechnologien Explorative Suche in audiovisuellen Daten J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  99. 99. J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  100. 100. Semantische Suchtechnologien Explorative Suche in audiovisuellen Daten J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  101. 101. Semantische Suchtechnologien Explorative Suche in audiovisuellen Daten J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  102. 102. Semantische Suchtechnologien Explorative Suche in audiovisuellen Daten J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  103. 103. 29 Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  104. 104. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011
  105. 105. Kontakt:Dr. Harald Sack / Jörg WaitelonisHasso-Plattner-Institut für SoftwaresystemtechnikUniversität PotsdamProf.-Dr.-Helmert-Str. 2-3D-14482 PotsdamHomepage: ttp://www.hpi.uni-potsdam.de/meinel/team/sack.html h http://www.yovisto.com/Blog: http://moresemantic.blogspot.com/E-Mail: harald.sack@hpi.uni-potsdam.de joerg.waitelonis@hpi.uni-potsdam.deTwitter: lysander07 / biblionomicon / yovisto an k f ür Vi ele n D ke it! erk sam Au fm Ih re Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

×