Projekt Mediaglobe / Yovisto

Projekt Mediaglobe im THESEUS Forschungsprogramm YOVISTO - Akademische Videosuche Dr. Harald Sack / Jörg Waitelonis Hasso-Plattner-Institut für Softwaresystemtechnik Universität PotsdamInhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

■ Das HPI wurde im Oktober 1998 im Rahmen einer Public-Private-Partnership gegründet ■ Forschung und Lehre am HPI ist dem „IT Systems Engineering“ gewidmet ■ 10 Professoren und ca. 100 Mitarbeiter in Forschung und Lehre ■ aktuell 450 Studenten in universitären Studiengängen „IT Systems Engineering“ ■ CHE-Ranking 2010 sieht HPI auf Top-RangDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantic Technologies &Multimedia Retrieval ■ Research Topics □ Semantic Web Technologies □ Ontological Engineering □ Information Retrieval □ Multimedia Analysis & Retrieval □ Social Networking □ Data/Information Visualization ■ Research Projects Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

http://projekt-mediaglobe.de/Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

http://projekt-mediaglobe.de/■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur. ■ UseCase Contentus: Technologien für die Mediathek der Zukunft. ■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten. ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-InhaltenDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Requirement Analysis and Media Census Data Collection from >200 AV-Archives about digitization, online distribution, and rights management Efficient Digitization of AV-Archives Workflow definition, evaluation, and best practices Software Enabled Digital Rights Management Workflow definition, best practices for unique determination of copyrights Automated AV Media Analysis Extraction of textual and semantic metadata for semantic search Metadata Engineering Definition, interlinking, and validation of (semantic) metadata model for media archives Semantic Search Combining semantic metadata into semantic search index to enable high precision/recall retrieval User Interface Design Support of innovative search strategies with semantic data/information visualizationDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

http://www.yovisto.com/Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

■ Videoportal für akademische Aufzeichnungen ■ Vorlesungen ■ Konferenzen ■ ... sonstige (akademische) Beiträge■ über 11.000 internationale Videos zu allen wissenschaftlichen Themen■ automatisierte Videoanalyse ■ Szenen-Erkennung / Segmentierung ■ Intelligente Schrifterkennung (OCR)■ kollaborative Kommentierung http://www.yovisto.com/ ■ Tagging von Video-Szenen ■ Kommentieren von Video-Szenen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

■ Videoportal für akademische Aufzeichnungen ■ Vorlesungen ■ Konferenzen ■ ... sonstige (akademische) Beiträge■ über 11.000 internationale Videos zu allen wissenschaftlichen Themen■ automatisierte Videoanalyse ■ Szenen-Erkennung / Segmentierung ■ Intelligente Schrifterkennung (OCR)■ kollaborative Kommentierung http://www.yovisto.com/ ■ Tagging von Video-Szenen ■ Kommentieren von Video-Szenen Suche in den Videos Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

■ Semantische Verknüpfungen der Daten ■ Ontologie: http://www.yovisto.com/ontology/0.9/ ■ DBpedia, FOAF, DublinCore, MPEG-7, Tagging-Ontology ■ RDFa Annotation ■ SPARQL Endpoint: http://sparql.yovisto.com/■ Explorative Suche http://www.yovisto.com/J. Waitelonis, H. Sack: Augmenting Video Search with Linked OpenData, in Proc. of International Conference on Semantic Systems2009 (i-semantics 2009), September, 2-4, 2009, Graz, Journal ofUniversal Computer Science Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

■ Semantische Verknüpfungen der Daten ■ Ontologie: http://www.yovisto.com/ontology/0.9/ ■ DBpedia, FOAF, DublinCore, MPEG-7, Tagging-Ontology ■ RDFa Annotation ■ SPARQL Endpoint: http://sparql.yovisto.com/■ Explorative Suche http://www.yovisto.com/ Export aller Daten als RDFJ. Waitelonis, H. Sack: Augmenting Video Search with Linked OpenData, in Proc. of International Conference on Semantic Systems2009 (i-semantics 2009), September, 2-4, 2009, Graz, Journal of interoperabel, öffentlichUniversal Computer Science Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Wie find et man e in einem twas Videoarc hiv?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Wie findet Googleetwas in einem Video? Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Wie findet man etwasin einem audiovisuellen Archiv?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Wie findet man etwasin einem audiovisuellen Archiv? 1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computer-gestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden.Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Wie findet man etwasin einem audiovisuellen Archiv? 1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computer-gestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden. 2. Schritt: Verschlagwortung Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen.Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Wie findet man etwasin einem audiovisuellen Archiv? • Zur gezielten Suche in audiovisuellen Medien benötigen wir textuelle Beschreibungen • des Inhalts • des Produktionsprozesses • der technischen Parameter • etc.... • Metadaten für AV-Inhalte werden Heute meist immer noch manuell erstellt Manuelle Audio-/VideoanalyseDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

...geht da s auch automat isch?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändigDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- AnalyseDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Analyse Face- DetectionDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Overlay- Face- Analyse text DetectionDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text DetectionDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text Detection Szenen- textDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Automatisierte Audio- und Videoanalyse automatische inhaltliche Analyse ist • schwierig (fehleranfällig) und • berechnungs-/speicheraufwändig Genre- Logo- Overlay- Face- Analyse Detection text Detection Szenen- text { Audio-MiningStrukturelle Sprecher- Transkription Analyse identiﬁkation Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Automatisierte Audio- und Videoanalyse • Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten timeMetadata Extraction • Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren • Metadaten als Basis für traditionelles und semantisches Information Retrieval Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Automat ische Videoana lyseverfa hrenDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Automatisierte Audio-/Videoanalyse • Strukturelle Analyse • Intelligent Character Recognition (ICR) • Character/Logo Detection • Character Filtering • Character Recognition • Audio Analyse • Speaker Detection • Automated Speech Recognition (ASR) • Genre Analyse • Face/Body Detection & Clustering Semantische Analyse Semantische SucheDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) videoDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenesDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shotsDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shots subhotsDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Automatische strukturelle Gliederung von AV-Daten • Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shots subhots framesDr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Shot Boundary Detection Histogram Difference Analysis shots • Identiﬁcation of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Analytical Shot Boundary Detection Motion Vector Analysis • Analysis of Luminance/Chrominance Histograms • Analysis of Edge Distribution • Analysis of Motion Vectors Machine Learning • Classiﬁcation of Hard/Soft Cuts based on Image Features • K-Nearest Neighbor • Random Forrest • Support Vector Machines Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Shot Boundary Detection shots • Identiﬁcation of • Hard Cuts Feature Analysis • Luminance Histogram Difference • Chrominance Histogram Difference • Edge Distribution 91927 91928 91929 91930 91931 91932 Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Shot Boundary Detection shots • Identiﬁcation of • Hard Cuts • Drop Outs Histogram/Chrominance Difference Analysis Drop Out Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Shot Boundary Detection shots • Identiﬁcation of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Fade Out Fade In Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Strukturelle Analyse • Shot Boundary Detection Histogram Difference Analysis shots • Identiﬁcation of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Analytical Shot Boundary Detection • Analysis of Luminance/Chrominance Histograms • Analysis of Edge Distribution Motion Vector Analysis • Analysis of Motion Vectors Machine Learning • Classiﬁcation of Hard/Soft Cuts based on Image Features • K-Nearest Neighbor • Random Forrest • Support Vector Machines Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse Character Detection Face-Detection Character Recognition Face Clustering Face Tracking Logo-Detection Genre Detection Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse Intelligent Character Recognition • Preprocessing • Character Identiﬁcation • Text Preprocessing • Text Filtering • Adaption of script geometry (Deskew) • Image quality enhancement • Optical Character Recognition (OCR) • Standard OCR software (OCRopus) • Postprocessing • Lexical analysis • Statistical / context based ﬁltering Ermittlungen nach Bombenfunden Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Intelligent Character Recognition • Preprocessing • Character Identiﬁcation Filtering • Local Binary Patterns (LBP) • Histogram of Oriented Gradients Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

AutomatisierteAudio- und Videoanalyse Intelligent Character Recognition • Preprocessing • Character Identiﬁcation • Text Preprocessing • Text Filtering • Adaption of script geometry (Deskew) • Image quality enhancement • Optical Character Recognition (OCR) • Standard OCR software (OCRopus) • Postprocessing • Lexical analysis • Statistical / context based ﬁltering Ermittlungen nach Bombenfunden Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Intelligent Character Recognition Original Image Bounding Box Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Intelligent Character Recognition Advanced Image Enhancement Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Intelligent Character Recognition Standard OCR (OCRopus) Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Intelligent Character Recognition Context-based Spell Correction Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantis che Ana lyse...Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Video Analyse / time Metadaten Extraktion Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse • Named Entity Recognition • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse • Named Entity Recognition • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Truman Keyterm / User Tag Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse • Named Entity Recognition • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Semantic Entities Truman Capote ? Harry S. Truman ? Truman, Minesota ? Truman The Truman Show ? Keyterm / User Tag Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Contextanalyse und Disambiguierung What deﬁnes a Context in AV-Data? • Temporal Coherence • Spatial Coherenceurring • Provenanceuationed by order static novels and Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Contextanalyse und Disambiguierung What deﬁnes a Context in AV-Data? • Temporal Coherence • Spatial Coherence • Provenance Keyterm / User Tag Truman other User Tags within same segment Eisenhower Potsdam Inauguration Context Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Contextanalyse und Disambiguierung (1) Co-occurrence Analyse based on wikipediaTruman ? Eisenhower ? Potsdam Inauguration ? Context Do context terms co-occur in matching wikipedia article? Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Contextanalyse und Disambiguierung (1) Co-occurrence Analyse based on wikipediaTruman Eisenhower Potsdam Inauguration Context Disambiguation by statistical frequency Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Analyse Contextanalyse und Disambiguierung (2) Semantic Graph Analysis Keyterm / User Tag Truman Eisenhower Potsdam Inauguration Context LOD Cloud Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Suchen ist nich t gleich Suchen. ...Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Suchen ist nicht gleich Suchen • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Suchen ist nicht gleich Suchen • Ein einfaches Beispiel: Ich suche das Buch „Wem die Stunde schlägt“ von Ernest Hemingway in der ersten deutschen Ausgabe... Wem die Ernest H Stunde schlägt. (Stockho E M I N G W A - Fischer lm usw., Berman Y. 8“ Verlag, n- 1941) 56 0 S. II 1, 25 06, 3454 8 Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Suchen ist nicht gleich Suchen • ...aber was, wenn man nicht genau weiß, was man sucht? Mir hat das Buch „Wem die Stunde schlägt“ von Ernest Hemingway gefallen und ich weiß nicht genau, was ich als nächstes lesen soll.... Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche • Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll? • Was, wenn der Benutzer komplexere Antworten sucht? • Was, wenn er/sie das Wissensgebiet, über das er sich informieren will, nicht (gut) kennt? • Was, wenn er/sie wissen möchte, welche Dokumente es insgesamt zu einem speziellen Thema in einem Repository gibt? • ...,Stöbern‘ statt ,Suchen‘ • ...etwas ,zufällig‘ finden • ...Serendipity • ...einen Überblick gewinnen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Wie kann man eine explorat ive Such e realisier en?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Videosuche... Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

The Web of Data - The Semantic Web Data is a precious thing and will last longer than the systems themselves. (Tim Berners-Lee) Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011 http://linkeddata.org/

http://dbpedia.org/Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

DBpedia - die semantische Wikipedia □ Zentraler Bestandteil: Wikipedia Info-Boxen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

DBPedia - die semantische Wikipedia □ Zentraler Bestandteil: Wikipedia Info-Boxen Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia:For_Whom_the_Bell_Tolls Wie soll das semantische http://dbpedia.org/page/ For_Whom_the_Bell_Tolls Netzwerk um dbpedia:For_Whom_the_Bell_Tolls herum durchsucht werden? Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche or uth :a wl -o dia pe db dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche or uth :a wl -o r tho dia u l :a ow pe d ia- db pe db dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche or uth :a wl -o r tho dia u l :a ow pe d ia- db pe db dbpedia-owl:author dbpedia-owl:author dbpedia:Ernest_Hemingwaydbpedia:For_Whom_the_Bell_Tolls Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia-owl:authordbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche y dbpedia:Raymond_Carver - d _b edia ence bp influ d l: ow dbpedia-owl:authordbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia:Jack_Kerouac by d_ ce en l:in a- flu ow pedi db _b y dbpedia:Raymond_Carver - d edia ence bp influ d l: ow dbpedia-owl:authordbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia:Jack_Kerouac by d_ ce en l:in a- flu ow pedi db _b y dbpedia:Raymond_Carver - d edia ence bp influ d l: ow dbpedia-owl:author dbpedia-owl:influenced_bydbpedia:For_Whom_the_Bell_Tolls dbpedia:Ernest_Hemingway dbpedia:Jerome_D._Salinger Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork dbpedia-owl:notableWork Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Explorative Suche dbpedia:Jerome_D._Salinger dbpedia:Jack_Kerouac dbpedia:Raymond_Carver dbpedia-owl:notableWork dbpedia- dbpedia-owl:notableWork owl:notableWork Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

...und wi e sieht e explorat ine ive Video suche aus?Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Suchtechnologien Explorative Suche in audiovisuellen Daten J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Semantische Suchtechnologien Explorative Suche in audiovisuellen Daten J. Waitelonis, H. Sack, Z. Kramer, J. Hercher: Semantically Enabled Exploratory Video Search, in Proc. of Semantic Search Workshop29 (SemSearch10) at the 19th Int. World Wide Web Conference (WWW2010), 26-30 April 2010, Raleigh, NC, USA, 2010. Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

29 Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Kontakt:Dr. Harald Sack / Jörg WaitelonisHasso-Plattner-Institut für SoftwaresystemtechnikUniversität PotsdamProf.-Dr.-Helmert-Str. 2-3D-14482 PotsdamHomepage: ttp://www.hpi.uni-potsdam.de/meinel/team/sack.html h http://www.yovisto.com/Blog: http://moresemantic.blogspot.com/E-Mail: harald.sack@hpi.uni-potsdam.de joerg.waitelonis@hpi.uni-potsdam.deTwitter: lysander07 / biblionomicon / yovisto an k f ür Vi ele n D ke it! erk sam Au fm Ih re Dr. Harald Sack / Jörg Waitelonis - Inhaltsbasierte Erschließung und Suche in multimedialen Objekten,100. Bibliothekartag, 09. Juni 2011

Projekt Mediaglobe / Yovisto

by Harald Sack on Jun 09, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Projekt Mediaglobe / Yovisto — Presentation Transcript