Berlin Semantic Meetup Feb. 07, 2011

SemantischeMultimediasucheCONTENTUS, Mediaglobe und yovisto.comDr. Harald SackHasso-Plattner-Institut für SoftwaresystemtechnikUniversität Potsdam

Hasso Plattner Institut für Softwaresystemtechnik2 ■ Das HPI – Hasso Plattner Institut – wurde im Oktober 1998 im Rahmen einer Public-Private- Partnership gegründet ■ Forschung und Lehre am HPI ist dem „IT Systems Engineering“ gewidmet ■ 10 Professoren und ca. 100 Mitarbeiter in Forschung und Lehre ■ aktuell 450 Studenten in universitären Studiengängen „IT Systems Engineering“ (BSc/MSc) ■ CHE-Ranking 2010 sieht HPI auf Top-Rang Dr. Harald Sack, Semantic Web Meetup, 07. Feb. 2011

Semantic Web und Linked Data am HPI3 ■ Forschungsgruppe ,Semantic Technologies & Multimedia Retrieval‘ ■ Research Topics □ Semantic Web Technologies □ Ontological Engineering □ Information Retrieval □ Multimedia Analysis & Retrieval □ Social Networking □ Data/Information Visualization ■ Research Projects 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive4 ■ Projektrahmen THESEUS Mittelstand, assoziiert mit CONTENTUS Usecase ■ Öffnung von audiovisuellen Medienarchiven mit historischen und dokumentarischen Inhalten zur inhaltsbasierten semantischen und http://projekt-mediaglobe.de/ explorativen Suche ■ Time Frame: 2009-2012 ■ Projektpartner: 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive5 ■ Automatisierte AV Medienanalyse □ Structural Analysis □ Intelligent Character Recognition (ICR) □ Character/Logo Detection □ Character Filtering □ Character Recognition □ Audio Analysis □ Speaker Detection □ Automated Speech Recognition (ASR) □ Genre Analysis □ Indoor/Outdoor, Tag/Nacht, Stadt/Land, ... □ Face/Body Detection 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive6 Structural Analysis video scenes shots subhots frames 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive7 Structural Analysis • Shot Boundary Detection shots • Identiﬁcation of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Analytical Shot Boundary Detection • Analysis of Luminance/Chrominance Histograms • Analysis of Edge Distribution • Analysis of Motion Vectors Machine Learning • Classiﬁcation of Hard/Soft Cuts based on Image Features • Random Trees • Support Vector Machines 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive8 Intelligent Character Recognition • Preprocessing • Keyframe extraction • Script identification • Script filtering • Adaption of script geometry (Deskew) • Image quality enhancement • Optical Character Recognition (OCR) • standard OCR software (tesseract/OCRopus) • Postprocessing • Keyterm spotting • Lexical analysis • Statistical filtering Prof. Rudolf Agsten LDPD 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive9 Semantische Analyse Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive10 Semantische Analyse • Entity Mapping • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Semantic Entity Truman Capote ? Harry S. Truman ? Truman, Minesota ? Truman The Truman Show ? Keyterm / User Tag 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive11 Semantische Analyse • Entity Mapping • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Truman Context Deﬁning Elements • Time-related Metadata • Same Time Point • Adjacent Time Points / Segments Eisenhower • Metadata Provenance Potsdam • User-generated Metadata Inauguration • Authoritative Metadata • Automated Analysis Context • Statistical /Linguistic Methods (Co-Occurrence Analysis) • Semantic Methods (Semantic Graph Analysis) • Machine Learning 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive12 Semantische Analyse Keyterm / User Tag Truman Eisenhower Inauguration LOD Cloud 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Mediaglobe – The Digital Archive13 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

CONTENTUS Next Generation Multimedia Libraries14 CONTENTUS • Use Case (among 5 others) of the German Theseus Research Program • Time Frame: 2007 - 2012 • 7 Project Partners • Supported by the Bundesministerium für Wirtschaft und Technologie 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

CONTENTUS Next Generation Multimedia Libraries15 Contentus Process Chain HPI Research 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

CONTENTUS Next Generation Multimedia Libraries http://yovisto.com/labs/vissw2011/16 CONTENTUS SMMS DEMONSTRATOR 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Yovisto Video Search Engine Video Suchmaschine und Web 2.0 Portal■ Spezialisiert auf akademinsche Videoaufzeichnungen, d.h. Vorlesungen, Vorträge■ Ermöglicht (semantische) Suche innerhalb der Videoaufzeichnungen■ Automatisierte Videoanalyse:: video scene cut detection, intelligent character recognition, ergänzt durch User-generated Metadata■ mehr als 10.000h Videoaufzeichnungen http://www.yovisto.comSemantic Metadata:■ Ontology: http://www.yovisto.com/ontology/0.9/■ DBpedia, FOAF, DublinCore, MPEG-7, Tagging■ RDFa Annotation■ public SPARQL Endpoint: http://sparql.yovisto.com/3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Yovisto Video Search Engine18 Metadata Extraction time Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, YOVISTO encyclopedic data, .. Ontologie zielgenaue semantische und explorative Suche 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto19 Information und wo/wie man sie ﬁndet • früher ging man in die Bibliothek... Ich suche das Buch „Brave New World“ von Aldous Huxley in der ersten in Deutschland erschienenen Ausgabe... 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto20 Information und wo/wie man sie ﬁndet • ...früher ging man z.B. in die Bibliothek Ich suche das Buch „Brave New World“ von Aldous Huxley in der ersten in Deutschland erschienenen Ausgabe... Brave New World. - Aldous H U X L E Y. - The Albatros Continental Library, 47 (Hamburg usw., Albatros Verlag, 1933) 257 S. 8“ II 1, 2506, 34548 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto21 Information und wo/wie man sie ﬁndet • ...aber was, wenn man nicht genau weiß, was man sucht? Mir hat das Buch „Brave New World“ von Aldous Huxley gefallen und ich möchte Bücher mit ähnlicher Thematik lesen.... 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto22 • Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll? • Was, wenn der Benutzer komplexere Antworten sucht? • Was, wenn er/sie das Wissensgebiet, über das er sich informieren will, nicht (gut) kennt? • Was, wenn er/sie wissen möchte, welche Dokumente es insgesamt zu einem speziellen Thema in einem Repository gibt? • Das Problem ist nicht neu.... • ...,Stöbern‘ statt ,Suchen‘ • ...etwas ,zufällig‘ finden • ...Serendipity • ...einen Überblick gewinnen 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto23 ■ How to Explore the Web of Data? http://dbpedia.org/page/Aldous_Huxley dbpedia:Aldous_Huxley Wie soll das semantische Netzwerk um dbpedia:Aldous_Huxley herum durchsucht werden? 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto24 ■ How to Explore the Web of Data? H.G. Wells Aldous Huxley George Orwell dbpedia:ontology/influences dbpedia:ontology/influences rdfs:type rdfs:type rdfs:type Yago:EnglishScienceFictionWriters 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto25 Aldous Huxley George Orwell Kurt Vonnegut dbpedia:ontology/influences dbpedia:ontology/influences dbpedia:notableWorks dbpedia:notableWorks 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Explorative Suche mit Yovisto26 ■ Problem: Was ist eigentlich wichtig? • Linked Data beinhaltet ungewichtetes Wissen • ungewichtet = keine Unterscheidung, ob wichtig oder unwichtig • z.B.., Aldous Huxley • > 600 Fakten (RDF-triples) • > 80 Eigenschaften (properties) • keine Reihenfolge Aldous Huxley • keine Relevanzbewertungen • Entwicklung von heuristischen Verfahren zur Relevanzbewertung von Linked Data Fakten • semantische Graphenanalyse • statistische Verfahren http://dbpedia.org/page/Aldous_Huxley 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

27 http://mediaglobe.yovisto.com:8080/ Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009. 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Semantische Multimediasuche CONTENTUS, Mediaglobe und yovisto.com28 Kontakt: Dr. Harald Sack Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Prof.-Dr.-Helmert-Str. 2-3 D-14482 Potsdam Homepage: http://www.hpi.uni-potsdam.de/meinel/team/sack.html Blog: http://moresemantic.blogspot.com/ E-Mail: harald.sack@hpi.uni-potsdam.de ür Twitter: lysander07 an k f Vi ele n D ke it! erk sam Au fm Ih re 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

Berlin Semantic Meetup Feb. 07, 2011

by Harald Sack on Feb 07, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 1

Statistics

Berlin Semantic Meetup Feb. 07, 2011 — Presentation Transcript