SemantischeMultimediasucheCONTENTUS, Mediaglobe und yovisto.comDr. Harald SackHasso-Plattner-Institut für Softwaresystemte...
Hasso Plattner Institut    für Softwaresystemtechnik2   ■ Das HPI – Hasso Plattner Institut – wurde im      Oktober 1998 i...
Semantic Web und Linked Data    am HPI3      ■ Forschungsgruppe ,Semantic Technologies & Multimedia Retrieval‘      ■ Rese...
Mediaglobe – The Digital Archive4      ■ Projektrahmen THESEUS Mittelstand,        assoziiert mit CONTENTUS Usecase      ■...
Mediaglobe – The Digital Archive5         ■ Automatisierte AV Medienanalyse               □ Structural Analysis           ...
Mediaglobe – The Digital Archive6                     Structural Analysis       video      scenes       shots     subhots ...
Mediaglobe – The Digital Archive7                     Structural Analysis              • Shot Boundary Detection     shots...
Mediaglobe – The Digital Archive8                   Intelligent Character Recognition          • Preprocessing            ...
Mediaglobe – The Digital Archive9               Semantische Analyse       Video Analyse /                                 ...
Mediaglobe – The Digital Archive10                Semantische Analyse                    • Entity Mapping                 ...
Mediaglobe – The Digital Archive11                Semantische Analyse                 • Entity Mapping                    ...
Mediaglobe – The Digital Archive12                Semantische Analyse      Keyterm / User Tag                   Truman    ...
Mediaglobe – The Digital Archive13      3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
CONTENTUS     Next Generation Multimedia Libraries14     CONTENTUS         • Use Case (among 5 others) of the German These...
CONTENTUS     Next Generation Multimedia Libraries15     Contentus Process Chain                                          ...
CONTENTUS     Next Generation Multimedia Libraries                                                                    http...
Yovisto Video Search Engine Video Suchmaschine und Web 2.0 Portal■ Spezialisiert auf akademinsche   Videoaufzeichnungen, d...
Yovisto Video Search Engine18                  Metadata Extraction                                                       t...
Explorative Suche mit Yovisto19     Information und wo/wie man sie findet     • früher ging man in die Bibliothek...       ...
Explorative Suche mit Yovisto20     Information und wo/wie man sie findet     • ...früher ging man z.B. in die Bibliothek  ...
Explorative Suche mit Yovisto21     Information und wo/wie man sie findet     • ...aber was, wenn man nicht genau weiß, was...
Explorative Suche mit Yovisto22      • Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll?      •...
Explorative Suche mit Yovisto23   ■ How       to Explore the Web of Data?                                                 ...
Explorative Suche mit Yovisto24   ■ How       to Explore the Web of Data?          H.G. Wells                             ...
Explorative Suche mit Yovisto25      Aldous Huxley                                                George Orwell           ...
Explorative Suche mit Yovisto26   ■ Problem:           Was ist eigentlich wichtig?      • Linked Data beinhaltet ungewicht...
27     http://mediaglobe.yovisto.com:8080/                                Waitelonis, Sack: Augmenting Video Search with L...
Semantische Multimediasuche     CONTENTUS, Mediaglobe und yovisto.com28      Kontakt:      Dr. Harald Sack      Hasso-Plat...
Upcoming SlideShare
Loading in …5
×

Berlin Semantic Meetup Feb. 07, 2011

1,660 views

Published on

Slides for my presentation on Berlin Semantic Web Meetup at FU BErlin, Feb, 07. 2011

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,660
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
8
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Berlin Semantic Meetup Feb. 07, 2011

  1. 1. SemantischeMultimediasucheCONTENTUS, Mediaglobe und yovisto.comDr. Harald SackHasso-Plattner-Institut für SoftwaresystemtechnikUniversität Potsdam
  2. 2. Hasso Plattner Institut für Softwaresystemtechnik2 ■ Das HPI – Hasso Plattner Institut – wurde im Oktober 1998 im Rahmen einer Public-Private- Partnership gegründet ■ Forschung und Lehre am HPI ist dem „IT Systems Engineering“ gewidmet ■ 10 Professoren und ca. 100 Mitarbeiter in Forschung und Lehre ■ aktuell 450 Studenten in universitären Studiengängen „IT Systems Engineering“ (BSc/MSc) ■ CHE-Ranking 2010 sieht HPI auf Top-Rang Dr. Harald Sack, Semantic Web Meetup, 07. Feb. 2011
  3. 3. Semantic Web und Linked Data am HPI3 ■ Forschungsgruppe ,Semantic Technologies & Multimedia Retrieval‘ ■ Research Topics □ Semantic Web Technologies □ Ontological Engineering □ Information Retrieval □ Multimedia Analysis & Retrieval □ Social Networking □ Data/Information Visualization ■ Research Projects 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  4. 4. Mediaglobe – The Digital Archive4 ■ Projektrahmen THESEUS Mittelstand, assoziiert mit CONTENTUS Usecase ■ Öffnung von audiovisuellen Medienarchiven mit historischen und dokumentarischen Inhalten zur inhaltsbasierten semantischen und http://projekt-mediaglobe.de/ explorativen Suche ■ Time Frame: 2009-2012 ■ Projektpartner: 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  5. 5. Mediaglobe – The Digital Archive5 ■ Automatisierte AV Medienanalyse □ Structural Analysis □ Intelligent Character Recognition (ICR) □ Character/Logo Detection □ Character Filtering □ Character Recognition □ Audio Analysis □ Speaker Detection □ Automated Speech Recognition (ASR) □ Genre Analysis □ Indoor/Outdoor, Tag/Nacht, Stadt/Land, ... □ Face/Body Detection 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  6. 6. Mediaglobe – The Digital Archive6 Structural Analysis video scenes shots subhots frames 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  7. 7. Mediaglobe – The Digital Archive7 Structural Analysis • Shot Boundary Detection shots • Identification of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Analytical Shot Boundary Detection • Analysis of Luminance/Chrominance Histograms • Analysis of Edge Distribution • Analysis of Motion Vectors Machine Learning • Classification of Hard/Soft Cuts based on Image Features • Random Trees • Support Vector Machines 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  8. 8. Mediaglobe – The Digital Archive8 Intelligent Character Recognition • Preprocessing • Keyframe extraction • Script identification • Script filtering • Adaption of script geometry (Deskew) • Image quality enhancement • Optical Character Recognition (OCR) • standard OCR software (tesseract/OCRopus) • Postprocessing • Keyterm spotting • Lexical analysis • Statistical filtering Prof. Rudolf Agsten LDPD 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  9. 9. Mediaglobe – The Digital Archive9 Semantische Analyse Video Analyse / time Metadaten Extraktion Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, encyclopedic data, .. 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  10. 10. Mediaglobe – The Digital Archive10 Semantische Analyse • Entity Mapping • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Semantic Entity Truman Capote ? Harry S. Truman ? Truman, Minesota ? Truman The Truman Show ? Keyterm / User Tag 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  11. 11. Mediaglobe – The Digital Archive11 Semantische Analyse • Entity Mapping • Mapping keyterms (text) to semantic entities • Context Analysis and Disambiguation Truman Context Defining Elements • Time-related Metadata • Same Time Point • Adjacent Time Points / Segments Eisenhower • Metadata Provenance Potsdam • User-generated Metadata Inauguration • Authoritative Metadata • Automated Analysis Context • Statistical /Linguistic Methods (Co-Occurrence Analysis) • Semantic Methods (Semantic Graph Analysis) • Machine Learning 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  12. 12. Mediaglobe – The Digital Archive12 Semantische Analyse Keyterm / User Tag Truman Eisenhower Inauguration LOD Cloud 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  13. 13. Mediaglobe – The Digital Archive13 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  14. 14. CONTENTUS Next Generation Multimedia Libraries14 CONTENTUS • Use Case (among 5 others) of the German Theseus Research Program • Time Frame: 2007 - 2012 • 7 Project Partners • Supported by the Bundesministerium für Wirtschaft und Technologie 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  15. 15. CONTENTUS Next Generation Multimedia Libraries15 Contentus Process Chain HPI Research 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  16. 16. CONTENTUS Next Generation Multimedia Libraries http://yovisto.com/labs/vissw2011/16 CONTENTUS SMMS DEMONSTRATOR 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  17. 17. Yovisto Video Search Engine Video Suchmaschine und Web 2.0 Portal■ Spezialisiert auf akademinsche Videoaufzeichnungen, d.h. Vorlesungen, Vorträge■ Ermöglicht (semantische) Suche innerhalb der Videoaufzeichnungen■ Automatisierte Videoanalyse:: video scene cut detection, intelligent character recognition, ergänzt durch User-generated Metadata■ mehr als 10.000h Videoaufzeichnungen http://www.yovisto.comSemantic Metadata:■ Ontology: http://www.yovisto.com/ontology/0.9/■ DBpedia, FOAF, DublinCore, MPEG-7, Tagging■ RDFa Annotation■ public SPARQL Endpoint: http://sparql.yovisto.com/3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  18. 18. Yovisto Video Search Engine18 Metadata Extraction time Entity Recognition/ Mapping e.g., person xy location yz event abc e.g., bibliographical data, geographical data, YOVISTO encyclopedic data, .. Ontologie zielgenaue semantische und explorative Suche 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  19. 19. Explorative Suche mit Yovisto19 Information und wo/wie man sie findet • früher ging man in die Bibliothek... Ich suche das Buch „Brave New World“ von Aldous Huxley in der ersten in Deutschland erschienenen Ausgabe... 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  20. 20. Explorative Suche mit Yovisto20 Information und wo/wie man sie findet • ...früher ging man z.B. in die Bibliothek Ich suche das Buch „Brave New World“ von Aldous Huxley in der ersten in Deutschland erschienenen Ausgabe... Brave New World. - Aldous H U X L E Y. - The Albatros Continental Library, 47 (Hamburg usw., Albatros Verlag, 1933) 257 S. 8“ II 1, 2506, 34548 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  21. 21. Explorative Suche mit Yovisto21 Information und wo/wie man sie findet • ...aber was, wenn man nicht genau weiß, was man sucht? Mir hat das Buch „Brave New World“ von Aldous Huxley gefallen und ich möchte Bücher mit ähnlicher Thematik lesen.... 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  22. 22. Explorative Suche mit Yovisto22 • Was, wenn der Benutzer nicht weiß, welchen Suchbegriff er/sie benutzen soll? • Was, wenn der Benutzer komplexere Antworten sucht? • Was, wenn er/sie das Wissensgebiet, über das er sich informieren will, nicht (gut) kennt? • Was, wenn er/sie wissen möchte, welche Dokumente es insgesamt zu einem speziellen Thema in einem Repository gibt? • Das Problem ist nicht neu.... • ...,Stöbern‘ statt ,Suchen‘ • ...etwas ,zufällig‘ finden • ...Serendipity • ...einen Überblick gewinnen 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  23. 23. Explorative Suche mit Yovisto23 ■ How to Explore the Web of Data? http://dbpedia.org/page/Aldous_Huxley dbpedia:Aldous_Huxley Wie soll das semantische Netzwerk um dbpedia:Aldous_Huxley herum durchsucht werden? 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  24. 24. Explorative Suche mit Yovisto24 ■ How to Explore the Web of Data? H.G. Wells Aldous Huxley George Orwell dbpedia:ontology/influences dbpedia:ontology/influences rdfs:type rdfs:type rdfs:type Yago:EnglishScienceFictionWriters 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  25. 25. Explorative Suche mit Yovisto25 Aldous Huxley George Orwell Kurt Vonnegut dbpedia:ontology/influences dbpedia:ontology/influences dbpedia:notableWorks dbpedia:notableWorks 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  26. 26. Explorative Suche mit Yovisto26 ■ Problem: Was ist eigentlich wichtig? • Linked Data beinhaltet ungewichtetes Wissen • ungewichtet = keine Unterscheidung, ob wichtig oder unwichtig • z.B.., Aldous Huxley • > 600 Fakten (RDF-triples) • > 80 Eigenschaften (properties) • keine Reihenfolge Aldous Huxley • keine Relevanzbewertungen • Entwicklung von heuristischen Verfahren zur Relevanzbewertung von Linked Data Fakten • semantische Graphenanalyse • statistische Verfahren http://dbpedia.org/page/Aldous_Huxley 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  27. 27. 27 http://mediaglobe.yovisto.com:8080/ Waitelonis, Sack: Augmenting Video Search with Linked Open Data, in Proc. I-Semantics , Graz 2009. 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack
  28. 28. Semantische Multimediasuche CONTENTUS, Mediaglobe und yovisto.com28 Kontakt: Dr. Harald Sack Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Prof.-Dr.-Helmert-Str. 2-3 D-14482 Potsdam Homepage: http://www.hpi.uni-potsdam.de/meinel/team/sack.html Blog: http://moresemantic.blogspot.com/ E-Mail: harald.sack@hpi.uni-potsdam.de ür Twitter: lysander07 an k f Vi ele n D ke it! erk sam Au fm Ih re 3. Semantik Web Meetup, Berlin, 15.09.2009, Dr. Harald Sack

×