Semantische Suche im audiovisuellen Kulturerbe
– Das Projekt mediaglobe
Johannes Hercher
Hasso-Plattner-Institut für Sofwaresystemtechnik GmbH
Teile dieser Arbeit werden vom Bundesministerium für Wirtschaft und Technologie gefördert
(Förderkennzeichen: 01MQ09031).

Forschungsgruppe:
,Semantic Technologies & Multimedia Retrieval‘
■ Themen in der Forschungsgruppe, u.a.:
□ Semantic Web Technologies
□ Ontology Engineering
□ Multimedia Analysis & Retrieval
Macht audiovisuelles
Kulturerbe erlebbar!
■ Projekte
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 2 / 14

Übersicht
■ Das Projekt mediaglobe
■ Herausforderungen bei der Filmrecherche
■ Metadatengenerierung & Vernetzung
■ Semantische Suche (Demo)
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 3 / 14

Das Projekt mediaglobe
{
Unterstützung von Filmarchiven, bei:
Digitalisierung Projektlaufzeit:
2009 – 2012
Erschließung und
Verwertung
von audiovisuellen Materialien.
Aufgaben (HPI)
Medienanalyse & Metadatengenerierung
semantische Analyse & semantische Suche
innovative Benutzerschnittstellen
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 4 / 14

Kontexte Fakten
Autoren Historiker
Ideen Zitate
Perspektive Fundstellen
~1.000 h Dokumentarfilm (defa Spektrum GmbH)
nicht fiktionale Filme zur deutsch-deutschen Geschichte (ab 1960)
Zeitzeugen, TV-Produktionen, Amateuraufnahmen, …
Qualität
Rückblick Rechte
Emotionen
Privat- Ereignisse Verwertung
Produzenten
personen

Die Situation Die Ziele
■ Filme online nicht verfügbar ■ Punktgenauer Zugriff auf Medieninhalte
■ Ereignisse,
■ verteilte Bestände ■ Orte,
■ Personen
■ Sichtung vor Ort erforderlich
■ Genaue und vollständige Suchergebnisse
■ geringe Erschließung
■ high precision,
■ keine Cross-Recherche ■ high recall
■ nicht intuitiv nutzbar ■ Intuitive Benutzeroberfläche
■ interaktiv,
■ benutzerfreundlich

Lösung: Punktgenaue Semantische Suche
Medien
Medienanalyse Strukturen
&
Metadaten- Kohl Halle Adenauer Metadaten
Bonn
generierung Text
Mai Einheit
Semantische
Analyse & Entitäten/
Named-Entity- Ressourcen
Recognition
Metadaten
Netz von
vernetzen
z.B.: bibliographische Daten, Beziehungen
Gekoordinaten, Abstracts
encyclopaedic data, ..
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 7 / 14

Lösung: Information → Wissen
Film 1 : Walter Markov Interview (1989)
Wendezeit; Erster Mai;
17.12.1989 1.5.1966;
20 Jahre SED
Walter Ulbricht Ulbricht, Walter (PND)
Walter Markov Ulbricht, Lotte (PND)
Honecker, Erich (PND)
Berlin;
Marx-Engels-Platz Berlin;
Marx-Engels-Platz
Revolution
Prager Frühling
Nelke (SWD)
Bild: Defa Spektrum GmbH Bild: Defa Spektrum GmbH
dbpedia:wikiPageRedirects
Film 2: Berlin heute (1966)
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 8 / 14

Digitalisierung → Semantische Suche
UIMA - Unstructured
Information
Persistent Storage (Media Asset Management)
Management Architecture
Schnitterkennung
Gesichtsdetektion
Media Transcoding
kollaborative Annotation
Semantic Analysis
Digitalisierte Video OCR
Named Entity Semantische
Recognition Suche
Filme
Disambiguierung
Audio Analyse
Genre Erkennung
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 9 / 14

Medienanalyse Schnitterkennung
■ Strukturanalyse ■ Fehlerquellen Analyse von Histogramm-Differenzen
□ harte Schnitte, < VS > □ Bildfehler,
□ weiche Schnitte □ Kamerabewegung
ähnliche Merkmale !
■ Analytisch z.B. durch:
□ Differenzbildanalyse
□ Analyse von Helligkeits- und Farbdifferenzen Analyse von Bewegungsvektoren
□ Analyse von Bewegungsvektoren
■ Maschnielles Lernen, z.B. mit:
□ K-Nearest Neighbor
□ Random Forrest
□ Support Vector Machines
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 10 / 14

Medienanalyse Texterkennung
■ Texterkennung im Video, Herausforderungen:
□ Text in großen Bilddatenbeständen identifizieren
□ geringe Auflösung
□ unterschiedliche Textgrößen und Schriften
□ bei Szenentext:
□ schlechte Lichtverhältnisse
□ perspektivische Verzerrung
□ bei Overlay-Text
□ heterogener Hintergrund
■ Aufgaben (vor der Texterkennung)
» Bildverbesserung Prof. Rudolf Agsten
LDPD
» Textseparierung
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 11 / 14

Semantische Analyse
Named Entity Recognition durch
semantische Graphenanalyse
Amtseinführung
Truman The Truman Show ?
Truman Capote ?
Eisenhower
Potsdam
Harry S. Truman ?
Amtseinführung
Inauguration
Kontext Truman, Minnesota ?
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 12 / 14

Demonstration
Semantische Suche
Generierung von Metadaten
Analyse
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 13 / 14

Kontakt
Johannes Hercher
Hasso-Plattner-Institut für Softwaresystemtechnik
Universität Potsdam
Prof.-Dr.-Helmert-Str. 2-3
D-14482 Potsdam
Web: http://www.hpi.uni-potsdam.de/meinel/forschung/future_internet/semantic_technologies.html
E-Mail: Johannes.Hercher@hpi.uni-potsdam.de
Twitter: jhercher
an k f ür
Vi ele n D am ke it!
uf me rks
I hr e A
Johannes Hercher : Semantische Suche im audiovisuellen Kulturerbe – Das Projekt Mediaglobe, I-Science Tage, 22.03.2011, Potsdam 14 / 14