• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
01 Multimedia Analyse-Technologien - Kickoff
 

01 Multimedia Analyse-Technologien - Kickoff

on

  • 738 views

Einführungsveranstaltung, Bachelor-Seminar Multimedia Analyse-Technologien, SS2012, Hasso Plattner Institut, Universität Potsdam, HPI Potsdam, Dr. Harald Sack

Einführungsveranstaltung, Bachelor-Seminar Multimedia Analyse-Technologien, SS2012, Hasso Plattner Institut, Universität Potsdam, HPI Potsdam, Dr. Harald Sack

Statistics

Views

Total Views
738
Views on SlideShare
638
Embed Views
100

Actions

Likes
1
Downloads
5
Comments
0

3 Embeds 100

http://mumat2012.blogspot.de 97
https://twimg0-a.akamaihd.net 2
http://mumat2012.blogspot.fr 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

CC Attribution-NonCommercial-NoDerivs LicenseCC Attribution-NonCommercial-NoDerivs LicenseCC Attribution-NonCommercial-NoDerivs License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    01 Multimedia Analyse-Technologien - Kickoff 01 Multimedia Analyse-Technologien - Kickoff Presentation Transcript

    • MULTIMEDIA ANALYSE- TECHNOLOGIEN Seminar Dr. Harald Sack / Jörg Waitelonis Bernhard Quehl / Haojin Yang / Christian Hentschel Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Sommersemester 2012 Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).Mittwoch, 11. April 12
    • http://mumat2012.blogspot.com/Mittwoch, 11. April 12
    • Multimedia Analyse-Technologien3 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Dozenten / Tutoren4 Dr. Harald Sack ■ Senior Researcher am HPI ■ Leiter der Forschungsgruppe „Semantische Technologien“ ■ Forschungsschwerpunkte: □ Semantic Web Technologien □ Multimedia Retrieval □ Wissensrepräsentation ■ Yovisto.com / SEMEX Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Dozenten / Tutoren5 Dipl. Inform. Jörg Waitelonis ■ Studium Informatik Uni-Jena bis 2006 ■ 2006-2007 Exist-Seed Projekt Osotis ■ seit 2007 Gründer von yovisto.com ■ Entwickler von REPLAY (ETH-Zürich) ■ Forschung: Semantic Web, Multimedia-Retrieval, Suchmaschinen Technologien Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Dozenten / Tutoren5 Dipl. Inform. (FH) Bernhard Quehl ■ Fachhochschule Brandenburg ■ Schwerpunkt: • Intelligente Systeme • Network Computing ■ Diplomarbeit am Fraunhofer Heinrich Hertz Institut – Bildverarbeitung ■ Research Assistant at HPI, Mediaglobe Project Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Dozenten / Tutoren5 Dipl. Ing Haojin Yang ■ TU Ilmenau (2002 - 2007) ■ Software Entwickler (2008 - 2010) ■ Research Assistant, Doktorand am HPI ■ Forschung: • Multimedia Analyse, • Video-OCR, • Automatic Speech Recognition, • Semantic Web, Information Retrieval Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • 8 Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • 9 ■ Projektzeitraum: 2009-2012 ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Mittwoch, 11. April 12
    • Multimedia Analyse-Technologien11 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • 12 How to Search in Multimedia Archives? Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • How to Search in Multimedia Archives?13 Step 1: Digitalization of analog data Step 2: Annotation with (text based) metadata Step 3: Content based search on textual metadata Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • ...today multimedia metadata is generated manually Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Automated Video Analysis Visual15 Concept Analysis Classification: Face Studio Indoor Detection Person Identification overlay News Show Tracking Logo Clustering Detection text scene text Audio-Mining structural Automated speaker analysis Speech identification Recognition Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Structural Video Analysis • Decomposition of time-based media into meaningful media16 fragments of coherent content that can be used as basic element for indexing and classification video scenes shots subshots frames key frames Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien17 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Keyframe Extraction • Decomposition of time-based media into meaningful media18 fragments of coherent content • Compute keyframes to represent each media fragment video scenes shots subshots frames Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • We can use Keyframes for...19 • displaying video search results Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • We can use Keyframes for... • generating a Visual Table of Content (VToC)20 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Keyframe Extraction • ...similar to storyboards used for movie production21 via http://storyboardking.wordpress.com/ Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Keyframe Extraction • ...or similar to comic strips22 The famous plaster sequence from LAffaire Tournesol (1955) ©Hergé/Moulinsart 2012 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-TechnologienKeyframe Extraction23 How many ke yframes do w efficient rep e need for resentation o f a video? Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-TechnologienKeyframe Extraction24 What about 1 single keyfr ame...? Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-TechnologienKeyframe Extraction25 We should l earn from mo vie posters... Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-TechnologienKeyframe Extraction • Aber:26 • unterschiedliche Genres besitzen unterschiedliche Regeln, z.B. • Feature-Film  • Stummfilm • Sport • Nachrichten • Interview • Dokumentation • Zeichentrickfilm •  Vorlesung • One-Picture-Per-Day • Musikvideo • ... Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Seminar Challenge27 ■ Gegeben: □ Videos aus unterschiedlichen Genres ■ Challenge: (1) Szenen-basierte Zusammenfassung: Als Eingabe wird eine Szenen-Segmentierung (Schnittmarken) des Videos bereitgestellt, auf deren Grundlage die Auswahl der Keyframes erfolgt. (2) Video-basierte Zusammenfassung: Als Eingabe wird die genaue Anzahl an zu extrahierenden Keyframes festgelegt. Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien28 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Administratives29 □ Semesterwochenstunden: 4 □ ECTS: 6 □ Leistungsfeststellung: □ Schriftliche Ausarbeitung zum Vortragsthema (Umfang ca. 20 Seiten) □ Musterausarbeitung in den Materialien zum Seminar □ Umsetzung einer vorgegebenen Implementierungsaufgabe im Team □ Präsentation der Ergebnisse (Zwischenpräsentation, Endpräsentation, Wochenbesprechungen) Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Administratives30 □ Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung □ Termine □ 16./18.4.2012: Technologieeinführung □ Bild- und Videobearbeitung/-programmierung mit OpenCV □ Feature Extraction - welche, wie, und wozu überhaupt? □ Evaluation - wie beurteile ich mein Ergebnis objektiv? Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien Administratives31 □ Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung □ Termine □ 16./18.4.2012: Technologieeinführung □ ab dem 23.4.2012: Wöchentliche Seminargruppentreffen □ Termine nach Absprache □ ca. 4.6.2012: Zwischenpräsentation der Projektergebnisse □ 11.7.2012: Abschlusspräsentation der Ergebnisse Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Seminar Semantic Multimedia32 Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
    • Multimedia Analyse-Technologien33 Literatur • Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008 • Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : OReilly, 2008 • Blog zur Webseite: http://mumat2012.blogspot.com/ Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12