Your SlideShare is downloading. ×
0
MULTIMEDIA ANALYSE-                                          TECHNOLOGIEN                                                 ...
http://mumat2012.blogspot.com/Mittwoch, 11. April 12
Multimedia Analyse-Technologien3                1. Dozenten / Tutoren                2. Multimedia Analyse-Technologien   ...
Multimedia Analyse-Technologien        Dozenten / Tutoren4            Dr. Harald Sack             ■ Senior Researcher am H...
Multimedia Analyse-Technologien        Dozenten / Tutoren5             Dipl. Inform. Jörg Waitelonis                ■ Stud...
Multimedia Analyse-Technologien        Dozenten / Tutoren5             Dipl. Inform. (FH) Bernhard Quehl                ■ ...
Multimedia Analyse-Technologien        Dozenten / Tutoren5             Dipl. Ing Haojin Yang                ■   TU Ilmenau...
8                         Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Pots...
9         ■ Projektzeitraum: 2009-2012         ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalt...
Mittwoch, 11. April 12
Multimedia Analyse-Technologien11                1. Dozenten / Tutoren                2. Multimedia Analyse-Technologien  ...
12                          How to Search in                         Multimedia Archives?                         Seminar:...
How to Search in Multimedia Archives?13                            Step 1: Digitalization of analog data                  ...
...today multimedia metadata     is generated manually                         Seminar: Multimedia-Analyse-Techniken, Dr. ...
Multimedia Analyse-Technologien     Automated Video Analysis                                                              ...
Multimedia Analyse-Technologien Structural Video Analysis                         • Decomposition of time-based media into...
Multimedia Analyse-Technologien17                1. Dozenten / Tutoren                2. Multimedia Analyse-Technologien  ...
Multimedia Analyse-Technologien Keyframe Extraction                         • Decomposition of time-based media into meani...
We can use     Keyframes for...19        • displaying            video search results                         Seminar: Mul...
We can use Keyframes for...        • generating a Visual Table of Content (VToC)20                         Seminar: Multim...
Multimedia Analyse-Technologien Keyframe Extraction        • ...similar to storyboards used for movie production21        ...
Multimedia Analyse-Technologien Keyframe Extraction        • ...or similar to comic strips22                              ...
Multimedia Analyse-TechnologienKeyframe Extraction23            How many ke                          yframes do w         ...
Multimedia Analyse-TechnologienKeyframe Extraction24                         What about                                   ...
Multimedia Analyse-TechnologienKeyframe Extraction25        We should l                    earn from mo                   ...
Multimedia Analyse-TechnologienKeyframe Extraction               • Aber:26                 • unterschiedliche Genres besit...
Multimedia Analyse-Technologien Seminar Challenge27          ■ Gegeben:             □ Videos aus unterschiedlichen Genres ...
Multimedia Analyse-Technologien28                1. Dozenten / Tutoren                2. Multimedia Analyse-Technologien  ...
Multimedia Analyse-Technologien Administratives29            □ Semesterwochenstunden: 4            □ ECTS: 6            □ ...
Multimedia Analyse-Technologien Administratives30                  □ Projektteams mit je 2-3 Studenten bearbeiten alle die...
Multimedia Analyse-Technologien Administratives31                  □ Projektteams mit je 2-3 Studenten bearbeiten alle die...
Seminar Semantic Multimedia32                         Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattne...
Multimedia Analyse-Technologien33           Literatur                         • Gibbon, D. ; Liu, Z. : Introduction to Vid...
Upcoming SlideShare
Loading in...5
×

01 Multimedia Analyse-Technologien - Kickoff

678

Published on

Einführungsveranstaltung, Bachelor-Seminar Multimedia Analyse-Technologien, SS2012, Hasso Plattner Institut, Universität Potsdam, HPI Potsdam, Dr. Harald Sack

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
678
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
6
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "01 Multimedia Analyse-Technologien - Kickoff "

  1. 1. MULTIMEDIA ANALYSE- TECHNOLOGIEN Seminar Dr. Harald Sack / Jörg Waitelonis Bernhard Quehl / Haojin Yang / Christian Hentschel Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Sommersemester 2012 Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).Mittwoch, 11. April 12
  2. 2. http://mumat2012.blogspot.com/Mittwoch, 11. April 12
  3. 3. Multimedia Analyse-Technologien3 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  4. 4. Multimedia Analyse-Technologien Dozenten / Tutoren4 Dr. Harald Sack ■ Senior Researcher am HPI ■ Leiter der Forschungsgruppe „Semantische Technologien“ ■ Forschungsschwerpunkte: □ Semantic Web Technologien □ Multimedia Retrieval □ Wissensrepräsentation ■ Yovisto.com / SEMEX Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  5. 5. Multimedia Analyse-Technologien Dozenten / Tutoren5 Dipl. Inform. Jörg Waitelonis ■ Studium Informatik Uni-Jena bis 2006 ■ 2006-2007 Exist-Seed Projekt Osotis ■ seit 2007 Gründer von yovisto.com ■ Entwickler von REPLAY (ETH-Zürich) ■ Forschung: Semantic Web, Multimedia-Retrieval, Suchmaschinen Technologien Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  6. 6. Multimedia Analyse-Technologien Dozenten / Tutoren5 Dipl. Inform. (FH) Bernhard Quehl ■ Fachhochschule Brandenburg ■ Schwerpunkt: • Intelligente Systeme • Network Computing ■ Diplomarbeit am Fraunhofer Heinrich Hertz Institut – Bildverarbeitung ■ Research Assistant at HPI, Mediaglobe Project Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  7. 7. Multimedia Analyse-Technologien Dozenten / Tutoren5 Dipl. Ing Haojin Yang ■ TU Ilmenau (2002 - 2007) ■ Software Entwickler (2008 - 2010) ■ Research Assistant, Doktorand am HPI ■ Forschung: • Multimedia Analyse, • Video-OCR, • Automatic Speech Recognition, • Semantic Web, Information Retrieval Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  8. 8. 8 Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  9. 9. 9 ■ Projektzeitraum: 2009-2012 ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  10. 10. Mittwoch, 11. April 12
  11. 11. Multimedia Analyse-Technologien11 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  12. 12. 12 How to Search in Multimedia Archives? Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  13. 13. How to Search in Multimedia Archives?13 Step 1: Digitalization of analog data Step 2: Annotation with (text based) metadata Step 3: Content based search on textual metadata Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  14. 14. ...today multimedia metadata is generated manually Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  15. 15. Multimedia Analyse-Technologien Automated Video Analysis Visual15 Concept Analysis Classification: Face Studio Indoor Detection Person Identification overlay News Show Tracking Logo Clustering Detection text scene text Audio-Mining structural Automated speaker analysis Speech identification Recognition Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  16. 16. Multimedia Analyse-Technologien Structural Video Analysis • Decomposition of time-based media into meaningful media16 fragments of coherent content that can be used as basic element for indexing and classification video scenes shots subshots frames key frames Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  17. 17. Multimedia Analyse-Technologien17 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  18. 18. Multimedia Analyse-Technologien Keyframe Extraction • Decomposition of time-based media into meaningful media18 fragments of coherent content • Compute keyframes to represent each media fragment video scenes shots subshots frames Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  19. 19. We can use Keyframes for...19 • displaying video search results Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  20. 20. We can use Keyframes for... • generating a Visual Table of Content (VToC)20 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  21. 21. Multimedia Analyse-Technologien Keyframe Extraction • ...similar to storyboards used for movie production21 via http://storyboardking.wordpress.com/ Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  22. 22. Multimedia Analyse-Technologien Keyframe Extraction • ...or similar to comic strips22 The famous plaster sequence from LAffaire Tournesol (1955) ©Hergé/Moulinsart 2012 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  23. 23. Multimedia Analyse-TechnologienKeyframe Extraction23 How many ke yframes do w efficient rep e need for resentation o f a video? Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  24. 24. Multimedia Analyse-TechnologienKeyframe Extraction24 What about 1 single keyfr ame...? Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  25. 25. Multimedia Analyse-TechnologienKeyframe Extraction25 We should l earn from mo vie posters... Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  26. 26. Multimedia Analyse-TechnologienKeyframe Extraction • Aber:26 • unterschiedliche Genres besitzen unterschiedliche Regeln, z.B. • Feature-Film  • Stummfilm • Sport • Nachrichten • Interview • Dokumentation • Zeichentrickfilm •  Vorlesung • One-Picture-Per-Day • Musikvideo • ... Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  27. 27. Multimedia Analyse-Technologien Seminar Challenge27 ■ Gegeben: □ Videos aus unterschiedlichen Genres ■ Challenge: (1) Szenen-basierte Zusammenfassung: Als Eingabe wird eine Szenen-Segmentierung (Schnittmarken) des Videos bereitgestellt, auf deren Grundlage die Auswahl der Keyframes erfolgt. (2) Video-basierte Zusammenfassung: Als Eingabe wird die genaue Anzahl an zu extrahierenden Keyframes festgelegt. Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  28. 28. Multimedia Analyse-Technologien28 1. Dozenten / Tutoren 2. Multimedia Analyse-Technologien 3. Seminar Challenge 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  29. 29. Multimedia Analyse-Technologien Administratives29 □ Semesterwochenstunden: 4 □ ECTS: 6 □ Leistungsfeststellung: □ Schriftliche Ausarbeitung zum Vortragsthema (Umfang ca. 20 Seiten) □ Musterausarbeitung in den Materialien zum Seminar □ Umsetzung einer vorgegebenen Implementierungsaufgabe im Team □ Präsentation der Ergebnisse (Zwischenpräsentation, Endpräsentation, Wochenbesprechungen) Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  30. 30. Multimedia Analyse-Technologien Administratives30 □ Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung □ Termine □ 16./18.4.2012: Technologieeinführung □ Bild- und Videobearbeitung/-programmierung mit OpenCV □ Feature Extraction - welche, wie, und wozu überhaupt? □ Evaluation - wie beurteile ich mein Ergebnis objektiv? Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  31. 31. Multimedia Analyse-Technologien Administratives31 □ Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung □ Termine □ 16./18.4.2012: Technologieeinführung □ ab dem 23.4.2012: Wöchentliche Seminargruppentreffen □ Termine nach Absprache □ ca. 4.6.2012: Zwischenpräsentation der Projektergebnisse □ 11.7.2012: Abschlusspräsentation der Ergebnisse Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  32. 32. Seminar Semantic Multimedia32 Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  33. 33. Multimedia Analyse-Technologien33 Literatur • Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008 • Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : OReilly, 2008 • Blog zur Webseite: http://mumat2012.blogspot.com/ Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 11. April 12
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×