Your SlideShare is downloading. ×

Multimedia Analyse-Techniken -- Bachelor-Seminar 2011, Kickoff

1,341

Published on

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,341
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
12
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. MULTIMEDIA- ANALYSE-TECHNIKEN Seminar Dr. Harald Sack / Jörg Waitelonis Magnus Knuth / Nadine Ludwig Bernhard Quehl / Haojin Yang Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Sommersemester 2011 Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).Mittwoch, 13. April 2011
  • 2. http://mumat2011.blogspot.com/Mittwoch, 13. April 2011
  • 3. Multimedia-Analyse-Techniken3 1. Dozenten / Tutoren 2. Multimedia-Analyse-Techniken 3. Seminarthemen 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 4. Semantic Multimedia Dozenten / Tutoren4 Dr. Harald Sack ■ Senior Researcher am HPI ■ Leiter der Forschungsgruppe „Semantische Technologien“ ■ Forschungsschwerpunkte: □ Semantic Web Technologien □ Multimedia Retrieval □ Wissensrepräsentation ■ Yovisto.com / SEMEX ■ THESEUS / Mediaglobe / CONTENTUS Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 5. Semantic Multimedia Dozenten / Tutoren5 Dipl. Inform. Jörg Waitelonis ■ Studium Informatik Uni-Jena bis 2006 ■ 2006-2007 Exist-Seed Projekt Osotis ■ seit 2007 Gründer von yovisto.com ■ Entwickler von REPLAY (ETH-Zürich) ■ Forschung: Semantic Web, Multimedia-Retrieval, Suchmaschinen Technologien Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 6. Semantic Multimedia Dozenten / Tutoren6 Dipl.-Inf. Magnus Knuth ■ Studium Informatik, Uni Leipzig bis 2007 ■ Institut für Medizinische Informatik, Statistik und Epidemiologie, Uni Leipzig 2006-2010 ■ Research Assistant am HPI, Contentus & Mediaglobe ■ Forschung: Semantic Web, Knowledge Management, Information Retrieval, Personalisierte Webapplikationen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 7. Semantic Multimedia Dozenten / Tutoren7 Dipl.-Inf. Nadine Ludwig ■ Studium Informatik, TU Ilmenau bis 2005 ■ 2005-2010 TU Berlin: • kooperative Lernszenarien • Integration von Semantic Web Technologien in kooperative Lernplattformen ■ seit 05/2010 am HPI: • Semantische Analyse, Named Entity Recognition, Disambiguierung Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 8. Multimedia Analyse Technologien5 Dipl. Inform. Bernhard Quehl FH ■ Fachhochschule Brandenburg ■ Schwerpunkt: • Intelligente Systeme • Network Computing ■ Diplomarbeit am Fraunhofer Heinrich Hertz Institut – Bildverarbeitung ■ Research Assistant at HPI, Mediaglobe Project Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 9. Multimedia Analyse Technologien5 Dipl. Ing Haojin Yang ■ TU Ilmenau (2002 - 2007) ■ Software Entwickler (2008 - 2010) ■ Research Assistant, Doktorand am HPI ■ Forschung: • Multimedia Analyse, • Video-OCR, • Automatic Speech Recognition, • Semantic Web, Information Retrieval Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 10. Multimedia-Analyse-Techniken10 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 11. Multimedia-Analyse-Techniken11 ■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur. ■ UseCase Contentus: Technologien für die Mediathek der Zukunft. ■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten. ■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 12. Multimedia-Analyse-Techniken12 1. Dozenten / Tutoren 2. Multimedia-Analyse-Techniken 3. Seminarthemen 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 13. Multimedia-Analyse-Techniken13 Multimedia-Analyse - eine (Kurz)-Vorstellung ■ Bsp. Google □ wie kommt Google zu Informationen (Metadaten) über das Video? Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 14. Multimedia-Analyse-Techniken14 Wie findet man etwas in einem audiovisuellen Archiv? 1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 15. Multimedia-Analyse-Techniken15 Wie findet man etwas in einem audiovisuellen Archiv? 2. Schritt: Verschlagwortung Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise Textform vorliegen. Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 16. Multimedia-Analyse-Techniken16 Bedeutung inhaltsbeschreibender (textueller) Daten • Wir benötigen textuelle Beschreibungen • des Inhalts • des Produktionsprozesses • der technischen Parameter • etc.... • Diese textuellen Beschreibungen werden als Metadaten bezeichnet • Metadaten für AV-Inhalte werden meist immer noch manuell erstellt Manuelle Audio-/Videoanalyse Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 17. Multimedia-Analyse-Techniken17 Automatisierte Audio-/Videoanalyse automatische inhaltliche Analyse ist • schwierig und • berechnungs-/speicheraufwändig Studio- aufnahme Logo Text Person { Audio-Information Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 18. Multimedia-Analyse-Techniken Strukturelle Analyse18 ■ Automatische strukturelle Gliederung von AV-Daten □ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shots subshots frames Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 19. Multimedia-Analyse-Techniken Visuelle Analysetechniken19 Face-Detection Video-OCR Face Clustering Face Tracking Logo-Detection Genre Detection Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 20. Multimedia-Analyse-Techniken20 Inhaltsbezogene Videoanalyse ■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten time Metadata Extraction ■ Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren ■ Metadaten als Basis für traditionelles und semantisches Information Retrieval Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 21. Anwendungsbeispiele21 Beispiele: Explorative Videosuche mit Linked Data http://mediaglobe.yovisto.com:8080/ https://nm-contentus-d2.iais.fraunhofer.de/ contentus/ http://mediaglobe.yovisto.com:8080/mggui/ Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 22. Multimedia-Analyse-Techniken22 1. Dozenten / Tutoren 2. Semantic Multimedia 3. Seminarthemen 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 23. Seminarthemen23 Themenüberblick • Face Detection & Clustering • Video Text Identification • OCR Postprocessing • Genre Detection • Audio Data Mining Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 24. Face Detection und Clustering24 ■ 1. Gesichter im Video finden (OpenCV Haarcascades) Faces Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 25. Face Detection und Clustering25 ■ 2. Gesichter clustern nach bekannten Verfahren ?!? Faces visuelle Ähnlichkeit Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 26. Face Detection und Clustering26 ■ 3. Cluster verfeinern unter Berücksichtigung weiterer Features Faces visuelle Ähnlichkeit mit Kontext (z.B. Kleidung) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 27. Face Detection und Clustering27 ■ 4. Cluster manuell mit einem Label versehen Faces visuelle Ähnlichkeit mit Kontext (z.B. Kleidung) Thomas Katy Miley Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 28. Video Text Identification6 Aufgabe: • welche Bilder in dem Video enthalten Text • in welcher Bildregion befindet sich der Text n tio actr Ex re atu Analyse der Features Fe Bestimmen der Bildregion Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 29. Video Text Identification6 Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 30. OCR Postprocessing Spellcorrection30 ■ Problem: □ Standard-Spellcorrection arbeitet ineffizient auf fehlerhaft erkanntem Text aus OCR ■ Ziel: □ Konfiguration / Anpassung von Hunspell für OCR- Texte □ verschiedene statistische Herangehensweisen untersuchen: 1. Ähnlichkeiten von Zeichen 2. Analyse typischer Fehler bei OCR □ Tool zur Generierung der Mappingwahrscheinlichkeiten □ Evaluation Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 31. Visual Genre Detection31 ■ Problem: ?? / ?? □ Klassifikation von Videosegmenten nach Nacht / Outdoor unterschiedlichen Genre-Klassen (Tag/Nacht, Innen/Außen, Grafik, Vor-/Abspann, Interview, Vortrag/Rede, ...) ■ Ziel: □ Low-Level-Features bestimmen und automatisch erkennen (z. B.: Helligkeitsverteilung, Farbspektrum, Farbverteilung, ...) □ Segment-Kollektionen erstellen, z. B. für: □Schwarz-Weiß Farbfilm, Tag Nacht, gute Bildqualität schlechte Qualität, ... Nacht / Outdoor □ Algorithmen finden, implementieren, evaluieren □ Anwendung maschineller Lernverfahren Daytime / Indoor Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 32. Audible Event Recognition32 ■ Problem: □ Automated Speech Recognition (ASR) zur Transkribierung des gesprochenen Wortes ist ist in vielen Fällen nicht zufriedenstellend □ Einfacheres Problem: Segmentierung des Videos nach audiblen Events wie Monolog (Mann/Frau), Dialog, Musik, Lachen, Applaus, ... ■ Ziel: □ Repräsentative Samples für die Aufgabe Einfache Impulsanalyse bestimmen (Mediaglobe/Yovisto Testset) □ Features bestimmen □ Intensitätsanalyse (laut/leise/Stille/Pausen/...) □ Anwendung maschineller Lernverfahren □ Identifiziere Sprachsequenzen (Monolog/Dialog/...) □ Evaluation Sonogramm Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 33. Multimedia-Analyse-Techniken33 1. Dozenten / Tutoren 2. Semantic Multimedia 3. Seminarthemen 4. Administratives Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 34. Multimedia-Analyse-Techniken34 Administratives □ Semesterwochenstunden: 4 □ ECTS: 6 □ Leistungsfeststellung: □Schriftliche Ausarbeitung zum Vortragsthema □Umsetzung einer vorgegebenen Implementierungsaufgabe im Team □Präsentation der □ Projektteams mit je 2-3 Studenten bearbeiten eine der vorgeschlagenen Aufgabenstellungen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 35. Multimedia Analyse Technologien35 Administratives ■ Termine: □ Wöchentliches Seminargruppentreffen □Termin nach Vereinbarung □ Zwischenpräsentation der Projektergebnisse □ Abschlusspräsentation der Ergebnisse □Termin in der letzten Semesterwoche ■ Plenum-Termine: □ „Ohne Evaluation geht nichts...“ □ „Wie schreibe ich eine wissenschaftliche Arbeit?“ (mit LaTeX) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011
  • 36. Multimedia Analyse Technologien36 Literatur • Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008 • Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : OReilly, 2008 • Blog zur Webseite: http://mumat2011.blogspot.com/ Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 13. April 2011

×