MULTIMEDIA-
                                                        ANALYSE-TECHNIKEN
                                    ...
Multimedia-Analyse-Techniken
2
              1. Multimedia und Kodierung
              2. Bild- und Videokodierung
       ...
Multimedia-Analyse-Techniken
            1. Multimedia und Kodierung

3
             Multimediale Daten im Computer
      ...
Multimedia-Analyse-Techniken
            1. Multimedia und Kodierung

4
             Medientypen
               • zeitunab...
Multimedia-Analyse-Techniken
            1. Multimedia und Kodierung

5
             Multimediakodierung
               • ...
Multimedia-Analyse-Techniken
            1. Multimedia und Kodierung

6
             Multimediakodierung
               • ...
Multimedia-Analyse-Techniken
            1. Multimedia und Kodierung

7
             Multimediakodierung
               • ...
Multimedia-Analyse-Techniken
8
              1. Multimedia und Kodierung
              2. Bild- und Videokodierung
       ...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

9
             Farbe und...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

10
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

10
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

11
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

12
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

13
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

14
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

15
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
                         ...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle
                         ...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

17
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

18
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

19
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle

20
             Farbe un...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung

21
             Visuelle ...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung

22
             Visuelle ...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

23
             Verlustbehaftet...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

24
             Verlustbehaftet...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

24
             Verlustbehaftet...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

25
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

26
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

27
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

27
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

27
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

27
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

28
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

29
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

30
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

31
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

32
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

32
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

32
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

32
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

32
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

32
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

33
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

33
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

33
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

33
              JPEG Komprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

34
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

35
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

36
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

37
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

38
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

39
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

40
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

40
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

41
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.3 JPEG Kodierung

42
             Farbe und Farbm...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

43
             Videokodierung...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

44
             Videokodierung...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

45
             Videokodierung...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

46
             Videokodierung...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

47
             Videokodierung...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

48
             Prediktive Kod...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

49
             Prediktive Kod...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

50
             Prediktive Kod...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

51
             Prediktive Kod...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

52               Video Codecs ...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

53
             Videokomprimie...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

54
             MPEG-1 Videoko...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

55
             MPEG-1 Videoko...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

56
             MPEG-1 Videoko...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

57
             MPEG-1 Videoko...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

58
             MPEG-1 Videoko...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

59
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

59
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

59
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

59
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

59
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

60
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

60
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

60
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

61
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
            2. Bild- und Videokodierung / 2.4 Video Kodierung

62
           MPEG-1 Videokodi...
Multimedia-Analyse-Techniken
63
              1. Multimedia und Kodierung
              2. Bild- und Videokodierung
      ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

64
             Grundlagen - Was ist Schall?
               • ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

64
             Grundlagen - Was ist Schall?
               • ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

64
             Grundlagen - Was ist Schall?
               • ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

65
             Grundlagen - Was ist Schall?
               • ...
Multimedia-Analyse-Techniken
             3. Audiokodierung

66
             Grundlagen - Was ist Schall?
                ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

67
             Audio Digitalisierung
                   • Läs...
Multimedia-Analyse-Techniken
            3. Audiokodierung

68
             Audio Digitalisierung
                   • Sam...
Multimedia-Analyse-Techniken
            3. Audiokodierung

69
              Psychoakustik und menschliche Wahrnehmung
   ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

70
              Psychoakustik und menschliche Wahrnehmung


 ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

71
             Psychoakustik und Audiokodierung
             ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

72
             Psychoakustik und Audiokodierung
             ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

73
             Psychoakustik und Audiokodierung
             ...
Multimedia-Analyse-Techniken
            3. Audiokodierung

74
             MP3 Audiokodierung
                   • MPEG 1...
Multimedia-Analyse-Techniken
            3. Audiokodierung

75
             MP3 Audiokodierung
                   • Predic...
Multimedia-Analyse-Techniken
            3. Audiokodierung

76
             MP3 Audiokodierung                            ...
Multimedia-Analyse-Techniken
77
              1. Multimedia und Kodierung
              2. Bild- und Videokodierung
      ...
Multimedia-Analyse-Techniken
            5. Kurzer Exkurs: maschinelles Lernen

78
             Was ist Lernen?
          ...
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools
Upcoming SlideShare
Loading in …5
×

Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools

1,591
-1

Published on

Kickoff02
Multimedia-Analysetechnik
(1) Maschinelles Lernen - Eine kurze Einführung
(2) Evaluation
(3) Aufgabenbeschreibung
(4) Libs und Tools

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,591
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
18
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Multimedia-Analysetechnik - Kickoff02 - Maschinelles Lernen und Tools

  1. 1. MULTIMEDIA- ANALYSE-TECHNIKEN Seminar Dr. Harald Sack / Jörg Waitelonis Zalan Kramer / Johannes Hercher Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Sommersemester 2010 Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC). Montag, 17. Mai 2010
  2. 2. Multimedia-Analyse-Techniken 2 1. Multimedia und Kodierung 2. Bild- und Videokodierung 3. Audiokodierung 4. Kurzer Exkurs: Maschinelles Lernen 5. Aufgabenstellung und Werkzeuge Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  3. 3. Multimedia-Analyse-Techniken 1. Multimedia und Kodierung 3 Multimediale Daten im Computer • Definition Multimedia • Kommen bei der Darstellung von Information mehrere, verschiedenartige Medien zum Einsatz, wie z.B. Text, Bild und Ton, so spricht man von einer multimedialen Darstellung der Information. • Multimediale Darstellung soll dem Betrachter die Wissensaufnahme von Inhalten erleichtern, da der Benutzer die Informationen mit verschiedenen Sinnesorganen aufnimmt alphanumerische graphische Audio- Video- Information Information information information Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  4. 4. Multimedia-Analyse-Techniken 1. Multimedia und Kodierung 4 Medientypen • zeitunabhängige Medien • Zeitkomponente während der Aufzeichnung ohne Bedeutung • z.B. Text, Grafik • „diskrete Medien“ • zeitunabhängige Medien • Information verändert sich mit der Zeit • Gehalt einer Einzelinformation (zu einem diskreten Zeitpunkt) nicht signifikant • Gesamtinformation erschließt sich erst aus dem zeitlichen Ablauf • Zeitkomponente kritisch sowohl bei Aufzeichnung als auch bei Wiedergabe • z.B. Audio, Video Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  5. 5. Multimedia-Analyse-Techniken 1. Multimedia und Kodierung 5 Multimediakodierung • Um Informationen zum Zweck der Archivierung oder Übertragung aufzuzeichnen, müssen die Informationen entsprechend kodiert werden. • alphanumerische Information (Text) • Zur Kodierung alphanumerischer Nachrichten, also mittels Ziffern und Buchstaben verschiedener Alphabete dargestellter Informationen, existieren viele unterschiedliche Verfahren, angefangen von ASCII, dem 7-Bit Standard, der noch aus den Zeiten des Fernschreibers stammt, bis hin zum 32-Bit Unicode, mit dem es möglich ist, annähernd alle Alphabete der Erde zu kodieren. Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  6. 6. Multimedia-Analyse-Techniken 1. Multimedia und Kodierung 6 Multimediakodierung • graphische Information • Graphische Information liegt analog vor und muss vor einer entsprechenden Kodierung zunächst digitalisiert werden. • man unterscheidet verlustfreie und verlustbehaftete Kodierung graphischer Information • verlustfreie Kodierung: • RAW, TIFF, BMP, ... • verlustbehaftete Kodierung: • GIF, PNG, JPEG, JPEG2000, ... Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  7. 7. Multimedia-Analyse-Techniken 1. Multimedia und Kodierung 7 Multimediakodierung • Audio- /Videoinformation • Audio-/Videoinformation liegt analog vor und muss vor einer entsprechenden Kodierung zunächst (zeitabhängig) digitalisiert werden. • man unterscheidet verlustfreie und verlustbehaftete Kodierung von Audio-/ Videoinformation • verlustfreie Kodierung: • Audio: AU, WAV, ... • Video: DV • verlustbehaftete Kodierung: • Audio: MP3, MPEG-2 AAC, MPEG-4 AAC, ... • Video: MPEG-1, MPEG-2, MPEG-4, H.264, X.264, DVCPro, ... Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  8. 8. Multimedia-Analyse-Techniken 8 1. Multimedia und Kodierung 2. Bild- und Videokodierung 3. Audiokodierung 4. Kurzer Exkurs: Maschinelles Lernen 5. Aufgabenstellung und Werkzeuge Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  9. 9. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 9 Farbe und Farbmodelle • Was ist Farbe? • Farben sind die Grundbestandteile des weißen Lichts • Prisma zerlegt weißes Licht in seine spektralen Bestandteile • Lichtstrahlen besitzen keine Farbe sondern eine spektrale Energieverteilung 1648 Marcus Marci 1672 Isaac Newton Marcus Marci Prisma (1595-1667) Isaac Newton (1643-1727) Elektromagnetisches Spektrum Infrarot sichtbares Licht UV λ=780 nm λ=380 nm Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  10. 10. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 10 Farbe und Farbmodelle • Thomas Young (1801) weist nach, dass das menschliche Auge nur in der Lage ist, 3 Grundfarben wahrzunehmen (3-Farbtheorie) • Alle übrigen wahrgenommenen Farben ergeben sich durch Mischung der 3 Grundfarben in unterschiedlicher Intensität Thomas Young (1773-1829) • Max Planck (1900) weist Zusammenhang zwischen Strahlungsfrequenz (Farbe des Lichts) und Temperatur nach (Schwarzkörperstrahlung und Farbtemperatur) • „In einem geschlossenem Hohlraum stellt sich eine nach allen Richtungen gleiche elektromagnetische Strahlung bestimmter Gesamtenergie und bestimmter spektraler Verteilung ein, die nur von der Temperatur der Hohlraumwände abhängt.“ 2200 K Farbtemperatur 5500 K (Kelvin) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  11. 11. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 10 Farbe und Farbmodelle • Thomas Young (1801) weist nach, dass das menschliche Auge nur in der Lage ist, 3 Grundfarben wahrzunehmen (3-Farbtheorie) • Alle übrigen wahrgenommenen Farben ergeben sich durch Mischung der 3 Grundfarben in unterschiedlicher Intensität Thomas Young (1773-1829) • Max Planck (1900) weist Zusammenhang zwischen Strahlungsfrequenz (Farbe des Lichts) und Temperatur nach (Schwarzkörperstrahlung und Farbtemperatur) • „In einem geschlossenem Hohlraum stellt sich eine nach allen Richtungen gleiche elektromagnetische Strahlung bestimmter Gesamtenergie und bestimmter spektraler Verteilung ein, die nur von der Temperatur der Hohlraumwände abhängt.“ Max Planck (1858- 1947) 2200 K Farbtemperatur 5500 K (Kelvin) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  12. 12. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 11 Farbe und Farbmodelle • Um Farben korrekt (auf dem Computer) reproduzieren zu können dienen mathematische Farbmodelle • Diese basieren auf unterschiedlichen Arten der Mischung von Anteilen der jeweiligen Grundfarben, deren Helligkeit und anderer Farbeigenschaften Isaac Newton (1704) verbindet die beiden Enden des optischen elektromagnetischen Spektrums zum Farbkreis Isaac Newton (1643-1727) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  13. 13. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 12 Farbe und Farbmodelle • Auch Goethe beschäftigte sich mit der Farbenlehre. Er entwickelte einen Farbkreis und ordnete den einzelnen Farben spezifische Eigenschaften zu. Johann Wolfgang v. Goethe • Goethe vertrat im Gegensatz (1749-1832) zu Newton die Ansicht, dass sich das weisse Licht nicht aus monochromatischen Komponenten zusammensetzt (Spektrum), sondern Farbe erst im Auge entsteht Farbenkreis zur Symbolisierung des menschlichen Geistes- und Seelenlebens, 1809 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  14. 14. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 13 Farbe und Farbmodelle • 1931 wurde als erstes Modell zur objektiven Farbbestimmung die Farbnormtafel von der internationalen Beleuchtungs- kommision festgelegt (Commission Internationale d´Eclairage, CIE) • Farben werden aus Farbanteilen der Grundfarben (Rot, Grün, Blau) gemischt und in ein 2-dimensionales Koordinatensystem projiziert CIE Farbnormtafel, 1931 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  15. 15. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 14 Farbe und Farbmodelle additive Farbmischung • RGB-Farbmodell • additive Farbmischung • Mischung selbstleuchtender Grundfarben • Rot (700nm) • Grün (546,1nm) • Blau (435,8nm) • Farbe wird als Tripel (r,g,b) aus den jeweiligen Farbanteilen angegeben • z.B. bei 8 Bit pro Farbkanal: gelb = (255,255,0) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  16. 16. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 15 Farbe und Farbmodelle • RGB-Farbmodell • Bsp.: additive Farbmischung R G B Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  17. 17. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle subtraktive Farbmischung 16 Farbe und Farbmodelle • CMY(K)-Farbmodell • subtraktive Farbmischung • Farbe entsteht durch Reflektion/Absorbtion an unterschiedlichen Oberflächen bestimmte Farbanteile Lichtstrahl werden reflektiert, andere absorbiert • Grundfarben Cyan / Magenta / Yellow • Druckprinzip: Farbpigmente der Grundfarben werden auf weiße Oberfläche aufgetragen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  18. 18. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle subtraktive Farbmischung 16 Farbe und Farbmodelle • CMY(K)-Farbmodell • subtraktive Farbmischung • Farbe entsteht durch Reflektion/Absorbtion an unterschiedlichen Oberflächen bestimmte Farbanteile Lichtstrahl werden reflektiert, andere absorbiert • Grundfarben Cyan / Magenta / Yellow • Druckprinzip: Farbpigmente der Grundfarben werden auf weiße Oberfläche aufgetragen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  19. 19. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 17 Farbe und Farbmodelle • CMY(K) Farbmodell • Bsp.: subtraktive Farbmischung C M Y Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  20. 20. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 18 Farbe und Farbmodelle • YUV-Farbmodell • Zerlegung der Farben in • Helligkeitsanteil (Luminanz) – Y-Komponente • Farbanteil (Chrominanz) – U und V Komponente • Historisch in Verbindung mit dem Farbfernsehens entstanden • Rückwärtskompatibilität mit Schwarzweiß-Empfängern • daher separater Helligkeitskanal • Ausnutzung der unterschiedlichen Empfindlichkeit des menschlichen Auges für Helligkeits- und Farbunterschiede Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  21. 21. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 19 Farbe und Farbmodelle • YUV-Farbmodell rot grün blau Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  22. 22. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.1 Farbe und Farbmodelle 20 Farbe und Farbmodelle • YUV-Farbmodell Y U V Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  23. 23. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung 21 Visuelle Wahrnehmung des Menschen • Das menschliche Auge Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  24. 24. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.2 Visuelle Wahrnehmung 22 Visuelle Wahrnehmung des Menschen • Licht- / Farbempfindlichkeit • Netzhaut enthält zwei Typen von Licht- rezeptoren im menschlichen Auge: • Zapfen Farb- und Helligkeitsempfindlich, verantwortlich für Farbsehen, im zentralen Retinabereich, ca. 6 Millionen, man unterscheidet drei Typen von Zapfen, die jeweils über unterschiedliches Sehpigment verfügen • Stäbchen Helligkeitsempfindlich auch bei geringer Beleuchtung im peripheren Retinabereich ca. 120 Millionen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  25. 25. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 23 Verlustbehaftete JPEG Kodierung • JPEG, Joint Photographic Experts Group • verlustbehaftete Komprimierung, sehr gut geeignet für natürliche Bildquellen • Komprimierung bis 1:20 bei kaum nennenswerten Verlust der Darstellungsqualität • Ausnutzung der Physiologie der menschlichen Wahrnehmung • Das menschliche Auge reagiert auf Änderungen der Helligkeit empfindlicher als auf Farbänderungen Helligkeit benachbarte Bildpunkte • Natürliche Bildquellen besitzen unterscheidet sich kaum • häufig Farb- / Helligkeitsverläufe • häufig keine starken Kontrastschwankungen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  26. 26. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 24 Verlustbehaftete JPEG Kodierung • Natürliche Bildquellen besitzen • häufig Farb- / Helligkeitsverläufe • häufig keine starken Kontrastschwankungen Helligkeit benachbarte Bildpunkte unterscheidet sich kaum Idee: Das Herausfiltern von Bildanteilen mit starken Kontrastschwankungen fällt bei den meisten „natürlichen“ Bildern nicht auf Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  27. 27. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 24 Verlustbehaftete JPEG Kodierung • Natürliche Bildquellen besitzen • häufig Farb- / Helligkeitsverläufe • häufig keine starken Kontrastschwankungen Helligkeit benachbarte Bildpunkte unterscheidet sich kaum Idee: Das Herausfiltern von Bildanteilen mit starken Kontrastschwankungen fällt bei den meisten „natürlichen“ Bildern nicht auf Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  28. 28. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 25 JPEG Komprimierung - Ablauf • Originalbild komprimiertes Bild schwächere Farbempfindlichkeit Filterung von Bildanteilen Farbraum- des menschlichen mit starken Kontrastschwankungen wechsel Auges Diskrete modifizierte Chroma- Cosinus- Quantisierung Huffman Subsampling Transformation Kodierung Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  29. 29. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 26 JPEG Komprimierung - Ablauf (1) Farbraumwechsel (r,g,b) →(Y,Cb,Cr) Luminanz Originalbild Chrominanz Y Farbraum- wechsel Cb (r,g,b) ⎛ +0,299 +0,587 +0,114 ⎞ ⎛ r ⎞ ⎛ Y ⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ +0,1687 −0,3313 +0,5 ⎟ ⋅ ⎜ g⎟ = ⎜Cb ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ Cr ⎝ +0,5 −0,4187 −0,081⎠ ⎝ b⎠ ⎝ Cr ⎠ Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  30. 30. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 27 JPEG Komprimierung - Ablauf (2) Chroma Subsampling Y-Pixel Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  31. 31. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 27 JPEG Komprimierung - Ablauf (2) Chroma Subsampling Y-Pixel Cr-Pixel Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  32. 32. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 27 JPEG Komprimierung - Ablauf (2) Chroma Subsampling Y-Pixel Cr-Pixel Cb-Pixel Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  33. 33. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 27 JPEG Komprimierung - Ablauf (2) Chroma Subsampling Y-Pixel Cr-Pixel Cb-Pixel Statt 4·(r,g,b) 4·Y+1·(Cb+Cr) 4·(8+8+8)=96 Bit 4·8+(8+8)=48 Bit Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  34. 34. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 28 JPEG Komprimierung - Ablauf (2) Chroma Subsampling 4:4:4 – kein Subsampling 4:2:2 – horizontales Subsampling um Faktor 2 Luminanzpixel Chrominanzpixel Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  35. 35. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 29 JPEG Komprimierung - Ablauf (2) Chroma Subsampling 4:1:1 – horizontales Subsampling um Faktor 4 4:2:0 – horizontales und vertikales Subsampling um Faktor 2 Luminanzpixel Chrominanzpixel Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  36. 36. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 30 JPEG Komprimierung - Ablauf (2) Chroma Subsampling 4:2:0 Subsampling Original PNG 285 KB 968 KB Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  37. 37. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 31 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) • versetzt einzelne Helligkeitswerte von Ortsraum in Frequenzraum • Jede Komponente (Y,Cb,Cr) wird separat transformiert • Bild wird dazu in Blöcke 8x8-Pixel zerlegt (0,0) F(0,0) DCT F(7,7) 8x8 Block (7,7) transformierter 8x8 Block Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  38. 38. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 32 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) (0,0) 8x8 Block (7,7) Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  39. 39. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 32 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) (0,0) 8x8 Block (7,7) Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  40. 40. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 32 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) (0,0) 218 177 136 177 177 218 218 177 8x8 Block (7,7) Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  41. 41. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 32 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) (0,0) 218 177 136 177 177 218 218 177 8x8 Block (7,7) Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  42. 42. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 32 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) (0,0) 218 177 136 177 177 218 218 177 8x8 Block (7,7) Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  43. 43. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 32 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) (0,0) 218 177 136 177 177 218 218 177 8x8 Block (7,7) Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  44. 44. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 33 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) • Das Prinzip der Fouriertransformation: Jede periodische Funktion lässt sich als Summe von Sinus- und Cosinus-Funktionen darstellen. Jean-Babtiste Joseph Baron de Fourier (1768-1830) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  45. 45. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 33 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) • Das Prinzip der Fouriertransformation: Jede periodische Funktion lässt sich als Summe von Sinus- und Cosinus-Funktionen darstellen. Jean-Babtiste Joseph Baron de Fourier (1768-1830) A x Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  46. 46. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 33 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) • Das Prinzip der Fouriertransformation: Jede periodische Funktion lässt sich als Summe von Sinus- und Cosinus-Funktionen darstellen. Jean-Babtiste Joseph Baron de Fourier (1768-1830) A x Ortsraum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  47. 47. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 33 JPEG Komprimierung - Ablauf (3) Diskrete Cosinus-Transformation (DCT) • Das Prinzip der Fouriertransformation: Jede periodische Funktion lässt sich als Summe von Sinus- und Cosinus-Funktionen darstellen. Jean-Babtiste Joseph Baron de Fourier (1768-1830) A A x f Ortsraum Frequenz-Spektrum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  48. 48. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 34 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) • Jede periodische Schwingung kann als eine Überlagerung von Sinusschwingungen unter- schiedlicher Amplituden und Frequenzen dargestellt werden   • Trägt man die Amplituden der beteiligten Schwingungen in Abhängigkeit der Frequenz auf, erhält man das Frequenz- spektrum Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  49. 49. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 35 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) x u y v DCT Ortsraum f(x,y) Frequenzraum F(u,v) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  50. 50. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 36 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) u v • Jeder Punkt bezeichnet Anteil einer bestimmten Frequenz • F(0,0) - niedrigste Frequenz • F(7,7) - höchste Frequenz Niedrige Frequenz = langsame Änderung Hohe Frequenz = rasche Änderung Frequenzraum F(u,v) „natürliche“ Bilder besitzen viele kontinuierliche Farb-/Helligkeitsübergänge d.h. Hauptanteil der Bildinformation liegt in den niedrigen Frequenzen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  51. 51. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 37 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) wachsende Frequenz  große, regelmäßig gefärbte Flächen  niedrige Frequenzanteile  feine Details, hohe Kontrast- unterschiede  hohe Frequenzanteile wachsende Frequenz  DC (Direct Current) = F(0,0) enthält Durchschnittswert der 8x8-Matrix  AC (Alternating Current) = F(0,1) … F(7,7) speichern Veränderungen zum DC Visualisierung der Basisfrequenzen Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  52. 52. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 38 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) 45 45 50 45 58 56 50 48 425 -25 -6 -5 -3 4 -15 13 43 50 48 45 50 56 56 53 -17 -1 0 10 -7 -6 4 3 43 53 48 50 61 53 63 56 -3 0 -3 9 4 -10 10 -2 Frequenzraum 48 50 58 53 53 48 68 50 Ortsraum -5 5 -3 -1 3 2 0 -2 45 48 56 56 50 45 68 61 DCT 0 0 0 -4 -1 6 6 6 48 53 50 61 61 45 61 50 4 4 -3 2 -1 0 1 4 50 53 56 56 58 53 63 61 1 2 -8 3 5 -3 -4 3 50 48 56 56 63 53 61 61 3 -6 3 -4 1 -3 2 0 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  53. 53. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 39 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) - Quantisierung Niedrige Frequenzen 1 1 1 1 1 4 8 16 bleiben erhalten 1 1 1 1 4 4 8 16 1 1 1 2 4 4 8 16 Quantisierungsmatrix – Q(u,v) 2 8 8 8 8 16 16 16 4 8 8 8 8 16 16 32 4 8 8 8 16 16 16 32 4 8 8 8 16 16 32 32 8 8 8 16 16 32 32 64 Hohe Frequenzen werden entfernt Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  54. 54. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 40 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) - Zig-Zag-Encodierung DC Mittelwert Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  55. 55. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 40 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) - Zig-Zag-Encodierung DC Mittelwert Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  56. 56. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 41 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) - mod. Huffman Kodierung • Kodierung variabler Länge Bits Wertebereich mit fester Kodierungsvorschrift 1 -1, +1 • Zusammenfassung von Null-Ketten 2 -3,-2, +2,+3 mit Lauflängenkodierung (RLE-Kodierung) 3 -7…-4, +4…7 4 -15…-8, 8…15 5 -31…-16, 16…31 6 -63…-32, 32…63 7 -127…-64, 64…127 8 -255..-128, 128…255 9 -511…-256, 256…511 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  57. 57. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.3 JPEG Kodierung 42 Farbe und Farbmodelle (3) Diskrete Cosinus-Transformation (DCT) - mod. Huffman Kodierung Quality : 100% Quality : 90% Quality : 50% Quality : 10% Size: 54,124 bytes Size: 21,868 bytes Size: 9,096 bytes Size: 3,519 bytes Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  58. 58. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 43 Videokodierung und Bewegungswahrnehmung • Grundlagen • Video (Film): kontinuierliche Abfolge von aufeinander folgenden Einzelbildern, die aufgrund der Netzhautträgheit des Menschen als zusammen-hängende, bewegte Sequenz erscheint. • Netzhautträgheit: das von der Netzhaut (Retina) wahrgenommene Bild bleibt für 1/16s auf dieser bestehen, ehe es verlischt • Kodierung einer Video(Film)sequenz erfordert sehr viel Speicherplatz • Bild und Ton müssen synchron ablaufen • erfordert hohe Bandbreite Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  59. 59. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 44 Videokodierung und Bewegungswahrnehmung • Bewegungswahrnehmung • komplexe Funktion der menschlichen Sensorik • abhängig von • Physiologischen Faktoren • Beeinflussung benachbarter Lichtsinneszellen in der Retina • Foveale Objektverfolgung (Nachführung des Auges) • Vergenz und Akkomodation • Psychologischen Faktoren • Elimination gleichförmiger Bewegung durch das Gehirn • Koppelung von Bewegung und Beschleunigungswahrnehmung (Gleichgewichtsorgan) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  60. 60. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 45 Videokodierung und Bewegungswahrnehmung • Analoge Videotechnik • Farbfernsehen – PAL • PAL (Phase Alternation Line, Europa) sendet mit Bildwiederholfrequenz von 25 Hz und einer Bildauflösung von 720x576 Pixeln, wobei 2 gegenseitig verschränkte Halbbilder mit im Takt von jeweils 1/50s gesendet werden gerade Zeilen ungerade Zeilen PAL interlaced + = 1/50s 1/50s 1/25s Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  61. 61. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 46 Videokodierung und Bewegungswahrnehmung • PAL (SD576i)- notwendige Bandbreite • Bildauflösung: 720 x 576 Pixel • Bildwiederholfrequenz: 25 Hz • Farbtiefe: 8 Bit • Subsampling: 4:2:2 • Benötigte Bandbreite: 720 x 576 x 25 x 8 + 2 x (360 x 576 x 25 x 8) = 166 Mbps Luminanz Chrominanz Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  62. 62. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 47 Videokodierung und Bewegungswahrnehmung • HDTV (HD1080p) - notwendige Bandbreite • Bildauflösung: z.B. 1920 x 1080 Pixel • Bildwiederholfrequenz: bis 60 Hz • Farbtiefe: 8 Bit • Subsampling: 4:2:2 • Benötigte Bandbreite (Beispiel): 1920x1080x60x8 + 2x(960x1080x60x8) = 1,99 Gbps Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  63. 63. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 48 Prediktive Kodierung • Ausnutzung von inhärenten Redundanzen in Videosequenzen • z.B. Hintergrund statisch, nur Objekt im Vordergrund bewegt • Objekte und Objektbewegungen müssen erkannt werden • Bewegung kann als Grauwertveränderung der Position von Bildpunkten definiert werden • Bei fester Kameraeinstellung ändert sich der Bildinhalt durch Bewegung der Objekte in der Szene • Verfahren zur Bewegungsprädiktion: • Vorhersage ohne semantischen Kontext • Modellbasierte Verfahren, z.B. bei Videotelefonie, Nachrichtensprecher, etc. • Objekt-/Regionenbasierte Verfahren, d.h. Bildsegmentierung und Extraktion von Objekten Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  64. 64. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 49 Prediktive Kodierung • Block-Matching Originalbild In • Annahme: • benachbarte Bildpunkte führen die gleiche Bewegung aus. • Vorgehen Referenzbild RIn-k • Unterteile das vorherzusagende Bild In in gleich große Blöcke (Segmente) • Für jedes Segment bestimme im Referenzbild RIn-k einen Block mit möglichst gleichem Inhalt Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  65. 65. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 50 Prediktive Kodierung • Block-Matching Originalbild In • Vorgehen (Fortsetzung): • Ist ein passendes Segment gefunden, bestimme den Verschiebevektor v=(vx,vy) • Vollständige Prädiktion ist nur möglich, wenn für jedes Segment in In ein passender Block im Referenzbild gefunden wird. Referenzbild RIn-k • Das Prädiktionsbild PIn wird wie eine Collage aus den gefundenen Segmenten des Referenzbildes zusammengesetzt und sieht bei erfolgreicher Prädiktion dem Originalbild In sehr v ähnlich. Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  66. 66. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 51 Prediktive Kodierung • Ursache für Bildveränderungen in Videosequenzen sind auch Bewegungen der Kamera • Geradlinige Bewegungen der Kamera (Translation) • Kameraschwenk (Rotation) • Einsatz von Zoomobjektiven (Skalierung) y Bewegungskompensation gleicht Bewegungen der Kamera aus x z Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  67. 67. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 52 Video Codecs und Komprimierverfahren mp4 h.263 HDX4 asf QuickTime vob Nero h.261 h.264 verpackt kodierte implementiert Komprimierungs- Datencontainer Daten in Codec verfahren mkv XviD WMV9 avi ogm MPEG 1 RealVideo MPEG 4 mpg DivX RealMedia MPEG 2 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  68. 68. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 53 Videokomprimierung nach MPEG • MPEG - Moving Pictures Experts Group • eigentlich ISO/IEC JTC1/SC29/WG11 • seit 1988, ca. 360 Mitglieder aus Industrie/Forschung • MPEG-1 Standard 1992 • VCD, MP3-Audiokomprimierung • Datenrate 1,5 Mbps erfordert Komprimierung von >100:1 • MPEG-2 Standard 1995 • Digitalfernsehen (DVB), DVD • MPEG-3 Standard in MPEG-2 integriert (HDTV) • MPEG-4 Standard 1999 • Interaktives Audio und Video über drahtlose Netze und Internet • HDTV, DRM, komplexe Objektverwaltung Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  69. 69. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 54 MPEG-1 Videokodierung - Prinzipieller Ablauf • Videoeinzelbilder MPEG Bitstrom YUV DCT-Werte Referenz- Inverse DCT Inverse bild Quantisierung quantisierte Code RGB YUV DCT-Werte variabler Länge Farbkonversion Block- DCT Lauflängen Huffman Quantisierung nach YCrCb vergleich Transformation Kodierung Kodierung Fehler-/ quantisierte Nullen YUV DCT-Werte Differenzwerte DCT-Werte unterdrückt Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  70. 70. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 55 MPEG-1 Videokodierung - Datenstrom Struktur • Videosequenz Group of Pictures Slice Makroblock 16 x 16 Pixel Block 8 x 8 Pixel Einzelbild Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  71. 71. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 56 MPEG-1 Videokodierung • Farbraumkonvertierung → YCrCb (4:2:2) • Aufteilung der Einzelbilder in Zeilenabschnitte (Slices) und Makroblöcke • 16 x 16 Pixel Luminanz (Makroblock) • 8 x 8 Pixel Chrominanz (Block) • Bewegungsvorhersagealgorithmus • Vergleiche Luminanzmakroblöcke aufeinander folgender Einzelbilder • Ortsveränderungen von Luminanzmakroblöcken werden über Vektoren kodiert • Qualität abhängig von Suchraumgröße Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  72. 72. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 57 MPEG-1 Videokodierung • Farbraumkonvertierung → YCrCb (4:2:2) • Bewegungsvorhersagealgorithmus • DCT – Transformation • Unterscheide Einzelbildvarianten: • Intra-Frame (I-Frame) vollständiges Einzelbild, keine Bewegungsvorhersage, stets erstes Bild einer Sequenz (Standbild) • Predictive Frame (P-Frame) nutzt zusätzlich Bewegungsvorhersage, bezieht sich auf vorhergehendes I- Frame • Bidirectional Frame (B-Frame) Bewegungsvorhersage, bezieht sich auf vorhergehendes/nachfolgendes P-/I- Frame Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  73. 73. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 58 MPEG-1 Videokodierung • Frametypen • I-Frame muss nach spätestens 12 Frames wieder folgen • Reihenfolge und jeweilige Wiederholungsanzahl der einzelnen Frames sonst nicht vorgeschrieben I B B B P B B B P B B B P B B B I Zeit Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  74. 74. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 59 MPEG-1 Videokodierung • P-Frame Kodierung Referenz-Frame Ziel-Frame Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  75. 75. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 59 MPEG-1 Videokodierung • P-Frame Kodierung Referenz-Frame Ziel-Frame Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  76. 76. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 59 MPEG-1 Videokodierung • P-Frame Kodierung Referenz-Frame Ziel-Frame 1. Suche Best Match Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  77. 77. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 59 MPEG-1 Videokodierung • P-Frame Kodierung Referenz-Frame Ziel-Frame 1. Suche Best Match 2. Verschiebungsvektor Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  78. 78. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 59 MPEG-1 Videokodierung • P-Frame Kodierung Referenz-Frame Ziel-Frame 3. Differenzbildung - 1. Suche Best Match 2. Verschiebungsvektor Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  79. 79. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 60 MPEG-1 Videokodierung • B-Frame Kodierung Past Referenz Ziel-Frame Future Referenz - ( + )/2 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  80. 80. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 60 MPEG-1 Videokodierung • B-Frame Kodierung Past Referenz Ziel-Frame Future Referenz 1. Suche Best Match - ( + )/2 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  81. 81. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 60 MPEG-1 Videokodierung • B-Frame Kodierung Past Referenz Ziel-Frame Future Referenz 1. Suche Best Match 2. Verschiebungsvektoren - ( + )/2 3. Differenzbildung Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  82. 82. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 61 MPEG-1 Videokodierung • Typische Kompressionsfaktoren (SD576) Frame Size Rate I 92 kB 7:1 P 32 kB 20:1 B 13 kB 50:1 average 26 kB 25:1 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  83. 83. Multimedia-Analyse-Techniken 2. Bild- und Videokodierung / 2.4 Video Kodierung 62 MPEG-1 Videokodierung • MPEG Datenstrom Sequence Layer Sequence Sequence … Sequence Group of Pictures Sqc SC VidPar StrPar QTs GOP … GOP Layer Picture Layer GOP SC TCode GOPPar Pict … Pict Slice Layer P SC Type Buffer Encode Slice Slice … Slice Macroblock Layer S SC VPos Qscale MB … MB Block Layer Addrln Type MV QScale CBP b0 … b5 Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  84. 84. Multimedia-Analyse-Techniken 63 1. Multimedia und Kodierung 2. Bild- und Videokodierung 3. Audiokodierung 4. Kurzer Exkurs: Maschinelles Lernen 5. Aufgabenstellung und Werkzeuge Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  85. 85. Multimedia-Analyse-Techniken 3. Audiokodierung 64 Grundlagen - Was ist Schall? • Schall wird hervorgerufen durch Schwingungen von Molekülen in einem elastischen Medium, die sich wellenförmig ausbreiten. • Maßeinheit: • Frequenz = #Schwingungen/Sekunde = Hz (Hertz) • ≙ Dauer einer Schwingung: • Frequenz: • Lautstärke: Höhe der Amplitude A Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  86. 86. Multimedia-Analyse-Techniken 3. Audiokodierung 64 Grundlagen - Was ist Schall? • Schall wird hervorgerufen durch Schwingungen von Molekülen in einem elastischen Medium, die sich wellenförmig ausbreiten. • Maßeinheit: • Frequenz = #Schwingungen/Sekunde = Hz (Hertz) • ≙ Dauer einer Schwingung: • Frequenz: • Lautstärke: Höhe der Amplitude A Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  87. 87. Multimedia-Analyse-Techniken 3. Audiokodierung 64 Grundlagen - Was ist Schall? • Schall wird hervorgerufen durch Schwingungen von Molekülen in einem elastischen Medium, die sich wellenförmig ausbreiten. • Maßeinheit: • Frequenz = #Schwingungen/Sekunde = Hz (Hertz) • ≙ Dauer einer Schwingung: • Frequenz: • Lautstärke: Höhe der Amplitude A Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  88. 88. Multimedia-Analyse-Techniken 3. Audiokodierung 65 Grundlagen - Was ist Schall? • Lautstärke: Schalldruck • Druckschwankungen eines kompressiblen Schall-übertragungsmediums, die bei der Ausbreitung von Schall auftreten • angegeben wird aber meist der Schalldruckpegel, gemessen in Dezibel (db) • 1db entspricht der Lautstärke, bei der ein Ton von 1 KHz gerade noch hörbar ist • p0 = 0 db →Hörschwelle, entspricht Schalldruck von 20µPa Alexander Graham Bell (1847-1922) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  89. 89. Multimedia-Analyse-Techniken 3. Audiokodierung 66 Grundlagen - Was ist Schall? • der Klang (subjektives Schallerlebnis) kann charakterisiert werden durch • Lautstärken (→ Amplitude) und • Tonhöhen (→ Frequenz) seiner Grund- und Obertöne (→ Frequenzspektrum) • im zeitlichen Verlauf Grundton tiefste Frequenz einer komplexen Wellenform De A ca y Oberton Sustain bei natürlicher Tonerzeugung wird stets neben k ac dem Grundton eine Vielzahl höherer Töne Att Re lea erzeugt se Frequenzspektrum Gesamtheit aller Obertöne t Hüllkurve (envelope) eines Tones Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  90. 90. Multimedia-Analyse-Techniken 3. Audiokodierung 67 Audio Digitalisierung • Läst sich in drei Stufen zerlegen: 1.Abtastung des Signals (Sampling) 2.Diskretisierung der Abtastwerte (Quantisierung) 3.Kodierung der quantisierten Abtastwerte ! !"" ! !""#$ )'"%*(+ ! ! !""#$" !"#$%&'( ,&(&-"%+ !"#$%#&%'()%*+', 0%,!"#$%#&%'()%*+', ."'/%0'( 0%,!"#$%#&%'()%*+', -#-)".', -#-)".',12%.#-) 0%,!('$', /%#.-#.,,%.#-) 3&,.-#.,,%.#-) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  91. 91. Multimedia-Analyse-Techniken 3. Audiokodierung 68 Audio Digitalisierung • Sampling und Quantisierung 3#0-,(,4$,.$)-0 3#0-,(,4$,.$)-0 %&'(#$)*" %&'(#$)*" +),-$#.#"/)-0.1 #-$"/2,((" 7#0#$,(1%-,(501 8,-*()-0 !"#$ !"#$ ,-,(50".63#0-,( *#0#$,(".63#0-,( Δt Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  92. 92. Multimedia-Analyse-Techniken 3. Audiokodierung 69 Psychoakustik und menschliche Wahrnehmung Schmerzschwelle Schalldruckpegel A, dB 140 130 Phon 130 120 110 100 Phon 100 90 80 Phon 80 Ruhehörschwelle 70 60 40 Phon 50 40 30 20 0 Phon 10 0 20 50 100 200 500 1000 5.000 10.000 Δt Frequenz f, Hz Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  93. 93. Multimedia-Analyse-Techniken 3. Audiokodierung 70 Psychoakustik und menschliche Wahrnehmung Bogengänge Amboß Innenohr Hammer Hörnerv Steigbügel Trommelfell Gehörgang Mittelohr Schnecke (Cochlea) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  94. 94. Multimedia-Analyse-Techniken 3. Audiokodierung 71 Psychoakustik und Audiokodierung • kodiere nur Signale, die im menschlichen Hörfeld liegen • auch innerhalb des Hörfeldes müssen nicht alle Signale kodiert werden • Simultane Verdeckung: starkes (lautes) Signal verdeckt (maskiert) gleichzeitiges schwaches (leises) Signal • Temporäre Verdeckung: starkes Signal verdeckt schwaches Signal nicht nur zeitgleich, sondern wirkt • für gewisse Zeit nach (bis 200 ms) • sogar einige Zeit vor (bis 50 ms, liegt an der Trägheit des Hörvorganges) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  95. 95. Multimedia-Analyse-Techniken 3. Audiokodierung 72 Psychoakustik und Audiokodierung • Simultane Verdeckung Schalldruckpegel A, dB 140 130 120 110 Störpegel 100 100 dB 90 80 Wahrnehmungs- 70 schwelle 80 dB 60 50 40 30 60 dB 20 10 40 dB 0 20 dB 20 50 100 200 500 1000 5.000 10.000 Frequenz f, Hz Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  96. 96. Multimedia-Analyse-Techniken 3. Audiokodierung 73 Psychoakustik und Audiokodierung • Temporäre Verdeckung A 60 dB Maskierungssignal 40 dB Vor- Simultan- Nach- verdeckung verdeckung verdeckung 20 dB 0 dB t -50 0 50 100 150 0 50 100 150ms Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  97. 97. Multimedia-Analyse-Techniken 3. Audiokodierung 74 MP3 Audiokodierung • MPEG 1 – Layer 3 • Motion Pictures Expert Group - MP3 = MPEG 1 - Layer 3 • Standard für Video Compact Disc (VCD) • entwickelt vom Fraunhofer Institut für Integrierte Schaltkreise in Erlangen mit AT&T Bell Labs und Thompson (ab 1987) • basiert auf Subband-Coding mit eigenem psycho-akustischen Modell • ISO-Standard • standardisiert lediglich Dekoder und Datenformat • Kodierer nicht standardisiert • MP3-Datei besitzt keinen expliziten Header, sondern ist eine Aneinanderreihung einzelner Datenblöcke mit jeweils eigenem Header + Audioinformationen (→ Streaming) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  98. 98. Multimedia-Analyse-Techniken 3. Audiokodierung 75 MP3 Audiokodierung • Predictive Coding • Wissen über bereits kodiertes Signal wird zur Vorhersage des Folgesignals benutzt (nur Differenz wird kodiert) • Spektral-/Transform Coding • Fourier-Transformation des Wellensignals (Überführung von Ortsraum in Frequenzraum) • Sub-Band Coding • psycho-akustisches Modell • Audio-Spektrum wird in Frequenzbänder aufgeteilt (fast alle Bänder haben gegenüber dem lautesten Band weniger relevante Information) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  99. 99. Multimedia-Analyse-Techniken 3. Audiokodierung 76 MP3 Audiokodierung @-$3,"'(3>:"'#:=-.A-.."'(3> 3,-"-."'(3389+-$B- G G !"#$% • *$+,-./)'0 ;OV<:E$, 50)+$-."'(:"'# D"BBE)'> 1!')+23-4 #2')E$389-. ;"+,$M+-N-. &$'()'( C")',$3$-."'( F%#$-."'( *-'3,-.)'M)33"'( HI JKJ 5"//6'#-. F%-BB$A$-',-' HP>HQR:0/M3 F%#$-."'(:#-. =-.#-80"'(3> L"3),A$'B%.E),$%' **< 389?-++-' O$($,)+-.:F)')+ 73289%)0"3,$389-3:;%#-++ ;7H:F%#$-."'( ;7H:O-0%#$-."'( HP>HQR:0/M3 5"//6'#-. F%-BB$A$-',-' G G T'U-.3-:;OV<:E$, !"#$% *$+,-./)'0 O-30)+$-."'(:"'# D"BBE)'> O-E"+,$M+-N-. #2')E$389-. !"3()'( 152',9-3-4 O-S")',$3$-."'( O-0%#$-."'( HI *-'3,-.)'M)33"'( JKJ O-0%#$-."'(:#-. L"3),A$'B%.E),$%' Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  100. 100. Multimedia-Analyse-Techniken 77 1. Multimedia und Kodierung 2. Bild- und Videokodierung 3. Audiokodierung 4. Kurzer Exkurs: Maschinelles Lernen 5. Aufgabenstellung und Werkzeuge Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  101. 101. Multimedia-Analyse-Techniken 5. Kurzer Exkurs: maschinelles Lernen 78 Was ist Lernen? • Zentrale Fähigkeit von „intelligenten Systemen“ in der Natur und der Wissenschaft der ,Künstlichen Intelligenz‘ • Zielgerichtete Veränderung von Wissen und/oder Verhaltensweisen durch Erfahrung • Es existieren viele Formen des Lernens: • motorisches Lernen, Regellernen, Sprachlernen, Lernen mit Lehrern, Lernen in der Entwicklung, ... • Was ist kein Lernen? • Einfaches Speichern von Daten (keine Veränderung) • festes Programmieren von Lösungen (keine Erfahrung) Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Montag, 17. Mai 2010
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×