Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
MULTIMEDIA-                                        ANALYSE-TECHNOLOGIEN                                                   ...
Multimedia-Analyse-Technologien2               1. Evaluation Einführung               2. Grafische Visualisierung          ...
Multimedia-Analyse-Technologien             Evaluationsverfahren3          Zusammenhang                   ■    Video Analy...
Multimedia-Analyse-Technologien             Evaluationsverfahren4          Warum?                   ■    Information Retri...
Multimedia-Analyse-Technologien             Evaluationsverfahren5          Warum Evaluation?             IDEE:            ...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten      ...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren6                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren7                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren7                                          Testdaten    Au...
Multimedia-Analyse-Technologien             Evaluationsverfahren7                                          Testdaten      ...
Multimedia-Analyse-Technologien             Evaluationsverfahren8            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren8            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren8            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren8            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren8            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren8            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren9            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren9            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren9            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren9            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren9            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren9            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren9            Beispiel: Recall und Precision als Qualitätsm...
Multimedia-Analyse-Technologien             Evaluationsverfahren10            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren10            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren10            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren10            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren10            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren10            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren11            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren11            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren11            Beispiel: Recall und Precision als Qualitäts...
Multimedia-Analyse-Technologien             Evaluationsverfahren12               ■   Wie können Recall und Precision zu ei...
Multimedia-Analyse-Technologien             Evaluationsverfahren12               ■   Wie können Recall und Precision zu ei...
Multimedia-Analyse-Technologien             Evaluationsverfahren12               ■   Wie können Recall und Precision zu ei...
Multimedia-Analyse-Technologien             Evaluationsverfahren12               ■   Wie können Recall und Precision zu ei...
Multimedia-Analyse-Technologien13               1. Evaluation Einführung               2. Grafische Visualisierung         ...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (1)14          • Gnuplot: Visualisie...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (1)14          • Gnuplot: Visualisie...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (1)14          • Gnuplot: Visualisie...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (2)15              Evaluation für Op...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (3)16                               ...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (3)16                               ...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (3)16                               ...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (4)17                               ...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (5)18                               ...
Multimedia-Analyse-Technologien             Visualisierung von Evaluationsergebnissen (5)18                               ...
Multimedia-Analyse-Technologien19               1. Evaluation Einführung               2. Grafische Visualisierung         ...
Multimedia-Analyse-Technologien             Evaluation Video Text Identification2                        Evaluation Video T...
Multimedia Analyse Technologien1             Textlokalisation in Videos              Aufgabe:               welche Bilder ...
Multimedia Analyse Technologien2             Bestimmen der Bildregion                                                     ...
Multimedia             Evaluation Text-Textlokalisation3            Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation4            Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation5            Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation6            Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation7            Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation8            Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation9            Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation10           Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia             Evaluation Text-Textlokalisation11           Evaluationsverfahren für Textidentifikation – Block/Pix...
Multimedia Analyse Technologien                 Evaluation Text-Textlokalisation    3        Methode 1:                   ...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation3        Methode 1:         workflow:         •...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation4             Beispiel zur Methode 1:         ...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation3        Methode 2:            Vorteil: kein T...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation3        Methode 2:            Vorteil: kein T...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation4         Methode 2:          Matching Funktio...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation4           Beispiel zur Methode 2:           ...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation4           Beispiel zur Methode 2:           ...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation4              Beispiel zur Methode 2:        ...
Multimedia Analyse Technologien             Evaluation Text-Textlokalisation4              Beispiel zur Methode 2:        ...
Multimedia-Analyse-Technologien             Evaluation Video Genre Detection2                        Evaluation Video Genr...
Evaluationsverfahren             Genre Detection40                         frame: 1001            Framebezogene Auswertung...
Evaluationsverfahren             Genre Detection40                         frame: 1001            Framebezogene Auswertung...
Evaluationsverfahren             Genre Detection41                                                 Framebezogene Auswertun...
Evaluationsverfahren             Genre Detection41                                                 Framebezogene Auswertun...
Evaluationsverfahren             Genre Detection41                                                           Framebezogene...
Evaluationsverfahren             Genre Detection42              Evaluation über Recall/Precision:              • Berechnun...
Multimedia-Analyse-Technologien             Evaluation Face Clustering2                        Evaluation Face Clustering ...
Multimedia-Analyse-Technologien             Evaluation Faces (1)44        Evaluation von Clustering Algorithmen           ...
Multimedia-Analyse-Technologien             Evaluation Faces (2)45        Evaluation von Clustering Algorithmen           ...
Multimedia-Analyse-Technologien             Evaluation Faces (3)46        Evaluation von Clustering Algorithmen           ...
Multimedia-Analyse-Technologien             Evaluation Faces (4)47 3       Evaluation von Clustering: Qualitätsmaß        ...
Multimedia-Analyse-Technologien             Evaluation Faces (5)48        Anfertigen einer Ground Truth (bekannte Zuordnun...
Multimedia-Analyse-Technologien             Evaluation Faces (5)48        Anfertigen einer Ground Truth (bekannte Zuordnun...
Multimedia-Analyse-Technologien             Evaluation Faces (5)48        Anfertigen einer Ground Truth (bekannte Zuordnun...
Multimedia-Analyse-Technologien             Evaluation Faces (6)49        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (6)49        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (6)49        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (7)50        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (7)50        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (7)50        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (7)50        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (7)50        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (7)50        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (7)50        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (8)51        Vergleichen der Ground Truth mit dem Ergebnis de...
Multimedia-Analyse-Technologien             Evaluation Faces (10)52        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (10)52        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (10)52        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (10)52        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (11)53        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (11)53        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (11)53        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (11)53        Vergleichen der Ground Truth mit dem Ergebnis d...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3354        Immer noch das Problem: Was, wenn die Anzahl ...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3354        Immer noch das Problem: Was, wenn die Anzahl ...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3354        Immer noch das Problem: Was, wenn die Anzahl ...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3354        Immer noch das Problem: Was, wenn die Anzahl ...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3355        Immer noch das Problem: Was, wenn die Anzahl ...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3355        Immer noch das Problem: Was, wenn die Anzahl ...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3355        Immer noch das Problem: Was, wenn die Anzahl ...
Multimedia-Analyse-Technologien             Evaluation Faces (12)3355        Immer noch das Problem: Was, wenn die Anzahl ...
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Evaluation - Seminar 'Multimedia Analyse Technologien'
Upcoming SlideShare
Loading in …5
×

Evaluation - Seminar 'Multimedia Analyse Technologien'

801 views

Published on

Plenumsvortrag 'EVALUATION' im Seminatr'Multimedia Analyse Technologien' im Sommersemester 2011, HPI Potsdam

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Evaluation - Seminar 'Multimedia Analyse Technologien'

  1. 1. MULTIMEDIA- ANALYSE-TECHNOLOGIEN Verfahren zur Evaluation Seminar Dr. Harald Sack / Jörg Waitelonis / Haojin Yang Nadine Ludwig / Magnus Knuth / Bernhard Quehl Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Sommersemester 2011 Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).Mittwoch, 4. Mai 2011
  2. 2. Multimedia-Analyse-Technologien2 1. Evaluation Einführung 2. Grafische Visualisierung 3. Evaluation Beispiele 4. Sonstiges Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  3. 3. Multimedia-Analyse-Technologien Evaluationsverfahren3 Zusammenhang ■ Video Analyse Technologien liefern Metadaten, die Inhalt und Struktur der analysierten Daten beschreiben ■ Metadaten sind Grundlage für darauf aufbauende Information Retrieval Verfahren Warum? ■ Wie gut arbeiten die eingesetzten Video Analyse Technologien? ■ ...sind unsere Verfahren genauso gut wie bereits Existierende? ■ ...oder sind sie sogar besser? Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  4. 4. Multimedia-Analyse-Technologien Evaluationsverfahren4 Warum? ■ Information Retrieval ist eine empirische Disziplin ■ Wann liefert IR ein gutes Ergebnis? Wann ist es signifikant? ■ Feststellen der ‘Güte’ des Ergebnisses des IR Wofür? ■ Effizienz von IR-Systemen / Klassifikatoren ermitteln ■ Vergleich von IR-Systemen / Klassifikatoren ■ Verbesserung von Algorithmen (Optimierung) Womit? ■ Was ist ein Maß für die Wirksamkeit eines IR-Systems? Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  5. 5. Multimedia-Analyse-Technologien Evaluationsverfahren5 Warum Evaluation? IDEE: ■ Vergleiche das Ergebnis des IR-Systems mit dem idealen Ergebnis. ■ Ideales Ergebnis: ■ Sammlung von Dokumenten (Datensatz zum Experiemetieren) ■ Relevanz Urteil (i. A. relevant vs. nicht relevant) ■ (manuell) vorgegeben ■ “Gold Standard” ■ möglichst von mehreren Personen beurteilt Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  6. 6. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  7. 7. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Automatische Klassifikation Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  8. 8. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Automatische Klassifikation Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  9. 9. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Automatische Klassifikation Testergebnis Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  10. 10. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Automatische Klassifikation Manuelle Klassifikation Testergebnis Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  11. 11. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Automatische Klassifikation Manuelle Klassifikation Testergebnis “Gold Standard” Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  12. 12. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Automatische Klassifikation Manuelle Klassifikation = ? Testergebnis “Gold Standard” Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  13. 13. Multimedia-Analyse-Technologien Evaluationsverfahren6 Testdaten Automatische Klassifikation Manuelle Klassifikation = ? Testergebnis “Gold Standard” Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  14. 14. Multimedia-Analyse-Technologien Evaluationsverfahren7 Testdaten Automatische Klassifikation Manuelle Klassifikation = ? Testergebnis “Gold Standard” Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  15. 15. Multimedia-Analyse-Technologien Evaluationsverfahren7 Testdaten Automatische Klassifikation Manuelle Klassifikation = ? Testergebnis “Gold Standard” Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  16. 16. Multimedia-Analyse-Technologien Evaluationsverfahren7 Testdaten Wie kann man das Ganze quantifizieren? Automatische Klassifikation Manuelle Klassifikation = ? Testergebnis “Gold Standard” Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  17. 17. Multimedia-Analyse-Technologien Evaluationsverfahren8 Beispiel: Recall und Precision als Qualitätsmaß Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  18. 18. Multimedia-Analyse-Technologien Evaluationsverfahren8 Beispiel: Recall und Precision als Qualitätsmaß Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  19. 19. Multimedia-Analyse-Technologien Evaluationsverfahren8 Beispiel: Recall und Precision als Qualitätsmaß Menge aller Dokumente Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  20. 20. Multimedia-Analyse-Technologien Evaluationsverfahren8 Beispiel: Recall und Precision als Qualitätsmaß Aufgabe: finde alle Menge aller Dokumente Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  21. 21. Multimedia-Analyse-Technologien Evaluationsverfahren8 Beispiel: Recall und Precision als Qualitätsmaß Aufgabe: finde alle Menge aller Dokumente relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  22. 22. Multimedia-Analyse-Technologien Evaluationsverfahren8 Beispiel: Recall und Precision als Qualitätsmaß Aufgabe: finde alle Menge aller Dokumente Ergebnis relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  23. 23. Multimedia-Analyse-Technologien Evaluationsverfahren9 Beispiel: Recall und Precision als Qualitätsmaß Ergebnis relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  24. 24. Multimedia-Analyse-Technologien Evaluationsverfahren9 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Ergebnis relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  25. 25. Multimedia-Analyse-Technologien Evaluationsverfahren9 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Ergebnis relevant unrelevant false negative (FN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  26. 26. Multimedia-Analyse-Technologien Evaluationsverfahren9 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) TP Ergebnis (TP + FN) relevant unrelevant false negative (FN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  27. 27. Multimedia-Analyse-Technologien Evaluationsverfahren9 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Recall = TP Ergebnis (TP + FN) relevant unrelevant false negative (FN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  28. 28. Multimedia-Analyse-Technologien Evaluationsverfahren9 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Recall = TP Ergebnis (TP + FN) Trefferquote (Recall): Mit welcher relevant unrelevant Wahrscheinlichkeit finden wir überhaupt einen Apfel? (Wie vollständig ist das Ergebnis?) false negative (FN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  29. 29. Multimedia-Analyse-Technologien Evaluationsverfahren9 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Recall = TP Ergebnis (TP + FN) Trefferquote (Recall): Mit welcher relevant unrelevant Wahrscheinlichkeit finden wir überhaupt einen Apfel? (Wie vollständig ist das Ergebnis?) p( positiv erkannt | tatsächlich positiv ) false negative (FN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  30. 30. Multimedia-Analyse-Technologien Evaluationsverfahren10 Beispiel: Recall und Precision als Qualitätsmaß Ergebnis false positive (FP) relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  31. 31. Multimedia-Analyse-Technologien Evaluationsverfahren10 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Ergebnis false positive (FP) relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  32. 32. Multimedia-Analyse-Technologien Evaluationsverfahren10 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) TP Ergebnis (TP + FP) false positive (FP) relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  33. 33. Multimedia-Analyse-Technologien Evaluationsverfahren10 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Precision = TP Ergebnis (TP + FP) false positive (FP) relevant unrelevant Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  34. 34. Multimedia-Analyse-Technologien Evaluationsverfahren10 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Precision = TP Ergebnis (TP + FP) false positive (FP) Genauigkeit (Precision): Mit welcher relevant unrelevant Wahrscheinlichkeit ist im gefundenen Obst ein Apfel? Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  35. 35. Multimedia-Analyse-Technologien Evaluationsverfahren10 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Precision = TP Ergebnis (TP + FP) false positive (FP) Genauigkeit (Precision): Mit welcher relevant unrelevant Wahrscheinlichkeit ist im gefundenen Obst ein Apfel? p( negativ erkannt | tatsächlich positiv ) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  36. 36. Multimedia-Analyse-Technologien Evaluationsverfahren11 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Precision = TP Ergebnis (TP + FP) false positive (FP) Recall = TP (TP + FN) relevant unrelevant false negative (FN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  37. 37. Multimedia-Analyse-Technologien Evaluationsverfahren11 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Precision = TP Ergebnis (TP + FP) false positive (FP) Recall = TP (TP + FN) relevant unrelevant false negative (FN) true negative (TN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  38. 38. Multimedia-Analyse-Technologien Evaluationsverfahren11 Beispiel: Recall und Precision als Qualitätsmaß true positive (TP) Precision = TP Ergebnis (TP + FP) false positive (FP) Recall = TP (TP + FN) relevant unrelevant Fallout = FP (FP + TN) false negative (FN) true negative (TN) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  39. 39. Multimedia-Analyse-Technologien Evaluationsverfahren12 ■ Wie können Recall und Precision zu einem Wert kombiniert werden? Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  40. 40. Multimedia-Analyse-Technologien Evaluationsverfahren12 ■ Wie können Recall und Precision zu einem Wert kombiniert werden? 2 · precision · recall F1 = precision + recall Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  41. 41. Multimedia-Analyse-Technologien Evaluationsverfahren12 ■ Wie können Recall und Precision zu einem Wert kombiniert werden? 2 · precision · recall F1 = precision + recall 2 precision · recall Fβ = (1 + β ) · 2 β · precision + recall Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  42. 42. Multimedia-Analyse-Technologien Evaluationsverfahren12 ■ Wie können Recall und Precision zu einem Wert kombiniert werden? 2 · precision · recall F1 = precision + recall 2 precision · recall Fβ = (1 + β ) · 2 β · precision + recall ■ Mit β kann der Einfluß von Recall oder Precision auf den Gesamtwert gesteuert werden Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  43. 43. Multimedia-Analyse-Technologien13 1. Evaluation Einführung 2. Grafische Visualisierung 3. Evaluation Beispiele 4. Sonstiges Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  44. 44. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (1)14 • Gnuplot: Visualisierung von Daten • http://www.gnuplot.info/ 22 1 16 1 15 186 14 77 13 97 12 88 11 115 10 202 9 318 8 435 7 586 6 737 5 878 4 1278 3 2197 2 4873 1 13255 Daten + Gnuplot Script = schöne Grafik Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  45. 45. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (1)14 • Gnuplot: Visualisierung von Daten • http://www.gnuplot.info/ 22 1 16 1 15 186 14 77 13 97 12 88 11 115 10 202 9 318 8 435 7 586 set terminal postscript portrait "Arial" color set size 1.0,0.3 6 737 5 878 set ylabel no. of terms set xlabel no. of related resources per term 4 1278 3 2197 plot "data.txt" using 1:2 with lines lw 3 title "without properties" 2 4873 1 13255 Daten + Gnuplot Script = schöne Grafik Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  46. 46. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (1)14 • Gnuplot: Visualisierung von Daten • http://www.gnuplot.info/ 22 1 16 1 15 186 14 77 13 97 12 88 11 115 10 202 9 318 8 435 7 586 set terminal postscript portrait "Arial" color set size 1.0,0.3 6 737 5 878 set ylabel no. of terms set xlabel no. of related resources per term 4 1278 3 2197 plot "data.txt" using 1:2 with lines lw 3 title "without properties" 2 4873 1 13255 Daten + Gnuplot Script = schöne Grafik Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  47. 47. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (2)15 Evaluation für Optimierung ■ Recall und Precision werden für jeden Testlauf neu berechnet ■ Verändere die Konfigurationsparameter des Algorithmus so, dass Recall und Precision (bzw. F-Measure) maximiert werden. ■ Ermittle Precision und Recall nur für einen Parameter und lasse die anderen fix. ■ Wähle die Parameter möglichst so, dass auch Grenzfälle berücksichtigt werden. Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  48. 48. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (3)16 gnuplot pr-graph.plot Precision/Recall Diagramm ■ jeder Datenpunkt entspricht einem Testdurchlauf (Run) ■ P/R sind im Allgemeinen umgekehrt proportional Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  49. 49. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (3)16 gnuplot pr-graph.plot Precision/Recall Diagramm ■ jeder Datenpunkt entspricht einem Testdurchlauf (Run) ■ P/R sind im Allgemeinen umgekehrt proportional # p, r, run 0.80 0.10 1 0.64 0.18 2 0.55 0.23 3 0.41 0.3 4 0.35 0.37 5 0.33 0.4 6 0.27 0.50 7 0.18 0.67 8 0.15 0.77 9 0.10 0.90 10 param1.dat Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  50. 50. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (3)16 gnuplot pr-graph.plot Precision/Recall Diagramm ■ jeder Datenpunkt entspricht einem Testdurchlauf (Run) ■ P/R sind im Allgemeinen umgekehrt proportional # p, r, run 0.80 0.10 1 0.64 0.18 2 #set terminal postscript portrait "Times" color 0.55 0.23 3 set terminal x11 0.41 0.3 4 set ylabel Precision 0.35 0.37 5 0.33 0.4 6 set xlabel Recall 0.27 0.50 7 0.18 0.67 8 plot param1.dat using 2:1 with lines title pr-graph 0.15 0.77 9 0.10 0.90 10 pause -1 param1.dat pr-graph.plot Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  51. 51. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (4)17 gnuplot m-graph.plot F-Measure Diagramm ■ Testdurchläufe auf der X-Achse ■ das Maximum zeigt den Durchlauf mit den besten Parametern # p, r, run 0.80 0.10 1 0.64 0.18 2 #set terminal postscript portrait "Times" color 0.55 0.23 3 set terminal x11 0.41 0.3 4 0.35 0.37 5 set ylabel F-Measure 0.33 0.4 6 set xlabel Parameter Run 0.27 0.50 7 0.18 0.67 8 plot param1.dat using 3:(2 * $2 * $1 / ($2+$1) ) with lines title f-measure; 0.15 0.77 9 0.10 0.90 10 pause -1 m-graph.plot param1.dat Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  52. 52. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (5)18 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  53. 53. Multimedia-Analyse-Technologien Visualisierung von Evaluationsergebnissen (5)18 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  54. 54. Multimedia-Analyse-Technologien19 1. Evaluation Einführung 2. Grafische Visualisierung 3. Evaluation Beispiele 4. Sonstiges Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  55. 55. Multimedia-Analyse-Technologien Evaluation Video Text Identification2 Evaluation Video Text Identification Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  56. 56. Multimedia Analyse Technologien1 Textlokalisation in Videos Aufgabe: welche Bilder in dem Video enthalten Text ? in Welcher Bildregion befindet sich der Text? Bild ohne Text Bild mit Text Bestimmen der Bildregion Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  57. 57. Multimedia Analyse Technologien2 Bestimmen der Bildregion finden der Bounding Box? Bi ld in in g lok un en m au ale m gion fte Re e sti Re ile gi tb ler n o x ne n Te ka lo Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  58. 58. Multimedia Evaluation Text-Textlokalisation3 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Recall Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive Region der gefundenen Dokumente Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  59. 59. Multimedia Evaluation Text-Textlokalisation4 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Recall Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive Region der gefundenen Dokumente Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  60. 60. Multimedia Evaluation Text-Textlokalisation5 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Recall Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive 2. Bestimmung der vergessenden Text- Regionen = False Negative Region der gefundenen Dokumente Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  61. 61. Multimedia Evaluation Text-Textlokalisation6 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Recall Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive 2. Bestimmung der vergessenden Text- Regionen = False Negative Region der gefundenen Dokumente 3. Recall = TP 4 = TP + FN 4+1 Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  62. 62. Multimedia Evaluation Text-Textlokalisation7 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Precision Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive Region der gefundenen Dokumente Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  63. 63. Multimedia Evaluation Text-Textlokalisation8 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Precision Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive Region der gefundenen Dokumente Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  64. 64. Multimedia Evaluation Text-Textlokalisation9 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Precision Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive 2. Bestimmung der falsch gefundenen Text- Regionen = False Positive Region der gefundenen Dokumente Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  65. 65. Multimedia Evaluation Text-Textlokalisation10 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Precision Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive 2. Bestimmung der falsch gefundenen Text- Regionen = False Positive Region der gefundenen Dokumente Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  66. 66. Multimedia Evaluation Text-Textlokalisation11 Evaluationsverfahren für Textidentifikation – Block/Pixel genau Region der gefundenen Dokumente FP TP FN Region der relevanten Dokumente Precision Berechnung : 1. Bestimmung der übereinstimmenden- Textregionen = True Positive 2. Bestimmung der falsch gefundenen Text- Regionen = False Positive Region der gefundenen Dokumente TP 4 3. P recision = = TP + FP 4+1 Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  67. 67. Multimedia Analyse Technologien Evaluation Text-Textlokalisation 3 Methode 1: TP Recall = TP + FN TP ground truth (19375 px) Detektion resultx P recision = = 0.7 TP + FP (22295 px)x Überlappung (15696 px) ¨ Uberlappungsfl¨chea TP : Anzahl der korrekt detektiertenThreshold Boxes80%) > Bounding (z.b.= 0.7 der gr¨sseren Bounding BoxFl¨che a o FN : Anzahl der inkorrekt detektierte Bounding Boxesmeasure = 0.375 der nicht gefundenen Bounding Box in der Ground Truth ¨ : Anzahl FP Uberlappungsfl¨che a T P gr¨sseren Bounding Box 2 > Threshold (z.b. 80%)ache der =¨= T P +F N o 2+1 = 0.667sion = = PT+F P = P asure T 0.375 2 2+1 = 0.667 TP 2= T P +F N = 2+1 = 0.667 TP 2 n= T P +F P = 2+1 = 0.667Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam Seminar: Mittwoch, 4. Mai 2011
  68. 68. Multimedia Analyse Technologien Evaluation Text-Textlokalisation3 Methode 1: workflow: • Überlappungsfläche von gefundener und gesuchter Bounding Box berechnen ground truth (19375 px) Detektion result • 15696px Größere Bounding 22295px = 0.7 Box berechnen Überlappung (15696 px) (22295 px) • Wenn ¨ Uberlappungsfl¨che a > Threshold (z.b. 80%) Fl¨che der gr¨sseren Bounding Box a o F1 − measure = 0.375 Bounding Box ➔ korrekt detektierte Recall = TP = 2 = 0.667 Beispiel: T P +F N 2+1 15696px P recision = TP T P +F P = 2 2+1 = 0.667 22295px = 0.7 → inkorrekt detektiert 0+1+0 P recision = 3 = Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  69. 69. Multimedia Analyse Technologien Evaluation Text-Textlokalisation4 Beispiel zur Methode 1: 1 Detektierte Bounding Boxes: 1 50% < 80% ➔ 0 2 85% > 80% ➔ 1 3 3 0 < 80% ➔ 0 2 ground truth Detektion result Überlappung 0+1+0 Recall = 2 = 0.5 0+1+0 P recision = 3 = 0.3 F1 − measure = 0.375 TP 2 Recall = T P +F N = 2+1 = 0.667 P recision = T PT+F P Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam P Seminar: Multimedia 2 = 2+1 = 0.667Mittwoch, 4. Mai 2011
  70. 70. Multimedia Analyse Technologien Evaluation Text-Textlokalisation3 Methode 2: Vorteil: kein Threshold nötig workflow: Ground Truth (19375 px) Ergebnis Detektion (22295 px) • Gesamte umschließende Fläche G von Überlappung (15696 px) gesamte umschließende Fläche von zwei Bounding Boxes zwei Bounding Boxes berechnen (27181 px) • mp: Matching Percentage berechnen Beispiel: ¨ Uberlappungsfl¨che a 15696 px → mp = G mp = 27181px = 58% TP 2 Recall = T P +F N = 2+1 = 0.667 Recall = TP = 2 =0 T P +F N 2+1 Seminar: Multimedia T P Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 2Mittwoch, 4. Mai 2011 P recision = T P +F P = 2+1 = 0.667 P recision = TP = 2 =
  71. 71. Multimedia Analyse Technologien Evaluation Text-Textlokalisation3 Methode 2: Vorteil: kein Threshold nötig workflow: Ground Truth (19375 px) Ergebnis Detektion (22295 px) • Gesamte umschließende Fläche G von Überlappung (15696 px) gesamte umschließende Fläche von zwei Bounding Boxes zwei Bounding Boxes berechnen (27181 px) • mp: Matching Percentage berechnen Beispiel: ¨ Uberlappungsfl¨che a 15696 px → mp = G mp = 27181px = 58% TP 2 Recall = T P +F N = 2+1 = 0.667 Recall = TP = 2 =0 T P +F N 2+1 Seminar: Multimedia T P Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam 2Mittwoch, 4. Mai 2011 P recision = T P +F P = 2+1 = 0.667 P recision = TP = 2 =
  72. 72. Multimedia Analyse Technologien Evaluation Text-Textlokalisation4 Methode 2: Matching Funktion m(r, R): m(r, R) = max mp(r, r ) r‘ ∈ R (R: Bounding Box Set) • r: gesuchte Bounding Box • R: Menge von Bounding Box • allgemeine Berechnungsgrundlage für Recall, Precision m(rt , E) recall = T rt ∈T m(re , T ) precision = E re ∈E T: Ground Truth Bounding Box set E: gefundene Bounding Box set Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  73. 73. Multimedia Analyse Technologien Evaluation Text-Textlokalisation4 Beispiel zur Methode 2: B1 B1 T{B1, B2} E{B1, B2, B3} B2 B3 B2 Ground Truth Ergebnis Detektion B1: m(B1, E) = mpmax = 50% Überlappung gesamte umschließende Fläche B2: m(B2, E) = mpmax = 62% von zwei Bounding Boxes m(r, R) = max mp(r, R ) where r‘ ∈ R max mp(r, R ) m(r, R)(Boundingm(rtset) = t ∈T box ,E) Recall = r T 0.5+0.62 m(rt ,E) Recall = 2 = 0.56 Recall = rt ∈T T TP 2 Recall = T P +F N = 2+1 = 0.667 Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  74. 74. Multimedia Analyse Technologien Evaluation Text-Textlokalisation4 Beispiel zur Methode 2: B1 B1 T{B1, B2} E{B1, B2, B3} B2 B3 B2 Ground Truth Ergebnis Detektion B1: m(B1, E) = mpmax = 50% Überlappung gesamte umschließende Fläche B2: m(B2, E) = mpmax = 62% von zwei Bounding Boxes m(r, R) = max mp(r, R ) where r‘ ∈ R max mp(r, R ) m(r, R)(Boundingm(rtset) = t ∈T box ,E) Recall = r T 0.5+0.62 m(rt ,E) Recall = 2 = 0.56 Recall = rt ∈T T TP 2 Recall = T P +F N = 2+1 = 0.667 Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  75. 75. Multimedia Analyse Technologien Evaluation Text-Textlokalisation4 Beispiel zur Methode 2: B1 B1 T{B1, B2} E{B1, B2, B3} B2 B3 B2 B1: m(B1, T) = mpmax = 50% Ground Truth Ergebnis Detektion Überlappung gesamte umschließende Fläche B2: m(B2, T) = mpmax = 62% von zwei Bounding Boxes B3: m(B3, T) = mpmax = 0 m(r, R) = max mp(r, R ) m(r, R) rt ∈T box set) where r‘ ∈ R = max m(rt ,E) R ) Recall = (Bounding mp(r, T P recision = 0.5+0.62+0 3 = 0.37 m(re ,T ) Precision = re ∈E E F1 − measure Recall = T PT P = 0.45 2 = 0.667 +F N = 2+1 TP 2 P recision = T P +F P = 2+1 = 0.667 Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam TP 2 Recall =Mittwoch, 4. Mai 2011 T P +F N = 2+1 = 0.667
  76. 76. Multimedia Analyse Technologien Evaluation Text-Textlokalisation4 Beispiel zur Methode 2: B1 B1 T{B1, B2} E{B1, B2, B3} B2 B3 B2 B1: m(B1, T) = mpmax = 50% Ground Truth Ergebnis Detektion Überlappung gesamte umschließende Fläche B2: m(B2, T) = mpmax = 62% von zwei Bounding Boxes B3: m(B3, T) = mpmax = 0 m(r, R) = max mp(r, R ) m(r, R) rt ∈T box set) where r‘ ∈ R = max m(rt ,E) R ) Recall = (Bounding mp(r, T P recision = 0.5+0.62+0 3 = 0.37 m(re ,T ) Precision = re ∈E E F1 − measure Recall = T PT P = 0.45 2 = 0.667 +F N = 2+1 TP 2 P recision = T P +F P = 2+1 = 0.667 Seminar: Multimedia Analyse Technologien, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam TP 2 Recall =Mittwoch, 4. Mai 2011 T P +F N = 2+1 = 0.667
  77. 77. Multimedia-Analyse-Technologien Evaluation Video Genre Detection2 Evaluation Video Genre Detection Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  78. 78. Evaluationsverfahren Genre Detection40 frame: 1001 Framebezogene Auswertung, Bsp. indoor segment Genre Detection frame: 1004 segment Genre Detection frame: 1007 segment Genre Detection frame: 1010 segment Genre Detection Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  79. 79. Evaluationsverfahren Genre Detection40 frame: 1001 Framebezogene Auswertung, Bsp. indoor segment Genre {1001,indoor} Detection frame: 1004 segment Genre {1004,indoor} Detection frame: 1007 segment Genre {1007,indoor} Detection frame: 1010 segment Genre {1010,¬indoor} Detection Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  80. 80. Evaluationsverfahren Genre Detection41 Framebezogene Auswertung, Bsp. indoor Ground Truth {1001,indoor} frame genre 1001 indoor 1004 ¬indoor 1007 indoor {1004,indoor} 1010 indoor {1007,indoor} {1010,¬indoor} Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  81. 81. Evaluationsverfahren Genre Detection41 Framebezogene Auswertung, Bsp. indoor Ground Truth {1001,indoor} TP frame genre 1001 indoor 1004 ¬indoor 1007 indoor {1004,indoor} FP 1010 indoor {1007,indoor} TP {1010,¬indoor} FN Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  82. 82. Evaluationsverfahren Genre Detection41 Framebezogene Auswertung, Bsp. indoor Ground Truth {1001,indoor} TP frame genre 1001 indoor 1004 ¬indoor 1007 indoor {1004,indoor} FP 1010 indoor {1007,indoor} TP TP 2 Recall = T P +F N = 2+1 = 0.667 TP 2 P recision = T P +F P = 2+1 = 0.667 {1010,¬indoor} FN Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  83. 83. Evaluationsverfahren Genre Detection42 Evaluation über Recall/Precision: • Berechnung von True Positives, False Positives etc. • für jedes Genre einzeln • Framebezogen, jeweils 1 Frame pro Segment • binäre Zuordnung (indoor: ja/nein) oder mit Wahrscheinlichkeitswerten (mit 60% Wahrscheinlichkeit indoor) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  84. 84. Multimedia-Analyse-Technologien Evaluation Face Clustering2 Evaluation Face Clustering Seminar: Multimedia-Analyse-Techniken, Bernhard Quehl, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  85. 85. Multimedia-Analyse-Technologien Evaluation Faces (1)44 Evaluation von Clustering Algorithmen ■ Algorithmus auf Daten bekannter Zuordnung (External Indices) ■ Algorithmus auf Daten unbekannter Zuordnung (Internal Indices) ■ Vergleich von Clustering-Ergebnissen unterschiedlicher Algorithmen (Relative Indices) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  86. 86. Multimedia-Analyse-Technologien Evaluation Faces (2)45 Evaluation von Clustering Algorithmen ■ Algorithmus auf Daten bekannter Zuordnung (External Indices) ■ Algorithmus auf Daten unbekannter Zuordnung (Internal Indices) ■ Vergleich von Clustering-Ergebnissen unterschiedlicher Algorithmen (Relative Indices) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  87. 87. Multimedia-Analyse-Technologien Evaluation Faces (3)46 Evaluation von Clustering Algorithmen ■ Gegeben sind: ■ eine Datenmenge D mit Zuordnung zu Klassen K ■ ein Qualitätsmaß (externer Index). ■ Ziel: ■ Validieren eines Clusterings, das aus n Clustern besteht. ■ Allgemein: ■ Für jeden Cluster Ci: ■ Berechnung der Qualität gegenüber jeder Klasse Kj ■ Aggregation der Werte pro Cluster ■ Aggregation der Werte für das gesamte Clustering Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  88. 88. Multimedia-Analyse-Technologien Evaluation Faces (4)47 3 Evaluation von Clustering: Qualitätsmaß ■ Klassifikationsorientierte Maße: Wie gut hat das Clustering die Klassenzuordnung “geraten”? ■ Purity ■ Precision Recall ■ F-Measure ■ Ähnlichkeitsorientierte Maße: Inwiefern stimmt das Clustering mit der Klassenzuordnung überein? ■ Rand Index Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  89. 89. Multimedia-Analyse-Technologien Evaluation Faces (5)48 Anfertigen einer Ground Truth (bekannte Zuordnung) ■ Ziel: Festlegen von Identitäten ■ Jedes Bild wird manuell einer Person (Cluster) zugeordnet Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  90. 90. Multimedia-Analyse-Technologien Evaluation Faces (5)48 Anfertigen einer Ground Truth (bekannte Zuordnung) ■ Ziel: Festlegen von Identitäten ■ Jedes Bild wird manuell einer Person (Cluster) zugeordnet 1. Thomas 2. Katy 3. Miley Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  91. 91. Multimedia-Analyse-Technologien Evaluation Faces (5)48 Anfertigen einer Ground Truth (bekannte Zuordnung) ■ Ziel: Festlegen von Identitäten ■ Jedes Bild wird manuell einer Person (Cluster) zugeordnet 1. Thomas 2. Katy 3. Miley Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  92. 92. Multimedia-Analyse-Technologien Evaluation Faces (6)49 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Hauptklassen bestimmen (Majority Classes) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  93. 93. Multimedia-Analyse-Technologien Evaluation Faces (6)49 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Hauptklassen bestimmen (Majority Classes) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  94. 94. Multimedia-Analyse-Technologien Evaluation Faces (6)49 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Hauptklassen bestimmen (Majority Classes) Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  95. 95. Multimedia-Analyse-Technologien Evaluation Faces (7)50 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  96. 96. Multimedia-Analyse-Technologien Evaluation Faces (7)50 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  97. 97. Multimedia-Analyse-Technologien Evaluation Faces (7)50 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  98. 98. Multimedia-Analyse-Technologien Evaluation Faces (7)50 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  99. 99. Multimedia-Analyse-Technologien Evaluation Faces (7)50 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 2 + 2 + 2 Purity = Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  100. 100. Multimedia-Analyse-Technologien Evaluation Faces (7)50 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 2 + 2 + 2 Purity = 8 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  101. 101. Multimedia-Analyse-Technologien Evaluation Faces (7)50 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Passt gut zu Klasse 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 2 + 2 + 2 Purity = = 75% 8 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  102. 102. Multimedia-Analyse-Technologien Evaluation Faces (8)51 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut passt ein gefundener Cluster zu den Klassen? ■ Purity: Anzahl der korrekten Elemente bzgl. Majority Classes Problem 1: Wenn jedes Bild in ein eigenes Cluster eingeordnet wird ist Purity = 1. Problem 2: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen Passt gut zu Klassestimmt? überein 1 Passt gut zu Klasse 2 Passt gut zu Klasse 3 2 + 2 + 2 Purity = = 75% 8 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  103. 103. Multimedia-Analyse-Technologien Evaluation Faces (10)52 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut wurde der jeweilige Cluster erkannt? ■ Precision Recall Vergleich zu Klasse 1 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  104. 104. Multimedia-Analyse-Technologien Evaluation Faces (10)52 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut wurde der jeweilige Cluster erkannt? ■ Precision Recall Vergleich zu Klasse 1 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  105. 105. Multimedia-Analyse-Technologien Evaluation Faces (10)52 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut wurde der jeweilige Cluster erkannt? ■ Precision Recall korrekt gefunden nicht gefunden Recall = TP / (TP + FN) = 1.0 Vergleich zu Klasse 1 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  106. 106. Multimedia-Analyse-Technologien Evaluation Faces (10)52 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Wie gut wurde der jeweilige Cluster erkannt? ■ Precision Recall korrekt gefunden nicht gefunden Recall = TP / (TP + FN) = 1.0 Precision = TP / (TP + FP) = 0.66 Vergleich zu Klasse 1 falsch gefunden Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  107. 107. Multimedia-Analyse-Technologien Evaluation Faces (11)53 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Aggregieren der Werte aller Cluster (z. B. Mittelwert) R = 1.0 P = 0.66 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  108. 108. Multimedia-Analyse-Technologien Evaluation Faces (11)53 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Aggregieren der Werte aller Cluster (z. B. Mittelwert) R = 1.0 R = 1.0 P = 0.66 P = 0.66 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  109. 109. Multimedia-Analyse-Technologien Evaluation Faces (11)53 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Aggregieren der Werte aller Cluster (z. B. Mittelwert) R = 1.0 R = 1.0 R = 0.5 P = 0.66 P = 0.66 P = 1.0 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  110. 110. Multimedia-Analyse-Technologien Evaluation Faces (11)53 Vergleichen der Ground Truth mit dem Ergebnis des Algorithmus ■ Aggregieren der Werte aller Cluster (z. B. Mittelwert) R = 1.0 R = 1.0 R = 0.5 P = 0.66 P = 0.66 P = 1.0 R = 0.833 P = 0.773 Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  111. 111. Multimedia-Analyse-Technologien Evaluation Faces (12)3354 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  112. 112. Multimedia-Analyse-Technologien Evaluation Faces (12)3354 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? ■ Lösung: Rand-Index ■ Betrachte Paare von Elementen Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  113. 113. Multimedia-Analyse-Technologien Evaluation Faces (12)3354 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? ■ Lösung: Rand-Index ■ Betrachte Paare von Elementen (a) Paar ist im selben Cluster und in der selben Klasse (b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen (c) Paar ist im selben Cluster und in unterschiedlichen Klassen (d) Paar ist in unterschiedlichen Clustern und in der selben Klasse Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  114. 114. Multimedia-Analyse-Technologien Evaluation Faces (12)3354 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? ■ Lösung: Rand-Index ■ Betrachte Paare von Elementen true positive (TP) true negative (TN) (a) Paar ist im selben Cluster und in der selben Klasse (b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen (c) Paar ist im selben Cluster und in unterschiedlichen Klassen (d) Paar ist in unterschiedlichen Clustern und in der selben Klasse false negative (FN) false positive (FP) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  115. 115. Multimedia-Analyse-Technologien Evaluation Faces (12)3355 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  116. 116. Multimedia-Analyse-Technologien Evaluation Faces (12)3355 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? ■ Lösung: Rand-Index ■ Betrachte Paare von Elementen Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  117. 117. Multimedia-Analyse-Technologien Evaluation Faces (12)3355 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? ■ Lösung: Rand-Index ■ Betrachte Paare von Elementen (a) Paar ist im selben Cluster und in der selben Klasse (b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen (c) Paar ist im Selben Cluster und in unterschiedlichen Klassen (d) Paar ist in unterschiedlichen Clustern und in der selben Klasse Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011
  118. 118. Multimedia-Analyse-Technologien Evaluation Faces (12)3355 Immer noch das Problem: Was, wenn die Anzahl der gefundenen Cluster nicht mit den vorgegebenen Klassen überein stimmt? ■ Lösung: Rand-Index ■ Betrachte Paare von Elementen true positive (TP) true negative (TN) (a) Paar ist im selben Cluster und in der selben Klasse (b) Paar ist in unterschiedlichen Clustern und in unterschiedlichen Klassen (c) Paar ist im Selben Cluster und in unterschiedlichen Klassen (d) Paar ist in unterschiedlichen Clustern und in der selben Klasse false negative (FN) false positive (FP) Seminar: Multimedia-Analyse-Techniken, Hasso-Plattner-Institut, Universität PotsdamMittwoch, 4. Mai 2011

×