Seminar Large Scale Processing for Multimedia Analysis - Themenvorstellung

Themen LSP4MAT Seminar Dr. Harald Sack / Dr. Peter Tröger Jörg Waitelonis / Magnus Knuth / Christian Hentschel Bernhard Quehl / Haojin Yang Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Wintersemester 2011/2012Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC). 1

LSP4MAT2 1. Einführung und Überblick 2. Seminar Themen 3. Administratives Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 2

LSP4MAT Large Scale Processing for Multimedia Analysis3 Das serielle Prinzip Feature Extraction Analyse Ergebnis Anwenden einer Extrahieren der für die Rechenvorschrift zur Analyse notwendigen Ermittlung des Eigenschaften des Videos Ergebnisses Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 3

LSP4MAT Large Scale Processing for Multimedia Analysis3 Das serielle Prinzip Feature Extraction Analyse Ergebnis Anwenden einer Extrahieren der für die Rechenvorschrift zur Analyse notwendigen Ermittlung des Eigenschaften des Videos Ergebnisses HardCut Detection ? diffi = ∑(framei) - ∑(framei+1) diffi > threshold yes/no Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 3

LSP4MAT Large Scale Processing for Multimedia Analysis3 Das serielle Prinzip Feature Extraction Analyse Ergebnis Anwenden einer Extrahieren der für die Rechenvorschrift zur Analyse notwendigen Ermittlung des Eigenschaften des Videos Ergebnisses HardCut Detection ? diffi = ∑(framei) - ∑(framei+1) diffi > threshold yes/no Object Detection sifti = SIFT(framei) isObject(sifti) yes/no Scale Invariant Feature Transform trainierter Klassiﬁkator Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 3

LSP4MAT Large Scale Processing for Multimedia Analysis4 Die Bedingungen FutureSOC: - bis 48 CPUs, - 256-2048 GB RAM 2 Projekt Rechner - je 16 CPUs - ca. 100GB RAM - ca. 30TB HDD mehr als 10.000 Videos komplexer Workﬂow mehrere Maschinen (zum Teil in HD Formaten) mit unterschiedlichen mit je mehreren Kernen - DVCPRO Codec (50/100Mbit/s) Abhängigkeiten - 22GB/h bzw. 44GB/h Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 4

LSP4MAT Large Scale Processing for Multimedia Analysis5 Die Herausforderung 1. Eine sehr große Menge an Videos so schnell es geht abarbeiten. 2. Ein Video so schnell es geht prozessieren. Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 5

LSP4MAT Large Scale Processing for Multimedia Analysis5 Die Herausforderung 1. Eine sehr große Menge an Videos so schnell es geht abarbeiten. 2. Ein Video so schnell es geht prozessieren. Möglichkeiten? Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 5

LSP4MAT Large Scale Processing for Multimedia Analysis5 Die Herausforderung 1. Eine sehr große Menge an Videos so schnell es geht abarbeiten. 2. Ein Video so schnell es geht prozessieren. Möglichkeiten? (a) mehrere Maschinen arbeiten an unterschiedlichen Videos gleichzeitig (b) eine Maschine arbeitet an unterschiedlichen Videos gleichzeitig (c) eine Maschine arbeitet an einem Video parallel (d) mehrere Maschinen arbeiten an einem Video parallel Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 5

LSP4MAT Large Scale Processing for Multimedia Analysis5 Die Herausforderung 1. Eine sehr große Menge an Videos so schnell es geht abarbeiten. 2. Ein Video so schnell es geht prozessieren. Möglichkeiten? (a) mehrere Maschinen arbeiten an unterschiedlichen Videos gleichzeitig (b) eine Maschine arbeitet an unterschiedlichen Videos gleichzeitig (c) eine Maschine arbeitet an einem Video parallel (d) mehrere Maschinen arbeiten an einem Video parallel also: Parallelisieren über mehrere Maschinen (ScaleOut) Parallelisieren auf einer Maschine (ScaleUp) Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 5

LSP4MAT Large Scale Processing for Multimedia Analysis5 Die Herausforderung 1. Eine sehr große Menge an Videos so schnell es geht abarbeiten. 2. Ein Video so schnell es geht prozessieren. Möglichkeiten? (a) mehrere Maschinen arbeiten an unterschiedlichen Videos gleichzeitig (b) eine Maschine arbeitet an unterschiedlichen Videos gleichzeitig (c) eine Maschine arbeitet an einem Video parallel (d) mehrere Maschinen arbeiten an einem Video parallel also: Sehr vere infacht! Parallelisieren über mehrere Maschinen (ScaleOut) Dazu näc Parallelisieren auf einer Maschine (ScaleUp) mehr. hste Woc he Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 5

LSP4MAT Large Scale Processing for Multimedia Analysis5 Die Herausforderung 1. Eine sehr große Menge an Videos so schnell es geht abarbeiten. 2. Ein Video so schnell es geht prozessieren. Granularität? Möglichkeiten? (a) mehrere Maschinen arbeiten an unterschiedlichen Videos gleichzeitig (b) eine Maschine arbeitet an unterschiedlichen Videos gleichzeitig (c) eine Maschine arbeitet an einem Video parallel (d) mehrere Maschinen arbeiten an einem Video parallel also: Sehr vere infacht! Parallelisieren über mehrere Maschinen (ScaleOut) Dazu näc Parallelisieren auf einer Maschine (ScaleUp) mehr. hste Woc he Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 5

LSP4MAT Large Scale Processing for Multimedia Analysis6 Die Herausforderung Welche Granularität ist optimal für: (1) das Verteilen auf unterschiedlichen Maschinen, und (2) das Verteilen auf mehrere CPUs? Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 6

LSP4MAT Large Scale Processing for Multimedia Analysis6 Die Herausforderung Welche Granularität ist optimal für: (1) das Verteilen auf unterschiedlichen Maschinen, und (2) das Verteilen auf mehrere CPUs? Tradeoff Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 6

LSP4MAT Large Scale Processing for Multimedia Analysis6 Die Herausforderung Welche Granularität ist optimal für: (1) das Verteilen auf unterschiedlichen Maschinen, und (2) das Verteilen auf mehrere CPUs? Tradeoff Zeit zum Verteilen vs. Zeit zum Verarbeiten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 6

LSP4MAT Large Scale Processing for Multimedia Analysis6 Die Herausforderung Welche Granularität ist optimal für: (1) das Verteilen auf unterschiedlichen Maschinen, und (2) das Verteilen auf mehrere CPUs? Tradeoff Zeit zum Verteilen vs. Zeit zum Verarbeiten Sehr vere infacht! Dazu näc hste Woc mehr. he Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 6

LSP4MAT Large Scale Processing for Multimedia Analysis7 Video Video Basis Feature Extraction Video Jobs Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT Large Scale Processing for Multimedia Analysis7 Basis Features z.B.: Video - Einzelframes Video Basis Feature Extraction Video - Histogramme/Statistiken - Bild Kanäle (RGB, HSV, YUV, ...) Jobs - Kantenbilder, Faltung - ... Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT Large Scale Processing for Multimedia Analysis7 Basis Features z.B.: Video - Einzelframes Video Basis Feature Extraction Video - Histogramme/Statistiken - Bild Kanäle (RGB, HSV, YUV, ...) Jobs - Kantenbilder, Faltung - ... Face Detection Face Tracking (Clustering) Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT Large Scale Processing for Multimedia Analysis7 Basis Features z.B.: Video - Einzelframes Video Basis Feature Extraction Video - Histogramme/Statistiken - Bild Kanäle (RGB, HSV, YUV, ...) Jobs - Kantenbilder, Faltung - ... Face Detection Text Identiﬁcation Face Tracking (Clustering) Pipeline Ermittlungen nach Bombenfunden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT Large Scale Processing for Multimedia Analysis7 Basis Features z.B.: Video - Einzelframes Video Basis Feature Extraction Video - Histogramme/Statistiken - Bild Kanäle (RGB, HSV, YUV, ...) Jobs - Kantenbilder, Faltung - ... Face Detection Text Identiﬁcation Scene Cut Detection Face Tracking (Clustering) Pipeline • Hard Cuts • Soft Cuts • DropOuts • Wipes/Fades Ermittlungen nach Bombenfunden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT Large Scale Processing for Multimedia Analysis7 Basis Features z.B.: Video - Einzelframes Video Basis Feature Extraction Video - Histogramme/Statistiken - Bild Kanäle (RGB, HSV, YUV, ...) Jobs - Kantenbilder, Faltung - ... Face Detection Text Identiﬁcation Scene Cut Detection Face Tracking (Clustering) Pipeline Visual Concept Cuts • Hard Detection • Soft Cuts • DropOuts • Wipes/Fades Ermittlungen nach Bombenfunden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT Large Scale Processing for Multimedia Analysis7 Basis Features z.B.: Video - Einzelframes Video Basis Feature Extraction Video - Histogramme/Statistiken - Bild Kanäle (RGB, HSV, YUV, ...) Jobs - Kantenbilder, Faltung - ... Face Detection Text Identiﬁcation Scene Cut Detection Face Tracking (Clustering) Pipeline Visual Concept Cuts • Hard Detection • Soft Cuts Mahout Distributed Machine Learning • DropOuts • Wipes/Fades Ermittlungen nach Bombenfunden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT Large Scale Processing for Multimedia Analysis7 Basis Features z.B.: Video - Einzelframes Video Basis Feature Extraction Video - Histogramme/Statistiken - Bild Kanäle (RGB, HSV, YUV, ...) 1 Jobs - Kantenbilder, Faltung - ... Face Detection 2 Text Identiﬁcation 3 Scene Cut Detection 4 Face Tracking (Clustering) Pipeline Visual Concept Cuts • Hard Detection 5 • Soft Cuts Mahout Distributed Machine Learning • DropOuts 6 • Wipes/Fades Ermittlungen nach Bombenfunden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 7

LSP4MAT 1. Thema: Basisfeature Extraction9 Eingabe: 1 ■ Verzeichnis mit n Videos Ausgabe: ■ pro Video ein Verzeichnis mit Einzelbildern ■ zu jedem Einzelbild serialisierte Features (z.B. als XML) □ Farbraumhistogramme: RGB, Gray, HSV, YUV, ... □ Kantenbilder: Sobel, Canny, Laplace, ... □ Entropie □ SIFT □ uvm. Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 9

LSP4MAT 1. Thema: Basisfeature Extraction10 Aspekte, die analysiert werden können: 1 ■ Wie kann ein Videos parallel eingelesen und weiterverarbeitet werden? ■ Wo sind die Bottlenecks bzgl. IO, CPU, Memory? ■ Wie könnte man die einzelnen Feature-Algorithmen parallelisieren? Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 10

LSP4MAT 1. Thema: Basisfeature Extraction11 Literatur und Referenzen 1 Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : OReilly, 2008 Rafael C. Gonzalez ; Richard E. Woods : Digital Image Processing Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA ©2001 http://ffmpeg.org Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 11

LSP4MAT 2. Thema: Face-Detection und Tracking12 2 Thema 2: Face-Detection und Tracking (1) Aus einer gegebenen Menge von n Bildern Gesichter extrahieren (mit OpenCV). (2) aus den Gesichtern Features extrahieren (3) die Featurevektoren Clustern Face Detection Face Tracking (Clustering) 3 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 12

LSP4MAT 2. Thema: Face-Detection und Tracking13 Eingabe: 2 ■ n Bilder mit und ohne Gesichter Ausgabe: ■ Zuordnung: Bild - Cluster ■ Also: die Information, welches Bild ein Gesicht eines Clusters enthält. ■ Idealerweise ist dies die Person, die diesen Cluster repräsentiert. Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 13

LSP4MAT 2. Thema: Face-Detection und Tracking14 ■ Aktuell basiert das Verfahren auf einer seriellen Verarbeitung: 2 □ Erst werden alle Gesichter extrahiert, dann alle Features extrahiert und anschließend geclustert, etc. ■ Zu erreichen sind: □ Gesichter parallel detektieren (mehrer Bilder gleichzeitig bearbeiten) □ Features parallel extrahieren □ das Clustering parallelisieren: □ aktuell kombiniertes Verfahren aus EM-Clustering und k-Means-Clustering □ diese Verfahren müssen parallelisiert werden, oder eine parallelisierte Alternative erarbeitet werden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 14

LSP4MAT 2. Thema: Face-Detection und Tracking15 Literatur und Referenzen 2 Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : OReilly, 2008 Rafael C. Gonzalez ; Richard E. Woods : Digital Image Processing Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA ©2001 Thomas Mitchell. Machine Learning. Mcgraw-Hill Higher Education, 1997. Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 15

LSP4MAT 3. Thema: Text-Lokalisierung16 3 Thema 3: Text-Lokalisierung (1) Text innerhalb eines Bildes ﬁnden. (2) Schneller als Echtzeit, d.h. in weniger als 1/25 Sekunden Text Identiﬁcation Pipeline Ermittlungen nach Bombenfunden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 16

Alpine Alpine A LSP4MAT 3. Thema: Text-Lokalisierung17 3 Eingabe: ■ Luminanzkanal von n Bilder Ausgabe: ■ pro Bild einer Liste von Textboxen (BoundingBoxes) Luminanz Eingabe Textlokalisation (Luminanz Image) Chrominanz (blue) Ausgabe Textbox Chrominanz (red) [x,y,width,height] Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 17

LSP4MAT 3. Thema: Text-Lokalisierung18 Idee: 3 ■ welche Bilder in dem Video enthalten Text ■ in welcher Bildregion beﬁndet sich der Text on acti xtr eE atur Fe Analyse der Features Bestimmen der Bildregion Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 18

LSP4MAT 3. Thema: Text-Lokalisierung19 Workflow Prinzip 3 ■ 1. First, a vertical edge map is produced using Sobel filter ■ 2. Morphological dilation operation is adopted to link the vertical character edges together ■ 3. A binary mask is generated ■ 4. Create a binary map after Connected Component analyse ■ 5. binary map after the adaptive projection profile refinement Fig. 1. Workflow of the proposed text detection method. (b) is the vertical edge map of (a). (c) is the vertical dilation map of Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam (b). (d) is the binary map of (c). (e) the result map of subsequent connected component analysis. (f) shows the binary map after 19

LSP4MAT 3. Thema: Text-Lokalisierung20 Literatur und Referenzen 3 Bradski, G.; Kaehler, A.: Learning OpenCV. Beijing : OReilly, 2008 Rafael C. Gonzalez ; Richard E. Woods: Digital Image Processing Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA ©2001 Haojin Yang, Bernhard Quehl, Harald Sack: Text detection in video images using adaptive edge detection and stroke width veriﬁcation, International Conference On Systems, Signals And Image Processing, Vienna, 2012 (submitted) Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 20

LSP4MAT 4. Thema: Scene-Cut-Detection21 Thema 4: Scene-Cut-Detection 4 (1) Parallelisieren der Feature Extraction für Scene-Cut- und Shot-Detection Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 21

LSP4MAT 4. Thema: Scene-Cut-Detection21 Thema 4: Scene-Cut-Detection 4 (1) Parallelisieren der Feature Extraction für Scene-Cut- und Shot-Detection Scene Cut Detection • Hard Cuts • Soft Cuts • DropOuts • Wipes/Fades Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 21

LSP4MAT 4. Thema: Scene-Cut-Detection22 Eingabe: 4 ■ n Videos Ausgabe: ■ Liste von Schnitten mit Index, Frame Position im Videodatenstrom, Dauer des Schnittes und Schnitttype Index Frame Cut duration Cut type number 79 85810 0 HardCut 80 88688 53 SoftCut 81 7896 2 DropOut 82 32592 18 FadeOut 83 124140 36 Whipe Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 22

LSP4MAT 4. Thema: Scene-Cut-Detection23 4 ■ Automatische strukturelle Gliederung von AV-Daten ■ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video 3 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 23

LSP4MAT 4. Thema: Scene-Cut-Detection23 4 ■ Automatische strukturelle Gliederung von AV-Daten ■ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes 3 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 23

LSP4MAT 4. Thema: Scene-Cut-Detection23 4 ■ Automatische strukturelle Gliederung von AV-Daten ■ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes frames 3 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 23

LSP4MAT 4. Thema: Scene-Cut-Detection23 4 ■ Automatische strukturelle Gliederung von AV-Daten ■ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes subshots frames 3 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 23

LSP4MAT 4. Thema: Scene-Cut-Detection23 4 ■ Automatische strukturelle Gliederung von AV-Daten ■ Zerlegung des Videodatenstroms in inhaltlich kohärente Abschnitte (Segmente) video scenes shots subshots frames 3 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 23

LSP4MAT 4. Thema: Scene-Cut-Detection24 4 Shot Boundary Detection Identiﬁcation of • Hard Cuts • Drop Outs • Soft Cuts, as e.g., Dissolve, Wipe, Cross-Fade, etc. Analytical Shot Boundary Detection • Analysis of Luminance/Chrominance Histograms • Analysis of Edge Distribution • Analysis of Motion Vectors Machine Learning • Classiﬁcation of Hard/Soft Cuts based on Image Features • K-Nearest Neighbor • Random Forrest • Support Vector Machines Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 24

LSP4MAT 4. Thema: Scene-Cut-Detection25 4 Aspekte: ■ Bottleneck Feature Extraction: ■ Histogramm / Pixel Differenzen aufeinanderfolgender Frames ■ Wie kann das Partitionieren der Daten möglichst schnell erfolgen? ■ Wie können die Grenzen zwischen den Partitionen behandelt werden? Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 25

LSP4MAT 4. Thema: Scene-Cut-Detection26 Algorithmus: 4 ■ Feature Extraction: ■ Histogramm / Pixel Differenzen extrahieren ■ Differenzen sortieren ■ Threshold bestimmen ■ Differenzenanstieg bestimmen und mit th (45°) vergleichen ■ Anstieg > th = HardCut Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 26

LSP4MAT 4. Thema: Scene-Cut-Detection27 Literatur und Referenzen 4 1. Lienhart, R. W. (1998). Comparison of automatic shot boundary detection algorithms. Proceedings of SPIE, 3656(SPIE 3656), 290-301. Spie. 2. Yuan, J., Wang, H., Xiao, L., Zheng, W., Li, J., Lin, F., & Zhang, B. (2007). A Formal Study of Shot Boundary Detection. IEEE Transactions on Circuits and Systems for Video Technology, 17(2), 168-186. 3. Boreczky, J. S. (1996). Comparison of video shot boundary detection techniques. Journal of Electronic Imaging, 5(2), 122. 4. Haojin Yang, Maria Siebert, Patrick Lühne, Harald Sack and Christoph Meinel, (2011) Automatic Lecture Video Indexing Using Video OCR Technology IEEE Int. Symposium on Multimedia 2011 ISM , Dana Point, CA, USA, 5-7. Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 27

LSP4MAT 5. Thema: Visual Concept Detection28 Thema 5: Visual Concept Detection 5 (1) Implementieren des ‘Bag of Words’ Ansatzes zur generischen Klassiﬁkation visueller Daten (OpenCV, libSVM) (2) Die einzelnen Arbeitsschritte sollen parallelisiert werden (dazu gleich mehr...) ■ Low-level Feature Extraction ■ BoW Feature Aggregation ■ Training ■ Classiﬁcation Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 28

LSP4MAT 5. Thema: Visual Concept Detection29 Eingabe: 5 ■ n Bilder: □ Ground Truth (Trainings- und Testdaten) □ Pascal VOC 2010 (Visual Object Challenge) http://pascallin.ecs.soton.ac.uk/ challenges/VOC/voc2010/ Ausgabe: ■ Kassiﬁkationsergebnis, z.B. Bild zeigt Auto Aufgabe: Parallelisierung der einzelnen Schritte ■ Feature Extraktion ■ Codebook Generierung ■ BoW Generierung ■ Training + Klassiﬁkation Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 29

LSP4MAT 5. Thema: Visual Concept Detection30 Motivation: 5 ■One Feature to Rule Them All! ■Gibt ein Merkmal, mit dem sich generisch beliebige visuelle Konzepte lernen lassen? - Partylife - Sea - Aesthetic_Impression - Family_Friends - Mountains - Overall_Quality - Beach_Holidays - Day - Fancy - Building_Sights - Night - Architecture - Snow - Sunny - Street - Citylife - Sunset_Sunrise - Church - Landscape_Nature - Still_Life - Bridge - Sports - Macro - Park_Garden - Desert - Portrait - Rain - Spring - Overexposed - Toy - Summer - Underexposed - MusicalInstrument - Autumn - Neutral_Illumination - Shadow - Winter - Motion_Blur - bodypart - Indoor - Out_of_focus - Travel - Outdoor - Partly_Blurred - Work - Plants - No_Blur - Birthday - Flowers - Single_Person - Visual_Arts - Trees - Small_Group - Grafﬁti - Sky - Big_Group - Painting - Clouds - No_Persons - artiﬁcial - Water - Animals - natural - Lake - Food - technical - River - Vehicle - ... Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 30

LSP4MAT 5. Thema: Visual Concept Detection31 ■ Textdokument Repräsentation mit Bag of Words (BoW)-Model 5 ■ “John likes to watch movies. Mary likes too.” ■ “John also likes to watch football games.” ■ dictionary/codeword vocabulary={1:"John", 2:"like", 3:"watch", 4:"movie", 5:"football", 6:"games", 7:"Mary"} ■ BoW-Feature Vectors: - [1, 2, 1, 1, 0, 0, 1] - [1, 1, 1, 0, 1, 1, 0] ■ Bildrepräsentation?? ■ Was sind Wörter? ■ Was sind relevante Wörter? ➡ Bag of Visual Words Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 31

LSP4MAT 5. Thema: Visual Concept Detection32 5 Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 32

LSP4MAT 5. Thema: Visual Concept Detection35 5.) Klassifikation 5 Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 35

LSP4MAT 5. Thema: Visual Concept Detection36 Literatur und Referenzen 5 1. E. Mbanya, C. Hentschel, S. Gerke, M.Liu, A. Nuernberger, and P. Ndjiki-Nya. Augmenting bag-of-words - category speciﬁc features and concept reasoning. CLEF Notebook Papers/LABs/Workshops, 2010. 2. K.E.a. van de Sande, T. Gevers, and C. G.M. Snoek. A comparison of color features for visual concept classiﬁcation. Proceedings of the 2008 international conference on Content-based image and video retrieval - CIVR 08, page 141, 2008. 3. D. G. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 60(2):91-110, November 2004. 4. G. Csurka, C. R. Dance, L. Fan, J. Willamowski, C. Bray, and D. Maupertuis. Visual Categorization with Bags of Keypoints. In Workshop on Statistical Learning in Computer Vision, ECCV, pages 1-22, 2004. 5. J. Sivic and A. Zisserman. Video google: a text retrieval approach to object matching in videos. In Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on, pages 1470-1477, April 2003. 6. C. G. M. Snoek and M. Worring. Concept-Based Video Retrieval. Foundations and Trends in Information Retrieval, 2(4):215-322, 2009 Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 36

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout37 Thema 6: Maschinelles Lernen mit Mahout 6 (1) Mahout Framework zum parallelisierten Lösen verschiedener Machine Learning Aufgaben mit gegebenen Feature-Vektoren verwenden. (2) Implementieren eines parallelen SVM Algorithmus ■ Mahout unterstützt aktuell keine SVMs (3) Bottleneckanalyse bzgl. Distanzberechnung auf hochdimensionalen Vektorräumen Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 37

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout37 Thema 6: Maschinelles Lernen mit Mahout 6 (1) Mahout Framework zum parallelisierten Lösen verschiedener Machine Learning Aufgaben mit gegebenen Feature-Vektoren verwenden. (2) Implementieren eines parallelen SVM Algorithmus ■ Mahout unterstützt aktuell keine SVMs (3) Bottleneckanalyse bzgl. Distanzberechnung auf hochdimensionalen Vektorräumen Mahout Distributed Machine Learning Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 37

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout38 6 The Apache Mahout™ machine learning librarys goal is to build scalable machine learning libraries Mahout currently has • Collaborative Filtering • User and Item based recommenders • K-Means, Fuzzy K-Means clustering • Mean Shift clustering • Dirichlet process clustering • Latent Dirichlet Allocation • Singular value decomposition • Parallel Frequent Pattern mining • Complementary Naive Bayes classiﬁer • Random forest decision tree based classiﬁer • High performance java collections (previously colt collections) • A vibrant community • and many more cool stuff to come by this summer thanks to Google summer of code 4 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 38

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout39 6 Eingabe: ■ Merkmalsdeskriptoren □ Bag-of-Words, Faces-Features, Scene-Cute-Features, ... □ Trainings- und Testsets □ Klassiﬁkationsergebnisse für Trainingsset □ Ground Truth/Klassenzugehörigkeit der einzelnen Merkmale Ausgabe: ■ Klassiﬁkationsergebnisse für Testset ■ Evaluation, ggf. Cross-Validierung Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 39

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout40 Wie können Maschinen lernen zu lernen? 6 ■ Lernen: induktives Schließen durch Beobachten von Beispielen, die eine unvollständige Information repräsentieren ■ Unüberwacht (unsupervised): Suche nach Regularitäten/Mustern in beobachteten Beispielen, Bsp.: Suche nach Ausreißern (mithilfe von Clustering) ■ Überwacht (supervised): Jedes beobachtete Beispiel trägt ein Label, Ziel des Lernens ist es, dieses Label auf unbeobachtete Fälle zu übertragen (Generalisieren statt Erinnern), Bsp: Klassiﬁkation 4 Studenten Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 40

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout Background K-means Theory41 Unsupervised Mixtures 6 ■ z.B. k-Means Illustration ■ “Finde ein gute Partitionierung eines Datenraums anhand von gegebenen Instanzen.” ■ Gesucht: Zuordnung der Instanzen zu Gruppen (Clustern) ■ Abstand zwischen Clusterzentren (Prototyp) und zugeordneten Instanzen soll minimal sein ■ Fragen: □ Wie viele Cluster sollen gesucht werden? □ Was bedeutet minimal (Distanzfunktion) Buntine K-Means Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 41

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout42 Supervised: 6 ■ Formale Deﬁnition: ■ Y= f(X) ■ mit Y = {-1,+1} und X = {Daten} ■ Ziel: Finde f ■ Unter Verwendung von vorklassiﬁzierten Trainingsdaten repräsentiert über geeignete Merkmale ■ Verfahren: ■ Extrahieren geeigneter Merkmale (Features) ■ (Selektion/Reduktion geeigneter Features) ■ Training (Finde f) Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 42

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout Algorithmen zur Klassifikation43 Einige bekannte Vertreter: 6 • K-Nearest-Neighbor K-Nearest Neighbor (k-NN) • Stimmenmehrheit der k ähnlichsten ■ Stimmenmehrheit der k ähnlichsten Instanzen; Alternativ: Abstandsgewichtung Beispiele ■ einer Instanz wird die Klasse/Kategorie/Label • Linear Discriminant Analysis (LDA) der nächsten Nachbarn zugeordnet • Minimiert Intra-Klassen Varianz und ■ Fragen: maximiert Distanz (”Unähnlichkeit”) □ Was ist das Ähnlichkeits-/Abstandsmaß? zwischen zwei Klassen □ Klassiﬁkator ist für den Fall, dass es mehrere nä. Nachbanr gibt nicht eindeutig deﬁniert Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 43

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout44 Random Forests (Supervised) 6 ■ Klassiﬁkationsverfahren, bestehend aus mehreren Entscheidungsbäumen besteht ■ Entscheidungsbäume sind unter einer bestimmten Art von Randomisierung (Tife , Anzahl der Features, Menge der Features...) gewachsen ■ Klassiﬁkation durch Mehrheitsentscheidung der einzelnen Bäume Entscheidungsbaum Beispiel : ■ Vorhersage, ob ein Apfelbaum Früchte tragen wird Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 44

LSP4MAT 4. Thema: Maschinelles Lernen mit Mahout45 Support Vector Machines (SVM) 6 ■ Large Margin Optimizer: Generalisierbarkeit ■ Nicht-lineare Probleme können gelöst werden Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 45

LSP4MAT 4. Thema: Training von Klassiﬁkatoren mit Mahout46 Literatur und Referenzen 6 1. Christopher M. Bishop. Pattern Recognition and Machine Learning. Springer New York, 2007. 2. Thomas Mitchell. Machine Learning. Mcgraw-Hill Higher Education, 1997. 3. G. Rätsch. A Brief Introduction into Machine Learning. 4. E. Yom-Tov. An Introduction to Pattern Classiﬁcation. Advanced Lectures on Machine Learning, Springer Berlin / Heidelberg, 2004. 5. Apache Mahout: http://mahout.apache.org/ 6. C.T. Chu, S.K. Kim, Yi A. Lin, Y. Yu, G. R. Bradski, A. Y. Ng, and K. Olukotun. Map-Reduce for machine learning on multicore. In Bernhard Schölkopf, John C. Platt, and Thomas Hoffman, editors, NIPS, pages 281– 288. MIT Press, 2006. Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 46

LSP4MAT48 Zusammengefasst: (1) Basis Feature Extraction (3 Studenten) (2) Face Clustering (3 Studenten) (3) Text Detection (3 Studenten) (4) Scene Cut Detection (3 Studenten) (5) Visual Concept Detection (4 Studenten) (6) Mahout Distributed Machine Learning (4 Studenten) Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 48

LSP4MAT49 Bis nächste Woche: ■ In die Literatur einarbeiten!! ■ Neue Literatur recherchieren! ■ Infrastruktur aufbauen, z.B.: □ OpenCV ausprobieren □ Mahout ausprobieren □ und alle anderen Tools ... ■ Die Testdaten gibt es im Laufe der kommenden Woche. Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 49

Multimedia Analyse Technologien50 Literatur • Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008 • Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : OReilly, 2008 • Blog zur Webseite: http://mumat2011.blogspot.com/ Seminar: LSP4MAT, Hasso-Plattner-Institut, Universität Potsdam 50

Seminar Large Scale Processing for Multimedia Analysis - Themenvorstellung

by Harald Sack

Accessibility

Categories

Upload Details

Usage Rights

Statistics

Seminar Large Scale Processing for Multimedia Analysis - Themenvorstellung Presentation Transcript