Pyxel, una llibreria per a l’anotació automàtica de fotografies
•
0 likes•625 views
Defensa del Projecte de Final de Carrera de la Irene Gris, pels estudis de Grau en Enginyeria de Sistemes Audiovisuals a l'Escola d'Enginyeria de Terrassa (EET) de la Universitat Politècnica de Catalunya. Més detalls: https://imatge.upc.edu/web/publications/pyxel-una-llibreria-lanotacio-automatica-de-fotografies
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (14)
Similar to Pyxel, una llibreria per a l’anotació automàtica de fotografies
Similar to Pyxel, una llibreria per a l’anotació automàtica de fotografies (20)
More from Universitat Politècnica de Catalunya
More from Universitat Politècnica de Catalunya (20)
Pyxel, una llibreria per a l’anotació automàtica de fotografies
- 1. Pyxel, una llibreria per a l’anotació automàtica de fotografies Irene Gris Sarabia Supervisat per Xavier Giró i Nieto
- 2. Agraïments Amaia Salvador Xavi Giró Sergi ImedioEva Mohedano Daniel Manchón
- 3. Index Introducció Requeriments Estat de l’art Disseny Desenvolupament Avaluació i resultats Conclusions 3
- 4. Index Introducció Requeriments Estat de l’art Disseny Desenvolupament Avaluació i resultats Conclusions 4
- 5. 5 Motivació
- 6. 6 Introducció Pyxel Pyxel ja està disponible a la plataforma de control de versions Bitbucket URL: https://bitbucket.org/emohe/pyxel/src
- 7. Index Introducció Requeriments Estat de l’art Desenvolupament Disseny i Implementació Avaluació i resultats Conclusions 7
- 8. Requeriments 8 Crear un sistema complert i genéric d’anotació d’imatges Extracció de característiques; visuals i textuals Entrenament i Detecció Avaluació de la qualitat de les anotacions automàtiques Usuaris potencials → Estudiants universitaris ● Facilitar l’accés a llibreries externes als usuaris que s’inicien en la materia ● Proporcionar eines per obtenir el sistema complert de forma sencilla i ràpida. Que es demana?
- 9. Requeriments 9 Crear un sistema complert i genéric d’anotació d’imatges Que es demana? Manual Annotations Model Trainer New Image New Annotation Detector Bloc: http://bitsearch.blogspot.com/search/label/classification
- 10. Requeriments 10 Extracció de característiques visuals Extracció de característiques SIFT Generació d’un vocabulari visual Obtenció dels vectors de característiques BoF
- 11. Requeriments 11 Extracció de característiques visuals Extracció de característiques SIFT Generació d’un vocabulari visual Obtenció dels vectors de característiques BoF w1 w2 w3 w4 w1 w2 w3 w4 Clusterització Paraules visuals
- 12. Requeriments 12 Extracció de característiques visuals Extracció de característiques SIFT Generació d’un vocabulari visual Obtenció dels vectors de característiques BoF 2 3 3 0 w1 w2 w3 w4 w1 w2 w3 w4 Vector de caraterístiques
- 13. Requeriments 13 Extracció de característiques textuals Obtenir les metadades de la imatge; etiquetes Generació d’un vocabulari textual Obtenció dels vectors de característiques TF-IDF [ I, love, surf ] Títol: “I love university concerts” Metadades Títol: “I love surf” [ I, love, university, concerts ]
- 14. Requeriments 14 Extracció de característiques textuals Obtenir les metadades de la imatge; etiquetes Generació d’un vocabulari textual Obtenció dels vectors de característiques TF-IDF TF-IDF → [ 0 , 0 , 0.3 , 0.3 , 0.3 ] [ I , love, university, concerts, surf ] [ university, concerts, surf, I, love ] [ 0.3 , 0.3 , 0.3 , 0, 0 ] Vocabulari/Diccionari → [ university, concerts, surf ]
- 15. Requeriments 15 Extracció de característiques textuals Obtenir les metadades de la imatge; etiquetes. Generació d’un vocabulari textual Obtenció dels vectors de característiques TFIDF Vocabulari/Diccionari → [ university, concerts, surf ] [ I, love, surf ] [ I, love, university, concerts ] [ 1 , 1 , 0 ] [ 0 , 0 , 1 ]
- 16. Requeriments 16 Mesures de qualitat Que es demana? docId1 Label1 docId2 Label1 docId3 Label2 docId4 Label3 . . . docIdn Labeln Avaluació F1 F1 docId1 Label1 docId2 Label4 docId3 Label2 docId4 Label3 . . cp = certs positius fp = falsos positius fn = falsos negatius VeritatTerrenyAnotacionspredites
- 17. Index Introducció Requeriments Estat de l’art Disseny Desenvolupament Avaluació i resultats Conclusions 17
- 18. Estat de l’art Extracció de característiques visuals 18 NLTK Natural Language ToolKit Extracció de característiques textuals Reconeixement de patrons
- 19. Index Introducció Requeriments Estat de l’art Disseny Desenvolupament Avaluació i resultats Conclusions 19
- 20. Disseny 20 Extracció de característiques; visuals i textuals Classificació Avaluació de la qualitat de les anotacions automàtiques Disseny general de classificació
- 21. Imatge Metadades BofExtractor Trainer TFIDFExtractor VisualVocabulary Trainer Visual Model Textual Model TRAIN TEST Imatge Metadades BofExtractor TFIDFExtractor DetectorDetectorVisual Model Textual Model PredictedAnnotation PredictedAnnotation TextualVocabulary Evaluator = Evaluator Extracció de característiquesDisseny 21
- 22. Imatge Metadades BofExtractor Trainer TFIDFExtractor VisualVocabulary Trainer Visual Model Textual Model TRAIN TEST Imatge Metadades BofExtractor TFIDFExtractor DetectorDetectorVisual Model Textual Model PredictedAnnotation PredictedAnnotation TextualVocabulary Evaluator = Evaluator EntrenamentDisseny 22 Classe Semantica + + Classe Semantica
- 23. Són la mateixa classe Imatge Metadades BofExtractor Trainer TFIDFExtractor VisualVocabulary Trainer Model Visual Model Textual TRAIN TEST Imatge Metadades BofExtractor TFIDFExtractor DetectorDetectorVisual Model Textual Model PredictedAnnotation PredictedAnnotation TextualVocabulary Evaluator = Evaluator EntrenamentDisseny 23
- 24. Imatge Metadades BofExtractor Trainer TFIDFExtractor VisualVocabulary Trainer Visual Model Textual Model TRAIN TEST Imatge Metadades BofExtractor TFIDFExtractor DetectorDetectorVisual Model Textual Model PredictedAnnotation PredictedAnnotation TextualVocabulary Evaluator Evaluator DeteccióDisseny 24
- 25. Són la mateixa classe Imatge Metadades BofExtractor Trainer TFIDFExtractor VisualVocabulary Trainer Visual Model Textual Model TRAIN TEST Imatge Metadades BofExtractor TFIDFExtractor DetectorDetectorVisual Model Textual Model PredictedAnnotation PredictedAnnotation TextualVocabulary Evaluator Evaluator DeteccióDisseny 25
- 26. Imatge Metadades BofExtractor Trainer TFIDFExtractor VisualVocabulary Trainer Visual Model Textual Model TRAIN TEST Imatge Metadades BofExtractor TFIDFExtractor DetectorDetectorVisual Model Textual Model PredictedAnnotation PredictedAnnotation TextualVocabulary Evaluator Evaluator AvaluacióDisseny 26 GroundTruth GroundTruth
- 27. Són la mateixa classe Són la mateixa classe Són la mateixa classe Imatge Metadades BofExtractor Trainer TFIDFExtractor VisualVocabulary Trainer Visual Model Textual Model TRAIN TEST Imatge Metadades BofExtractor TFIDFExtractor DetectorDetectorVisual Model Textual Model PredictedAnnotation PredictedAnnotation TextualVocabulary Evaluator Evaluator Disseny 27
- 28. Index Introducció Requeriments Estat de l’art Disseny Desenvolupament Avaluació i resultats Conclusions 28
- 30. Entorn de desenvolupament Desenvolupament 30 Té llicencia per estudiants
- 31. Index Introducció Requeriments Estat de l’art Disseny Desenvolupament Avaluació i resultats Conclusions 31
- 32. 32 Contribució a Pyxel 20 % 40 % 90 %60 % Dataset, Annotation, AnnotatedSemanticClass, Ontology VisualVocabulary, SiftExtractor, BofExtractor TextualVocabulary, TfidfExtractor 100 % 100 % Metadata, GroundTruth Trainer 100 % Detector Evaluator Avaluació i resultats 100 % Documentació
- 33. Avaluació i resultats Detecció de productes de supermercat en vídeos egocèntrics 33 Sergi Imedio, “An investigation of eye gaze tracking utilities in image object recognition”. Dublin City University 2014.
- 34. Avaluació i resultats 34 Amb Pyxel es poden obtenir aquests resultats
- 35. Avaluació i resultats Detecció d’esdeveniments en fotografies d’Instagram 35 Els estudiants de GDSA han utilitzat Pyxel per fer un clasificador d’ imatges de tipus d’esdeveniments.
- 36. Index Introducció Requeriments Estat de l’art Disseny Desenvolupament Avaluació i resultats Conclusions 36
- 37. Conclusions 37 Objectius del projecte Sistema complert d’anotacions d’imatges ● Extracció de característiques ● Anotació ● Avaluació Utilització d’altres usuaris ● Han aconseguit dur a terme el que se'ls demanava utilitzant Pyxel ● Han extès la llibreria per ajustar-la a les eines amb les que han volgut fer el processat
- 38. Conclusions 38 Participació al ICMR Detalls: https://imatge.upc.edu/web/publications/photo-clustering-social-events-extending-phototoc-rich-context
- 39. Conclusions 39 Participació al MediaEval2014 Manchon-Vizuete, D., Gris-Sarabia, I., Giro-i-Nieto, G. “UPC at MediaEval 2014 Social Event Detection Task”. Working Notes Proceedings of the MediaEval 2014 Workshop, Barcelona, Catalunya, Spain, October 16-17, 2014, CEUR-WS.org, online ceur-ws.org/Vol-1263/mediaeval2014_submission_58.pdf