Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Ifigeneia Theodoridou

105 views

Published on

Event Detection in Large Scale Image Collections

Published in: Education
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD FULL BOOKS, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... 1.DOWNLOAD FULL. doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD FULL eBOOK INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookeBOOK Crime, eeBOOK Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD FULL eBOOK INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookeBOOK Crime, eeBOOK Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

Ifigeneia Theodoridou

  1. 1. Αναγνώριση γεγονότων σε μεγάλες συλλογές εικόνων Μετρικές ομοιότητας για τον εντοπισμό κείμενων που αναφέρονται στο ίδιο γεγονός ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ & ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ Εκπόνηση: Επιβλέπων καθηγητής: Ιφιγένεια Θεοδωρίδου Περικλής Α. Μήτκας AEM:8075
  2. 2. Το πρόβλημα της αναγνώρισης γεγονότων Feature pivot Ανίχνευση χαρακτηριστικών (π.χ. ετικετών) που παρουσιάζουν ιδιόμορφη συμπεριφορά σε χρονικά ή χωρικά παράθυρα Document pivot Ομαδοποίηση εικόνων, έτσι ώστε κάθε συστάδα εικόνων να αναφέρεται στο ίδιο γεγονός Θεσσαλονίκη, 2018 2 Χώρο-χρονική κατανομή των περιστατικών χρήσης της ετικέτας bodybuilder
  3. 3. Σκοπός της διπλωματικής εργασίας Θεσσαλονίκη, 2018 3 • Αναγνώριση εικόνων που αναπαριστούν κοινά γεγονότα • Δημιουργία ενιαίας αναπαράστασης κειμένου • Ανάπτυξη μετρικών ομοιότητας για τον εντοπισμό εννοιολογικής συνάφειας μεταξύ κειμένων Στόχοι • Ετερογένεια κειμένου ως προς το περιεχόμενο • Συνωνυμία • Πολυσημία Δυσκολίες
  4. 4. Γνώσεις που αποκτήθηκαν Θεσσαλονίκη, 2018 4 • Μηχανική μάθηση – Τεχνητά Νευρωνικά δίκτυα • Επεξεργασία φυσικής γλώσσας (NLP) Επιστημονικοί τομείς • Μη σχεσιακές βάσεις δεδομένων • Python Προγραμματισμός
  5. 5. Εργαλεία • Βιβλιοθήκη για deep learning για υλοποίηση σε python • MongoDB • Βιβλιοθήκη για επεξεργασία κειμένου σε python Θεσσαλονίκη, 2018 5
  6. 6. Μεθοδολογία Σύγκριση εννοιολογικής συνάφειας περιγραφών Χρήση νευρωνικών δικτύων Σύγκριση περιγραφών σε ζευγάρια Αποτέλεσμα 0 (διαφορετικό γεγονός) ή 1 (ίδιο γεγονός) Διανυσματική αναπαράσταση περιγραφής Δημιουργία διανυσματικής αναπαράστασης μεμονωμένων λέξεων Δημιουργία διανυσματικών αναπαραστάσεων κειμένου από τα μοντέλα νευρωνικών δικτύων Λήψη περιγραφής – Προ-επεξεργασία Οι εικόνες αντιπροσωπεύονται από κείμενο Θεσσαλονίκη, 2018 6
  7. 7. Βασικές έννοιες και τεχνολογίες Θεσσαλονίκη, 2018 7
  8. 8. Δημιουργία διανυσματικών λέξεων • Αναπαράσταση λέξεων στον διανυσματικό χώρο (word embeddings) • Κωδικοποίηση γλωσσικών κανόνων και εννοιολογικών σχέσεων Αλγόριθμοι word2vec • Bag-of-words (CBOW) • Skip-gram Θεσσαλονίκη, 2018 8 Δισδιάστατη προβολή των διανυσμάτων των χωρών και των πρωτευουσών όπως προκύπτουν από το μοντέλο Skip-gram
  9. 9. Μοντέλο CBOW • Εύρεση της λέξης στόχου στην πρόταση δεδομένων των λέξεων πλαισίου - 𝑝(𝑤𝑡|𝑤𝑡−𝑘, … , 𝑤𝑡+𝑘) • Είσοδος one-hot κωδικοποιημένα διανύσματα μήκους V (μήκος λεξιλογίου) • Στόχος η μεγιστοποίηση της πιθανότητας: 𝑡=𝑘 𝐶−𝑘 𝑙𝑜𝑔𝑝 • Διανυσματικές αναπαραστάσεις λέξεων: 𝑊𝑉𝑥𝑁 Θεσσαλονίκη, 2018 9
  10. 10. Δομή και λειτουργία των Νευρωνικών Δικτύων Συνέλιξης (CNN) Ταξινόμηση κειμένων • Είσοδος: πίνακας όπου οι γραμμές είναι οι διανυσματικές αναπαραστάσεις των λέξεων • Εφαρμογή 1D φίλτρων ευρείας ή στενής συνέλιξη • Επίπεδο συγκέντρωσης (pooling layer): μέσος όρος ή εύρεση μεγίστου • Επίπεδο συνένωσης (join layer) – διανυσματική αναπαράσταση κειμένου • Softmax επίπεδο Θεσσαλονίκη, 2018 10
  11. 11. Δομή και λειτουργία Gated Recurrent Unit • Νευρωνικά δίκτυα με βρόχους επανάληψης (recurrent neural networks) • Διατήρηση και απόρριψη πληροφοριών από το παρελθόν Θεσσαλονίκη, 2018 11
  12. 12. Προτεινόμενα μοντέλα Ταξινόμηση κειμένων στο ίδιο γεγονός Θεσσαλονίκη, 2018 12
  13. 13. Αθροιστικό Μοντέλο (Sum) ΘΕΣΣΑΛΟΝΊΚΗ, 2018 13 • Υπολογισμός αθροίσματος διανυσματικών λέξεων στο 2ο επίπεδο • Επίπεδο συνένωσης: 𝑥𝑗𝑜𝑖𝑛 = 𝑥 𝑞 𝑇 ; 𝑥 𝑠𝑖𝑚; 𝑥 𝑑 𝑇 ; 𝑥 𝑠𝑖𝑚2 𝑠𝑖𝑚 𝑥 𝑞, 𝑥 𝑑 = 𝑥 𝑞 𝑇 𝑀𝑥 𝑑 𝑠𝑖𝑚2 𝑥 𝑞, 𝑥 𝑑 = 𝑑𝑜𝑡(𝑥 𝑞, 𝑥 𝑑)
  14. 14. Μοντέλο με Νευρωνικά Δίκτυα Συνέλιξης (CNN) Θεσσαλονίκη, 2018 14 • Δημιουργία χαρτών χαρακτηριστικών του κειμένου μέσω πράξεων συνέλιξης στο 2ο επίπεδο
  15. 15. Μοντέλο με Gated Recurrent Units Θεσσαλονίκη, 2018 15 • Μονάδα GRU με βρόχους επανάληψης για την επιλεκτική διατήρηση και απόρριψη πληροφοριών από το παρελθόν στο 2ο επίπεδο του νευρωνικού δικτύου
  16. 16. Συνδυαστικό μοντέλο: CNN + GRU • Παράλληλη σύνδεση των δικτύων CNN και GRU • Επίπεδο συνένωσης των παράλληλων αρχιτεκτονικών: 𝑦𝑗𝑜𝑖𝑛 = [𝑥 𝑞 𝑇 ; 𝑥 𝑠𝑖𝑚; 𝑥 𝑑 𝑇 ; 𝑥 𝑠𝑖𝑚2; ℎ 𝑞 𝑇 ; ℎ 𝑔𝑟𝑢_𝑠𝑖𝑚; ℎ 𝑑 𝑇 ; ℎ 𝑔𝑟𝑢_𝑠𝑖𝑚2] Θεσσαλονίκη, 2018 16
  17. 17. Συνδυαστικό μοντέλο: GRU on CNN Θεσσαλονίκη, 2018 17 • Σύνδεση σε σειρά των δικτύων CNN και GRU • Το μοντέλο GRU εφαρμόζεται στην έξοδο του CNN • Το επαναληπτικό μοντέλο δεν εφαρμόζεται σε μεμονωμένες λέξεις όπως στην περίπτωση του απλού GRU αλλά σε σημασιολογικές δομές που αποτυπώνει το CNN
  18. 18. Πειραματική αξιολόγηση Θεσσαλονίκη, 2018 18
  19. 19. Σύνολα εκπαίδευσης Θεσσαλονίκη, 2018 19 Yahoo Flickr Creative Commons 100 Million • Flickr • 99,2 εκατομμύρια εικόνες • Δημοσιεύτηκαν 2004 – 2014 • 69% των εικόνων έχουν περιγραφή • Χρήση: εφαρμογή word2vec για εξαγωγή διανυσματικών λέξεων MediaEval Social Event Detection 2013, 2014 • Flickr • Κάθε εικόνα αναπαριστά ένα κοινωνικό γεγονός • 32.686 γεγονότα • 372.509 με περιγραφή • Χρήση: εκπαίδευση και αξιολόγηση προτεινόμενων μοντέλων
  20. 20. Εκπαίδευση και αξιολόγηση των μοντέλων • Μετρική αξιολόγησης: ακρίβεια (accuracy) 𝐴𝐶𝐶 = 𝑇𝑃 + 𝑇𝑁 𝑃 + 𝑁 • Μέθοδος αξιολόγησης: k-cross validation (k=5) • Συνάρτησης κόστους: binary cross entropy Εκπαίδευση: • 30 εποχές, 200 batches • 20.000 ζεύγη εικόνων κοινών γεγονότων, 20.000 ζεύγη εικόνων διαφορετικών γεγονότων Θεσσαλονίκη, 2018 20
  21. 21. Παράμετροι εκπαίδευσης • Μέγιστος αριθμός λέξεων εισόδου = 100 • Dropout rate = 0,25 • Συνάρτηση βελτιστοποίησης: nadam CNN • Πλάτος φίλτρων συνέλιξης = 5 • Αριθμός φίλτρων συνέλιξης = 100 GRU • Μήκος διανύσματος εξόδου = 100 Θεσσαλονίκη, 2018 21
  22. 22. Συγκριτικά αποτελέσματα των μοντέλων Μέσος όρος των 5 διαχωρισμών των δεδομένων ανά εποχή, για κάθε μετρική Θεσσαλονίκη, 2018 22 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 validationaccuracy epoch average_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model 0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 0.60 0.65 0.70 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 validationloss epoch average_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 accuracy epoch sum_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model 0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 0.60 0.65 0.70 0.75 0.80 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 loss epoch sum_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model
  23. 23. Συγκριτικά αποτελέσματα των μοντέλων Μέσος όρος των 5 διαχωρισμών των δεδομένων για κάθε μετρική για την 30η εποχή Θεσσαλονίκη, 2018 23 0.979 0.943 0.942 0.907 0.690 0.60 0.62 0.64 0.66 0.68 0.70 0.72 0.74 0.76 0.78 0.80 0.82 0.84 0.86 0.88 0.90 0.92 0.94 0.96 0.98 1.00 validationaccuracy gru_on_cnn_model cnn_plus_gru_model cnn_model average_embedding_model gru_model 0.070 0.161 0.166 0.214 0.534 0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 validationloss gru_on_cnn_model cnn_model cnn_plus_gru_model average_embedding_model gru_model 0.989 0.962 0.957 0.890 0.691 0.60 0.62 0.64 0.66 0.68 0.70 0.72 0.74 0.76 0.78 0.80 0.82 0.84 0.86 0.88 0.90 0.92 0.94 0.96 0.98 1.00 accuracy gru_on_cnn_model cnn_plus_gru_model cnn_model sum_embedding_model gru_model 0.035 0.108 0.121 0.272 0.534 0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 loss gru_on_cnn_model cnn_plus_gru_model cnn_model sum_embedding_model gru_model
  24. 24. Συγκριτικά αποτελέσματα των μοντέλων Οι τιμές των μετρικών για κάθε ένα από τους διαχωρισμούς των δεδομένων την 30η εποχή Θεσσαλονίκη, 2018 24 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 split1 split2 split3 split4 split5 validationaccuracy average_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model 0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 0.60 0.65 0.70 split1 split2 split3 split4 split5validationloss average_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 split1 split2 split3 split4 split5 accuracy sum_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model 0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35 0.40 0.45 0.50 0.55 0.60 0.65 0.70 split1 split2 split3 split4 split5 loss sum_embedding_model cnn_model cnn_plus_gru_model gru_model gru_on_cnn_model
  25. 25. Επίδραση των διανυσματικών λέξεων Προ- εκπαιδευμένες διανυσματικές λέξεις Τυχαίες διανυσματικές λέξεις accuracy accuracy Θεσσαλονίκη, 2018 25 0.45 0.50 0.55 0.60 0.65 0.70 0.75 0.80 0.85 0.90 0.95 1.00 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 accuracy epoch cnn_random_embeddings cnn_model
  26. 26. Συμπεράσματα – Περαιτέρω διερεύνηση • Σημαντική η χρήση προ-εκπαιδευμένων διανυσματικών λέξεων • Ενθαρρυντικά αποτελέσματα από την χρήση CNN • Ο σωστός συνδυασμός των αρχιτεκτονικών CNN, RNN βελτιώνει την ακρίβεια των αποτελεσμάτων Συμπεράσματα • Προσθήκη επιπλέον χαρακτηριστικών στο επίπεδο συνένωσης • Εφαρμογή αλγορίθμου ομαδοποίησης Μελλοντικές επεκτάσεις Θεσσαλονίκη, 2018 26
  27. 27. Θα ήθελα να ευχαριστήσω ιδιαίτερα τον Μάνο Σχοινά για τη συνεχή, πολύτιμη βοήθειά και καθοδήγηση του. Ευχαριστώ για την προσοχή σας Θεσσαλονίκη, 2018 27

×