SlideShare a Scribd company logo
1 of 17
Ανίχνευση αντικειμένων από λίγα
δείγματα με χρήση γραφημάτων και
τεχνικών ΜΕΤΑ-εκπαίδευσης
ΑΓΓΕΛΟΣ ΒΛΑΧΟΣ AEM: 9087
Επιβλέποντας ΑΠΘ: Συμεωνίδης Ανδρέας
Επιβλέποντες ΙΠΤΗΛ: Βρέτος Νικόλαος, Δάρας Πέτρος
Παρουσίαση διπλωματικής εργασίας
Ανίχνευση Αντικειμένων
Αποτελείται από 2 ξεχωριστά προβλήματα:
 Εντοπισμός αντικειμένων
 Ταξινόμηση
Πηγή: www.plugger.ai
2
Αρχιτεκτονική του
Faster R-CNN
 Backbone
 Δίκτυο πρότασης περιοχών
 Κεφαλή Ανιχνευτή
 Ταξινόμηση
 Αναδρομή bounding box
3
Few-Shot Object Detection (FSOD)
Τι αλλάζει;
 Οι διαθέσιμες εικόνες των νέων κλάσεων είναι < 30 (N-way K-shot)
 Δυσκολία δημιουργίας dataset, πρόσβαση, σπανιότητα
 Οι εικόνες των βασικών κλάσεων είναι άπλετες
 Το ίδιο το task δεν αλλάζει
 Δυσκολία προσαρμογής κλασσικών ανιχνευτών λόγω περιορισμένων
δεδομένων
4
Προσεγγίσεις
 Προσέγγιση transfer learning
 Εκπαίδευση του δικτύου στις βασικές κλάσεις
 Επανεκπαίδευση(finetuning) στις νέες κλάσεις ή σε ισορροπημένο dataset
 Προσέγγιση dual-branch meta learning
 Το δίκτυο μαθαίνει να μαθαίνει
 Επεισοδιακή εκπαίδευση με χρήση κλάδου υποστήριξης
 Απευθείας inference (meta-testing)
5
Few shot meta learning: Επεισοδιακή
εκπαίδευση
 2 Στάδια εκπαίδευσης:
 Meta-training (βασικές κλάσεις)
 Meta-finetuning (βασικές + νέες κλάσεις)
Σε κάθε επεισόδιο δύο κλάδοι:
 Κλάδος Ερώτησης (1 Εικόνα ερώτησης)
 Κλάδος Υποστήριξης (N * K Εικόνες υποστήριξης)
6
Few shot meta learning: Βασική Αρχιτεκτονική με
Faster R-CNN
Παράδειγμα για 3-way 5-shot FSOD:
5
5
7
Πρότυπα Κλάσεων
 Δημιουργούνται σε κάθε επεισόδιο για κάθε κλάση υποστήριξης
 Σημαντικό μέρος του δικτύου, καθοδηγούν την κεφαλή του ανιχνευτή
 Ανάγκη βελτίωσης λόγω κακής ποιότητας ή/και μη επαρκούς πληροφορίας
 Αξιοποιώντας τις συσχετίσεις μεταξύ των κλάσεων μπορούμε να
εμπλουτίσουμε αυτά τα πρότυπα
8
Ολικό στατικό γράφημα προτύπων
 Οι κόμβοι είναι χάρτες χαρακτηριστικών των βασικών κλάσεων
 Εισαγωγή προτύπων σε κάθε επεισόδιο
 Υπολογισμός ομοιότητας
 Διάδοση πληροφορίας σε όλους τους κόμβους
𝑓 𝑐𝑖 =
𝑗∈𝐶
𝐴𝑖𝑛𝑡𝑒𝑟
𝑗𝑖
∗ 𝑓 𝑐𝑗 + 𝑓(𝑐𝑖)
9
Ολικό γράφημα προτύπων με GCN
 Η διάδοση πληροφορίας δεν γίνεται πλέον στατικά αλλά με ένα επίπεδο
Graph Convolutional Network
 Είσοδοι: Πίνακας γειτνίασης-ομοιότητας Α, κόμβοι
 Έξοδοι: Ανανεωμένοι κόμβοι: 𝐻(𝑙+1) = 𝑓 𝐻 𝑙 , 𝐴
 Απλό παράδειγμα: 𝑓 𝐻 𝑙 , 𝐴 = 𝜎 𝐴𝐻 𝑙 𝑾 𝑙
10
Μοντέλο αναφοράς:
Meta Faster R-CNN
Class Prototypes
11
Meta Faster R-CNN με την προσθήκη του
γραφήματος προτύπων
12
Προετοιμασία για τα πειράματα
 Ετοιμασία του σετ δεδομένων PASCAL VOC
 Δημιουργία των αρχείων Few-Shot
 Στήσιμο περιβάλλοντος τοπικά και στο Cloud (Google Cloud, Kaggle)
 Η μετρική αξιολόγησης για όλα τα πειράματα είναι η Average Precision με
Intersection over Union = 0.5 (AP50)
13
Meta-testing πειράματα
ΜΟΝΤΕΛΟ 1-SHOT 2-SHOT 3-SHOT 5-SHOT 10-SHOT
ΒΑΣΙΚΟ
ΜΟΝΤΕΛΟ
30.41 33.62 35.38 38.64 45.48
ΜΕ ΟΛΙΚΟ
ΣΤΑΤΙΚΟ
ΓΡΑΦΗΜΑ
ΠΡΟΤΥΠΩΝ
38.44 41.76 38.76 47.44 45.97
ΜΕ ΟΛΙΚΟ
ΓΡΑΦΗΜΑ
ΠΡΟΤΥΠΩΝ
ΚΑΙ GCN
39.95 43.47 41.55 50.53 50.95
14
Πειράματα επανεκπαίδευση με νέες
κλάσεις (meta-finetuning)
ΜΟΝΤΕΛΟ 1-SHOT 2-SHOT 3-SHOT 5-SHOT
ΒΑΣΙΚΟ
ΜΟΝΤΕΛΟ
47.73 57.47 62.12 65.89
ΜΕ ΟΛΙΚΟ
ΣΤΑΤΙΚΟ
ΓΡΑΦΗΜΑ
ΠΡΟΤΥΠΩΝ
46.78 55.20 57.02 61.91
ΜΕ ΟΛΙΚΟ
ΓΡΑΦΗΜΑ
ΠΡΟΤΥΠΩΝ ΚΑΙ
GCN
47.31 55.27 56.80 60.64
15
Συμπεράσματα
 Η ενσωμάτωση των συσχετίσεων των κλάσεων με αυτόν τον τρόπο βελτιώνει
πολύ την απόδοση του δικτύου σε συνθήκες meta-testing
 Δεν βελτιώνει την απόδοση μετά την επανεκπαίδευση του δικτύου στις νέες
κλάσεις
 Η αποτελεσματικότητα εξαρτάται από τις κατηγορίες εκπαίδευσης
16
Ερωτήσεις
ΑΓΓΕΛΟΣ ΒΛΑΧΟΣ
17

More Related Content

Similar to Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤΑ-εκπαίδευσης

Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...
Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...
Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...ISSEL
 
Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...
Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...
Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...ISSEL
 
Ifigeneia Theodoridou
Ifigeneia TheodoridouIfigeneia Theodoridou
Ifigeneia TheodoridouISSEL
 
Angelos kaltsikis
Angelos kaltsikisAngelos kaltsikis
Angelos kaltsikisISSEL
 
Theofilos Georgiadis: Library recommendation system for the reuse of software...
Theofilos Georgiadis: Library recommendation system for the reuse of software...Theofilos Georgiadis: Library recommendation system for the reuse of software...
Theofilos Georgiadis: Library recommendation system for the reuse of software...Manos Tsardoulias
 
Νικόλαος Κατιρτζής 7185
Νικόλαος Κατιρτζής 7185Νικόλαος Κατιρτζής 7185
Νικόλαος Κατιρτζής 7185ISSEL
 
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...ISSEL
 
Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας
Σεμινάριο-Μεθοδολογία Επιστημονικής ΈρευναςΣεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας
Σεμινάριο-Μεθοδολογία Επιστημονικής ΈρευναςConstantinos Athanasiou
 
Παρουσίαση θεμάτων διπλωματικών 2010
Παρουσίαση θεμάτων διπλωματικών 2010Παρουσίαση θεμάτων διπλωματικών 2010
Παρουσίαση θεμάτων διπλωματικών 2010ISSEL
 
Σωτήρης Μπέης
Σωτήρης ΜπέηςΣωτήρης Μπέης
Σωτήρης ΜπέηςISSEL
 
Nikolaos Oikonomou
Nikolaos OikonomouNikolaos Oikonomou
Nikolaos OikonomouISSEL
 
Εντοπισμός του Image Inpainting με Μεθόδους Τεχνητής Νοημοσύνης
Εντοπισμός του Image Inpainting με Μεθόδους Τεχνητής ΝοημοσύνηςΕντοπισμός του Image Inpainting με Μεθόδους Τεχνητής Νοημοσύνης
Εντοπισμός του Image Inpainting με Μεθόδους Τεχνητής ΝοημοσύνηςISSEL
 
Image Inpainting Detection through Artificial Intelligence Techniques
Image Inpainting Detection through Artificial Intelligence TechniquesImage Inpainting Detection through Artificial Intelligence Techniques
Image Inpainting Detection through Artificial Intelligence TechniquesISSEL
 
A rule-based approach for the real-time semantic annotation in context-aware ...
A rule-based approach for the real-time semantic annotation in context-aware ...A rule-based approach for the real-time semantic annotation in context-aware ...
A rule-based approach for the real-time semantic annotation in context-aware ...Nikolaos Konstantinou
 
Konstantinos Koukoutegos Diploma Thesis Presentation
Konstantinos Koukoutegos Diploma Thesis PresentationKonstantinos Koukoutegos Diploma Thesis Presentation
Konstantinos Koukoutegos Diploma Thesis PresentationISSEL
 
Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...
Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...
Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...Manos Tsardoulias
 
Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...
Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...
Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...ISSEL
 

Similar to Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤΑ-εκπαίδευσης (20)

Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...
Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...
Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων για την Εξαγωγή Προτύπων Διόρθωσης σε Σφ...
 
Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...
Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...
Applying Data Mining Techniques to Extract Fix Patterns for Static Analysis V...
 
Ifigeneia Theodoridou
Ifigeneia TheodoridouIfigeneia Theodoridou
Ifigeneia Theodoridou
 
Angelos kaltsikis
Angelos kaltsikisAngelos kaltsikis
Angelos kaltsikis
 
Theofilos Georgiadis: Library recommendation system for the reuse of software...
Theofilos Georgiadis: Library recommendation system for the reuse of software...Theofilos Georgiadis: Library recommendation system for the reuse of software...
Theofilos Georgiadis: Library recommendation system for the reuse of software...
 
Νικόλαος Κατιρτζής 7185
Νικόλαος Κατιρτζής 7185Νικόλαος Κατιρτζής 7185
Νικόλαος Κατιρτζής 7185
 
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...
 
Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας
Σεμινάριο-Μεθοδολογία Επιστημονικής ΈρευναςΣεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας
Σεμινάριο-Μεθοδολογία Επιστημονικής Έρευνας
 
Παρουσίαση θεμάτων διπλωματικών 2010
Παρουσίαση θεμάτων διπλωματικών 2010Παρουσίαση θεμάτων διπλωματικών 2010
Παρουσίαση θεμάτων διπλωματικών 2010
 
Σωτήρης Μπέης
Σωτήρης ΜπέηςΣωτήρης Μπέης
Σωτήρης Μπέης
 
Nikolaos Oikonomou
Nikolaos OikonomouNikolaos Oikonomou
Nikolaos Oikonomou
 
Εντοπισμός του Image Inpainting με Μεθόδους Τεχνητής Νοημοσύνης
Εντοπισμός του Image Inpainting με Μεθόδους Τεχνητής ΝοημοσύνηςΕντοπισμός του Image Inpainting με Μεθόδους Τεχνητής Νοημοσύνης
Εντοπισμός του Image Inpainting με Μεθόδους Τεχνητής Νοημοσύνης
 
Image Inpainting Detection through Artificial Intelligence Techniques
Image Inpainting Detection through Artificial Intelligence TechniquesImage Inpainting Detection through Artificial Intelligence Techniques
Image Inpainting Detection through Artificial Intelligence Techniques
 
A rule-based approach for the real-time semantic annotation in context-aware ...
A rule-based approach for the real-time semantic annotation in context-aware ...A rule-based approach for the real-time semantic annotation in context-aware ...
A rule-based approach for the real-time semantic annotation in context-aware ...
 
ΠΛΗ31 ΤΕΣΤ 15
ΠΛΗ31 ΤΕΣΤ 15ΠΛΗ31 ΤΕΣΤ 15
ΠΛΗ31 ΤΕΣΤ 15
 
Exercise3
Exercise3Exercise3
Exercise3
 
Konstantinos Koukoutegos Diploma Thesis Presentation
Konstantinos Koukoutegos Diploma Thesis PresentationKonstantinos Koukoutegos Diploma Thesis Presentation
Konstantinos Koukoutegos Diploma Thesis Presentation
 
ThesisPresentation
ThesisPresentationThesisPresentation
ThesisPresentation
 
Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...
Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...
Charis Eleftheriadis. Towards evaluating Deep Neural Networks’ Robustness to ...
 
Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...
Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...
Πρόταση Βιβλιοθηκών Σχετικών με Λέξεις-Κλειδιά για Εκκίνηση της Διαδικασίας Α...
 

More from ISSEL

Implementation of a platform for assessing indoor spaces regarding their frie...
Implementation of a platform for assessing indoor spaces regarding their frie...Implementation of a platform for assessing indoor spaces regarding their frie...
Implementation of a platform for assessing indoor spaces regarding their frie...ISSEL
 
Autonomous car position calculation with particle filters using traffic data ...
Autonomous car position calculation with particle filters using traffic data ...Autonomous car position calculation with particle filters using traffic data ...
Autonomous car position calculation with particle filters using traffic data ...ISSEL
 
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...ISSEL
 
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής ΝοημοσύνηςΑνάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής ΝοημοσύνηςISSEL
 
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptxΑνάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptxISSEL
 
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...ISSEL
 
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...ISSEL
 
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...ISSEL
 
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...ISSEL
 
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας ΙσχυρισμώνΔημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας ΙσχυρισμώνISSEL
 
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµαταΕξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµαταISSEL
 
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...ISSEL
 
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...ISSEL
 
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...ISSEL
 
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικούΕξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικούISSEL
 
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία ΕφαρµογήςΑνάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία ΕφαρµογήςISSEL
 
Camera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environmentsCamera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environmentsISSEL
 
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...ISSEL
 
Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...ISSEL
 
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...ISSEL
 

More from ISSEL (20)

Implementation of a platform for assessing indoor spaces regarding their frie...
Implementation of a platform for assessing indoor spaces regarding their frie...Implementation of a platform for assessing indoor spaces regarding their frie...
Implementation of a platform for assessing indoor spaces regarding their frie...
 
Autonomous car position calculation with particle filters using traffic data ...
Autonomous car position calculation with particle filters using traffic data ...Autonomous car position calculation with particle filters using traffic data ...
Autonomous car position calculation with particle filters using traffic data ...
 
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...
 
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής ΝοημοσύνηςΑνάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής Νοημοσύνης
 
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptxΑνάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptx
 
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...
 
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...
 
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...
 
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...
 
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας ΙσχυρισμώνΔημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας Ισχυρισμών
 
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµαταΕξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµατα
 
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...Ανάπτυξη Μηχανισμών Αυτοματοποίησης των  διαδικασιών κατασκευής συστημάτων λο...
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...
 
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...
 
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...
 
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικούΕξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικού
 
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία ΕφαρµογήςΑνάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία Εφαρµογής
 
Camera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environmentsCamera-based localization of annotated objects in indoor environments
Camera-based localization of annotated objects in indoor environments
 
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...
 
Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...Design and implementation of an automation mechanism to automatically develop...
Design and implementation of an automation mechanism to automatically develop...
 
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...
 

Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤΑ-εκπαίδευσης

  • 1. Ανίχνευση αντικειμένων από λίγα δείγματα με χρήση γραφημάτων και τεχνικών ΜΕΤΑ-εκπαίδευσης ΑΓΓΕΛΟΣ ΒΛΑΧΟΣ AEM: 9087 Επιβλέποντας ΑΠΘ: Συμεωνίδης Ανδρέας Επιβλέποντες ΙΠΤΗΛ: Βρέτος Νικόλαος, Δάρας Πέτρος Παρουσίαση διπλωματικής εργασίας
  • 2. Ανίχνευση Αντικειμένων Αποτελείται από 2 ξεχωριστά προβλήματα:  Εντοπισμός αντικειμένων  Ταξινόμηση Πηγή: www.plugger.ai 2
  • 3. Αρχιτεκτονική του Faster R-CNN  Backbone  Δίκτυο πρότασης περιοχών  Κεφαλή Ανιχνευτή  Ταξινόμηση  Αναδρομή bounding box 3
  • 4. Few-Shot Object Detection (FSOD) Τι αλλάζει;  Οι διαθέσιμες εικόνες των νέων κλάσεων είναι < 30 (N-way K-shot)  Δυσκολία δημιουργίας dataset, πρόσβαση, σπανιότητα  Οι εικόνες των βασικών κλάσεων είναι άπλετες  Το ίδιο το task δεν αλλάζει  Δυσκολία προσαρμογής κλασσικών ανιχνευτών λόγω περιορισμένων δεδομένων 4
  • 5. Προσεγγίσεις  Προσέγγιση transfer learning  Εκπαίδευση του δικτύου στις βασικές κλάσεις  Επανεκπαίδευση(finetuning) στις νέες κλάσεις ή σε ισορροπημένο dataset  Προσέγγιση dual-branch meta learning  Το δίκτυο μαθαίνει να μαθαίνει  Επεισοδιακή εκπαίδευση με χρήση κλάδου υποστήριξης  Απευθείας inference (meta-testing) 5
  • 6. Few shot meta learning: Επεισοδιακή εκπαίδευση  2 Στάδια εκπαίδευσης:  Meta-training (βασικές κλάσεις)  Meta-finetuning (βασικές + νέες κλάσεις) Σε κάθε επεισόδιο δύο κλάδοι:  Κλάδος Ερώτησης (1 Εικόνα ερώτησης)  Κλάδος Υποστήριξης (N * K Εικόνες υποστήριξης) 6
  • 7. Few shot meta learning: Βασική Αρχιτεκτονική με Faster R-CNN Παράδειγμα για 3-way 5-shot FSOD: 5 5 7
  • 8. Πρότυπα Κλάσεων  Δημιουργούνται σε κάθε επεισόδιο για κάθε κλάση υποστήριξης  Σημαντικό μέρος του δικτύου, καθοδηγούν την κεφαλή του ανιχνευτή  Ανάγκη βελτίωσης λόγω κακής ποιότητας ή/και μη επαρκούς πληροφορίας  Αξιοποιώντας τις συσχετίσεις μεταξύ των κλάσεων μπορούμε να εμπλουτίσουμε αυτά τα πρότυπα 8
  • 9. Ολικό στατικό γράφημα προτύπων  Οι κόμβοι είναι χάρτες χαρακτηριστικών των βασικών κλάσεων  Εισαγωγή προτύπων σε κάθε επεισόδιο  Υπολογισμός ομοιότητας  Διάδοση πληροφορίας σε όλους τους κόμβους 𝑓 𝑐𝑖 = 𝑗∈𝐶 𝐴𝑖𝑛𝑡𝑒𝑟 𝑗𝑖 ∗ 𝑓 𝑐𝑗 + 𝑓(𝑐𝑖) 9
  • 10. Ολικό γράφημα προτύπων με GCN  Η διάδοση πληροφορίας δεν γίνεται πλέον στατικά αλλά με ένα επίπεδο Graph Convolutional Network  Είσοδοι: Πίνακας γειτνίασης-ομοιότητας Α, κόμβοι  Έξοδοι: Ανανεωμένοι κόμβοι: 𝐻(𝑙+1) = 𝑓 𝐻 𝑙 , 𝐴  Απλό παράδειγμα: 𝑓 𝐻 𝑙 , 𝐴 = 𝜎 𝐴𝐻 𝑙 𝑾 𝑙 10
  • 11. Μοντέλο αναφοράς: Meta Faster R-CNN Class Prototypes 11
  • 12. Meta Faster R-CNN με την προσθήκη του γραφήματος προτύπων 12
  • 13. Προετοιμασία για τα πειράματα  Ετοιμασία του σετ δεδομένων PASCAL VOC  Δημιουργία των αρχείων Few-Shot  Στήσιμο περιβάλλοντος τοπικά και στο Cloud (Google Cloud, Kaggle)  Η μετρική αξιολόγησης για όλα τα πειράματα είναι η Average Precision με Intersection over Union = 0.5 (AP50) 13
  • 14. Meta-testing πειράματα ΜΟΝΤΕΛΟ 1-SHOT 2-SHOT 3-SHOT 5-SHOT 10-SHOT ΒΑΣΙΚΟ ΜΟΝΤΕΛΟ 30.41 33.62 35.38 38.64 45.48 ΜΕ ΟΛΙΚΟ ΣΤΑΤΙΚΟ ΓΡΑΦΗΜΑ ΠΡΟΤΥΠΩΝ 38.44 41.76 38.76 47.44 45.97 ΜΕ ΟΛΙΚΟ ΓΡΑΦΗΜΑ ΠΡΟΤΥΠΩΝ ΚΑΙ GCN 39.95 43.47 41.55 50.53 50.95 14
  • 15. Πειράματα επανεκπαίδευση με νέες κλάσεις (meta-finetuning) ΜΟΝΤΕΛΟ 1-SHOT 2-SHOT 3-SHOT 5-SHOT ΒΑΣΙΚΟ ΜΟΝΤΕΛΟ 47.73 57.47 62.12 65.89 ΜΕ ΟΛΙΚΟ ΣΤΑΤΙΚΟ ΓΡΑΦΗΜΑ ΠΡΟΤΥΠΩΝ 46.78 55.20 57.02 61.91 ΜΕ ΟΛΙΚΟ ΓΡΑΦΗΜΑ ΠΡΟΤΥΠΩΝ ΚΑΙ GCN 47.31 55.27 56.80 60.64 15
  • 16. Συμπεράσματα  Η ενσωμάτωση των συσχετίσεων των κλάσεων με αυτόν τον τρόπο βελτιώνει πολύ την απόδοση του δικτύου σε συνθήκες meta-testing  Δεν βελτιώνει την απόδοση μετά την επανεκπαίδευση του δικτύου στις νέες κλάσεις  Η αποτελεσματικότητα εξαρτάται από τις κατηγορίες εκπαίδευσης 16

Editor's Notes

  1. Εισαγωγή Αρχικα θα γίνει μικρή εισαγωγή στην απλή ανίχνευση αντικειμένων και έπειτα θα συζητηθούν οι αλλάγές που συμβαίνουν όταν υπάρχουν λίγα διαθέσιμα δείγματα και πώς αντιμετωπίζουμε το πρόβλημα αυτό σε αυτή την εργασία.
  2. Ανιχνευση αντικειμενων: κλαδος μηχανικης ορασης Αποτελειται από 2 ξεχωριστα υποπροβληματα Το ένα είναι ο Εντοπισμός των αντικειμενων σε μια εικονα και το δευτερο είναι η ταξινομηση αυτων σε καποιες κατηγοριες στις οποιες εχει εκπαιδευτει το μοντελο μας
  3. Ένα από τα πιο γνωστα δικτυα ανιχνευσης αντικειμενων δύο σταδίων είναι το Faster R-CNN το οποιο και θα χρησιμοποιηθει στην συνεχεια οποτε θα αναλυθει συνοπτικα η αρχιτεκτονικη του Backbone -> Χαρτης χαρακτηριστικων -> Δικτυο προτασης περιοχων -> κεφαλή ανιχνευτη για ταξινόμηση και προσαρμογη των BB -Κοινοι ανιχνευτες αποδοσεις καλυτερες από ανθρωπους με χρηση πολλων δεδομενων
  4. -Πολλες φορες δεν εχουμε δεδομενα + γιατι; -Το προβλημα καλειται FSOD -Το τασκ δεν αλλαζει όμως τα δικτυα δυσκολευονται να προσαρμοστουν
  5. Transfer Μετα Κυριαρχη αρχιτεκτονικη Κυρίαρχη αρχιτεκτονική: ResNet Backbone + Faster R-CNN
  6. Αυτό γίνεται για να επιτρέψουμε στο δίκτυο να μπορεί να γενικεύει καθώς θα πρέπει πληροφορία από το ένα task να το βοηθήσει στο επόμενο task. Επίσης προσομοιάζουμε έτσι το inference.
  7. Εδώ φαινεται Μια βασικη αρχιτεκτονικη ενός dual branch meta learning μοντελου είναι: 2 κλαδια Αρχικά, οι query και support εικόνες περνούν από ένα κλασσικό backbone με κοινά βάρη(π.χ. ResNet) και δημιουργούνται τα query feature maps και τα support features maps(class prototypes). Έπειτα περνάω τα query feature maps από το Region Proposal Network. Τέλος, έχοντας τα πιθανά αντικείμενα τις εικόνας και χρησιμοποιώντας τις support εικόνες αποφασίζω εάν κάποια από αυτά αντιστοιχούν κάποια από τις support κλάσεις μου (metric learning)
  8. Εφόσον μας δίνεται τόση λίγη πληροφορία για τις novel κλάσεις θέλουμε να αξιοποιήσουμε τις support εικόνες όσο περισσότερο μπορούμε. Αντί να τις χρησιμοποιήσουμε μόνο στο τέλος για μια απλή σύγκριση μπορούμε από πριν να αναζητήσουμε τις σχέσεις μεταξύ query και support features και των κλάσεων τους και να εκμεταλλευτούμε αυτή την πληροφορία για να βελτιώσουμε τα support features και τα query features και έτσι να βελτιώσουμε την απόδοση του δικτύου να ανιχνεύσει αντικείμενα συγκεκριμένα από τις support κλάσεις. Αυτό συμβαδίζει με την λογική του meta learning, δηλαδή την αποκοπή κάθε επεισοδίου από όλα τα υπόλοιπα για την βελτίωση της γενίκευσης. Υπάρχουν μερικές δουλειές που προσπαθούν να εκμεταλλευτούν αυτή την πληροφορία είτε χρησιμοποιώντας μηχανισμούς attention, είτε γραφήματα, είτε απλές μετρικές ομοιότητας. Λόγω της σημαντικότητάς τους, έχουν γίνει διάφορες προσπάθειες για την βελτίωση της ποιότητας αυτών των πρωτοτύπων χρησιμοποιώντας όχι μόνο τα αντικείμενα της συγκεκριμένης κλάσης αλλά όλες τις support εικόνες του εκάστοτε επεισοδίου.
  9. Εμεις προτεινουμε αρχικα την χρηση μια δομης γραφηματος που ονομαζουμε ολικο στατικο γραφημα προτυπων εμπνευσμενο από Query Adaptive Few-Shot Object Detection with Heterogeneous Graph Convolutional Networks -Γραφημα δημιουργειται στην αρχη της εκπαίδευσης/δοκιμης από χαρτες χαρακτηριστικων των βασικων κλασεων Δημιουργείται ο πίνακας ομοιότητας Α με χρήση του cosine similarity των κόμβων -Σε κάθε επεισοδιο εισερχονται τα προτυπα του επεισοδιου -Υπολογίζεται ο πινακας ομοιοτητας Α με βαση το similarity -Χρησιμοποιείται για να υπολογιστει ένα weighted αθροισμα ολων των κομβων για κάθε κομβο. Προστιθεται ο εαυτος του και ετσι ανανεωνονται ολοι οι κομβοι
  10. Μια παραλλαγη του στατικου γραφηματος είναι η χρηση ενός επιπεδου GCN για την διαδοση πληροφοριας Aggregation με GCN 2o approach Είναι δίκτυα τα οποία παίρνουν σαν είσοδο Ένα feature vector για κάθε node (συνολικά N * Features πίνακας) Μια αντιπροσωπευτική αναπαράσταση της δομής του γραφήματος π.χ. έναν πίνακα γειτνίασης A Εξοδος ανανεωμενοι κομβοι με χρηση του πινακα ομοιότητας και των εκπαιδευσιμων βαρων του GCN
  11. Πως θα δειξουμε την χρησιμοτητα της αξιοποιησης των συσχετισεων των κατηγοριων με τον τροπο που προτεινουμε; Προσαρμογη σε SOTA model Meta faster -Δεν βελτιωνει τα προτυπα των κλασεων αλλα τα χρησιμοποιει αυτουσια -2 δικτυα, ένα για βασικες ένα για νεες κατηγοριες Βλεπουμε οτι τα βασικα δομικα στοιχεια του δικτυου ειναι παρομοια με την βασικη αρχιτεκτονικη που παρουσιαστηκε προηγουμενως, υπαρχει ο feature extractor ή backbone, το Meta-RPN, ένα προσαρμοσμένο δικτυο προτασης περιοχων και τελος ο meta-classifier ενας προσαρμοσμενος ταξινομητης.
  12. Ενσωματωνουμε το προτεινομενο module στο σημειο αυτο
  13. Περνωντας στην πειραματικη διαδικασια: -Aρχικα στηθηκε το github με βαση το git του Meta Faster R-CNN -Ετοιμαστηκε το σετ δεδομενων και δημιουργηθηκαν τα καταλληλα αρχεία Few-Shot δοκιμης και εκπαιδευσης, τα οποία είναι προκαθορισμένα για να είναι αξιοπιστες οι συγκρισεις των μοντελων -Μετρικη αξιολογησης + Σετ αξιολογησης
  14. -Τα πειραματικα αποτελεσματα meta testing των διαφορετικων παραλλαγων του μοντελου -Αρχικα στην πρωτη γραμμη φαινονται τα αποτελεσματα του βασικου μοντελου της προηγουμενης διαφανειας, -στην 2η τα αποτελεσματα του βασικου μοντελου με την προσαρμογη του ολικου στατικου γραφηματος προτυπων, διχως καποια εκπαιδευση καθως δεν υπαρχει καποιο νέο εκπαιδευσιμο μερος -και τελος στην τελευταια γραμμη φαινονται τα αποτελεσματα του ολικου γραφηματος με την χρηση GCN για την διαδοση πληροφοριας, το οποιο ενσωματωθηκε στο δικτυο και εκπαιδευτηκε με παγωμενα όλα τα υπολοιπα βαρη του δικτυου. Από τα αποτελεσματα φαινεται ξεκαθαρα η επιρροη των συσχετισεων των κατηγοριων στην βελτιωση των προτυπων καθως η αποδοση του μοντελου βελτιωνεται. Επισης με την χρηση του GCN φαινεται η αποδοση να αυξανεται ακομη περισσότερο.
  15. Πειραματα finetuning Εδώ για κάθε πειραματα εγινε finetuning στις novel+base κλασεις. Φαινεται ότι στα αρχικά shots τα αποτελεσματα είναι συγκρισιμα όμως οσο αυξανονται τα shots το βασικο μοντελο εχει αρκετη πληροφορια από τις νεες κατηγοριες και δεν εμπλουτίζονται αποτελεσματικα τα προτυπα με αποτελεσμα να πεφτει η αποδοση του μοντελου.
  16. Συμπερασματα Εγιναν διαφορα επιπλεον πειραματα για να φανει η αποτελεσματικοτητα μερικων επιλογων όμως αναφερθηκαν οι καλυτερες παραλλαγες των μοντελων με τα καλυτερα αποτελεσματα Η ενσωμάτωση των συσχετίσεων των κλάσεων με αυτόν τον τρόπο βελτιώνει πολύ την απόδοση του δικτύου σε συνθήκες meta-testing Δεν βελτιώνει την απόδοση μετά την επανεκπαίδευση του δικτύου στις νέες κλάσεις με τον συγκεκριμενο τροπο ή ρυθμισεις εκπαιδευσης Η αποτελεσματικοτητα διαφερει αναλογα με τις εικονες υποστηριξης και τις κατηγοριες υποστηριξης, δοκιμαστηκε μικρο σετ δεδομενων αλλα υπαρχουν και αλλα από τα οποια ισως μπορουμε να αντληθει περισσοτερη πληοροφορια