Despoin Touska Diploma Thesis Presentation

1. Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού Δικτύου Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Πολυτεχνική Σχολή Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών Εκπόνηση: Τούσκα Δέσποινα ΑΕΜ: 8250 Επιβλέποντες: Αν. Καθ. Ανδρέας Συμεωνίδης Ερευν. Μεζάρης Βασίλειος Θεσσαλονίκη, Οκτώβριος 2019

2. Contoso Ltd. Δομήπαρουσίασης Σκοπός της διπλωματικής Γνώσεις που αποκτήθηκαν Μεθοδολογία Αποτελέσματα Συμπεράσματα & Μελλοντική εργασία 2Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

3. Contoso Ltd. Σκοπόςτηςδιπλωματικής Δημιουργία ενός μοντέλου με τα εξής χαρακτηριστικά: Ευρωστία • Συλλογή γενικευμένων χαρακτηριστικών από το σύνολο των δεδομένων. • Αποφυγή εστίασης σε συγκεκριμένες ενδείξεις αλλοίωσης. Πλήρης αξιοποίηση πληροφορίας Αρχιτεκτονική δικτύου ικανή να συγκρατήσει πλήθος πληροφοριών από το σύνολο των δεδομένων. Έγκαιρη ολοκλήρωση Δημιουργία μιας χρονικά βέλτιστης λύσης που ανταποκρίνεται στα πρόβληματα του πραγματικού κόσμου. 33Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

4. Contoso Ltd. Γνώσειςπουαποκτήθηκαν Προγραμματισμός • Γλώσσες προγραμματισμού: Python, C++ • Multi-threading τεχνικές Deep learning framework Pytorch Ψηφιακή επεξεργασία εικόνας Εφαρμογή φίλτρων, κβάντιση εικόνας, co- occurrences πίνακες, κ.ά. Προσθέστε υποσέλιδο 444Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

5. Contoso Ltd. Μεθοδολογία αντιμε Προσθέστε υποσέλιδο 5 Μεθοδολογία Προσθέστε υποσέλιδο 555 Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

6. Contoso Ltd. Ανάπτυξημεθοδολογίας 1. Προεργασία • Επικαλυπτόμενα blocks των 128x128 με οριζόντιο και κατακόρυφο stride 8, πάνω στο frame. • Στεγανάλυση για κάθε block. • Απόκτηση ενός συνόλου feature vectors για όλα τα frame του βίντεο. 2. Νευρωνικό δίκτυο • Anomaly detection. • Autoencoder. • Αναδρομικό επίπεδο. • Back propagation through time. • Συνάρτηση κόστους ως δείκτης αλλοίωσης ενός block. 3. Αξιολόγηση αποτελεσμάτων • Heat maps. • Pixel level roc curves. Προσθέστε υποσέλιδο 666Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

7. Contoso Ltd. Στεγανάλυση Προσθέστε υποσέλιδο 7 ○ Μετατροπή εικόνας 𝑓 σε gray scale μορφή. ○ Εφαρμογή ενός γραμμικού υψηπερατού φίλτρου: 𝑟𝑖,𝑗 = 𝑓𝑖,𝑗−1 − 3𝑓𝑖,𝑗 + 3 𝑓𝑖,𝑗+1 − 𝑓𝑖,𝑗+2 ○ Κβάντιση με q = 1 και αποκοπή ακραίων τιμών (truncation) με T = 2. ○ Υπολογισμός του co-occurrence πίνακα για μια 4-άδα γειτονικών pixel: ○ Αξιοποιώντας της συμμετρίες ο co-occurrence πίνακας έχει συνολικά 338 στοιχεία. ○ Κανονικοποίηση με μηδενικό μέσο όρο και μοναδιαίο μέτρο. Προσθέστε υποσέλιδο 777Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019 C 𝑘0, 𝑘1, 𝑘2, 𝑘3 = 1 𝑁 𝑖,𝑗 𝐼(𝑟𝑖,𝑗 = 𝑘0, 𝑟𝑖,𝑗+1 = 𝑘1, 𝑟𝑖,𝑗+2 = 𝑘2, 𝑟𝑖,𝑗+3 = 𝑘3)

8. Contoso Ltd. 8 Αρχιτεκτονικήδικτύου 8 Προσθέστε υποσέλιδο 888Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019 Εκπαίδευση: ○ Εφαρμογή της διαδικασίας στο κάθε υπό διερεύνηση βίντεο. ○ Παραδοχή: ένας μικρός αριθμός από frames θεωρούνται μη αλλοιωμένα. ○ Επιλογή από την χρήστη του συνόλου εκπαίδευσης.

9. Contoso Ltd. 9 Προσθέστε υποσέλιδο Διαγραμματικήμορφήμεθόδου 9 Προσθέστε υποσέλιδο 999Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

10. Contoso Ltd. Αποτελέσματα 10 Προσθέστε υποσέλιδο 10 Προσθέστε υποσέλιδο 10 Προσθέστε υποσέλιδο 101010Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

11. Contoso Ltd. Dataset Προσθέστε υποσέλιδο 11 ○ Περιλαμβάνει 10 βίντεο. ○ Αντίστοιχα βίντεο μάσκες (ground truth). ○ Frame διάστασης 720x1280 pixels. ○ Κάθε βίντεο περιέχει αλλοίωση σε κάποια frames του. ○ Μέθοδος επεξεργασίας είναι το splicing. 1111 Προσθέστε υποσέλιδο 111111Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

12. Contoso Ltd. Πειράματα Προσθέστε υποσέλιδο 12 ○ Εκπαίδευση δικτύου και εξαγωγή αποτελεσμάτων για κάθε βίντεο ξεχωριστά. ○ Σετ εκπαίδευσης περιέχει 50 συνεχόμενα frames, χωρίς επεξεργασία. ○ Απαιτούμενες εποχές ανά εκπαίδευση 100 με 150. ○ Αλγόριθμος βελτιστοποίησης Adam. ○ Learning rate ίσο με 0,005. ○ Batch size 8. 12121212 Προσθέστε υποσέλιδο 121212Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

13. Contoso Ltd. Pixel level roc curveτου dataset Προσθέστε υποσέλιδο 13 ○ Υπολογισμός της καμπύλης roc του κάθε βίντεο από 200 heat maps / βίντεο και των αντίστοιχων μασκών (ground truth). ○ Συνολική roc curve του dataset, ο μέσος όρος των roc καμπυλών του κάθε βίντεο. ○ Μπλε γραμμή: μέσος όρος των roc curves. ○ Γκρίζα περιοχή: roc curves του κάθε βίντεο. Προσθέστε υποσέλιδο 1313131313 Προσθέστε υποσέλιδο 131313Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

14. Contoso Ltd. Χρόνοιεκτέλεσης Προεργασία Εκπαίδευση Εξαγωγή scores 7,62 secs / frame 62 secs / epoch 7 secs / video Προσθέστε υποσέλιδο 14 Σενάριο 1: ○ Βίντεο με 350 frames, frame rate 25 fps και διάρκεια 14 sec. ○ Χρόνος προεργασίας 44,45 min. Σενάριο 2: ○ Βίντεο με 1500 frames, 25 fps και διάρκεια 1 min. ○ Χρόνος προεργασίας 3,175 ώρες. Συμπέρασμα: χρονοβόρα προεργασία για βίντεο μεγάλης διάρκειας. Προσθέστε υποσέλιδο 14 Προσθέστε υποσέλιδο 1414141414 Προσθέστε υποσέλιδο 141414Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

15. Contoso Ltd. Χρονικήβελτιστοποίηση Time per frame Total time for dataset Python 7,62 secs 77,32 hours C++ 0,89 secs 51,3 mins C++ με pthreads 0,43 secs 24,8 mins Προσθέστε υποσέλιδο 15 ○ Βελτίωση χρόνου με μετατροπή σε C++. ○ Επιπλέον βελτίωση με multi threading τεχνικές. ○ Σύνολο frames στο dataset 3459. ○ Multi threading με 4 διαθέσιμα threads. Προσθέστε υποσέλιδο 15 Προσθέστε υποσέλιδο 15 Προσθέστε υποσέλιδο 1515151515 Προσθέστε υποσέλιδο 151515Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

16. Contoso Ltd. Συνολικοίχρόνοιπροεργασίας Python C++ C++ με pthreads 13,1 hours 68,67 mins 42,26 mins Προσθέστε υποσέλιδο 16 ○ Χρόνοι προεργασίας με αποθήκευση σε αρχεία. ○ Σύνολο frames στο dataset 3459. ○ Σημαντική βελτίωση με C++ και pthreads. ○ 18.5 φορές γρηγορότερη C++ με pthreads έναντι της Python. Προσθέστε υποσέλιδο 16 Προσθέστε υποσέλιδο 16 Προσθέστε υποσέλιδο 16 Προσθέστε υποσέλιδο 1616161616 Προσθέστε υποσέλιδο 161616Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

17. Contoso Ltd. 17 Προσθέστε υποσέλιδο Pixel level roc curve Επιβεβαίωση λειτουργίας της μεθόδου και μετά την χρονική βελτιστοποίηση. 17 Προσθέστε υποσέλιδο 17 Προσθέστε υποσέλιδο 17 Προσθέστε υποσέλιδο 17 Προσθέστε υποσέλιδο 1717171717 Προσθέστε υποσέλιδο 171717Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

18. Contoso Ltd. Heat maps Προσθέστε υποσέλιδο 18 Πρώτη σειρά: κανονικά frames, Δεύτερη σειρά: αλλοιωμένα frames, Τρίτη σειρά: heat maps 1818 Προσθέστε υποσέλιδο 18 Προσθέστε υποσέλιδο 18 Προσθέστε υποσέλιδο 18 Προσθέστε υποσέλιδο 1818181818 Προσθέστε υποσέλιδο 181818Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

19. Contoso Ltd. Heat maps Προσθέστε υποσέλιδο 19 Πρώτη σειρά: κανονικά frames, Δεύτερη σειρά: αλλοιωμένα frames, Τρίτη σειρά: heat maps Heat maps Προσθέστε υποσέλιδο 19 Πρώτη σειρά: κανονικά frames, Δεύτερη σειρά: αλλοιωμένα frames, Τρίτη σειρά: heat maps 1919 Προσθέστε υποσέλιδο 19 Προσθέστε υποσέλιδο 19 Προσθέστε υποσέλιδο 19 Προσθέστε υποσέλιδο 1919191919 Προσθέστε υποσέλιδο 191919Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

20. Contoso Ltd. Προσθέστε υποσέλιδο 20 Heat maps Προσθέστε υποσέλιδο 20 Πρώτη σειρά: κανονικά frames, Δεύτερη σειρά: αλλοιωμένα frames, Τρίτη σειρά: heat maps Heat maps Προσθέστε υποσέλιδο 20 Πρώτη σειρά: κανονικά frames, Δεύτερη σειρά: αλλοιωμένα frames, Τρίτη σειρά: heat maps 2020 Προσθέστε υποσέλιδο 20 Προσθέστε υποσέλιδο 20 Προσθέστε υποσέλιδο 20 Προσθέστε υποσέλιδο 2020202020 Προσθέστε υποσέλιδο 202020Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

21. Contoso Ltd. 2121 Προσθέστε υποσέλιδο 21 Προσθέστε υποσέλιδο 212121 Προσθέστε υποσέλιδο 21 Προσθέστε υποσέλιδο 21 Προσθέστε υποσέλιδο 212121212121212121Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019 Συμπεράσματα και Μελλοντική εργασία

22. Contoso Ltd. Συμπεράσματα Προσθέστε υποσέλιδο 22 ○ Ψηφιακή εγκληματολογία (Forensics science). ○ Η δομή του Autoencoder προσδίδει κατάλληλη αναπαραστατική δύναμη. ○ Αναδρομικό δίκτυο για εκμετάλλευση της χρονικής συσχέτισης μεταξύ συνεχόμενων frames. ○ Anomaly detection στρατηγική. ○ Αποτελεσματικότητα παρά την χρήση μικρού αριθμού frames ως σύνολο εκπαίδευσης. ○ Ενθαρρυντικά αποτελέσματα. 2222 Προσθέστε υποσέλιδο 22 Προσθέστε υποσέλιδο 22 Προσθέστε υποσέλιδο 22 Προσθέστε υποσέλιδο 2222222222 Προσθέστε υποσέλιδο 222222Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

23. Contoso Ltd. Μελλοντικήεργασία Προσθέστε υποσέλιδο 23 ○ Μετάφραση του αλγορίθμου της στεγανάλυσης με την χρήση machine learning. ○ «Τυφλή» μέθοδος (blind method) εξέτασης των δεδομένων (μη επιτηρούμενη ανίχνευση ανωμαλιών). ○ Χρήση περισσότερων υψηπερατών φίλτρων. ○ Εξέταση γενίκευσης της μεθόδου μέσω της δημιουργίας ενός dataset με περισσότερα είδη αλλοιώσεων. Προσθέστε υποσέλιδο 232323 Προσθέστε υποσέλιδο 23 Προσθέστε υποσέλιδο 23 Προσθέστε υποσέλιδο 23 Προσθέστε υποσέλιδο 2323232323 Προσθέστε υποσέλιδο 232323Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

24. Contoso Ltd. Ευχαριστώθερμάτους: Κ. Συμεωνίδη Ανδρέα Κ. Μεζάρη Βασίλειο 24 Προσθέστε υποσέλιδο 24 Προσθέστε υποσέλιδο 242424 Προσθέστε υποσέλιδο 24 Προσθέστε υποσέλιδο 24 Προσθέστε υποσέλιδο 24 Προσθέστε υποσέλιδο 2424242424 Προσθέστε υποσέλιδο 242424Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

25. Contoso Ltd. Ερωτήσεις; ; Προσθέστε υποσέλιδο 25 Προσθέστε υποσέλιδο 25 Προσθέστε υποσέλιδο 252525 Προσθέστε υποσέλιδο 25 Προσθέστε υποσέλιδο 25 Προσθέστε υποσέλιδο 25 Προσθέστε υποσέλιδο 2525252525 Προσθέστε υποσέλιδο 252525Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και Αναδρομικού ΔικτύουΟκτώβριος 2019

Despoin Touska Diploma Thesis Presentation

Despoin Touska Diploma Thesis Presentation

Recommended

More Related Content

More from ISSEL

More from ISSEL(20)

Despoin Touska Diploma Thesis Presentation