Despoin Touska Diploma Thesis Presentation

Ανίχνευση Αλλοιώσεων σε Βίντεο με
την χρήση Autoencoder και
Αναδρομικού Δικτύου
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Πολυτεχνική Σχολή
Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών
Εκπόνηση:
Τούσκα Δέσποινα
ΑΕΜ: 8250
Επιβλέποντες:
Αν. Καθ. Ανδρέας Συμεωνίδης
Ερευν. Μεζάρης Βασίλειος
Θεσσαλονίκη, Οκτώβριος 2019

Contoso Ltd.
Δομήπαρουσίασης
Σκοπός της
διπλωματικής
Γνώσεις που
αποκτήθηκαν
Μεθοδολογία Αποτελέσματα Συμπεράσματα &
Μελλοντική
εργασία
2Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και
Αναδρομικού ΔικτύουΟκτώβριος 2019

Contoso Ltd.
Σκοπόςτηςδιπλωματικής
Δημιουργία ενός μοντέλου με τα εξής χαρακτηριστικά:
Ευρωστία
• Συλλογή γενικευμένων
χαρακτηριστικών από το
σύνολο των δεδομένων.
• Αποφυγή εστίασης σε
συγκεκριμένες ενδείξεις
αλλοίωσης.
Πλήρης αξιοποίηση
πληροφορίας
Αρχιτεκτονική δικτύου
ικανή να συγκρατήσει
πλήθος πληροφοριών από
το σύνολο των δεδομένων.
Έγκαιρη
ολοκλήρωση
Δημιουργία μιας χρονικά
βέλτιστης λύσης που
ανταποκρίνεται στα
πρόβληματα του
πραγματικού κόσμου.

Contoso Ltd.
Γνώσειςπουαποκτήθηκαν
Προγραμματισμός
• Γλώσσες
προγραμματισμού:
Python, C++
• Multi-threading
τεχνικές
Deep learning
framework
Pytorch
Ψηφιακή
επεξεργασία
εικόνας
Εφαρμογή φίλτρων,
κβάντιση εικόνας, co-
occurrences πίνακες, κ.ά.
Προσθέστε υποσέλιδο

Contoso Ltd.
Μεθοδολογία
αντιμε
5
Μεθοδολογία
555
Ανίχνευση Αλλοιώσεων σε Βίντεο με την χρήση Autoencoder και

Contoso Ltd.
Ανάπτυξημεθοδολογίας
1. Προεργασία
• Επικαλυπτόμενα blocks
των 128x128 με οριζόντιο
και κατακόρυφο stride 8,
πάνω στο frame.
• Στεγανάλυση για κάθε
block.
• Απόκτηση ενός συνόλου
feature vectors για όλα τα
frame του βίντεο.
2. Νευρωνικό δίκτυο
• Anomaly detection.
• Autoencoder.
• Αναδρομικό επίπεδο.
• Back propagation through
time.
• Συνάρτηση κόστους ως
δείκτης αλλοίωσης ενός
block.
3. Αξιολόγηση
αποτελεσμάτων
• Heat maps.
• Pixel level roc curves.

Contoso Ltd.
Στεγανάλυση
7
○ Μετατροπή εικόνας 𝑓 σε gray scale μορφή.
○ Εφαρμογή ενός γραμμικού υψηπερατού φίλτρου: 𝑟𝑖,𝑗 = 𝑓𝑖,𝑗−1 − 3𝑓𝑖,𝑗 + 3 𝑓𝑖,𝑗+1 − 𝑓𝑖,𝑗+2
○ Κβάντιση με q = 1 και αποκοπή ακραίων τιμών (truncation) με T = 2.
○ Υπολογισμός του co-occurrence πίνακα για μια 4-άδα γειτονικών pixel:
○ Αξιοποιώντας της συμμετρίες ο co-occurrence πίνακας έχει συνολικά 338 στοιχεία.
○ Κανονικοποίηση με μηδενικό μέσο όρο και μοναδιαίο μέτρο.
C 𝑘0, 𝑘1, 𝑘2, 𝑘3 =
1
𝑁 𝑖,𝑗 𝐼(𝑟𝑖,𝑗 = 𝑘0, 𝑟𝑖,𝑗+1 = 𝑘1, 𝑟𝑖,𝑗+2 = 𝑘2, 𝑟𝑖,𝑗+3 = 𝑘3)

Contoso Ltd.
8
Αρχιτεκτονικήδικτύου
8
Εκπαίδευση:
○ Εφαρμογή της διαδικασίας στο κάθε υπό διερεύνηση βίντεο.
○ Παραδοχή: ένας μικρός αριθμός από frames θεωρούνται μη αλλοιωμένα.
○ Επιλογή από την χρήστη του συνόλου εκπαίδευσης.

Contoso Ltd.
9
Διαγραμματικήμορφήμεθόδου
9

Contoso Ltd.
Αποτελέσματα
10
10
10

Contoso Ltd.
Dataset
11
○ Περιλαμβάνει 10 βίντεο.
○ Αντίστοιχα βίντεο μάσκες (ground truth).
○ Frame διάστασης 720x1280 pixels.
○ Κάθε βίντεο περιέχει αλλοίωση σε κάποια frames του.
○ Μέθοδος επεξεργασίας είναι το splicing.
1111

Contoso Ltd.
Πειράματα
12
○ Εκπαίδευση δικτύου και εξαγωγή αποτελεσμάτων για κάθε βίντεο ξεχωριστά.
○ Σετ εκπαίδευσης περιέχει 50 συνεχόμενα frames, χωρίς επεξεργασία.
○ Απαιτούμενες εποχές ανά εκπαίδευση 100 με 150.
○ Αλγόριθμος βελτιστοποίησης Adam.
○ Learning rate ίσο με 0,005.
○ Batch size 8.
12121212

Contoso Ltd.
Pixel level roc curveτου dataset
13
○ Υπολογισμός της καμπύλης roc του κάθε βίντεο από
200 heat maps / βίντεο και των αντίστοιχων μασκών
(ground truth).
○ Συνολική roc curve του dataset, ο μέσος όρος των roc
καμπυλών του κάθε βίντεο.
○ Μπλε γραμμή: μέσος όρος των roc curves.
○ Γκρίζα περιοχή: roc curves του κάθε βίντεο.
1313131313

Contoso Ltd.
Χρόνοιεκτέλεσης
Προεργασία Εκπαίδευση Εξαγωγή scores
7,62 secs / frame 62 secs / epoch 7 secs / video
14
Σενάριο 1:
○ Βίντεο με 350 frames, frame rate 25 fps και διάρκεια
14 sec.
○ Χρόνος προεργασίας 44,45 min.
Σενάριο 2:
○ Βίντεο με 1500 frames, 25 fps και διάρκεια 1 min.
○ Χρόνος προεργασίας 3,175 ώρες.
Συμπέρασμα: χρονοβόρα προεργασία για βίντεο
μεγάλης διάρκειας.
14
1414141414

Contoso Ltd.
Χρονικήβελτιστοποίηση
Time per frame Total time for
dataset
Python 7,62 secs 77,32 hours
C++ 0,89 secs 51,3 mins
C++ με pthreads 0,43 secs 24,8 mins
15
○ Βελτίωση χρόνου με μετατροπή σε C++.
○ Επιπλέον βελτίωση με multi threading τεχνικές.
○ Σύνολο frames στο dataset 3459.
○ Multi threading με 4 διαθέσιμα threads.
15
15
1515151515

Contoso Ltd.
Συνολικοίχρόνοιπροεργασίας
Python C++ C++ με pthreads
13,1 hours 68,67 mins 42,26 mins
16
○ Χρόνοι προεργασίας με αποθήκευση σε αρχεία.
○ Σύνολο frames στο dataset 3459.
○ Σημαντική βελτίωση με C++ και pthreads.
○ 18.5 φορές γρηγορότερη C++ με pthreads έναντι της
Python.
16
16
16
1616161616

Contoso Ltd.
17
Pixel level roc curve
Επιβεβαίωση λειτουργίας της μεθόδου και μετά την χρονική βελτιστοποίηση.
17
17
17
17
1717171717

Contoso Ltd.
Heat maps
18
Πρώτη σειρά: κανονικά frames, Δεύτερη σειρά: αλλοιωμένα frames, Τρίτη σειρά: heat maps
1818
18
18
18
1818181818

Contoso Ltd.
Heat maps
19
Heat maps
19
1919
19
19
19
1919191919

Contoso Ltd.
20
Heat maps
20
Heat maps
20
2020
20
20
20
2020202020

Contoso Ltd.
2121
21
212121
21
21
Συμπεράσματα και
Μελλοντική εργασία

Contoso Ltd.
Συμπεράσματα
22
○ Ψηφιακή εγκληματολογία (Forensics science).
○ Η δομή του Autoencoder προσδίδει κατάλληλη αναπαραστατική δύναμη.
○ Αναδρομικό δίκτυο για εκμετάλλευση της χρονικής συσχέτισης μεταξύ συνεχόμενων frames.
○ Anomaly detection στρατηγική.
○ Αποτελεσματικότητα παρά την χρήση μικρού αριθμού frames ως σύνολο εκπαίδευσης.
○ Ενθαρρυντικά αποτελέσματα.
2222
22
22
22
2222222222

Contoso Ltd.
Μελλοντικήεργασία
23
○ Μετάφραση του αλγορίθμου της στεγανάλυσης με την χρήση machine learning.
○ «Τυφλή» μέθοδος (blind method) εξέτασης των δεδομένων (μη επιτηρούμενη ανίχνευση ανωμαλιών).
○ Χρήση περισσότερων υψηπερατών φίλτρων.
○ Εξέταση γενίκευσης της μεθόδου μέσω της δημιουργίας ενός dataset με περισσότερα είδη αλλοιώσεων.
232323
23
23
23
2323232323

Contoso Ltd.
Ευχαριστώθερμάτους:
Κ. Συμεωνίδη Ανδρέα
Κ. Μεζάρη Βασίλειο
24
24
242424
24
24
24
2424242424

Contoso Ltd.
Ερωτήσεις;
;
25
25
252525
25
25
25
2525252525

Despoin Touska Diploma Thesis Presentation

Recommended

Recommended

More Related Content

More from ISSEL

More from ISSEL (20)

Despoin Touska Diploma Thesis Presentation