Your SlideShare is downloading. ×
Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

64
views

Published on

Η ομιλία περιλαμβάνει εφαρμογές τεχνικών αναγνώρισης προτύπων και μηχανικής μάθησης σε ανάλυση πολυμέσων και κοινωνικών δικτύων. Πιο συγκεκριμένα, θα παρουσιαστούν τεχνικές και εφαρμογές κατάτμησης …

Η ομιλία περιλαμβάνει εφαρμογές τεχνικών αναγνώρισης προτύπων και μηχανικής μάθησης σε ανάλυση πολυμέσων και κοινωνικών δικτύων. Πιο συγκεκριμένα, θα παρουσιαστούν τεχνικές και εφαρμογές κατάτμησης εικόνων με χρήση Κ-Μέσων και επεκτάσεων, χρήση Support Vector Ma-chines για μάθηση εννοιών σε εικόνες καθώς και τεχνικές ανάλυσης γράφων από κοινωνικά δίκτυα. Θα παρουσιαστούν σχετικές εφαρμογές που αξιοποιούν τα αποτελέσματα της ανάλυσης, όπως αναζήτηση πολυμέσων και εφαρμογή για τουρισμό και ενημέρωση από κοινωνικά δίκτυα. Θα αναφερθούν τρέχοντα ερευνητικά προβλήματα και περιοχές.

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
64
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Τεσνικέρ Αναγνώπιζηρ Πποηύπων και Μησανικήρ Μάθηζηρ για Εθαπμογέρ Ανάλςζηρ Πολςμέζων Γηάλλεο Κνκπαηζηάξεο Δξεπλεηήο B’ Οκάδα Πνιπκέζσλ Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ, Δζληθφ Κέληξν Έξεπλαο θαη Σερλνινγηθήο Αλάπηπμεο
  • 2. Πεξηερφκελα • Δηζαγσγή • Ομαδοποίηζη κε ρξήζε Κ-κέζσλ γηα Καηάηκεζε εηθφλσλ • Καηηγοπιοποίηζη θαη Αλαγλψξηζε αληηθεηκέλσλ κε ρξήζε SVM • Επεξεπγαζία Ομιλίαρ (Σήμαηορ) + Ομαδοποίηζη γηα δηάγλσζε • Ομαδοποίηζη ζε θνηλσληθφ πεξηερφκελν κε ρξήζε γξάθσλ + Δθαξκνγέο ζε θηλεηά • ΔΚΔΣΑ - ΙΠΣΗΛ • ΢χλνςε - Πξνβιήκαηα θαη Δθαξκνγέο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 2
  • 3. Αιγφξηζκνο Κ-Μέζσλ Καηάηκεζε εηθφλσλ Αιγφξηζκνο  Δπεθηάζεηο  Δθαξκνγέο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 3
  • 4. Αιγφξηζκνο Κ-Μέζσλ • Κιαζηθφο αιγφξηζκνο κε επηβιέςηκεο (unsupervised) ομαδοποίηζηρ (clustering) • Βαζηθφο ζηφρνο ε αλαθάιπςε δομήρ (structure) ζε κε νξγαλσκέλα δεδνκέλα (unlabeled data) Dk (p) = p - p k p = ( x, y) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 4
  • 5. Αιγφξηζκνο Κ-Μέζσλ • Δθαξκνγέο ζε πάξα πνιινχο ηνκείο: ηαηξηθή, marketing, βηνινγία θηι • Π.ρ. Φ = ηηκή πίεζεο, Υ = θαξδηαθφο ξπζκφο, 3 θαηεγνξίεο αζζελψλ = ΥΓΙΕΙΣ, ΝΟΣΟΥΝΤΕΣ, ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 5
  • 6. Καηάηκεζε ζε εηθφλεο • Οη εηθφλεο απνηεινχλ (γηα ηνλ ππνινγηζηή) έλα απφ ηα πην δχζθνια πξνβιήκαηα αλαθάιπςεο δνκήο • Η καηάημηζη ζε πεπιοσέρ (segmentation) απνηειεί βαζηθφ ηκήκα ηεο επεμεξγαζίαο • Δθαξκνγέο • • • • Ιαηξηθέο εηθφλεο Ρνκπνηηθή Γνξπθνξηθέο Φπζηθέο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 6
  • 7. Παξαδείγκαηα θαηάηκεζεο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 7
  • 8. Δθαξκνγή Κ-Μέζσλ ζε επεμεξγαζία εηθφλαο • • Υψξνο δεδνκέλσλ είλαη νη θωηεινόηηηερ ηων pixels I(p) θαη φρη νη ζέζεηο ηνπο Ο αιγφξηζκνο Κ-Μέζσλ δε ιακβάλεη ππφςε ηνπ ηε ρσξηθή πιεξνθνξία Dk (p) = I(p) - Ik Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 8
  • 9. Αιγφξηζκνο Κ-Μέζσλ κε πεξηνξηζκφ ζπλεθηηθφηεηαο Component Labeling Παξάκεηξνη θαλνληθνπνίεζεο l1 l2 p - Sk Dk (p) = 2 I(p) - Ik + 2 A sI sS Ak Φωπικό κένηπο IL I L ,k 2 Ia I a ,k 2 Ib I b ,k 2 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 9
  • 10. Δηθφλεο κε Έληνλε Τθή • Νέα παξαιιαγή ηνπ αιγνξίζκνπ Κ-κέζσλ κε πεξηνξηζκφ ζπλεθηηθφηεηαο, ζπλδπάδεη ραξαθηεξηζηηθά έληαζεο, ζέζεο θαη πθήο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 10
  • 11. Τπνινγηζκφο Τθήο • Δθαξκνγή θίιηξνπ • Γηα ππνινγηζκφ πθήο: Discrete Wavelet Frames (DWF) D p,sk Jp I p I ss skk J s 2 M p S sk Mk 1 T p Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ Ts sk 11
  • 12. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • ΚΜ1 • ΚΜ2 • Πξνηεηλφκελνο αιγφξηζκνο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 12
  • 13. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • Blobworld • Πξνηεηλφκελνο αιγφξηζκνο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 13
  • 14. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • ΚΜ1 • ΚΜ2 • MRSST • Blobworld • Πξνηεηλφκελνο αιγφξηζκνο (KM1: 142.9, KM2: 6.5) 105.3 12.2 1.3 (KM1: 205.8, KM2: 15.3) 187.1 40.0 1.8 (KM1: 66.2, KM2: 39.6) 106 45.8 2.2 (KM1: 147.5, KM2: 70.9) 136.2 34.7 50.3 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 14
  • 15. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • ΚΜ1 • ΚΜ2 • MRSST • Blobworld • Πξνηεηλφκελνο αιγφξηζκνο (KM1: 85.7, KM2: 11.2) 57.5 29.5 9.9 (KM1: 71.7, KM2: 62.5) 22.6 48.5 7.8 (KM1: 44.4, KM2: 44.4) 68.8 89.3 5.7 (KM1: 61.3, KM2: 63) 86.3 55.1 60.9 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 15
  • 16. Πεηξακαηηθά απνηειέζκαηα Εςαιζθηζία ηηρ μεθόδος ζε αλλαγέρ ηων ηιμών ηων καηωθλίων • Παξάκεηξνο εθηίκεζεο αξρηθψλ ηηκψλ γ=0.4 (0.3, 0.5) • Καηψθιη η θίιηξνπ ππφ ζπλζήθε • Καηψθιηα κεγέζνπο πεξηνρήο μ, ς • Καηψθιη ζπλελψζεσλ κ • Πιήζνο L κπινθ γηα εθηίκεζε αξρηθψλ ηηκψλ • Βάξνο ραξαθηεξηζηηθψλ πθήο ι1 • Καηψθιηα ζχγθιηζεο ηξνπνπνηεκέλνπ αιγνξίζκνπ KMCC Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 16
  • 17. Οκαδνπνίεζε - ΢πκπεξάζκαηα • Άκεζε εθαξκνγή δε δίλεη πάληα ηα επηζπκεηά απνηειέζκαηα • ΢ρεδίαζε αλάινγα κε ην πξφβιεκα • Γεδνκέλα – Υψξνο ραξαθηεξηζηηθψλ • Φσηεηλφηεηα, ρξσκαηηθφο ρψξνο, πθή, θίλεζε • Πξν-επεμεξγαζία δεδνκέλσλ • Component Labeling • Φίιηξν ππφ ζπλζήθε • Καλνληθνπνηήζεηο • Τπνινγηζκφο παξακέηξσλ • ΢πλάξηεζε απφζηαζεο • Αξηζκφο θέληξσλ (αιγφξηζκνο maxmin) • Αμηνιφγεζε • ΢πγθξίζεηο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 20
  • 18. Δορυφορικά τηλεπιςκοπικά δεδομζνα MODIS από το Dataset του Γνϊραςη μετά την πυρκαγιά του 2007. Φυςικό ζγχρωμο ςφνθετο 3-2-1 (αριςτερά) και ψευδζγχρωμο 5-4-3 ςφνθετο (δεξιά). Υπολογιςμόσ δεικτϊν NDVI ςτα δορυφορικά δεδομζνα πριν (αριςτερά) και μετά (δεξιά) την πυρκαγιά του 2007
  • 19. Αποτελζςματα από την εφαρμογή αλγορίθμων κατάτμηςησ (αριςτερά) με χρήςη προςαρμοςμζνου κατωφλίου και αποτζλεςμα τησ μορφολογικήσ επεξεργαςίασ (μορφολογικό opening με δομικό ςτοιχείο μεγζθουσ ενόσ εικονοςτοιχείου, δεξιά).
  • 20. Κατάτμηςη τηλεπιςκοπικϊν δεδομζνων TERASAR-X με τη μζθοδο των επιπεδοςυνόλων για την ανίχνευςη του υδρογραφικοφ δικτφου (Συνεργαςία με ΕΜΠ, η ανάπτυξη αλγορίθμων κατάτμηςησ ζγινε από το EΜΠ, εργαςτήριο τηλεπιςκόπιςησ, ςτα πλαίςια του ζργου ΓΝΩΡΑ΢Η, www.gnorasi.gr)
  • 21. Support Vector Machines - SVMs Καηεγνξηνπνίεζε - Αλαγλψξηζε αληηθεηκέλσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 24
  • 22. Καηάηκεζε αλαγλψξηζε αληηθεηκέλσλ (object recognition – assign labels) Αξρηθή εηθφλα Απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 25
  • 23. Classification – Καηεγνξηνπνίεζε (Καηάηαμε – Σαμηλφκεζε) • Καηεγνξηνπνίεζε ησλ δεδνκέλσλ καο ζε θαηεγνξίεο (classes) • Αλαπαξάζηαζε δεδνκέλσλ δηαλχζκαηα ραξαθηεξηζηηθψλ (κεηαζρεκαηηζκφο) • ΢πλήζσο επηβιεπφκελε (supervised) δηαδηθαζία • • • • Γλσζηέο θιάζεηο Παξαδείγκαηα κε γλσζηέο θιάζεηο πνπ ρξεζηκνπνηνχληαη ζηε δηαδηθαζία εθκάζεζεο (learning – training set) Δθαξκνγή ζε δεδνκέλα κε άγλσζηεο θιάζεηο (testing) Γηαδηθαζία κεραληθήο κάζεζεο (machine learning) • Δθαξκνγέο • • • • Μεραληθή φξαζε Αλαγλψξηζε θσλήο Βηνινγία Μεραλέο αλαδήηεζεο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 26
  • 24. Μεραλέο Γηαλπζκάησλ ΢ηήξημεο (Support Vector Machines - SVMs) • Δπξέσο δηαδεδνκέλε κέζνδνο επηβιεπνκέλεο (supervised) κεραληθήο εθκάζεζεο (machine learning) γηα θαηεγνξηνπνίεζε (classification): • Υεηξίδεηαη απνηειεζκαηηθά πξνβιήκαηα πνιχ κεγάιεο δηάζηαζεο (high-dimensionality problems) • Απμεκέλε δπλαηφηεηα γελίθεπζεο (generalization ability) • Απνηειεζκαηηθή αλίρλεπζε θαη κνληεινπνίεζε ζχλζεησλ ζρέζεσλ θαη ζπζρεηίζεσλ κεηαμχ ησλ δεδνκέλσλ • ΢ηε βαζηθή ηνπ έθδνζε είλαη δπαδηθφο ηαμηλνκεηήο (Binary classifier) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 27
  • 25. Γηάλπζκα ζηήξημεο Πεξηγξαθή SVM F ( x) Γηαρσξηζηηθφ ππεξ-επίπεδν Απφζηαζε πξνηχπσλ απφ ην ππεξ-επίπεδν • Πξνζδηνξηζκφο ζην ρψξν δηαρσξηζηηθνχ ππεξ-επηπέδνπ (separating hyperplane), πνπ κεγηζηνπνηεί ηελ ειάρηζηε απφζηαζή ηνπ απφ ηα 2 ππφ εμέηαζε πξφηππα • Σα δείγκαηα ησλ πξνηχπσλ πνπ βξίζθνληαη θνληχηεξα ζην δηαρσξηζηηθφ ππεξεπίπεδν απνηεινχλ ηα δηαλχζκαηα ζηήξημεο (support vectors) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 28
  • 26. Video Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 29
  • 27. Πξν-επεμεξγαζία εηθφλαο • Καηάηκεζε ή θαη εθαξκνγή ζε νιφθιεξε ηελ εηθφλα • Δμαγσγή νπηηθψλ πεξηγξαθέσλ – δηάλπζκα ραξαθηεξηζηηθψλ • Κιηκαθνχκελν ρξψκα (Scalable Color) • Ιζηφγξακκα αθκψλ θσηεηλφηεηαο (Luminance Edge Histogram) • Πεξηγξαθέαο ζρήκαηνο πεξηνρήο (Region-Based Shape) • Οκνγελήο πθή (Homogenous Texture) • Local Features (SIFT) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 33
  • 28. SIFT Local Features Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 34
  • 29. Αλαγλψξηζε αληηθεηκέλσλ κε SVMs • Αληηθείκελα ελδηαθέξνληνο: • Οπξαλφο, βιάζηεζε, βξάρηα, έδαθνο, θηίξην, λεξφ • Δθπαίδεπζε ελφο SVM γηα θάζε θαηεγνξία αληηθεηκέλσλ • Υξήζε ραξαθηεξηζηηθνχ δηαλχζκαηνο πεξηνρήο • Κάζε SVM ππνινγίδεη κία εθ ησλ πζηέξσλ πηζαλφηεηα γηα ηελ πνζνηηθή πεξηγξαθή ηεο ζπζρέηηζε πεξηνρήοαληηθεηκέλνπ 1 p= 1+e-m×dist • Κάζε πεξηνρή αμηνινγείηαη απφ φια ηα εθπαηδεπκέλα SVMs • Υξήζε πνιπσλπκηθήο ζπλάξηεζεο ππξήλα • Γηάζηαζε αξρηθνχ δεηγκαηηθνχ ρψξνπ: 433 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 35
  • 30. Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ ΢χλνιν ππνζέζεσλ πεξηνρήο Οπξαλφο: 0.11 Νεξφ: 0.09 Κηίπιο: 0.89 Βξάρηα: 0.51 Έδαθνο: 0.31 Βιάζηεζε: 0.35 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 36
  • 31. Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ (ζπλέρεηα) Αξρηθή εηθφλα Απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 37
  • 32. http://mklab-services.iti.gr/trec2010/index.php?login=true Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 39
  • 33. Forensic Image Retrieval for Nudity Detection • Police needs to search in unknown hard-drives to identify suspicious digital content • Workflow to satisfy the requirements Folder scanning and Image/video identification Automatic indexing and feature/metadata extraction Search Engine, Results presentation and Report generation
  • 34. Indexing and Search Image Dataset Query by visual example •MPEG-7 descriptors •R-tree structure for indexing Visual Feature extraction •MPEG-7 color & texture descriptors •Dense SIFT GRAY & Dense SIFT RGB Nudity Concept detection based on SVM classification New Image Nudity detection model Probability of Nudity Search Engine with results and reports Visual Features (MPEG-7, SIFT) Support Vector Machines Training Image Dataset
  • 35. Δπεμεξγαζία Φσλήο γηα Καηεγνξηνπνίεζε – Γηάγλσζε Ήπησλ Μνξθψλ Άλνηαο ΢πλεξγαζία κε IBM Israel ζηα πιαίζηα ηνπ έξγνπ Dem@Care http://www.demcare.eu/ http://youtu.be/mGACsdCx6Qc Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 42
  • 36. Dem@Care Project Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 43
  • 37. Diadohokinetic (DDK) Test DDK tests are used by speech-language pathologists for assessment of motor speech impairments, e.g. dysarthria Quick and accurate production of rapid, alternating sound tokens involving different parts of mouse, e.g. “puh-tuk-kuh—puh-tuh-kuh— …” Usually measurements are done manually and include the DDK rate statistics Our hypothesis and research direction: The DDK test may challenge both motor and cognitive control over speech production Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances We can develop a regularity measure of the DDK performance Is the DDK regularity useful in distinguishing between Control/MCI/AD groups? Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 44
  • 38. Towards DDK Regularity Measure: Waveform Envelope Waveform  Instantaneous energy contour KUH KUH 0.8 TUH 0.6 TUH PUH PUH 0.4 0.2 0 -0.2 -0.4 1.1 1.2 Token #n 1.3 1.4 1.5 1.6 1.7 1.8 Token #n+1 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 45
  • 39. Towards DDK Regularity Measure: Energy Modulation Spectrum Long-term Fourier Transform of the Envelope 8 x 10 10 Energy Modulation Spectrum. K=31.8644 7 6 Harmonic structure indicates long-term periodicity of the waveform envelope 5 4 3 2 1 0 0 5 10 15 20 Modulation frequency, Hz 25 30 F0=1.8 Hz, i.e. 1.8 tokens per second on average Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 46
  • 40. DDK Regularity Analysis Examples Good performance 8 x 10 10 Poor performance Energy Modulation Spectrum. K=31.8644 4 7 2.5 4 2 3 1.5 2 1 1 Energy Modulation Spectrum. K=10.7455 3 5 11 3.5 6 x 10 0.5 0 0 5 10 15 20 Modulation frequency, Hz 25 30 0 0 5 10 15 20 Modulation frequency, Hz 25 30 F0 utility func. Max=0.012036 K=2.3936 F0 utility func. Max=0.042138 K=9.8176 0.014 0.045 0.012 0.04 0.035 0.01 0.03 0.008 0.025 0.006 0.02 0.015 0.004 0.01 0.002 0.005 0 0 1 1.5 2 Modulation F0, Hz 2.5 3 1 1.5 2 Modulation F0, Hz Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 2.5 3 48
  • 41. DDK Regularity Mapping for all the Participants DDK Regularity of Group Participants 0.045 0.04 Statistically significant inter-group differences with T-test pvalues: DDK Regularity 0.035 Control vs. MCI p<0.05% MCI 0.025 p<1.45% Control vs. AD 0.03 p<1.65% vs. AD 0.02 0.015 Control MCI AD 0.01 Participants Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 49
  • 42. Οκαδνπνίεζε ζε Κνηλσληθά Γίθηπα Θεσξία Γξάθσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 50
  • 43. Γξαθήκαηα • Γνκέο πνπ κνληεινπνηνχλ ζρέζεηο θαη δηαζπλδέζεηο (connections) nodes G = (V, E) edges Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 51
  • 44. Vertex & edges indicate degrees • Degree of a graph vertex v: the number of graph edges which touch v. • Indegree of a graph vertex v: the number of inward directed graph edges from a given graph vertex in a directed graph • Outdegree of a graph vertex v: The number of outward directed graph edges from a given graph vertex in a directed graph. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ undirected directed 52
  • 45. Degrees & adjancencies Adjacency matrix on an undirected graph : A(i,j), i,j <= n v1 v2 v3 v5 v4 degree of a vertex v (number of edges incident upon it): kv A(v, w) w Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 53
  • 46. Μεξηθά παξαδείγκαηα Webpage www.x.com href=“www.y.com” href = “www.z.com” x y a z b Webpage www.y.com href=“www.x.com” href = “www.a.com” href = “www.b.com” Webpage www.z.com href=“www.a.com” Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 54
  • 47. Μεξηθά παξαδείγκαηα Κόμβοι – Πξσηεΐλεο Ακμέρ – Αιιειεπηδξάζεηο ΢εκαληηθφ ξφιν παίδεη ν ηξφπνο παξνπζίαζεο (visualization) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 55
  • 48. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 56
  • 49. blogosphere as a graph technical - gadgets nodes = blogs edges = hyperlinks society - poli cs h p://datamining.typepad.com/gallery/blog-map-gallery.html Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 9 57
  • 50. social web as a graph announcement of Mubarak’s resigna on nodes = twi er users edges = retweets on #jan25 hashtag h p://gephi.org/2011/the-egyp an-revolu on-on-twi er/ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 10 58
  • 51. Αλάιπζε Γξάθσλ • ΢ε πνιιέο εθαξκνγέο ηα γξαθήκαηα εκθαλίδνπλ ζπγθεθξηκέλεο δνκέο • ΢χλνια θφκβσλ πνπ εκθαλίδνπλ πην έληνλεο ζπζρεηίζεηο ζε ζρέζε κε ηνπο γεηηνληθνχο ηνπο • Graph clustering • Ρφινο ζπγθεθξηκέλσλ θφκβσλ ζην γξάθν intra-community edge inter-community edge Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 59
  • 52. Αλάιπζε Τπν – Γξάθσλ / Τπν - Γνκψλ (subgraphs) k=3 (triangle) k=4 k=5 • k-clique Each node is connected to all k-1 nodes • N-clique N=2 (star) N is the length of the path allowed to all other members 2-core • k-core all vertices have degree at least k 4-core 3-core Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 1-core 0-core 31 62
  • 53. Αλάιπζε Γξάθσλ (1/2) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 63
  • 54. Ανάλυση Γράφων (2/2) • 1st step: (μ, ε) – core detection • 2nd step: Local expansion • 3rd step: Characterization of remaining vertices as hubs or outliers Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 64
  • 55. Eθαξκνγέο ζε Πεξηερφκελν απφ Κνηλσληθά Γίθηπα ClustTour, ThessFest, IMC http://www.clusttour.gr http://thessfest.socialsensor.eu/app/ http://mklab.iti.gr/imc Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 65
  • 56. Photo sharing social networks and applications 5,000,000,000 εικόνεσ (΢επ. 2010) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 66
  • 57. Challenges in Social Media network mining No prior assumptions about structure: Complex & evolving structure No possibility for knowing structural features (e.g. number of clusters on a graph) in advance  Unsupervised Scale Tens of millions of active users frequently contributing loads of content links + metadata (tags, comments, ratings)  Efficient - scalable Quality Spam is very common. Only a portion of user contributions is worth further analysis.  Noise resilient Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 67
  • 58. Hybrid photo Clustering Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 68 68
  • 59. landmark Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ event 69
  • 60. Photo clustering results Geographic localization of results was also found to be very high. Most clusters correspond to landmarks or events. baptism EVENTS LANDMARKS conference castels Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 70 70
  • 61. Sample results: [Visual] vs. [Tag] vs. [Visual + Tag] VISUAL HYBRID TAG Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 71 71
  • 62. clusttour.gr application PHOTOS & METADATA tags: sagrada familia, cathedral, barcelona SPATIAL CLUSTERING + TEMPORAL ANALYSIS taken: 12 May 2009 lat: 41.4036, lon: 2.1743 CLASSIFICATION TO LANDMARKS/EVENTS COMMUNITY DETECTION VISUAL TAG HYBRID S. Papadopoulos, C. Zigkolis, Y. Kompatsiaris, A. Vakali. “Cluster-based Landmark and Event Detection on Tagged Photo Collections”. In IEEE Multimedia Magazine 18(1), pp. 52-63, 2011 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 72
  • 63. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 73
  • 64. Διαθέςιμο ςτο AppStore http://clusttour.gr/itunes Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 74
  • 65. Η Θεςςαλονίκη μέςα από το ClustTour “Everything is automatic and when we say everything we mean everything” Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 75
  • 66. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 77
  • 67. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 78
  • 68. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 79
  • 69. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 80
  • 70. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 81
  • 71. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 82
  • 72. ΢πκπεξάζκαηα – Πεξηνρέο Πξνβιήκαηα • Αλαγλψξηζε πξνηχπσλ • Δπξεία ρξήζε ηερληθψλ αλαγλψξηζεο πξνηχπσλ ζε εθαξκνγέο αλάιπζεο πνιπκέζσλ θαη θνηλσληθψλ δηθηχσλ • Απαηηνχληαη εμεηδηθεπκέλεο ιχζεηο θαη ζπλδπαζκφο ηερληθψλ • Η απηφκαηε επεμεξγαζία είλαη απαηηεηηθφ πξφβιεκα • Πξνβιήκαηα - Δθαξκνγέο • Μεγάινο φγθνο δεδνκέλσλ – Big Data - Social Media Data Mining – real–time – scalability • Semantic Gap – Visual Similarity • eHealth – Personalized Health • Security – Forensics Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 83
  • 73. Improve My City App for Citizens Reporting Issues in Municipalities – Regions Currently used by Thermi Municipality, Thessaloniki, Greece http://mklab.iti.gr/imc/
  • 74. Why do we need an app for that? • Municipalities and Regions cover large areas – Issues collection, prioritization and addressing is time consuming and costly – Regional authorities want to listen (or at least show they are listening) what their citizens are saying • Citizens want to participate – Social Networks create new culture and technical possibilities – They are interested in their everyday problems (especially if they receive timely feedback) • Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
  • 75. Features at a Glance • Login – authentication – Synchronization with web version • Map and list-based view of issues – Close to current location • Customized filters per category and distance • New issue – Location + image • Issue comment and voting • Greek and English
  • 76. Report an Issue Category Title Description Image GPS Position Reverse geocoding
  • 77. Features      List View of issues with current progress Local cache (SQLite) Filter by distance from current position (km) Efficient bandwidth usage Filter by Category
  • 78. Features Full integration with web-based app, backend and database Easily customizable for other municipalities – regions – cases Authorities must provide feedback and adapt their processes Web based app and backend developed by URENIO Research Unit, Aristotle University of Thessaloniki
  • 79. Future Plans • Open source distribution (under discussion) • Augmented Reality Visualization for future and on-going projects – Library for Android, 3D objects support, OpenGL • Automatic image (and issue – topic - category) annotation using visual-based processing
  • 80. Multimedia Group http://mklab.iti.gr Information Technologies Institute http://www.iti.gr Urban and Regional Innovation Research http://www.urenio.org Aristotle University of Thessaloniki Smart City Services Municipality of Thermi - Greece https://smartcity.thermi.gov.gr/ “Google play„ search: Multimedia Group - CERTH-ITI, http://mklab.iti.gr/imc
  • 81. CERTH – www.certh.gr • ΓΓΔΣ – Τπ. Παηδείαο (1020% (2012) < 10% (2013) ζπκκεηνρή ζηνλ πξνυπνινγηζκφ) • 4 Ιλζηηηνχηα • ~500 άηνκα εξεπλεηηθφ θαη ινηπφ πξνζσπηθφ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 92
  • 82. CERTH – www.certh.gr • Eλέξγεηα, πεξηβάιινλ, πξνεγκέλα ιεηηνπξγηθά πιηθά, βηνκεραλία, πνιπκέζα, ηερλνινγίεο δηαδηθηχνπ, επηζηήκεο πγείαο, ειεθηξνληθφ εκπφξην, κεηαθνξέο, αγξνβηνηερλνινγία θαη ηξφθηκα, εθπαίδεπζε • Δθαξκνζκέλε έξεπλα θαη εθαξκνγέο • Δζληθά θαη Δπξσπατθά Δξεπλεηηθά πξνγξάκκαηα • Τπεξεζίεο, κεηαθνξά γλψζεο πξνο εηαηξείεο θαη βηνκεραλία • Καηλνηνκία, λέεο εηαηξείεο (startup, spin-off) • ΢πλεξγαζία κε πεξηζζφηεξνπο απφ 1000 εηαίξνπο απφ ηελ Διιάδα θαη ην εμσηεξηθφ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 93
  • 83. Επεςνηηική διαδικαζία Καινοηομία Καηάημηζη - Social media Mining Τοσριζμός - Αναζήηηζη Εθαρμοζμένη Έρεσνα Επεκηάζεις Εθαρμογές Επιτειρημαηικές Ιδέες Business Plan Venture Capital, Angel Funding Μεηαθορά γνώζης Υπηρεζίες Νέες Εηαιρείες Spin-off Startups Βαζική Έρεσνα Graphs K-means Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 94
  • 84. Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και Επικοινωνιών - www.iti.gr • ~ 150 άηνκα (κε εμσηεξηθνχο ζπλεξγάηεο) • 6 θχξηνη Δξεπλεηέο – Οκάδεο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 95
  • 85. Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και Επικοινωνιών - www.iti.gr Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 96
  • 86. CERTH-ITI Multimedia Group • Personnel • 25 people (researchers, developers, administration) • Participation in European and national research projects: • • FP7: SocialSensor (coordination), Dem@Care (coordination), WeKnowIt (coordination), Pescado, JUMAS, CHORUS+, etc FP6: AceMedia, X-Media, MESH, BOEMIE, VIDI-Video, K-Space, PATExpert, ELU, etc. • Contracts with Industry (Motorola US) • Local collaborations (Thessaloniki Film Festival, Thermi Municipality, Alzheimer Society, Police, TEDx) • 55 Journal publications, 170+ conference publications, 30 book chapters, 7 patents (2012) • Numerous events: SSMS212, EVENT2010, ACM CIVR09, WWW09 tutorial, WIAMIS 2007, etc. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 97
  • 87. How Tim Berners Lee told me in front of thousand people: “Go geek and do it” “You know it! Think of a world that you want. Just imagine it! Data - Users • What would be the distribution? Demos - Apps • what would be the user interface? • What would be the processes? • What third parties would be involved. Programming Implementation Forums – Social Networks - Teamwork Go out and build it! Talk to the people here. Install an apache server and just go geek and make it happen!” Libraries – Frameworks http://www.rene-pickhardt.de/how-tim-berners-lee-told-me-in-front-of-thousand-people-%E2%80%9Cgo-geekand-do-it%E2%80%9D/ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 98
  • 88. Δπραξηζηψ! Οκάδα Πνιπκέζσλ, http://mklab.iti.gr Γηάλλεο Κνκπαηζηάξεο, ikom@iti.gr Γξ. Βαζίιεο Μεδάξεο, Δξεπλεηήο Γ’, Καηάηκεζε Πνιπκέζσλ bmezaris@iti.gr Γξ. ΢πκεψλ Παπαδφπνπινο, Γξάθνη - Αλάιπζε Κνηλσληθψλ Γηθηχσλ papadop@iti.gr Γξ. Γεκήηξηνο Βεξβεξίδεο, Δθαξκνγή IMC, ververid@iti.gr Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 99