Τεσνικέρ Αναγνώπιζηρ Πποηύπων και Μησανικήρ
Μάθηζηρ για Εθαπμογέρ Ανάλςζηρ Πολςμέζων

Γηάλλεο Κνκπαηζηάξεο
Δξεπλεηήο B’
Οκ...
Πεξηερφκελα
• Δηζαγσγή
• Ομαδοποίηζη κε ρξήζε Κ-κέζσλ γηα Καηάηκεζε εηθφλσλ
• Καηηγοπιοποίηζη θαη Αλαγλψξηζε αληηθεηκέλσλ ...
Αιγφξηζκνο Κ-Μέζσλ
Καηάηκεζε εηθφλσλ

Αιγφξηζκνο  Δπεθηάζεηο  Δθαξκνγέο

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ ...
Αιγφξηζκνο Κ-Μέζσλ
•

Κιαζηθφο αιγφξηζκνο κε επηβιέςηκεο
(unsupervised) ομαδοποίηζηρ (clustering)

•

Βαζηθφο ζηφρνο ε αλα...
Αιγφξηζκνο Κ-Μέζσλ
•

Δθαξκνγέο ζε πάξα πνιινχο ηνκείο: ηαηξηθή, marketing, βηνινγία θηι

•

Π.ρ. Φ = ηηκή πίεζεο, Υ = θαξ...
Καηάηκεζε ζε εηθφλεο
•

Οη εηθφλεο απνηεινχλ
(γηα ηνλ ππνινγηζηή)
έλα απφ ηα πην
δχζθνια
πξνβιήκαηα
αλαθάιπςεο δνκήο

•

Η...
Παξαδείγκαηα θαηάηκεζεο

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

7
Δθαξκνγή Κ-Μέζσλ ζε επεμεξγαζία εηθφλαο

•
•

Υψξνο δεδνκέλσλ είλαη νη θωηεινόηηηερ ηων pixels I(p) θαη φρη νη
ζέζεηο ηνπο...
Αιγφξηζκνο Κ-Μέζσλ κε πεξηνξηζκφ
ζπλεθηηθφηεηαο
Component
Labeling
Παξάκεηξνη θαλνληθνπνίεζεο

l1
l2 p - Sk
Dk (p) = 2 I(p...
Δηθφλεο κε Έληνλε Τθή

• Νέα παξαιιαγή ηνπ αιγνξίζκνπ Κ-κέζσλ κε πεξηνξηζκφ
ζπλεθηηθφηεηαο, ζπλδπάδεη ραξαθηεξηζηηθά έληαζ...
Τπνινγηζκφο Τθήο
• Δθαξκνγή θίιηξνπ
• Γηα ππνινγηζκφ πθήο: Discrete Wavelet Frames (DWF)

D p,sk

Jp
I p

I ss skk
J s

2
...
Πεηξακαηηθά απνηειέζκαηα
΢χγθξηζε
•

ΚΜ1

•

ΚΜ2

•

Πξνηεηλφκελνο
αιγφξηζκνο

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγ...
Πεηξακαηηθά απνηειέζκαηα
΢χγθξηζε
•

Blobworld

•

Πξνηεηλφκελνο
αιγφξηζκνο

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψ...
Πεηξακαηηθά απνηειέζκαηα
΢χγθξηζε
•

ΚΜ1

•

ΚΜ2

•

MRSST

•

Blobworld

•

Πξνηεηλφκελνο
αιγφξηζκνο

(KM1: 142.9, KM2: 6...
Πεηξακαηηθά απνηειέζκαηα
΢χγθξηζε
•

ΚΜ1

•

ΚΜ2

•

MRSST

•

Blobworld

•

Πξνηεηλφκελνο
αιγφξηζκνο

(KM1: 85.7, KM2: 11...
Πεηξακαηηθά απνηειέζκαηα
Εςαιζθηζία ηηρ μεθόδος ζε αλλαγέρ
ηων ηιμών ηων καηωθλίων
• Παξάκεηξνο εθηίκεζεο αξρηθψλ
ηηκψλ γ=...
Οκαδνπνίεζε - ΢πκπεξάζκαηα
• Άκεζε εθαξκνγή δε δίλεη πάληα ηα επηζπκεηά
απνηειέζκαηα
• ΢ρεδίαζε αλάινγα κε ην πξφβιεκα
• Γ...
Δορυφορικά
τηλεπιςκοπικά
δεδομζνα MODIS από το
Dataset του Γνϊραςη
μετά την πυρκαγιά του
2007. Φυςικό ζγχρωμο
ςφνθετο 3-2-...
Αποτελζςματα από την
εφαρμογή αλγορίθμων
κατάτμηςησ (αριςτερά) με
χρήςη προςαρμοςμζνου
κατωφλίου και αποτζλεςμα
τησ μορφολ...
Κατάτμηςη τηλεπιςκοπικϊν
δεδομζνων TERASAR-X με τη μζθοδο
των επιπεδοςυνόλων για την
ανίχνευςη του υδρογραφικοφ
δικτφου
(Σ...
Support Vector Machines - SVMs
Καηεγνξηνπνίεζε - Αλαγλψξηζε
αληηθεηκέλσλ

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Π...
Καηάηκεζε αλαγλψξηζε αληηθεηκέλσλ
(object recognition – assign labels)

Αξρηθή
εηθφλα

Απνηειέζκαηα
αλαγλψξηζεο
αληηθεηκέ...
Classification – Καηεγνξηνπνίεζε
(Καηάηαμε – Σαμηλφκεζε)
• Καηεγνξηνπνίεζε ησλ δεδνκέλσλ καο ζε θαηεγνξίεο
(classes)
• Αλα...
Μεραλέο Γηαλπζκάησλ ΢ηήξημεο
(Support Vector Machines - SVMs)
• Δπξέσο δηαδεδνκέλε κέζνδνο επηβιεπνκέλεο
(supervised) κερα...
Γηάλπζκα
ζηήξημεο

Πεξηγξαθή SVM
F ( x)

Γηαρσξηζηηθφ ππεξ-επίπεδν
Απφζηαζε πξνηχπσλ
απφ ην ππεξ-επίπεδν
• Πξνζδηνξηζκφο ζ...
Video

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

29
Πξν-επεμεξγαζία εηθφλαο
• Καηάηκεζε ή θαη εθαξκνγή ζε νιφθιεξε ηελ
εηθφλα
• Δμαγσγή νπηηθψλ πεξηγξαθέσλ – δηάλπζκα
ραξαθηε...
SIFT Local Features

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

34
Αλαγλψξηζε αληηθεηκέλσλ κε SVMs
• Αληηθείκελα ελδηαθέξνληνο:
• Οπξαλφο, βιάζηεζε, βξάρηα, έδαθνο, θηίξην, λεξφ

• Δθπαίδεπ...
Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο
αληηθεηκέλσλ
΢χλνιν ππνζέζεσλ
πεξηνρήο
Οπξαλφο: 0.11
Νεξφ:
0.09
Κηίπιο:
0.89
Βξάρηα: 0...
Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο
αληηθεηκέλσλ (ζπλέρεηα)

Αξρηθή
εηθφλα

Απνηειέζκαηα
αλαγλψξηζεο
αληηθεηκέλσλ

Oκάδα Π...
http://mklab-services.iti.gr/trec2010/index.php?login=true

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θα...
Forensic Image Retrieval for Nudity Detection
• Police needs to search in unknown hard-drives to identify suspicious digit...
Indexing and Search
Image
Dataset

Query by visual example
•MPEG-7 descriptors
•R-tree structure for indexing

Visual Feat...
Δπεμεξγαζία Φσλήο γηα
Καηεγνξηνπνίεζε – Γηάγλσζε
Ήπησλ Μνξθψλ Άλνηαο
΢πλεξγαζία κε IBM Israel ζηα πιαίζηα ηνπ
έξγνπ Dem@Ca...
Dem@Care Project

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

43
Diadohokinetic (DDK) Test
DDK tests are used by speech-language pathologists for assessment of
motor speech impairments, e...
Towards DDK Regularity Measure: Waveform
Envelope
Waveform  Instantaneous energy contour
KUH

KUH

0.8

TUH
0.6

TUH

PUH...
Towards DDK Regularity Measure: Energy
Modulation Spectrum
Long-term Fourier Transform of the Envelope
8

x 10

10

Energy...
DDK Regularity Analysis Examples
Good performance
8

x 10

10

Poor performance

Energy Modulation Spectrum. K=31.8644

4
...
DDK Regularity Mapping for all the
Participants
DDK Regularity of Group Participants
0.045

0.04

Statistically significan...
Οκαδνπνίεζε ζε Κνηλσληθά Γίθηπα
Θεσξία Γξάθσλ

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψ...
Γξαθήκαηα
• Γνκέο πνπ κνληεινπνηνχλ ζρέζεηο θαη δηαζπλδέζεηο
(connections)

nodes

G = (V, E)
edges

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ...
Vertex & edges indicate degrees
• Degree of a graph vertex v: the
number of graph edges which
touch v.
• Indegree of a gra...
Degrees & adjancencies
Adjacency matrix on an undirected graph : A(i,j), i,j <= n
v1

v2
v3

v5

v4

degree of a vertex v
...
Μεξηθά παξαδείγκαηα
Webpage www.x.com
href=“www.y.com”
href = “www.z.com”

x
y

a

z

b

Webpage www.y.com
href=“www.x.com...
Μεξηθά παξαδείγκαηα

Κόμβοι – Πξσηεΐλεο
Ακμέρ – Αιιειεπηδξάζεηο
΢εκαληηθφ ξφιν παίδεη ν
ηξφπνο παξνπζίαζεο
(visualization)...
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

56
blogosphere as a graph

technical - gadgets

nodes = blogs
edges = hyperlinks

society - poli cs

h p://datamining.typepad...
social web as a graph

announcement of Mubarak’s resigna on

nodes = twi er users
edges = retweets on #jan25 hashtag

h p:...
Αλάιπζε Γξάθσλ
• ΢ε πνιιέο εθαξκνγέο ηα γξαθήκαηα εκθαλίδνπλ
ζπγθεθξηκέλεο δνκέο
• ΢χλνια θφκβσλ πνπ εκθαλίδνπλ πην έληνλε...
Αλάιπζε Τπν – Γξάθσλ / Τπν - Γνκψλ (subgraphs)
k=3 (triangle)

k=4

k=5

• k-clique
Each node is
connected to all k-1
node...
Αλάιπζε Γξάθσλ (1/2)

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

63
Ανάλυση Γράφων (2/2)
• 1st step:
(μ, ε) – core detection
• 2nd step:
Local expansion
• 3rd step:
Characterization of
remai...
Eθαξκνγέο ζε Πεξηερφκελν απφ
Κνηλσληθά Γίθηπα
ClustTour, ThessFest, IMC
http://www.clusttour.gr
http://thessfest.socialsen...
Photo sharing social networks and applications

5,000,000,000 εικόνεσ
(΢επ. 2010)

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλ...
Challenges in Social Media network mining
No prior assumptions about structure:
Complex & evolving structure
No possibilit...
Hybrid photo Clustering

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

68

68
landmark
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

event

69
Photo clustering results
Geographic localization of results was also found to be very high.
Most clusters correspond to la...
Sample results:
[Visual] vs. [Tag] vs. [Visual + Tag]
VISUAL
HYBRID

TAG

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Π...
clusttour.gr application
PHOTOS & METADATA
tags: sagrada familia,
cathedral, barcelona

SPATIAL CLUSTERING + TEMPORAL ANAL...
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

73
Διαθέςιμο ςτο AppStore
http://clusttour.gr/itunes

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλ...
Η Θεςςαλονίκη μέςα από το ClustTour
“Everything is automatic and when we say everything we mean everything”

Oκάδα Πνιπκέζ...
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

77
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

78
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

79
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

80
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

81
Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ

82
΢πκπεξάζκαηα – Πεξηνρέο Πξνβιήκαηα
• Αλαγλψξηζε πξνηχπσλ
• Δπξεία ρξήζε ηερληθψλ αλαγλψξηζεο πξνηχπσλ ζε
εθαξκνγέο αλάιπζε...
Improve My City
App for Citizens Reporting Issues in Municipalities – Regions
Currently used by Thermi Municipality, Thess...
Why do we need an app for that?
• Municipalities and Regions cover large areas
– Issues collection, prioritization and add...
Features at a Glance
• Login – authentication
– Synchronization with web
version

• Map and list-based view of
issues
– Cl...
Report an
Issue
Category
Title
Description
Image
GPS Position
Reverse
geocoding
Features










List View of
issues with
current progress
Local cache
(SQLite)
Filter by distance
from current
pos...
Features
Full integration
with web-based
app, backend and
database
Easily customizable
for other
municipalities –
regions ...
Future Plans
• Open source distribution (under discussion)
• Augmented Reality Visualization for future and on-going
proje...
Multimedia Group
http://mklab.iti.gr
Information Technologies Institute
http://www.iti.gr

Urban and Regional Innovation R...
CERTH – www.certh.gr
•

ΓΓΔΣ – Τπ.
Παηδείαο (1020% (2012) <
10% (2013)
ζπκκεηνρή ζηνλ
πξνυπνινγηζκφ)

•

4 Ιλζηηηνχηα

•

...
CERTH – www.certh.gr
•

Eλέξγεηα, πεξηβάιινλ, πξνεγκέλα ιεηηνπξγηθά πιηθά,
βηνκεραλία, πνιπκέζα, ηερλνινγίεο δηαδηθηχνπ,
ε...
Επεςνηηική διαδικαζία Καινοηομία
Καηάημηζη - Social
media Mining Τοσριζμός - Αναζήηηζη

Εθαρμοζμένη
Έρεσνα
Επεκηάζεις
Εθαρ...
Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και
Επικοινωνιών - www.iti.gr
•

~ 150 άηνκα (κε εμσηεξηθνχο ζπλεξγάηεο)

•

6 θχξηνη ...
Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και
Επικοινωνιών - www.iti.gr

Oκάδα Πνιπκέζσλ
ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξ...
CERTH-ITI Multimedia Group
• Personnel
•

25 people (researchers, developers, administration)

• Participation in European...
How Tim Berners Lee told me in front of
thousand people: “Go geek and do it”
“You know it! Think of a world that you want....
Δπραξηζηψ!
Οκάδα Πνιπκέζσλ, http://mklab.iti.gr
Γηάλλεο Κνκπαηζηάξεο, ikom@iti.gr
Γξ. Βαζίιεο Μεδάξεο, Δξεπλεηήο Γ’, Καηάη...
Upcoming SlideShare
Loading in …5
×

Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

246 views

Published on

Η ομιλία περιλαμβάνει εφαρμογές τεχνικών αναγνώρισης προτύπων και μηχανικής μάθησης σε ανάλυση πολυμέσων και κοινωνικών δικτύων. Πιο συγκεκριμένα, θα παρουσιαστούν τεχνικές και εφαρμογές κατάτμησης εικόνων με χρήση Κ-Μέσων και επεκτάσεων, χρήση Support Vector Ma-chines για μάθηση εννοιών σε εικόνες καθώς και τεχνικές ανάλυσης γράφων από κοινωνικά δίκτυα. Θα παρουσιαστούν σχετικές εφαρμογές που αξιοποιούν τα αποτελέσματα της ανάλυσης, όπως αναζήτηση πολυμέσων και εφαρμογή για τουρισμό και ενημέρωση από κοινωνικά δίκτυα. Θα αναφερθούν τρέχοντα ερευνητικά προβλήματα και περιοχές.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
246
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Τεχνικές Αναγνώρισης Προτύπων και Μηχανικής Μάθησης για Εφαρμογές Ανάλυσης Πολυμέσων

  1. 1. Τεσνικέρ Αναγνώπιζηρ Πποηύπων και Μησανικήρ Μάθηζηρ για Εθαπμογέρ Ανάλςζηρ Πολςμέζων Γηάλλεο Κνκπαηζηάξεο Δξεπλεηήο B’ Οκάδα Πνιπκέζσλ Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ, Δζληθφ Κέληξν Έξεπλαο θαη Σερλνινγηθήο Αλάπηπμεο
  2. 2. Πεξηερφκελα • Δηζαγσγή • Ομαδοποίηζη κε ρξήζε Κ-κέζσλ γηα Καηάηκεζε εηθφλσλ • Καηηγοπιοποίηζη θαη Αλαγλψξηζε αληηθεηκέλσλ κε ρξήζε SVM • Επεξεπγαζία Ομιλίαρ (Σήμαηορ) + Ομαδοποίηζη γηα δηάγλσζε • Ομαδοποίηζη ζε θνηλσληθφ πεξηερφκελν κε ρξήζε γξάθσλ + Δθαξκνγέο ζε θηλεηά • ΔΚΔΣΑ - ΙΠΣΗΛ • ΢χλνςε - Πξνβιήκαηα θαη Δθαξκνγέο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 2
  3. 3. Αιγφξηζκνο Κ-Μέζσλ Καηάηκεζε εηθφλσλ Αιγφξηζκνο  Δπεθηάζεηο  Δθαξκνγέο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 3
  4. 4. Αιγφξηζκνο Κ-Μέζσλ • Κιαζηθφο αιγφξηζκνο κε επηβιέςηκεο (unsupervised) ομαδοποίηζηρ (clustering) • Βαζηθφο ζηφρνο ε αλαθάιπςε δομήρ (structure) ζε κε νξγαλσκέλα δεδνκέλα (unlabeled data) Dk (p) = p - p k p = ( x, y) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 4
  5. 5. Αιγφξηζκνο Κ-Μέζσλ • Δθαξκνγέο ζε πάξα πνιινχο ηνκείο: ηαηξηθή, marketing, βηνινγία θηι • Π.ρ. Φ = ηηκή πίεζεο, Υ = θαξδηαθφο ξπζκφο, 3 θαηεγνξίεο αζζελψλ = ΥΓΙΕΙΣ, ΝΟΣΟΥΝΤΕΣ, ΕΠΙΠΛΕΟΝ ΕΞΕΤΑΣΗ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 5
  6. 6. Καηάηκεζε ζε εηθφλεο • Οη εηθφλεο απνηεινχλ (γηα ηνλ ππνινγηζηή) έλα απφ ηα πην δχζθνια πξνβιήκαηα αλαθάιπςεο δνκήο • Η καηάημηζη ζε πεπιοσέρ (segmentation) απνηειεί βαζηθφ ηκήκα ηεο επεμεξγαζίαο • Δθαξκνγέο • • • • Ιαηξηθέο εηθφλεο Ρνκπνηηθή Γνξπθνξηθέο Φπζηθέο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 6
  7. 7. Παξαδείγκαηα θαηάηκεζεο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 7
  8. 8. Δθαξκνγή Κ-Μέζσλ ζε επεμεξγαζία εηθφλαο • • Υψξνο δεδνκέλσλ είλαη νη θωηεινόηηηερ ηων pixels I(p) θαη φρη νη ζέζεηο ηνπο Ο αιγφξηζκνο Κ-Μέζσλ δε ιακβάλεη ππφςε ηνπ ηε ρσξηθή πιεξνθνξία Dk (p) = I(p) - Ik Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 8
  9. 9. Αιγφξηζκνο Κ-Μέζσλ κε πεξηνξηζκφ ζπλεθηηθφηεηαο Component Labeling Παξάκεηξνη θαλνληθνπνίεζεο l1 l2 p - Sk Dk (p) = 2 I(p) - Ik + 2 A sI sS Ak Φωπικό κένηπο IL I L ,k 2 Ia I a ,k 2 Ib I b ,k 2 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 9
  10. 10. Δηθφλεο κε Έληνλε Τθή • Νέα παξαιιαγή ηνπ αιγνξίζκνπ Κ-κέζσλ κε πεξηνξηζκφ ζπλεθηηθφηεηαο, ζπλδπάδεη ραξαθηεξηζηηθά έληαζεο, ζέζεο θαη πθήο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 10
  11. 11. Τπνινγηζκφο Τθήο • Δθαξκνγή θίιηξνπ • Γηα ππνινγηζκφ πθήο: Discrete Wavelet Frames (DWF) D p,sk Jp I p I ss skk J s 2 M p S sk Mk 1 T p Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ Ts sk 11
  12. 12. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • ΚΜ1 • ΚΜ2 • Πξνηεηλφκελνο αιγφξηζκνο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 12
  13. 13. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • Blobworld • Πξνηεηλφκελνο αιγφξηζκνο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 13
  14. 14. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • ΚΜ1 • ΚΜ2 • MRSST • Blobworld • Πξνηεηλφκελνο αιγφξηζκνο (KM1: 142.9, KM2: 6.5) 105.3 12.2 1.3 (KM1: 205.8, KM2: 15.3) 187.1 40.0 1.8 (KM1: 66.2, KM2: 39.6) 106 45.8 2.2 (KM1: 147.5, KM2: 70.9) 136.2 34.7 50.3 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 14
  15. 15. Πεηξακαηηθά απνηειέζκαηα ΢χγθξηζε • ΚΜ1 • ΚΜ2 • MRSST • Blobworld • Πξνηεηλφκελνο αιγφξηζκνο (KM1: 85.7, KM2: 11.2) 57.5 29.5 9.9 (KM1: 71.7, KM2: 62.5) 22.6 48.5 7.8 (KM1: 44.4, KM2: 44.4) 68.8 89.3 5.7 (KM1: 61.3, KM2: 63) 86.3 55.1 60.9 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 15
  16. 16. Πεηξακαηηθά απνηειέζκαηα Εςαιζθηζία ηηρ μεθόδος ζε αλλαγέρ ηων ηιμών ηων καηωθλίων • Παξάκεηξνο εθηίκεζεο αξρηθψλ ηηκψλ γ=0.4 (0.3, 0.5) • Καηψθιη η θίιηξνπ ππφ ζπλζήθε • Καηψθιηα κεγέζνπο πεξηνρήο μ, ς • Καηψθιη ζπλελψζεσλ κ • Πιήζνο L κπινθ γηα εθηίκεζε αξρηθψλ ηηκψλ • Βάξνο ραξαθηεξηζηηθψλ πθήο ι1 • Καηψθιηα ζχγθιηζεο ηξνπνπνηεκέλνπ αιγνξίζκνπ KMCC Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 16
  17. 17. Οκαδνπνίεζε - ΢πκπεξάζκαηα • Άκεζε εθαξκνγή δε δίλεη πάληα ηα επηζπκεηά απνηειέζκαηα • ΢ρεδίαζε αλάινγα κε ην πξφβιεκα • Γεδνκέλα – Υψξνο ραξαθηεξηζηηθψλ • Φσηεηλφηεηα, ρξσκαηηθφο ρψξνο, πθή, θίλεζε • Πξν-επεμεξγαζία δεδνκέλσλ • Component Labeling • Φίιηξν ππφ ζπλζήθε • Καλνληθνπνηήζεηο • Τπνινγηζκφο παξακέηξσλ • ΢πλάξηεζε απφζηαζεο • Αξηζκφο θέληξσλ (αιγφξηζκνο maxmin) • Αμηνιφγεζε • ΢πγθξίζεηο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 20
  18. 18. Δορυφορικά τηλεπιςκοπικά δεδομζνα MODIS από το Dataset του Γνϊραςη μετά την πυρκαγιά του 2007. Φυςικό ζγχρωμο ςφνθετο 3-2-1 (αριςτερά) και ψευδζγχρωμο 5-4-3 ςφνθετο (δεξιά). Υπολογιςμόσ δεικτϊν NDVI ςτα δορυφορικά δεδομζνα πριν (αριςτερά) και μετά (δεξιά) την πυρκαγιά του 2007
  19. 19. Αποτελζςματα από την εφαρμογή αλγορίθμων κατάτμηςησ (αριςτερά) με χρήςη προςαρμοςμζνου κατωφλίου και αποτζλεςμα τησ μορφολογικήσ επεξεργαςίασ (μορφολογικό opening με δομικό ςτοιχείο μεγζθουσ ενόσ εικονοςτοιχείου, δεξιά).
  20. 20. Κατάτμηςη τηλεπιςκοπικϊν δεδομζνων TERASAR-X με τη μζθοδο των επιπεδοςυνόλων για την ανίχνευςη του υδρογραφικοφ δικτφου (Συνεργαςία με ΕΜΠ, η ανάπτυξη αλγορίθμων κατάτμηςησ ζγινε από το EΜΠ, εργαςτήριο τηλεπιςκόπιςησ, ςτα πλαίςια του ζργου ΓΝΩΡΑ΢Η, www.gnorasi.gr)
  21. 21. Support Vector Machines - SVMs Καηεγνξηνπνίεζε - Αλαγλψξηζε αληηθεηκέλσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 24
  22. 22. Καηάηκεζε αλαγλψξηζε αληηθεηκέλσλ (object recognition – assign labels) Αξρηθή εηθφλα Απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 25
  23. 23. Classification – Καηεγνξηνπνίεζε (Καηάηαμε – Σαμηλφκεζε) • Καηεγνξηνπνίεζε ησλ δεδνκέλσλ καο ζε θαηεγνξίεο (classes) • Αλαπαξάζηαζε δεδνκέλσλ δηαλχζκαηα ραξαθηεξηζηηθψλ (κεηαζρεκαηηζκφο) • ΢πλήζσο επηβιεπφκελε (supervised) δηαδηθαζία • • • • Γλσζηέο θιάζεηο Παξαδείγκαηα κε γλσζηέο θιάζεηο πνπ ρξεζηκνπνηνχληαη ζηε δηαδηθαζία εθκάζεζεο (learning – training set) Δθαξκνγή ζε δεδνκέλα κε άγλσζηεο θιάζεηο (testing) Γηαδηθαζία κεραληθήο κάζεζεο (machine learning) • Δθαξκνγέο • • • • Μεραληθή φξαζε Αλαγλψξηζε θσλήο Βηνινγία Μεραλέο αλαδήηεζεο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 26
  24. 24. Μεραλέο Γηαλπζκάησλ ΢ηήξημεο (Support Vector Machines - SVMs) • Δπξέσο δηαδεδνκέλε κέζνδνο επηβιεπνκέλεο (supervised) κεραληθήο εθκάζεζεο (machine learning) γηα θαηεγνξηνπνίεζε (classification): • Υεηξίδεηαη απνηειεζκαηηθά πξνβιήκαηα πνιχ κεγάιεο δηάζηαζεο (high-dimensionality problems) • Απμεκέλε δπλαηφηεηα γελίθεπζεο (generalization ability) • Απνηειεζκαηηθή αλίρλεπζε θαη κνληεινπνίεζε ζχλζεησλ ζρέζεσλ θαη ζπζρεηίζεσλ κεηαμχ ησλ δεδνκέλσλ • ΢ηε βαζηθή ηνπ έθδνζε είλαη δπαδηθφο ηαμηλνκεηήο (Binary classifier) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 27
  25. 25. Γηάλπζκα ζηήξημεο Πεξηγξαθή SVM F ( x) Γηαρσξηζηηθφ ππεξ-επίπεδν Απφζηαζε πξνηχπσλ απφ ην ππεξ-επίπεδν • Πξνζδηνξηζκφο ζην ρψξν δηαρσξηζηηθνχ ππεξ-επηπέδνπ (separating hyperplane), πνπ κεγηζηνπνηεί ηελ ειάρηζηε απφζηαζή ηνπ απφ ηα 2 ππφ εμέηαζε πξφηππα • Σα δείγκαηα ησλ πξνηχπσλ πνπ βξίζθνληαη θνληχηεξα ζην δηαρσξηζηηθφ ππεξεπίπεδν απνηεινχλ ηα δηαλχζκαηα ζηήξημεο (support vectors) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 28
  26. 26. Video Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 29
  27. 27. Πξν-επεμεξγαζία εηθφλαο • Καηάηκεζε ή θαη εθαξκνγή ζε νιφθιεξε ηελ εηθφλα • Δμαγσγή νπηηθψλ πεξηγξαθέσλ – δηάλπζκα ραξαθηεξηζηηθψλ • Κιηκαθνχκελν ρξψκα (Scalable Color) • Ιζηφγξακκα αθκψλ θσηεηλφηεηαο (Luminance Edge Histogram) • Πεξηγξαθέαο ζρήκαηνο πεξηνρήο (Region-Based Shape) • Οκνγελήο πθή (Homogenous Texture) • Local Features (SIFT) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 33
  28. 28. SIFT Local Features Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 34
  29. 29. Αλαγλψξηζε αληηθεηκέλσλ κε SVMs • Αληηθείκελα ελδηαθέξνληνο: • Οπξαλφο, βιάζηεζε, βξάρηα, έδαθνο, θηίξην, λεξφ • Δθπαίδεπζε ελφο SVM γηα θάζε θαηεγνξία αληηθεηκέλσλ • Υξήζε ραξαθηεξηζηηθνχ δηαλχζκαηνο πεξηνρήο • Κάζε SVM ππνινγίδεη κία εθ ησλ πζηέξσλ πηζαλφηεηα γηα ηελ πνζνηηθή πεξηγξαθή ηεο ζπζρέηηζε πεξηνρήοαληηθεηκέλνπ 1 p= 1+e-m×dist • Κάζε πεξηνρή αμηνινγείηαη απφ φια ηα εθπαηδεπκέλα SVMs • Υξήζε πνιπσλπκηθήο ζπλάξηεζεο ππξήλα • Γηάζηαζε αξρηθνχ δεηγκαηηθνχ ρψξνπ: 433 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 35
  30. 30. Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ ΢χλνιν ππνζέζεσλ πεξηνρήο Οπξαλφο: 0.11 Νεξφ: 0.09 Κηίπιο: 0.89 Βξάρηα: 0.51 Έδαθνο: 0.31 Βιάζηεζε: 0.35 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 36
  31. 31. Δλδεηθηηθά απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ (ζπλέρεηα) Αξρηθή εηθφλα Απνηειέζκαηα αλαγλψξηζεο αληηθεηκέλσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 37
  32. 32. http://mklab-services.iti.gr/trec2010/index.php?login=true Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 39
  33. 33. Forensic Image Retrieval for Nudity Detection • Police needs to search in unknown hard-drives to identify suspicious digital content • Workflow to satisfy the requirements Folder scanning and Image/video identification Automatic indexing and feature/metadata extraction Search Engine, Results presentation and Report generation
  34. 34. Indexing and Search Image Dataset Query by visual example •MPEG-7 descriptors •R-tree structure for indexing Visual Feature extraction •MPEG-7 color & texture descriptors •Dense SIFT GRAY & Dense SIFT RGB Nudity Concept detection based on SVM classification New Image Nudity detection model Probability of Nudity Search Engine with results and reports Visual Features (MPEG-7, SIFT) Support Vector Machines Training Image Dataset
  35. 35. Δπεμεξγαζία Φσλήο γηα Καηεγνξηνπνίεζε – Γηάγλσζε Ήπησλ Μνξθψλ Άλνηαο ΢πλεξγαζία κε IBM Israel ζηα πιαίζηα ηνπ έξγνπ Dem@Care http://www.demcare.eu/ http://youtu.be/mGACsdCx6Qc Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 42
  36. 36. Dem@Care Project Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 43
  37. 37. Diadohokinetic (DDK) Test DDK tests are used by speech-language pathologists for assessment of motor speech impairments, e.g. dysarthria Quick and accurate production of rapid, alternating sound tokens involving different parts of mouse, e.g. “puh-tuk-kuh—puh-tuh-kuh— …” Usually measurements are done manually and include the DDK rate statistics Our hypothesis and research direction: The DDK test may challenge both motor and cognitive control over speech production Motor and cognitive faults deteriorate the temporal regularity of the audio signal normally expected in this type of utterances We can develop a regularity measure of the DDK performance Is the DDK regularity useful in distinguishing between Control/MCI/AD groups? Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 44
  38. 38. Towards DDK Regularity Measure: Waveform Envelope Waveform  Instantaneous energy contour KUH KUH 0.8 TUH 0.6 TUH PUH PUH 0.4 0.2 0 -0.2 -0.4 1.1 1.2 Token #n 1.3 1.4 1.5 1.6 1.7 1.8 Token #n+1 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 45
  39. 39. Towards DDK Regularity Measure: Energy Modulation Spectrum Long-term Fourier Transform of the Envelope 8 x 10 10 Energy Modulation Spectrum. K=31.8644 7 6 Harmonic structure indicates long-term periodicity of the waveform envelope 5 4 3 2 1 0 0 5 10 15 20 Modulation frequency, Hz 25 30 F0=1.8 Hz, i.e. 1.8 tokens per second on average Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 46
  40. 40. DDK Regularity Analysis Examples Good performance 8 x 10 10 Poor performance Energy Modulation Spectrum. K=31.8644 4 7 2.5 4 2 3 1.5 2 1 1 Energy Modulation Spectrum. K=10.7455 3 5 11 3.5 6 x 10 0.5 0 0 5 10 15 20 Modulation frequency, Hz 25 30 0 0 5 10 15 20 Modulation frequency, Hz 25 30 F0 utility func. Max=0.012036 K=2.3936 F0 utility func. Max=0.042138 K=9.8176 0.014 0.045 0.012 0.04 0.035 0.01 0.03 0.008 0.025 0.006 0.02 0.015 0.004 0.01 0.002 0.005 0 0 1 1.5 2 Modulation F0, Hz 2.5 3 1 1.5 2 Modulation F0, Hz Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 2.5 3 48
  41. 41. DDK Regularity Mapping for all the Participants DDK Regularity of Group Participants 0.045 0.04 Statistically significant inter-group differences with T-test pvalues: DDK Regularity 0.035 Control vs. MCI p<0.05% MCI 0.025 p<1.45% Control vs. AD 0.03 p<1.65% vs. AD 0.02 0.015 Control MCI AD 0.01 Participants Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 49
  42. 42. Οκαδνπνίεζε ζε Κνηλσληθά Γίθηπα Θεσξία Γξάθσλ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 50
  43. 43. Γξαθήκαηα • Γνκέο πνπ κνληεινπνηνχλ ζρέζεηο θαη δηαζπλδέζεηο (connections) nodes G = (V, E) edges Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 51
  44. 44. Vertex & edges indicate degrees • Degree of a graph vertex v: the number of graph edges which touch v. • Indegree of a graph vertex v: the number of inward directed graph edges from a given graph vertex in a directed graph • Outdegree of a graph vertex v: The number of outward directed graph edges from a given graph vertex in a directed graph. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ undirected directed 52
  45. 45. Degrees & adjancencies Adjacency matrix on an undirected graph : A(i,j), i,j <= n v1 v2 v3 v5 v4 degree of a vertex v (number of edges incident upon it): kv A(v, w) w Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 53
  46. 46. Μεξηθά παξαδείγκαηα Webpage www.x.com href=“www.y.com” href = “www.z.com” x y a z b Webpage www.y.com href=“www.x.com” href = “www.a.com” href = “www.b.com” Webpage www.z.com href=“www.a.com” Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 54
  47. 47. Μεξηθά παξαδείγκαηα Κόμβοι – Πξσηεΐλεο Ακμέρ – Αιιειεπηδξάζεηο ΢εκαληηθφ ξφιν παίδεη ν ηξφπνο παξνπζίαζεο (visualization) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 55
  48. 48. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 56
  49. 49. blogosphere as a graph technical - gadgets nodes = blogs edges = hyperlinks society - poli cs h p://datamining.typepad.com/gallery/blog-map-gallery.html Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 9 57
  50. 50. social web as a graph announcement of Mubarak’s resigna on nodes = twi er users edges = retweets on #jan25 hashtag h p://gephi.org/2011/the-egyp an-revolu on-on-twi er/ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 10 58
  51. 51. Αλάιπζε Γξάθσλ • ΢ε πνιιέο εθαξκνγέο ηα γξαθήκαηα εκθαλίδνπλ ζπγθεθξηκέλεο δνκέο • ΢χλνια θφκβσλ πνπ εκθαλίδνπλ πην έληνλεο ζπζρεηίζεηο ζε ζρέζε κε ηνπο γεηηνληθνχο ηνπο • Graph clustering • Ρφινο ζπγθεθξηκέλσλ θφκβσλ ζην γξάθν intra-community edge inter-community edge Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 59
  52. 52. Αλάιπζε Τπν – Γξάθσλ / Τπν - Γνκψλ (subgraphs) k=3 (triangle) k=4 k=5 • k-clique Each node is connected to all k-1 nodes • N-clique N=2 (star) N is the length of the path allowed to all other members 2-core • k-core all vertices have degree at least k 4-core 3-core Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 1-core 0-core 31 62
  53. 53. Αλάιπζε Γξάθσλ (1/2) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 63
  54. 54. Ανάλυση Γράφων (2/2) • 1st step: (μ, ε) – core detection • 2nd step: Local expansion • 3rd step: Characterization of remaining vertices as hubs or outliers Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 64
  55. 55. Eθαξκνγέο ζε Πεξηερφκελν απφ Κνηλσληθά Γίθηπα ClustTour, ThessFest, IMC http://www.clusttour.gr http://thessfest.socialsensor.eu/app/ http://mklab.iti.gr/imc Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 65
  56. 56. Photo sharing social networks and applications 5,000,000,000 εικόνεσ (΢επ. 2010) Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 66
  57. 57. Challenges in Social Media network mining No prior assumptions about structure: Complex & evolving structure No possibility for knowing structural features (e.g. number of clusters on a graph) in advance  Unsupervised Scale Tens of millions of active users frequently contributing loads of content links + metadata (tags, comments, ratings)  Efficient - scalable Quality Spam is very common. Only a portion of user contributions is worth further analysis.  Noise resilient Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 67
  58. 58. Hybrid photo Clustering Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 68 68
  59. 59. landmark Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ event 69
  60. 60. Photo clustering results Geographic localization of results was also found to be very high. Most clusters correspond to landmarks or events. baptism EVENTS LANDMARKS conference castels Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 70 70
  61. 61. Sample results: [Visual] vs. [Tag] vs. [Visual + Tag] VISUAL HYBRID TAG Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 71 71
  62. 62. clusttour.gr application PHOTOS & METADATA tags: sagrada familia, cathedral, barcelona SPATIAL CLUSTERING + TEMPORAL ANALYSIS taken: 12 May 2009 lat: 41.4036, lon: 2.1743 CLASSIFICATION TO LANDMARKS/EVENTS COMMUNITY DETECTION VISUAL TAG HYBRID S. Papadopoulos, C. Zigkolis, Y. Kompatsiaris, A. Vakali. “Cluster-based Landmark and Event Detection on Tagged Photo Collections”. In IEEE Multimedia Magazine 18(1), pp. 52-63, 2011 Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 72
  63. 63. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 73
  64. 64. Διαθέςιμο ςτο AppStore http://clusttour.gr/itunes Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 74
  65. 65. Η Θεςςαλονίκη μέςα από το ClustTour “Everything is automatic and when we say everything we mean everything” Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 75
  66. 66. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 77
  67. 67. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 78
  68. 68. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 79
  69. 69. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 80
  70. 70. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 81
  71. 71. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 82
  72. 72. ΢πκπεξάζκαηα – Πεξηνρέο Πξνβιήκαηα • Αλαγλψξηζε πξνηχπσλ • Δπξεία ρξήζε ηερληθψλ αλαγλψξηζεο πξνηχπσλ ζε εθαξκνγέο αλάιπζεο πνιπκέζσλ θαη θνηλσληθψλ δηθηχσλ • Απαηηνχληαη εμεηδηθεπκέλεο ιχζεηο θαη ζπλδπαζκφο ηερληθψλ • Η απηφκαηε επεμεξγαζία είλαη απαηηεηηθφ πξφβιεκα • Πξνβιήκαηα - Δθαξκνγέο • Μεγάινο φγθνο δεδνκέλσλ – Big Data - Social Media Data Mining – real–time – scalability • Semantic Gap – Visual Similarity • eHealth – Personalized Health • Security – Forensics Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 83
  73. 73. Improve My City App for Citizens Reporting Issues in Municipalities – Regions Currently used by Thermi Municipality, Thessaloniki, Greece http://mklab.iti.gr/imc/
  74. 74. Why do we need an app for that? • Municipalities and Regions cover large areas – Issues collection, prioritization and addressing is time consuming and costly – Regional authorities want to listen (or at least show they are listening) what their citizens are saying • Citizens want to participate – Social Networks create new culture and technical possibilities – They are interested in their everyday problems (especially if they receive timely feedback) • Citizens can become a cost and time efficient real-time sensor of issues and the best source for solution ideas and prioritization (Collective Intelligence)
  75. 75. Features at a Glance • Login – authentication – Synchronization with web version • Map and list-based view of issues – Close to current location • Customized filters per category and distance • New issue – Location + image • Issue comment and voting • Greek and English
  76. 76. Report an Issue Category Title Description Image GPS Position Reverse geocoding
  77. 77. Features      List View of issues with current progress Local cache (SQLite) Filter by distance from current position (km) Efficient bandwidth usage Filter by Category
  78. 78. Features Full integration with web-based app, backend and database Easily customizable for other municipalities – regions – cases Authorities must provide feedback and adapt their processes Web based app and backend developed by URENIO Research Unit, Aristotle University of Thessaloniki
  79. 79. Future Plans • Open source distribution (under discussion) • Augmented Reality Visualization for future and on-going projects – Library for Android, 3D objects support, OpenGL • Automatic image (and issue – topic - category) annotation using visual-based processing
  80. 80. Multimedia Group http://mklab.iti.gr Information Technologies Institute http://www.iti.gr Urban and Regional Innovation Research http://www.urenio.org Aristotle University of Thessaloniki Smart City Services Municipality of Thermi - Greece https://smartcity.thermi.gov.gr/ “Google play„ search: Multimedia Group - CERTH-ITI, http://mklab.iti.gr/imc
  81. 81. CERTH – www.certh.gr • ΓΓΔΣ – Τπ. Παηδείαο (1020% (2012) < 10% (2013) ζπκκεηνρή ζηνλ πξνυπνινγηζκφ) • 4 Ιλζηηηνχηα • ~500 άηνκα εξεπλεηηθφ θαη ινηπφ πξνζσπηθφ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 92
  82. 82. CERTH – www.certh.gr • Eλέξγεηα, πεξηβάιινλ, πξνεγκέλα ιεηηνπξγηθά πιηθά, βηνκεραλία, πνιπκέζα, ηερλνινγίεο δηαδηθηχνπ, επηζηήκεο πγείαο, ειεθηξνληθφ εκπφξην, κεηαθνξέο, αγξνβηνηερλνινγία θαη ηξφθηκα, εθπαίδεπζε • Δθαξκνζκέλε έξεπλα θαη εθαξκνγέο • Δζληθά θαη Δπξσπατθά Δξεπλεηηθά πξνγξάκκαηα • Τπεξεζίεο, κεηαθνξά γλψζεο πξνο εηαηξείεο θαη βηνκεραλία • Καηλνηνκία, λέεο εηαηξείεο (startup, spin-off) • ΢πλεξγαζία κε πεξηζζφηεξνπο απφ 1000 εηαίξνπο απφ ηελ Διιάδα θαη ην εμσηεξηθφ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 93
  83. 83. Επεςνηηική διαδικαζία Καινοηομία Καηάημηζη - Social media Mining Τοσριζμός - Αναζήηηζη Εθαρμοζμένη Έρεσνα Επεκηάζεις Εθαρμογές Επιτειρημαηικές Ιδέες Business Plan Venture Capital, Angel Funding Μεηαθορά γνώζης Υπηρεζίες Νέες Εηαιρείες Spin-off Startups Βαζική Έρεσνα Graphs K-means Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 94
  84. 84. Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και Επικοινωνιών - www.iti.gr • ~ 150 άηνκα (κε εμσηεξηθνχο ζπλεξγάηεο) • 6 θχξηνη Δξεπλεηέο – Οκάδεο Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 95
  85. 85. Ινζηιηούηο Τεσνολογιών Πληποθοπικήρ και Επικοινωνιών - www.iti.gr Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 96
  86. 86. CERTH-ITI Multimedia Group • Personnel • 25 people (researchers, developers, administration) • Participation in European and national research projects: • • FP7: SocialSensor (coordination), Dem@Care (coordination), WeKnowIt (coordination), Pescado, JUMAS, CHORUS+, etc FP6: AceMedia, X-Media, MESH, BOEMIE, VIDI-Video, K-Space, PATExpert, ELU, etc. • Contracts with Industry (Motorola US) • Local collaborations (Thessaloniki Film Festival, Thermi Municipality, Alzheimer Society, Police, TEDx) • 55 Journal publications, 170+ conference publications, 30 book chapters, 7 patents (2012) • Numerous events: SSMS212, EVENT2010, ACM CIVR09, WWW09 tutorial, WIAMIS 2007, etc. Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 97
  87. 87. How Tim Berners Lee told me in front of thousand people: “Go geek and do it” “You know it! Think of a world that you want. Just imagine it! Data - Users • What would be the distribution? Demos - Apps • what would be the user interface? • What would be the processes? • What third parties would be involved. Programming Implementation Forums – Social Networks - Teamwork Go out and build it! Talk to the people here. Install an apache server and just go geek and make it happen!” Libraries – Frameworks http://www.rene-pickhardt.de/how-tim-berners-lee-told-me-in-front-of-thousand-people-%E2%80%9Cgo-geekand-do-it%E2%80%9D/ Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 98
  88. 88. Δπραξηζηψ! Οκάδα Πνιπκέζσλ, http://mklab.iti.gr Γηάλλεο Κνκπαηζηάξεο, ikom@iti.gr Γξ. Βαζίιεο Μεδάξεο, Δξεπλεηήο Γ’, Καηάηκεζε Πνιπκέζσλ bmezaris@iti.gr Γξ. ΢πκεψλ Παπαδφπνπινο, Γξάθνη - Αλάιπζε Κνηλσληθψλ Γηθηχσλ papadop@iti.gr Γξ. Γεκήηξηνο Βεξβεξίδεο, Δθαξκνγή IMC, ververid@iti.gr Oκάδα Πνιπκέζσλ ΔΚΔΣΑ - Ιλζηηηνχην Σερλνινγηψλ Πιεξνθνξηθήο θαη Δπηθνηλσληψλ 99

×