1. ALMA MATER STUDIORUM
UNIVERSITÀ DI BOLOGNA
FACOLTÀ DI INGEGNERIA
CORSO DI LAUREA IN INGEGNERIA INFORMATICA
INDICIZZAZIONE DI COLLEZIONI VIDEO
INTERFACCIA MIDDLEWARE
CANDIDATO RELATRICE
Daniele Campogiani Prof.ssa Ilaria Bartolini
CORRELATORE
Prof. Marco Patella
19 Dicembre 2012

2. Scenario
● Estensione del framework di gestione di
collezioni video SHIATSU (© MultiMedia DataBase Group –
Università di Bologna) arricchendolo del supporto per
interrogazioni di similarità basate su indici
– Realizzazione di algoritmi per la ricerca di video
di interesse basate su indici
– Realizzazione di interfaccia middleware
indipendente dalla rappresentazione di key
frame di una sequenza video

3. Rappresentazione di un
video
● Il video è un oggetto
multimediale
complesso
– video diviso in
sequenze (shot)
– shot rappresentati
da un insieme di key
frame

4. Il problema del confronto
di video
● La similarità tra due video è ottenuta partendo dalla
similarità tra gli shot che costituiscono i video
● La similarità tra due shot è ottenuta grazie a somiglianza
tra key frame rappresentativi
● Quali scegliere?
– Il primo il mediano e l'ultimo
– Campionando ad intervalli di tempo prefissati
● Come aggregare informazioni sui singoli key frame?

5. Il problema del Matching
● Trovare similarità tra due shot si traduce in
assegnare i keyframe dei due shot
Matching 1-1 Matching N-M

6. Similarità tra shot
● Estrazione keyframe rappresentativi
● Matching dei keyframe
● Calcolo distanza tra singoli keyframe
● Tramite funzione di aggregazione si ottiene
somiglianza dei due shot
– SHIATSU solo su Earth's Mover Distance che
offre una soluzione efficiente per il problema del
trasporto

7. Implementazione indici
● Utilizzo di indice M-Tree (© MultiMedia DataBase Group –
Università di Bologna) :
– Recuperare oggetti simili ad un oggetto query
in modo efficiente
● Due tipi di indice:
– Su oggetti completi : Shot
– Su frammenti degli oggetti: Key frame

8. Le rappresentazioni dei
key frame
Immagini alla Istogrammi HSV
Windsurf
(© 2009 MultiMedia DataBase Group
– Università di Bologna) Utilizzo delle sole informazioni sul
colore
Immagine suddivisa in regioni
grazie a informazioni su colore,
● Pro : basso costo computazionale
forma e texture ● Contro : minor precisione
● Pro : elevata precisione
● Contro : costo computazionale
elevato

9. Risultati ottenuti
Windsurf Istogrammi HSV
1400 1303
1200
1000 400
845.5 335
Tempo (secondi)
800 271
300
Tempo (secondi)
563.2 Sequenziale Sequenziale
600
k-NN-ShotIndex 200 175.5 k-NN-ShotIndex
400 294.4
85.5
100
200
0.54 1.89 3.51 6.34 0.1 0.2 0.34 0.48
0 0
First - Last All First - Last All
First First - Middle - Last First First - Middle - Last
1 1
0.9 0.9
0.8 0.8
0.7 0.7
0.6 0.6
0.5 Precision 0.5 Precision
0.4 0.4
Recall Recall
0.3 0.3
0.2 0.2
0.1 0.1
0 0
FirstLast All FirstLast Seven
First FirstMiddleLast First FirstMiddleLast

10. Esempio di query

11. Conclusioni
● È stata realizzata un'interfaccia middleware Java che permette
l'utilizzo di codice nativo C++ (libreria M-Tree) tramite JNI
– Tale libreria in garantisce prestazioni migliori
● scalabilità
● Interfaccia middleware indipendente dalla rappresentazione dei
key frame.
– Immagini alla Windsurf
– Istogrammi HSV
Si è raggiunto l'obiettivo di scalabilità per il framework SHIATSU
che ne permette l'applicazione su collezioni video di elevate
dimensioni
– Applicazioni reali