Defensa del Project de Final de Carrera de la Mónica Alfaro, en els estudis d'Engineria Tècnica en Telecomunicacions, especialitat en So i Imatge. Co-dirigit per en Xavier Giró-i-i-Nieto (UPC) i Xavier Vives (CCMA) Escola d'Enginyeria de Terrassa, Universitat Politècnica de Catalunya. Gener 2011. Més detalls: https://imatge.upc.edu/web/publications/reordenacio-i-agrupament-dimatges-duna-cerca-de-video

1. Reordenació i agrupament d’imatges
resultants d’una cerca de vídeo
Mónica Alfaro Vendrell
Tutors:
Xavier Giró (UPC)
Xavier Vives (CCMA)

2. • Escenari
»
del volum dels repositoris
» Cerques eficients
Repositori
2

3. Eclipse
• Proposta: tècniques de reordenació i agrupament
3

4. • Motors de reordenació i agrupament
• Motor de reordenació
• Motor d’agrupament
• Client web
UPC
CCMA
• Desenvolupament
• Entorn de desenvolupament
• Conclusions
• Treball realitzat
• Assoliment dels requeriments
• Treball futur
4

5. UPC
5

6. •Motors de reordenació i agrupament
•Motor de reordenació
•Motor d’agrupament
•Client web
•Desenvolupament
•Entorn de desenvolupament
•Conclusions
•Treball realitzat
•Assoliment dels requeriments
•Treball futur
UPC
6

7. • Els continguts audiovisuals
s’emmagatzemen formant
assets
• Els keyframes són imatges claus
que s’extreuen del vídeo
• Metadades:
• Caràcter general: a nivell d’asset
• Estrats: segments temporals del vídeo
7

8. Reordenació
Montilla
Telenotícies
Entrevista
Montilla
• Anotacions textuals a nivell d’asset.
8

9. Reordenació
• Reptes que es plantegen:
» Prioritzar els keyframes rellevants
Montilla
» Mostrar diversitat d’assets
9

10. Reordenació
• Basats en:
Pseudo-retroacció de
rellevància
Similitud
• Rellevància similar
Vídeos similars
• No requereix un llistat inicial ordenat
10

11. Reordenació
• Esquema general:
0.9
0.7
Graf de similitud
Passejada
aleatòria
Filtrat
1
2
Fusió de
prob.
3
4
0.6
0.5
0.2
11

12. Reordenació
Pas 1 Graf de similitud
• Importància d’un keyframe
Número de keyframes semblants
distancia
visual
node =
imatge
aresta =
similitud visual
0.8
0.6
0.7
1.0
Graf de similitud
12

13. Reordenació
Pas 1 Graf de similitud
• Solució final:
» Distància visual mínima per cada descriptor visual:
Descriptor visual
Distancia mínima
Color layout
0.7
Color dominant
0.7
Color structure
0.5
Texture edge histogram
0.7
» Número màxim d’arestes per node
13

14. Reordenació
• Esquema general:
0.9
0.7
Graf de similitud
Passejada
aleatòria
Filtrat
1
2
Fusió de
prob.
3
4
0.6
0.5
0.2
4 grafs de
similitud visual
14

15. Reordenació
Pas 2 Filtrat
NOU
• Evitar la influència dels assets
 Resultat:
15

16. Reordenació
Pas 2 Filtrat
NOU
• Evitar keyframes similars del mateix asset
 Resultat:
16

17. Reordenació
Pas 2 Filtrat
NOU
Filtrat intra-asset
 Les imatges d’un mateix asset no es poden enllaçar entre elles.
17

18. Reordenació
Pas 2 Filtrat
NOU
w1
w2
w3
w 1 < w2 < w3
Filtrat inter-asset
 Limitació a 1 aresta (màx. similitud) entre cada imatge i un altre
asset.
18

19. Reordenació
• Esquema general:
4 grafs de similitud
visual filtrats
0.9
0.7
Graf de similitud
Passejada
aleatòria
Filtrat
1
2
Fusió de
prob.
3
4
0.6
0.5
0.2
4 grafs de
similitud visual
19

20. Reordenació
Pas 3 Passejada aleatòria
• Assigna puntuacions als keyframes basant-se en:
» Número de arestes
» Pes de cada aresta
a: factor de pes de cada expressió
20

21. Reordenació
• Esquema general:
4 grafs de similitud
visual filtrats
0.9
0.7
Graf de similitud
Passejada
aleatòria
Filtrat
1
2
Fusió de
prob.
3
4
0.6
0.5
0.2
4 grafs de
similitud visual
4 llistes
reordenades
21

22. Reordenació
Pas 4 Fusió de probabilitats
Puntuació(keyframe )
Fusió de distàncies
visuals
NOU
1
·P
1
2
·P2
3
·P3
4
·P4
Fusió de
probabilitats
22

23. Reordenació
• Esquema general:
1 llista final
4 grafs de similitud
visual filtrats
0.9
0.7
Graf de similitud
Passejada
aleatòria
Filtrat
1
2
Fusió de
prob.
3
4
0.6
0.5
0.2
4 grafs de
similitud visual
4 llistes
reordenades
23

24. Reordenació
• Consultes seleccionades:
Consulta
#assets
#KFs
Tennis de taula
3
1.116
Formula 1
6
3.441
Parlament
12
2.841
Accident
8
66
Futbol
16
416
• Estudi de la influència dels modes de filtratge: intra-asset, inter-asset,
intra&inter-asset, baseline.
• Avaluació:
» Rellevància dels keyframes
Average precision
» Diversitat d’assets.
Average asset diversity
24

25. αε
Reordenació
• Resultat general
Estudi de la rellevància
Baseline
Sense Filtrat
Estudi de la diversitat
Intra-asset
Inter-asset
Intra&Inter-asset
25

26. •Motors de reordenació i agrupament
•Motor de reordenació
•Motor d’agrupament
•Client web
•Desenvolupament
•Entorn de desenvolupament
•Conclusions
•Treball realitzat
•Assoliment dels requeriments
•Treball futur
UPC
26

27. αε
Agrupament
• Definir grups de keyframes visualment semblants a nivell d’asset.
Asset A
Keyframes representants
Grup 1
Grup 2
27

28. Agrupament
• Famílies:
» Supervisat: requereix el número de grups finals
» No supervisat: no requereix el coneixement previ del número de grups
• Tècniques:
Supervisat
K-Means

Càlcul
Nous centroides

Canopy
Quality
Threshold
28

29. αε
Agrupament
• Esquema general
Grafs de similitud precalculats
Dins del grup
Resultats
Keyframe
Keyframe
Keyframe
Keyframe
Keyframe
Keyframe
Keyframe
Keyframe
Keyframe
1
2
3
4
5
6
7
8
9
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
Per cada asset
Grup 1
Grup 2
Grup 3
Grup 4
Grup 4
Grup 5
Grup 7
Grup 8
Grup 9
Quality
Threshold
2
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
Keyframe 1
Keyframe 2
Keyframe 3
0.9
0.8
0.7
Keyframe 5
Keyframe 6
Keyframe 7
0.5
0.4
0.3
Keyframe 9
0.1
• Paràmetres:
Graf de similitud truncat i
fusionat
1
»
»
»
Valor màxim del radi dels grups
Mínim número de resultats
Valor de la puntuació final del grup
29

30. • Motors de reordenació i agrupament
• Motor de reordenació
• Motor d’agrupament
• Client web
UPC
CCMA
• Desenvolupament
• Entorn de desenvolupament
• Conclusions
• Treball realitzat
• Assoliment dels requeriments
• Treball futur
30

31. CCMA
31

32. • Incorporar les tècniques de reordenació i agrupament
• Integració de l’eina dins del Digition
32

33. • Digition
33

34. • Google Swirl
34

35. • Google Swirl
35

36. • iGroup
36

37. 37

38. • Estructura client-servidor
Client 1
Client 2
Servidor
CCMA
Servidor
UPC
Client 3
• Comunicació entre els clients i els servidors: protocol HTTP
• Arquitectura REST pels servidors.
38

39. • Motors de reordenació i agrupament
• Motor de reordenació
• Motor d’agrupament
• Client web
UPC
CCMA
• Desenvolupament
• Entorn de desenvolupament
• Conclusions
• Treball realitzat
• Assoliment dels requeriments
• Treball futur
39

40. 40

41. UPC
CCMA
• JAMA
• JFreeChart
41

42. • Motors de reordenació i agrupament
• Motor de reordenació
• Motor d’agrupament
• Client web
UPC
CCMA
• Desenvolupament
• Entorn de desenvolupament
• Conclusions
• Treball realitzat
• Assoliment dels requeriments
• Treball futur
42

43. 43

44. Reordenador
Agrupador
Servei web upseek
Disseny i implementació
Disseny
Disseny i implementació per
part d’altres membres
Servidor CCMA
Comunicacions
Interfície gràfica d’usuari
44

45. • Motor de reordenació i agrupament
» El pas de filtrat és una tècnica vàlida
» Comunicació per ICMR 2011
• Client
» Interfície gràfica integra els algoritmes
» No rep resultats del servidor
45

46. UPC
• Reordenació
Agrupament
• Creació de grafs de similitud textual
CCMA
• Integració del servei web
• Integració del client al Digition
46

48. Avaluació de la rellevància
• Average Precision:
Average Pr ecision
1
m
m
k 1
Pr ecision(k )
• on m és el número de documents rellevants
• Precisió:
1
2
3
4
5
6
P
documents rellevants recuperats
documents totals recueprats
P (1)
1
1
P ( 2)
1
P ( 3)
2
1 1 1
AP
(
3 1 2
2
3
2
) 0.73
3
48

49. Avaluació de la diversitat
• Average Asset-Diversity:
Asset diversity
AAD
1
m 1
m
k 2
AD(k )
• on m és el número total d’assets diferents
• Asset-Diversity:
Asset diversity
AD(k )
d (k ) 1
k 1
• on d(k) correspon al número d’assets diferent en les posicions 1...k
1
2
3
4
5
6
AD( 2)
1 1
0
2 1
AD(3)
1
2 1
3 1
1
AAD
(0
4 1
2
1
2
AD( 4)
3 1
4 1
2
3
2
) 0.39
3
49

50. αε
Reordenació
• Resultat desglossat per cada consulta:
Estudi de la rellevància
Baseline
Sense Filtrat
Estudi de la diversitat
Intra-asset
Inter-asset
Intra&Inter-asset
50