Diapositives de la presentació final del projecte "Tall i sincronització automàtica de segments audiovisuals", de Quim Llimona, dins l'assignatura Laboratori de So de l'ESMUC.

1. TALL I SINCRONITZACIÓ Quim Llimona
Torras, 2012
AUTOMÀTICA DE ESMUC
Laboratori de
SEGMENTS AUDIOVISUALS So III

2. CONTINGUTS
¡ C ontextualització
§ Motivació i objectius
§ Treball previ
¡ A lgorisme
¡ R esultats i conclusions

3. Origen del
problema i
CONTEXTUALITZACIÓ treball
previ

4. MOTIVACIÓ DEL PROJECTE

6. MOTIVACIÓ DEL PROJECTE

7. DEFINICIÓ DEL PROBLEMA

8. TALL I SINCRONIA D’ÀUDIO

9. MOCAP

10. MOCAP

11. MOCAP

12. OBJECTIUS DEL PROJECTE
¡ Sistema de tallada pels arxius de MoCap
¡ Processar els arxius de MoCap
¡ Optimitzar codi de l’any passat
¡ Afegir funcionalitats
¡ Avançar la tesi

13. METODOLOGIA DE TREBALL
¡ MATLAB
¡ Diari de camp (wiki)
¡ Reunions setmanals
¡ Accés directe a les dades

14. Implement
ALGORISME ació final

15. ALGORISME
¡ Càlcul de descriptors
¡ Ajustament de f s
¡ Estimació de paràmetres
¡ Estimació de punts de sincronia
¡ Tall

16. DESCRIPTORS

17. POTÈNCIA ESPECTRAL

18. DESCRIPTORS
Bow Velocity
150
100
50
0
50
100
150
200
0 1000 2000 3000 4000 5000 6000
Audio Power (linear scale)
45
40
35
30
25
20
15
10
5
0
0 1000 2000 3000 4000 5000 6000

19. DESCRIPTORS
13 Audio reference
x 10
14
12
10
8
Power
6
4
2
0
0 1000 2000 3000 4000 5000 6000
Frames
4 MoCap input
x 10
4.5
4
3.5
Squared Velocity
3
2.5
2
1.5
1
0.5
0
0 5000 10000 15000
Samples

20. AJUSTAMENT DE FS

21. PUNTS DE SINCRONIA
¡ La igualtat perceptiva no és numèrica!
¡ Cal recórrer a l’estadística per trobar una nova mesura
d’igualtat o semblança: Correlació
1 " Xi ! X %" Yi !Y %
n
r= ($ s ' $ s '
n !1 i=1 # X &# Y &

22. CORRELACIÓ CREUADA
¡ La correlació creuada ens pot ajudar amb la cerca lineal:
¡ Només cal maximitzar-la en n

24. ASINCRONIA
3
2
1
0
1
2
3
4350 4400 4450 4500 4550 4600 4650 4700

25. CORRELACIÓ CREUADA PONDERADA
Weighting function
1
0.8
0.6
0.4
0.2
0
0 500 1000 1500 2000 2500 3000 3500 4000
Aligned signals
2.5
2
1.5
1
0.5
0
0 20 40 60 80 100 120

26. CORRELACIÓ CREUADA PONDERADA
Non Weighted Normalized Cross Correlation
0.5
0.4
0.3
0.2
0.1
0
0.1
0.2
0 1000 2000 3000 4000 5000 6000
Weighted Normalized Cross Correlation
0.5
0.4
0.3
0.2
0.1
0
0.1
0.2
0 1000 2000 3000 4000 5000 6000

27. GENERACIÓ DE PESOS GAUSSIANS
Weighted reference (start)
1
0.8
Spectral Power
0.6
0.4
0.2
0
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Audio Frames
Weighted reference (end)
1
0.8
Spectral Power
0.6
0.4
0.2
0
0 500 1000 1500 2000 2500 3000 3500 4000 4500
Audio Frames

28. Aplicació
pràctica i
RESULTATS feina
paral·lela

29. TALLADA DELS DESCRIPTORS

30. TALLADA DELS DESCRIPTORS
4 Start and end points
x 10
3.5
3
2.5
Samples
2
1.5
1
0.5
0
0 20 40 60 80 100 120
File index
4 Length
x 10
3.5
3
2.5
Samples
2
1.5
1
0.5
0
0 20 40 60 80 100 120 140
File index

31. SEGUIMENT DE LA TESI

32. SEGUIMENT DE LA TESI

33. CONCLUSIONS
¡ S’ha assolit l’objectiu principal
¡ No s’ha modificat el codi de l’any passat
¡ Tot el codi nou està en MATLAB
¡ S’ha avançat molt en altres aspectes

34. CONCLUSIONS
¡ S’ha assolit l’objectiu principal
¡ No s’ha modificat el codi de l’any passat
¡ Tot el codi nou està en MATLAB
¡ S’ha avançat molt en altres aspectes

35. CONCLUSIONS
¡ S’ha assolit l’objectiu principal
¡ No s’ha modificat el codi de l’any passat
¡ Tot el codi nou està en MATLAB
¡ S’ha avançat molt en altres aspectes

36. CONCLUSIONS
¡ S’ha assolit l’objectiu principal
¡ No s’ha modificat el codi de l’any passat
¡ Tot el codi nou està en MATLAB
¡ S’ha avançat molt en altres aspectes

37. Preguntes,
MOLTES GRÀCIES! comentaris
…