Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
“COMPARACIÓN DE TÉCNICAS DE
DETECCIÓN DE CAMBIOS DE PLANO
SOBRE VÍDEO COMPRIMIDO APLICADAS
A ANUNCIOS DE TV”
Autora: Ana T...
2
1.- INTRODUCCIÓN
2.- COMPRESIÓN DE VÍDEO
3.- TÉCNICAS DE DETECCIÓN
4.- RESULTADOS
5.- CONCLUSIONES
ÍNDICE
3
1.- INTRODUCCIÓN
Contratos publicitarios millonarios
Detección de anuncios en TV
Detección de cambios de plano
4
Técnicas sobre vídeo
comprimido
Decodificación
mínima
Tratamiento de
menor volumen de
datos
+
 Rapidez procesamiento
 ...
5
Digitalización de la señal de vídeo
Muestreo temporal
Muestreo espacial
.
2.- COMPRESIÓN DE VÍDEO
6
Representación muestra espacio-temporal:
Píxel BkbGkgRkrY ⋅+⋅+⋅=
YBCb −=
YRCr −=
Espacio de color RGB
 Formato de muest...
7
• Es el proceso de compactar o condensar una
secuencia digital de video en un número pequeño
de bits.
• Se consigue elim...
8
Transformada Cuantización Reordenación
Codificador
de entropía
Señal
de vídeo
Compensación
de movimiento
Estimación
de m...
9
Redundancia temporal
 Clasificación de los cuadros: I (intra) o P (predicted).
 Cuadros P: estimación y compensación d...
10
 Codificación en modo intra (sin compensación de
movimiento): no hay región que cumpla el criterio.
 Codificación en ...
11
Redundancia espacial
 Transformada DCT: NxN muestras NxN coeficientes
con menor correlación.
• Coeficiente DC posición...
12
Codificación de entropía
Codificación predictiva: predicción de vector de
movimiento y coeficientes DC y AC
• Cálculo ...
13
3.- DETECCIÓN DE CAMBIOS DE PLANO
 Datos de la secuencia de vídeo: obtención de
vectores de movimiento y coeficientes ...
14
Método 1: Histogramas de color
 Se utilizan las diferencias de histograma de color
entre cuadros
 Histograma de color...
15
Método 2: Imágenes DC
 Evalúa las diferencias entre las imágenes DC
• Ser el máximo en la ventana.
• Superar el doble ...
16
Método 3: TWAM
 Utiliza una combinación de las 3 diferencias
normalizadas de histogramas: luminancia y cromas
azul y r...
17
Método 3: TWAM
 La nueva distancia se multiplica por un factor: el
cociente entre las distancias medias de dos
ventana...
18
Método 4: Tipos de cuadro
Diferencia por tipos de cuadro:
• Cuadros I: suma de las diferencias de
histogramas normaliza...
19
Método 5: Característica de secuencia
 Utiliza dos características de los planos:
12 +−= iiix σσ
∑=
+
−=
K
j
iii
jhjh
...
20
Método 6: LBDF
21
21
21
))(()(
),(
NTNT
bHWbH
HHLBDF b
⋅
⋅
=
∑
ybHWbHNT
b
xxx
∑ ⋅= ))(()(
∑ +=
w
wiHiHW )())((
 Utiliz...
21
Método 7: Distancia χ2
∑
−
=
+
−
+
+
−
=
1
0
2
2
2
2
2
))()((
))()((
))()((
))()((
N
i
b
Cr
ia
Cr
i
b
Cr
ia
Cr
i
b
Cb
i...
22
4.- RESULTADOS
Los bondad de los resultados se mide con dos parámetros:
FAC
C
NN
N
precisión
+
=
MDC
C
NN
N
recall
+
=
...
23
Método Precisión Recall
Histogramas color 89,32 85,19
Imágenes DC 76,67 63,89
TWAM 85,96 90,74
Tipos VOP 91,18 86,11
Ca...
24
Comparación de resultados
65
70
75
80
85
90
95
Histogramas color
Imágenes DC
TWAM
Tipos VOP
Característica
LBDF
Análisi...
25
Estabilidad de los algoritmos
Pruebas de robustez:
• Adición de ruido AWGN a las imágenes DC: se
añade ruido de varias ...
26
Cambios frente al ruido
Precisión frente al ruido
50
55
60
65
70
75
80
85
90
95
5 10 15 20 25 30 35 40 45 50 55 60
SNR ...
27
Cambios frente al ruido
28
Cambios frente a tasa de bits
Precisión frente a BR
65
70
75
80
85
90
95
100
150 286 420 572 700 900 1000
Bitrate (kbps...
29
Cambios frente a tasa de bits
Recall frente a BR
50
55
60
65
70
75
80
85
90
95
150 286 420 572 700 900 1000
Bitrate (kb...
30
5.- CONCLUSIONES
 La detección de cambios de plano sobre vídeo
comprimido funciona muy bien.
 Técnicas sencillas, ráp...
Upcoming SlideShare
Loading in …5
×

Comparación de técnicas de detección de cambios de plano sobre vídeo comprido aplicadas al reconocimiento de anuncios en tv

1,269 views

Published on

  • Be the first to comment

  • Be the first to like this

Comparación de técnicas de detección de cambios de plano sobre vídeo comprido aplicadas al reconocimiento de anuncios en tv

  1. 1. “COMPARACIÓN DE TÉCNICAS DE DETECCIÓN DE CAMBIOS DE PLANO SOBRE VÍDEO COMPRIMIDO APLICADAS A ANUNCIOS DE TV” Autora: Ana Torrent Contreras Director: José Ramón Cerquides Bueno UNIVERSIDAD DE SEVILLA Escuela Superior de Ingenieros Departamento de Teoría de la Señal y Comunicaciones
  2. 2. 2 1.- INTRODUCCIÓN 2.- COMPRESIÓN DE VÍDEO 3.- TÉCNICAS DE DETECCIÓN 4.- RESULTADOS 5.- CONCLUSIONES ÍNDICE
  3. 3. 3 1.- INTRODUCCIÓN Contratos publicitarios millonarios Detección de anuncios en TV Detección de cambios de plano
  4. 4. 4 Técnicas sobre vídeo comprimido Decodificación mínima Tratamiento de menor volumen de datos +  Rapidez procesamiento  Sin pérdida de eficacia
  5. 5. 5 Digitalización de la señal de vídeo Muestreo temporal Muestreo espacial . 2.- COMPRESIÓN DE VÍDEO
  6. 6. 6 Representación muestra espacio-temporal: Píxel BkbGkgRkrY ⋅+⋅+⋅= YBCb −= YRCr −= Espacio de color RGB  Formato de muestreo 4:2:0 Espacio de color YCrCb Más eficiente: reduce a la mitad la información a transmitir Y Cr Y Cr Y Y
  7. 7. 7 • Es el proceso de compactar o condensar una secuencia digital de video en un número pequeño de bits. • Se consigue eliminando los datos no necesarios para una reproducción fiel del vídeo. • Normalmente es con pérdidas: se consiguen niveles de compresión mayores a costa de cierta pérdida de calidad del vídeo.  Compresión de vídeo
  8. 8. 8 Transformada Cuantización Reordenación Codificador de entropía Señal de vídeo Compensación de movimiento Estimación de movimiento Cuantización inversa Transformada inversa Reducción redundancia espacial Buffer Reducción redundancia temporal Proceso de compresión Reducción redundancia estadística
  9. 9. 9 Redundancia temporal  Clasificación de los cuadros: I (intra) o P (predicted).  Cuadros P: estimación y compensación de movimiento: • División en macrobloques de 16x16 píxeles • Búsqueda de cada macrobloque en un área de búsqueda del cuadro de referencia Vector de movimiento “best-match” MB en cuadro anterior Macrobloque Área de búsqueda
  10. 10. 10  Codificación en modo intra (sin compensación de movimiento): no hay región que cumpla el criterio.  Codificación en modo inter (con compensación de movimiento): se encuentra una región que se convierte en la predicción.  Información a transmitir: • Residuo: • Vector de movimiento: componentes x e y Redundancia temporal -= Macrobloque Predicción
  11. 11. 11 Redundancia espacial  Transformada DCT: NxN muestras NxN coeficientes con menor correlación. • Coeficiente DC posición (0,0): valor medio • Coeficientes AC  Cuantización  Reordenación en zig-zag:  Codificación Run-Level-Last: Coeficientes: 64, 8, 0, 1, 0, 3 (0,64,0), (0,8,0), (1,1,0), (1,3,1)
  12. 12. 12 Codificación de entropía Codificación predictiva: predicción de vector de movimiento y coeficientes DC y AC • Cálculo diferencia valores y predicciones • El resultado se codifica y transmite Codificación con códigos de longitud variable • Códigos precalculados de longitud variable • A palabras más frecuentes se les asignan códigos más cortos Más compresión
  13. 13. 13 3.- DETECCIÓN DE CAMBIOS DE PLANO  Datos de la secuencia de vídeo: obtención de vectores de movimiento y coeficientes DC  Reconstrucción vectores de movimiento  Reconstrucción coeficientes DC  Construcción imagen DC: luminancia, croma azul y croma roja Cuadro original Imagen DC luminancia
  14. 14. 14 Método 1: Histogramas de color  Se utilizan las diferencias de histograma de color entre cuadros  Histograma de color: representa las frecuencias de los niveles de energía del cuadro -10 -5 0 5 10 0 100 200 300 -10 -5 0 5 10 0 100 200 300 -10 -5 0 5 10 0 100 200 300 Cuadro 1 Cuadro 2 Cuadro 3 Cambio de plano ∑= +−=+ N i inhinhnn hist d 1 ][1][)1,(  Diferencia de histogramas  Condición para la detección: diferencia máxima en una ventana de 15 cuadros y superación de umbral 0 100 200 300 400 500 0 0.2 0.4 0.6 0.8 1 Numero de cuadro Distanciahistogramadecolor Distancia Cambios reales Cambios detectados
  15. 15. 15 Método 2: Imágenes DC  Evalúa las diferencias entre las imágenes DC • Ser el máximo en la ventana. • Superar el doble del valor medio de la distancia en la ventana. • Superar en un 20% el valor el segundo máximo de la ventana.  Condiciones para la detección 0 100 200 300 400 500 0 0.2 0.4 0.6 0.8 1 Numero de cuadro DiferenciaimágenesDC Distancia Cambios reales Cambios detectados
  16. 16. 16 Método 3: TWAM  Utiliza una combinación de las 3 diferencias normalizadas de histogramas: luminancia y cromas azul y roja. ∑= − −= M t nn i i thth T nD 1 1 )()( 1 )( ∑= = CrCbYi i nDnD ,, )( 3 1 )(  La distancia actual se sustituye por la media de la distancia en una ventana: ∑ − = −= 1 0 )( 1 )),(( L j jnD L LnDF
  17. 17. 17 Método 3: TWAM  La nueva distancia se multiplica por un factor: el cociente entre las distancias medias de dos ventanas diferentes a cada lado ∑ ∑ ∑ − = − = − = −∗                     − − = =∗= 12 0 2 112 1 11 0 21 )( 1 )( )( )),(()),(()( L j L Lj L j TWAM jnD L jnD jnD LnDFLnDAnD  De esta manera se amplifican las diferencias 0 50 100 150 200 250 300 350 400 450 500 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Número de cuadro Distanciasinprocesar 0 50 100 150 200 250 300 350 400 450 500 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Numero de cuadro DiferenciasmetodoTWAM Distancia Cambios reales Cambios detectados
  18. 18. 18 Método 4: Tipos de cuadro Diferencia por tipos de cuadro: • Cuadros I: suma de las diferencias de histogramas normalizadas. Diferencia con el cuadro anterior tipo I ∑= −= Hist i YYY ifHifH Hist Sum 0 21 ),(),( 1 2 1 )( CrCbYf SumSumSumSum ++= 0 100 200 300 400 500 0 0.2 0.4 0.6 0.8 1 Cuadro DistanciacuadrosI • Cuadros P: cociente entre números de macrobloques de cada tipo InterMB IntraMB R p = 0 100 200 300 400 500 600 0 0.5 1 1.5 2 2.5 3 3.5 Cuadro RP
  19. 19. 19 Método 5: Característica de secuencia  Utiliza dos características de los planos: 12 +−= iiix σσ ∑= + −= K j iii jhjh T x 1 11 )()( 2 1 T iii xxx ],[ 21 =  21+ −= iii xxd   Se construye un vector con los dos valores:  La distancia utilizada para la detección es la norma del vector 0 100 200 300 400 500 0 0.2 0.4 0.6 0.8 1 Numero de cuadro Diferenciasdecaracterísticageneral Distancia Cambios reales Cambios detectados
  20. 20. 20 Método 6: LBDF 21 21 21 ))(()( ),( NTNT bHWbH HHLBDF b ⋅ ⋅ = ∑ ybHWbHNT b xxx ∑ ⋅= ))(()( ∑ += w wiHiHW )())((  Utiliza una función diferencia basada en la luminancia donde  Mide el parecido con una correlación normalizada de los histogramas de luminancia. • H1, H2, histogramas • b es una frecuencia del histograma • W: ventana centrada en i 0 100 200 300 400 500 0 0.2 0.4 0.6 0.8 1 Numero de cuadro LBDF Distancia Cambios reales Cambios detectados
  21. 21. 21 Método 7: Distancia χ2 ∑ − = + − + + − = 1 0 2 2 2 2 2 ))()(( ))()(( ))()(( ))()(( N i b Cr ia Cr i b Cr ia Cr i b Cb ia Cb i b Cb ia Cb i fHfH fHfH fHfH fHfH χ  Se utiliza la medida χ2 con los dos histogramas de color:  Condición para la detección: diferencia entre cuadro actual y anteriores diferencias entre el resto de cuadros en una ventana >> 0 100 200 300 400 500 0 0.2 0.4 0.6 0.8 1 Numero de cuadro Distanciachicuadrado Distancia Cambios reales Cambios detectados
  22. 22. 22 4.- RESULTADOS Los bondad de los resultados se mide con dos parámetros: FAC C NN N precisión + = MDC C NN N recall + = NC: número de cambios correctos; NFA: número de falsas alarmas NMD: número de cambios no detectados Número de cambios correctos detectados = Número total de cambios detectados Número de cambios correctos detectados = Número total de cambios reales
  23. 23. 23 Método Precisión Recall Histogramas color 89,32 85,19 Imágenes DC 76,67 63,89 TWAM 85,96 90,74 Tipos VOP 91,18 86,11 Característica 86,09 91,67 LBDF 82,88 85,19 Análisis Χ2 78,50 77,78 Tabla resultados
  24. 24. 24 Comparación de resultados 65 70 75 80 85 90 95 Histogramas color Imágenes DC TWAM Tipos VOP Característica LBDF Análisis X2 Precisión Precisión 0 10 20 30 40 50 60 70 80 90 100 Histogramas color Imágenes DC TWAM Tipos VOP Característica LBDF Análisis X2 Recall Recall 0 10 20 30 40 50 60 70 80 90 100 Histogramas color Imágenes DC TWAM Tipos VOP Característica LBDF Análisis X2 Precisión Recall
  25. 25. 25 Estabilidad de los algoritmos Pruebas de robustez: • Adición de ruido AWGN a las imágenes DC: se añade ruido de varias potencias a las imágenes DC y al parámetro RP usados en la detección de cambios de plano. • Cambio del parámetro de codificación bitrate o tasa de bits.
  26. 26. 26 Cambios frente al ruido Precisión frente al ruido 50 55 60 65 70 75 80 85 90 95 5 10 15 20 25 30 35 40 45 50 55 60 SNR (dB) Precisión(%) Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2
  27. 27. 27 Cambios frente al ruido
  28. 28. 28 Cambios frente a tasa de bits Precisión frente a BR 65 70 75 80 85 90 95 100 150 286 420 572 700 900 1000 Bitrate (kbps) Precisión(%) Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2
  29. 29. 29 Cambios frente a tasa de bits Recall frente a BR 50 55 60 65 70 75 80 85 90 95 150 286 420 572 700 900 1000 Bitrate (kbps) Recall(%) Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2
  30. 30. 30 5.- CONCLUSIONES  La detección de cambios de plano sobre vídeo comprimido funciona muy bien.  Técnicas sencillas, rápidas y efectivas.  La técnica que utiliza histogramas de color es la mejor en resultados y estabilidad frente a cambios.  Todas las técnicas probadas tienen problemas con las falsas alarmas (movimientos de cámara, cambios de luz). Futuras líneas de investigación: creación algoritmos más sofisticados capaces de identificar estos efectos.

×