BÚSQUEDA VISUAL CON RETROACCIÓN DE
RELEVANCIA BASADA EN ACTUALIZACIÓN DE
PESOS
!
!
!
Aida Rubiano
Febrero 2011
ÍNDICE
○ 1. INTRODUCCIÓN
○ 2. REQUERIMIENTOS
○ 3. DISEÑO
○ 4. DESARROLLO
○ 5. RESULTADOS
○ 6. CONCLUSIONES
○ 7. TRABAJO FU...
Consulta
BASE DE DATOS
DESCRIPTORES
VISUALES
RETROACCIÓN POR RELEVANCIA
2
INTRODUCCIÓN(I)

MOTOR DE
BÚSQUEDA
INTRODUCCIÓN(II)

○ Proyecto desarrollado en el marco del proyecto CENIT-
2009-1026 Buscamedia financiado por el gobierno ...
REQUERIMIENTOS (I)

!
!
○ OBJETIVO:
Comprobar si la interacción del usuario puede mejorar los
resultados obtenidos con una...
REQUERIMIENTOS (II) 

DESCRIPTORES
VISUALES
DESCRIPTOR DE
COLOR DOMINANTE
DESCRIPTOR DE
ESTRUCTURA DE
COLOR
DESCRIPTOR DE
...
REQUERIMIENTOS (III) 

!
○ El diseño del sistema se idea para una futura integración al
sistema de recuperación de imágene...
DISEÑO (I) 

RETROACCIÓN POR
RELEVANCIA
GENERAR UNA NUEVA
CONSULTA
ENTRENAR EL
SISTEMA CON
CLASIFICADORES
ACTUALIZACIÓN DE...
DISEÑO (II) 

○ El motor de búsqueda UPSeek
● No es lo suficientemente rápido para manejar un conjunto grande de
datos en ...
DISEÑO (III) 

ESQUEMA DE LA TÉCNICA DE ACTUALIZACIÓN DE PESOS
9
DISEÑO (IV) 

EXPERIMENTOS
RUI
PROPUESTA 1A PROPUESTA 1B PROPUESTA 2
TAYCHER
PROPUESTA 3 PROPUESTA 4
AKSOY
PROPUESTA 5
10
DISEÑO (V) 

PROCESO DE ACTUALIZACIÓN DE PESOS
!
!
○ Inicializar los pesos a 0.
○ varía en función de la relevancia que le...
DISEÑO (VI)

ACTUALIZACIÓN UNIFORME
○ 5 sistemas de evaluación ○ 3 sistemas de evaluación
TÉCNICA RUI ORIGINAL TÉCNICA RUI...
DISEÑO (VII)

PROPUESTA 1A Y PROPUESTA 1B
○ Aproximación técnica no
implementable.
!
○ Si (la imagen es relevante &
)
!
AC...
DISEÑO (VIII)

PROPUESTA 2
ACTUALIZACIÓN SEGÚN LA DISTANCIA
14
! , es relevante
= 0, no opina
−1 ( , )id q x
− −(1 ( , ))i...
DISEÑO(IX)

ACTUALIZACIÓN SEGÚN MEDIA DE LAS DISTANCIAS RELEVANTES
TÉCNICA DE TAYCHER
¡INCONVENIENTE!
No tiene en cuenta l...
DISEÑO(X)

ACTUALIZACIÓN SEGÚN MEDIA NORMALIZADA DE DISTANCIAS RELEVANTES
○ Si no existen imágenes no relevantes.
PROPUEST...
DISEÑO

ACTUALIZACIÓN POR DESVIACIÓN ESTÁNDAR NORMALIZADA DE LAS DISTANCIAS RELEVANTES
AKSOY PROPUESTA 5
σ
σ
±
+
= i
i
i
w...
DESARROLLO (I) 

DISEÑO ADAPTADO
18
DESARROLLO (II) 

GRAFO DE SIMILITUD
!
!
○ Relaciona cada elemento de un conjunto con los otros
elementos más similares de...
DESARROLLO (III) 

USUARIO VIRTUAL
!
○ Anotación manual generada previamente.
!
○ Anotada para los diferentes conceptos qu...
DESARROLLO (IV) 

ELABORACIÓN DE LA LISTA DE RESULTADOS
PARÁMETROS
FIJOS
PARÁMETROS
VARIABLES
- Ruta Local
-Valor de las d...
DESARROLLO (V) 

ELABORACIÓN DE LA LISTA DE RESULTADOS
○ ESQUEMA RESUMEN
22
RESULTADOS(I)

○ CUESTIONES A RESOLVER:
1.- Sin involucrar a la retroacción por relevancia, ¿Qué sistema de
fusión de simi...
RESULTADOS(II)

MÉTRICAS DE EVALUACIÓN: MAP
( )
=
= ∑1
| |
1
( )
| |
Q
j
MAP Q AP Q
Q
= =
= ∑ ∑1
|
1
|
1 1
( ) ó ( )
| |
j...
RESULTADOS(III)

MÉTRICAS DE EVALUACIÓN: ANMRR
=
= ∑1
1
j
Q
j jANMRR NMRR
Q
NMRR (Normalised Modified Retrieval Rank): =
!...
RESULTADOS(IV)

CUESTIÓN 1. FUSIÓN DE SIMILITUD POR POSICIÓN VS COMBINACIÓN LINEAL
=
= ∑1
1
j
Q
j jANMRR NMRR
Q
F. Posició...
RESULTADOS(V)

CUESTIÓN 2. ¿QUÉ EXPERIMENTO ES MEJOR?
ANMRR
0,1
0,12
0,14
0,16
0,18
Iteración 0 Iteración 2 Iteración 4 It...
RESULTADOS(VI)

CUESTIÓN 2. ¿QUÉ EXPERIMENTO ES MEJOR?
MAP
0,5
0,575
0,65
0,725
0,8
Iteración 0 Iteración 2 Iteración 4 It...
RESULTADOS(VII)

CUESTIÓN 3. ¿QUÉ DESCRIPTOR RESULTA MEJOR?
reagan
r person
ongress
garden
dscape 3
nd horse
nglasses
the ...
RESULTADOS(VIII)

CUESTIÓN 4. ¿CUÁNTA ES LA MEJORA DE LOS RESULTADOS CON LA INTERACCIÓN DEL
USUARIO?
Iter. 0 Iter. 1 Iter....
RESULTADOS(IX)

CUESTIÓN 5. ¿SE OBTIENE LAS MISMAS CONCLUSIONES OBSERVANDO LAS MÉTRICAS
UTILIZADAS?
○ El experimento de Ta...
CONCLUSIONES 

○ Se ha demostrado que las técnicas de Retroacción por
Relevancia mejoran los resultados de los sistemas de...
○ Generar los experimentos con una base de datos más extensa.
!
○ Desarrollar las técnicas restantes de Retroacción por
Re...
Búsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos
Upcoming SlideShare
Loading in...5
×

Búsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos

87

Published on

MSc thesis by Aida Rubiano defended at the ETSETB school from UPC on February 2011. Advised by Xavier Giró-i-Nieto.

Full text and more details at:

https://imatge.upc.edu/web/publications/busqueda-visual-con-retroaccion-de-relevancia-basada-en-actualizacion-de-pesos

Abstract:

This project presents the design and implementation of different techniques of Relevance Feedback for image searches. These techniques use the user interaction with the search results to estimate the importance of various search criteria in the request submitted by the user. The results have been performed through the linear combination of similarity measures of different MPEG-7 visual descriptors. The results of this project have been compared with those previously obtained in the Final Degree Project by Carles Ventura. For this reason the system has been evaluated with the reference database, MPEG-7 Common Color Dataset (CCD)

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
87
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Búsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos

  1. 1. BÚSQUEDA VISUAL CON RETROACCIÓN DE RELEVANCIA BASADA EN ACTUALIZACIÓN DE PESOS ! ! ! Aida Rubiano Febrero 2011
  2. 2. ÍNDICE ○ 1. INTRODUCCIÓN ○ 2. REQUERIMIENTOS ○ 3. DISEÑO ○ 4. DESARROLLO ○ 5. RESULTADOS ○ 6. CONCLUSIONES ○ 7. TRABAJO FUTURO 1
  3. 3. Consulta BASE DE DATOS DESCRIPTORES VISUALES RETROACCIÓN POR RELEVANCIA 2 INTRODUCCIÓN(I)
 MOTOR DE BÚSQUEDA
  4. 4. INTRODUCCIÓN(II)
 ○ Proyecto desarrollado en el marco del proyecto CENIT- 2009-1026 Buscamedia financiado por el gobierno español y la CCMA (Corporació Catalana de Mitjans Audiovisuals). 3
  5. 5. REQUERIMIENTOS (I)
 ! ! ○ OBJETIVO: Comprobar si la interacción del usuario puede mejorar los resultados obtenidos con una sola iteración. ! ○ El proyecto tiene como precedente el trabajo final de carrera de Carles Ventura. 4
  6. 6. REQUERIMIENTOS (II) 
 DESCRIPTORES VISUALES DESCRIPTOR DE COLOR DOMINANTE DESCRIPTOR DE ESTRUCTURA DE COLOR DESCRIPTOR DE DISTRIBUCIÓN DE COLOR DESCRIPTOR DEL HISTOGRAMA DE LA TEXTURA DE LOS CONTORNOS ! ○ Base de datos utilizada: ● Common Color Dataset (CCD) 5466 imágenes Ground truth: 50 imágenes como consulta 5
  7. 7. REQUERIMIENTOS (III) 
 ! ○ El diseño del sistema se idea para una futura integración al sistema de recuperación de imágenes UPSeek. ! ! ! ○ Los resultados son evaluados a través de: ● Average Normalized Modified Retrieval Rate (ANMRR) ● MAP (Mean Average Precision) 6
  8. 8. DISEÑO (I) 
 RETROACCIÓN POR RELEVANCIA GENERAR UNA NUEVA CONSULTA ENTRENAR EL SISTEMA CON CLASIFICADORES ACTUALIZACIÓN DE PESOS 7
  9. 9. DISEÑO (II) 
 ○ El motor de búsqueda UPSeek ● No es lo suficientemente rápido para manejar un conjunto grande de datos en un tiempo computacionalmente aceptable. ! ! ! ● Realizar los experimentos sobre resultados de búsqueda precalculados en forma de GRAFOS DE SIMILITUD. 8
  10. 10. DISEÑO (III) 
 ESQUEMA DE LA TÉCNICA DE ACTUALIZACIÓN DE PESOS 9
  11. 11. DISEÑO (IV) 
 EXPERIMENTOS RUI PROPUESTA 1A PROPUESTA 1B PROPUESTA 2 TAYCHER PROPUESTA 3 PROPUESTA 4 AKSOY PROPUESTA 5 10
  12. 12. DISEÑO (V) 
 PROCESO DE ACTUALIZACIÓN DE PESOS ! ! ○ Inicializar los pesos a 0. ○ varía en función de la relevancia que le da el usuario y el experimento escogido. ○ Normalizar los pesos ○ Actualizar las distancias fusionadas y ordenar la lista 11 Δ iw
  13. 13. DISEÑO (VI)
 ACTUALIZACIÓN UNIFORME ○ 5 sistemas de evaluación ○ 3 sistemas de evaluación TÉCNICA RUI ORIGINAL TÉCNICA RUI ADAPTADA ¡INCONVENIENTE! No varía en función ni de la posición ni del grado de similitud con la consulta 12 = 3, es relevante = 0; no opina = -3; no es relevante = 3; es altamente relevante = 1; es relevante = 0; no opina = -1; no es relevante = -3; no es altamente relevante Δ iw Δ iw
  14. 14. DISEÑO (VII)
 PROPUESTA 1A Y PROPUESTA 1B ○ Aproximación técnica no implementable. ! ○ Si (la imagen es relevante & ) ! ACTUALIZACIÓN SEGÚN POSICIÓN ACTUALIZACIÓN MÁXIMA ENTRE LAS PRIMERAS m POSICIONES 13 = , es relevante = 0, no opina = , no es relevante ! − ( )iN pos x − −( ( ))iN pos x ≤( )ipos x m Δ =iw N ( )ipos x x donde: N= nº de imágenes visibles para el usuario = posición donde se sitúa la imagen a evaluar en el descriptor i. Δ iw
  15. 15. DISEÑO (VIII)
 PROPUESTA 2 ACTUALIZACIÓN SEGÚN LA DISTANCIA 14 ! , es relevante = 0, no opina −1 ( , )id q x − −(1 ( , ))id q x donde: ( , )id q x corresponde a la distancia existente entre la consulta y la imagen a evaluar para el descriptor i. Δ iw
  16. 16. DISEÑO(IX)
 ACTUALIZACIÓN SEGÚN MEDIA DE LAS DISTANCIAS RELEVANTES TÉCNICA DE TAYCHER ¡INCONVENIENTE! No tiene en cuenta las imágenes no relevantes. En el caso de que la media de las imágenes no relevantes fuera similar al de las relevantes NO es un buen estimador. ε µ+ = + 1 i i w donde: µ+ i : media de la distancias normalizadas de las imágenes relevantes. ε: constante que limita la influencia de un descriptor concreto. Para este experimentos y el resto que lo requiera su valor es de 0.1. 15
  17. 17. DISEÑO(X)
 ACTUALIZACIÓN SEGÚN MEDIA NORMALIZADA DE DISTANCIAS RELEVANTES ○ Si no existen imágenes no relevantes. PROPUESTA 3 PROPUESTA 4 µ ε µ + ± = + 1 i i i w donde: : media de la distancias normalizadas de las imágenes relevantes y no relevantes. i µ± µ ε µ + − = + 1 i i i w µ− = 1i 16 ε µ+ = + 1 i i w
  18. 18. DISEÑO
 ACTUALIZACIÓN POR DESVIACIÓN ESTÁNDAR NORMALIZADA DE LAS DISTANCIAS RELEVANTES AKSOY PROPUESTA 5 σ σ ± + = i i i w σ ε σ + ± = + 1 i i i w i σ + i σ ± : desviación de la distancias normalizadas de las imágenes relevantes y no relevantes. : desviación de la distancias normalizadas de las imágenes relevantes. 17
  19. 19. DESARROLLO (I) 
 DISEÑO ADAPTADO 18
  20. 20. DESARROLLO (II) 
 GRAFO DE SIMILITUD ! ! ○ Relaciona cada elemento de un conjunto con los otros elementos más similares del mismo conjunto. ! ○ Se ha calculado un Grafo de Similitud para cada tipo de descriptor visual. 19
  21. 21. DESARROLLO (III) 
 USUARIO VIRTUAL ! ○ Anotación manual generada previamente. ! ○ Anotada para los diferentes conceptos que se incluyen en el experimento. ! ○ Si la instancia de la imagen es: ● Positiva = relevante ● Negativa = no relevante ● Neutra = no sabe 20
  22. 22. DESARROLLO (IV) 
 ELABORACIÓN DE LA LISTA DE RESULTADOS PARÁMETROS FIJOS PARÁMETROS VARIABLES - Ruta Local -Valor de las distancias/descriptor visual - Vector de la posición/listas de cada descriptor visual - Valor Instancia/consulta IMÁGEN = ∑( , ) · ( , )i i i d q x w d q x 21
  23. 23. DESARROLLO (V) 
 ELABORACIÓN DE LA LISTA DE RESULTADOS ○ ESQUEMA RESUMEN 22
  24. 24. RESULTADOS(I)
 ○ CUESTIONES A RESOLVER: 1.- Sin involucrar a la retroacción por relevancia, ¿Qué sistema de fusión de similitudes obtiene mejores resultados: por posición o mediante combinación lineal? 2.- ¿Qué experimento obtiene mejores resultados? 3.-¿Qué descriptor visual es más útil para esta base de datos? 4.- ¿Cuanto mejoran los resultados al interaccionar el usuario con los resultados? 5.- ¿Se obtienen las mismas conclusiones observando las dos evaluaciones? 23
  25. 25. RESULTADOS(II)
 MÉTRICAS DE EVALUACIÓN: MAP ( ) = = ∑1 | | 1 ( ) | | Q j MAP Q AP Q Q = = = ∑ ∑1 | 1 | 1 1 ( ) ó ( ) | | j j k mQ jk j AP Q Precisi n R Q mAP (Average Precision): : número de consultas que se realiza| |Q j k R : es el conjunto de primeros k resultados devueltos para la consulta j : es el número de documentos relevantes para la consulta j.jm 24
  26. 26. RESULTADOS(III)
 MÉTRICAS DE EVALUACIÓN: ANMRR = = ∑1 1 j Q j jANMRR NMRR Q NMRR (Normalised Modified Retrieval Rank): = ! "− +$ %1.25· 0.5· 1 j j jk j MRR NMRR R m MRR (Modified Retrieval Rank): ! "= − +$ %0.5· 1j j jMRR AVR m = = ∑1 1 jm j k j kAVR Rank m AVR (Average Rank): → ≤# = > → $ → →%1.25· k k jk jk k k k j si R R si Ran Rank Ran k R k Rank { }! "= ∀$ %min 4· , 2·max ,jk j jR m m j kRank :posición donde la imagen relevante k es devuelta j k R :numero de imágenes devueltas para una consulta q. jm :número de imágenes relevantes en la base de datos 25
  27. 27. RESULTADOS(IV)
 CUESTIÓN 1. FUSIÓN DE SIMILITUD POR POSICIÓN VS COMBINACIÓN LINEAL = = ∑1 1 j Q j jANMRR NMRR Q F. Posición F. comb. lineal ANMRR 0,187168 0,1429 100% Comparación a nivel de consulta: 26
  28. 28. RESULTADOS(V)
 CUESTIÓN 2. ¿QUÉ EXPERIMENTO ES MEJOR? ANMRR 0,1 0,12 0,14 0,16 0,18 Iteración 0 Iteración 2 Iteración 4 Iteración 6 Iteración 8 RUI PROPOSE 1A PROPOSE 1B PROPOSE 2 TAYCHER PROPOSE 3 PROPOSE 4 AKSOY PROPOSE 5 27
  29. 29. RESULTADOS(VI)
 CUESTIÓN 2. ¿QUÉ EXPERIMENTO ES MEJOR? MAP 0,5 0,575 0,65 0,725 0,8 Iteración 0 Iteración 2 Iteración 4 Iteración 6 Iteración 8 RUI PROPOSE 1A PROPOSE 1B PROPOSE 2 TAYCHER PROPOSE 3 PROPOSE 4 AKSOY PROPOSE 5 El experimento de Taycher es el que proporciona el mejor resultado en ambas métricas 28
  30. 30. RESULTADOS(VII)
 CUESTIÓN 3. ¿QUÉ DESCRIPTOR RESULTA MEJOR? reagan r person ongress garden dscape 3 nd horse nglasses the red iz scene and sky shop snake speaker g people r image 0,00 0,30 0,60 0,90 1,20 Texture Edge Color Layout Dominant Color Color Structure   Texture Edge Color Layout D o m i n a n t Color C o l o r Structure P R O M E D I O DE PESOS 0,2786 0,2259 0,1323 0,3631 100% PROMEDIO DE 29
  31. 31. RESULTADOS(VIII)
 CUESTIÓN 4. ¿CUÁNTA ES LA MEJORA DE LOS RESULTADOS CON LA INTERACCIÓN DEL USUARIO? Iter. 0 Iter. 1 Iter. 2 Iter.n 3 Iter. 4 Iter. 5 Iter. 6 Iter. 7 Iter. 8 Iter. 9 MAP 0,679089 0,730381 0,730381 0,730381 0,730381 0,730381 0,730381 0,730381 0,730381 0,730381 Iter. 0 Iter. 1 Iter. 2 Iter. 3 Iter. 4 Iter. 5 Iter. 6 Iter. 7 Iter. 8 Iter. 9 ANMRR 0,142883 0,119629 0,117162 0,117162 0,117162 0,117162 0,117162 0,117162 0,117162 0,117162 G MAP 7.55% G. Iter 1 G. Iter 2 ANMRR 16.27% 18% 30
  32. 32. RESULTADOS(IX)
 CUESTIÓN 5. ¿SE OBTIENE LAS MISMAS CONCLUSIONES OBSERVANDO LAS MÉTRICAS UTILIZADAS? ○ El experimento de Taycher obtiene los mejores resultados ○ El experimento Rui y Propuesta 2 no siguen el comportamiento habitual ni en ANMRR ni en MAP. ○ Los mejores resultados interactuando con el usuario se obtienen en las iteraciones 1 y 2. ○ Si se observa los resultados de ANMRR de la Propuesta 1A y 1B no siguen el comportamiento normal de la curba. En cambio, sus resultados MAP son bastante buenos. ○ La mayoría de los resultados de los experimentos no llegan a estabilizarse en la métrica ANMRR, en cambio en MAP si. SIMILITUDES DIFERENCIAS 31
  33. 33. CONCLUSIONES 
 ○ Se ha demostrado que las técnicas de Retroacción por Relevancia mejoran los resultados de los sistemas de recuperación de imágenes. ! ○ La retroacción mejora si se tiene en cuenta los resultados vecinos. ! ○ Para la base de datos CCD el experimento que resulta mejor es el de Taycher. 32
  34. 34. ○ Generar los experimentos con una base de datos más extensa. ! ○ Desarrollar las técnicas restantes de Retroacción por Relevancia: uso de clasificadores y generación de una nueva consulta. ! ○ Medir de forma más precisa cuanta información debe generar el usuario, al interpretar una interactuación cada vez que el usuario valora una imagen. TRABAJO FUTURO
 33
  1. ¿Le ha llamado la atención una diapositiva en particular?

    Recortar diapositivas es una manera útil de recopilar información importante para consultarla más tarde.

×