Presentación del paper: "VITALAS, hacia una nueva generación de buscadores multimedia" en WWW/Internet 2010 - Algarve, Portugal. (Premio al mejor artículo de investigación)

1. VITALAS, hacia una
nueva generación de
buscadores multimedia
Iñaki Etxaniz
Cristina Martínez
TECNALIA - Sistemas de Información e Interacción
WWW/Internet 2010
10-11 Diciembre
Algarve, Portugal

2. Contexto

3. Multimedia hoy

4. El índice de Google contenía
un billón (1012
) de páginas
web en 2008
YouTube recibe cada minuto
24 horas de video (= 34.000
horas al día)
Flicker recibe 3,7 millones de
fotos al día.
Multimedia en la Web

5. SAXASXSAX
Usuarios profesionales:
medios de comunicación,
agencias fotográficas,
compañías multimedia…
Necesitan encontrar lo que buscan:
una herramienta capaz de almacenar y recuperar
información con rapidez y eficacia
VITALAS, contexto

6. VITALAS, el reto
Desarrollar un buscador multimedia avanzado que
localice contenidos de forma eficaz, incluso sin
anotación manual previa.
Que ofrezca facilidades, parcialmente presentes en
otros buscadores, como:
Búsqueda por similaridad visual (like.com)
Búsqueda por conceptos (Getty Images)
Búsqueda por color (Exalead, Xcavator)
Sugerencias (Yahoo, Google)
Relevance feedback (Sortfix, Vimasearch)
Lightboxes (Dreamstime, 123rf)

7. VITALAS, un caso de uso
“Michael, a journalist of the national newspaper «Le Soir» needs to find a
picture of a researcher in a medical laboratory with the “right type of material”.
As part of the request is not precisely expressed (material?), the results may not
be relevant. The user has to browse the resulting picture set to select one
corresponding to the illustration he imagines.”
1. Búsqueda textual y/o de conceptos multimedia
2. Resultados en función del perfil del usuario
3. Navegación interactiva en los resultados
4. Zoom y selección de un resultado
5. Búsqueda de resultados similares
Pasos de la búsqueda:

8. VITALAS,
visión general

9. VITALAS – Video & Image Indexing and Retrieval in the Large Scale
Objetivo: Buscador multimedia, orientado a profesionales del
sector y archivistas, con el fin de gestionar la indexación
y recuperación a gran escala de videos e imágenes.
Proyecto: Europeo IP (FP6-IST)
Plazo: 36+3 meses: ene 2007 – mar 2010
Socios (12):(BE) Belga
(DE) Fraunhofer IAIS, IRT
(ES) Tecnalia-Sistemas de Información e Interacción*
(FR) INRIA, ERCIM, INA, EADS
(GB) Univ. of Sunderland, Codeworks
(GR) CERTH-ITI
(NL) CWI
* Responsable de la Interfaz Gráfica de Usuario (GUI)

10. VITALAS, arquitectura
Arquitectura Orientada
a Servicios (SOA)
Client & Web-Server tiers
(source: The Java EE 5 Tutorial, Sun)
Interfaz de usuario Web avanzado
(RIA)
Capa cliente (HTML, Ajax, JScript, CSS, JSON)
Capa lógica de servidor (JSPs, servlets, Java)

11. Extracción de Conceptos cross-media
Low-level
Feature
Extraction
Fusion Classifiers
Multimedia
Document
CONCETP
Scores
 Low-level features
WBL, DCOLOR, CSD, HOUGH, Text, MFCC-Audio
 Fusion
Early fusion / Cross-domain concept fusion
 Classifiers
Array of SVMs (one per concept)
 Concept selection
Characteristic terms selected + LSCOM
Filtered by users and technicians
 Concept disambiguation
Definition, examples, related keywords.
 Training set selection
From captions; >5 positive examples per concept
Documents manually annotated, 530 concepts
90s
abbey
aborigines
abused_child
abused_woman
ac_milan_soccer
academy_award
accident_non_car
accident
actor
actress
adult
advertisement_commercial
aerobics
aerospace
affectionate
african_culture
african_ethnicity
agreement
agricultural_people
agriculture
aircraft_cabin
………………..

12. VITALAS, el usuario es importante
“La eficiencia de una aplicación mejora cuando está diseñada
para aprender del comportamiento del usuario”.
-> Perfiles de Usuario y Preferencias
“El valor de un buscador depende tanto de su eficiencia como
de facilidad de uso y comprensión de los resultados”.
-> Usabilidad
-> Diseño Centrado en el Usuario

13. Personalización
 Preferencias de Usuario
Personalización de búsquedas
Personalización de la presentación de resultados
 Lightboxes
Salva resultados relevantes (imagen & video)
Múltiples lightboxes
 Histórico de búsquedas
Almacena y lanza ‘queries’ previas
 Sugerencias
Basadas en ‘logs’ de usuarios

14. Diseño centrado en el usuario
ISO 13407:1999
Human-centred design
for interactive systems

15. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
ISO 13407:1999
Human-centred design
for interactive systems

16. Diseño centrado en el usuario
ISO 13407:1999
Human-centred design
for interactive systems
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso

17. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso
III. Soluciones de diseño siguiendo directrices de usabilidad
ISO 13407:1999
Human-centred design
for interactive systems

18. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso
III. Soluciones de diseño siguiendo directrices de usabilidad
IV. Evaluaciones de funcionalidad y ergonomía con usuarios
ISO 13407:1999
Human-centred design
for interactive systems

19. Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas en casos de uso
III. Soluciones de diseño siguiendo directrices de usabilidad
IV. Evaluaciones de funcionalidad y ergonomía con usuarios
 Varias iteraciones para una mejora progresiva del sistema
ISO 13407:1999
Human-centred design
for interactive systems

20. VITALAS, directrices de diseño
Ayudas claras a la navegación
Ninguna página sin salida
Proporcionar atajos para usuarios experimentados
Simplicidad y coherencia
Dar importancia a la estética en el diseño

21. VITALAS, directrices de diseño
Ayudas claras a la navegación
Ninguna página sin salida
Proporcionar atajos para usuarios experimentados
Simplicidad y coherencia
Dar importancia a la estética en el diseño
Mostrar los resultados de forma inmediata
Resaltar los términos de la búsqueda en los resultados
Ofrecer diferentes vistas de resultados
Integrar navegación y búsqueda
Equilibrar opciones por defecto vs. control por el usuario
Proporcionar sugerencias al usuario
Proporcionar un historial de búsquedas

22. VITALAS, evaluaciones
Evaluación de funcionalidad y ergonomía
Aceptación, utilidad y usabilidad
Tests de usuarios: Thinking-aloud y cuestionario
Evaluación heurística: Análisis siguiendo principios de usabilidad
(lista de criterios predefinidos, p.e. Nielsen).
+Participación en el concurso interactivo TRECVID’09

23. VITALAS, varias iteraciones
v1 (2008)

24. VITALAS, varias iteraciones
v1 (2008) v2 (2009)

25. VITALAS, varias iteraciones
v1 (2008) v2 (2009) v3 (2010)

26. VITALAS,
el buscador

27. VITALAS, diseño y funcionalidad
Basic search

28. VITALAS, diseño y funcionalidad
Basic search
Extended search

29. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search

30. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion

31. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload

32. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload
Search by color

33. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload
Search by color
Light boxes

34. VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Upload
Search by color
Light boxes
Search on part of a picture

35. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview

36. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback

37. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback

38. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback

39. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view

40. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view

41. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes

42. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom

43. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position

44. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments

45. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments
Highlight matching
terms in transcription

46. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments
Highlight matching
terms in transcription
Click to play a segment

47. VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video playback position
Highlight relevant
segments
Highlight matching
terms in transcription
Click to play a segment
Similar video

48. VITALAS,
conclusiones

49. evaluaciones + iteraciones + usuarios
Mejoras como resultado de los test de usuario:
 Drag & drop de resultados.
 Vista de cluster para agrupar los resultados según los criterios de
búsqueda
 Back/forward para moverse entre las vistas
 Histórico de las búsquedas realizadas en la sesión, que permita repetirlas
 Usar mouse-over en lugar de clicks (zoom, seleccionar segmentos)
 Vista preliminar de los videos en la vista de resultados (fotogramas)
 Mejoras en la interacción con el video (zoom, cursor, marcar seg./texto)

50. VITALAS, conclusiones
 Valoración muy positiva de las posibilidades de búsqueda multi-modal,
que se pueden combinar entre sí (fused search).
 Efectividad: búsquedas por similaridad (2x); búsquedas por conceptos (3x);
búsquedas combinadas (5x).
 La ergonomía de la aplicación favorece el manejo del sistema y junto con el
look and feel profesional mejora la experiencia del usuario.
Criterio Valor
(1-Muy útil; 5 Nada útil)
Utilidad 1,3
Funcionalidad 2,1
Facilidad de uso 2,2
Ergonomía 1,9
Evaluación del sistema sobre colecciones profesionales extensas
(16K horas de video + 1M de imágenes)

51. Obrigado-Gracias

52. Obrigado-Gracias
VITALAS, hacia una nueva generación
de buscadores multimedia
inaki.etxaniz@tecnalia.com