0
VITALAS, hacia una
nueva generación de
buscadores multimedia
Iñaki Etxaniz
Cristina Martínez
TECNALIA - Sistemas de Inform...
Contexto
Multimedia hoy
El índice de Google contenía
un billón (1012
) de páginas
web en 2008
YouTube recibe cada minuto
24 horas de video (= 34.0...
SAXASXSAX
Usuarios profesionales:
medios de comunicación,
agencias fotográficas,
compañías multimedia…
Necesitan encontrar...
VITALAS, el reto
Desarrollar un buscador multimedia avanzado que
localice contenidos de forma eficaz, incluso sin
anotació...
VITALAS, un caso de uso
“Michael, a journalist of the national newspaper «Le Soir» needs to find a
picture of a researcher...
VITALAS,
visión general
VITALAS – Video & Image Indexing and Retrieval in the Large Scale
Objetivo: Buscador multimedia, orientado a profesionales...
VITALAS, arquitectura
Arquitectura Orientada
a Servicios (SOA)
Client & Web-Server tiers
(source: The Java EE 5 Tutorial, ...
Extracción de Conceptos cross-media
Low-level
Feature
Extraction
Fusion Classifiers
Multimedia
Document
CONCETP
Scores
 L...
VITALAS, el usuario es importante
“La eficiencia de una aplicación mejora cuando está diseñada
para aprender del comportam...
Personalización
 Preferencias de Usuario
Personalización de búsquedas
Personalización de la presentación de resultados
 ...
Diseño centrado en el usuario
ISO 13407:1999
Human-centred design
for interactive systems
Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
ISO 13407:1999
Human-centred ...
Diseño centrado en el usuario
ISO 13407:1999
Human-centred design
for interactive systems
I. Identificación del contexto e...
Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas ...
Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas ...
Diseño centrado en el usuario
I. Identificación del contexto e involucración de los usuarios
II. Especificaciones basadas ...
VITALAS, directrices de diseño
Ayudas claras a la navegación
Ninguna página sin salida
Proporcionar atajos para usuarios e...
VITALAS, directrices de diseño
Ayudas claras a la navegación
Ninguna página sin salida
Proporcionar atajos para usuarios e...
VITALAS, evaluaciones
Evaluación de funcionalidad y ergonomía
Aceptación, utilidad y usabilidad
Tests de usuarios: Thinki...
VITALAS, varias iteraciones
v1 (2008)
VITALAS, varias iteraciones
v1 (2008) v2 (2009)
VITALAS, varias iteraciones
v1 (2008) v2 (2009) v3 (2010)
VITALAS,
el buscador
VITALAS, diseño y funcionalidad
Basic search
VITALAS, diseño y funcionalidad
Basic search
Extended search
VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Uplo...
VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Uplo...
VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Uplo...
VITALAS, diseño y funcionalidad
Basic search
Extended search
Advanced search
Term/concept suggestion
Similar search + Uplo...
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video p...
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video p...
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video p...
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video p...
VITALAS, diseño y funcionalidad (II)
Zoom / Video preview
Relevance feedback
Cluster view
Keyframes
Timelines zoom
Video p...
VITALAS,
conclusiones
evaluaciones + iteraciones + usuarios
Mejoras como resultado de los test de usuario:
 Drag & drop de resultados.
 Vista ...
VITALAS, conclusiones
 Valoración muy positiva de las posibilidades de búsqueda multi-modal,
que se pueden combinar entre...
Obrigado-Gracias
Obrigado-Gracias
VITALAS, hacia una nueva generación
de buscadores multimedia
inaki.etxaniz@tecnalia.com
Upcoming SlideShare
Loading in...5
×

VITALAS, hacia una nueva generación de buscadores multimedia

408

Published on

Presentación del paper: "VITALAS, hacia una nueva generación de buscadores multimedia" en WWW/Internet 2010 - Algarve, Portugal.
(Premio al mejor artículo de investigación)

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
408
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • ABSTRACT El manejo de archivos multimedia se ha convertido en algo común hoy en día para el público en general. El volumen de este tipo de información presente en nuestras vidas, en gran parte a través de la Web, crece cada día. De ahí que resulte de máximo interés, sobre todo para los usuarios profesionales, disponer de una herramienta capaz de indexarla y recuperarla eficazmente. El proyecto VITALAS tiene como objetivo gestionar la indexación y recuperación a gran escala de videos e imágenes, y está especialmente dirigido a profesionales. En este artículo presentamos una visión general de la herramienta y una descripción detallada de su interfaz de usuario, que permite la búsqueda y visualización de contenido multimedia. Asimismo, se presenta el papel desempeñado por los usuarios durante las fases de diseño y evaluación, quienes han proporcionado una opinión positiva del resultado, confirmando así la utilidad y eficacia del enfoque seguido. CONCLUSIONES El sistema VITALAS ha sido diseñado teniendo en cuenta los requisitos y casos de uso expresados por los usuarios , y ha sido refinado como resultado de las evaluaciones llevadas a cabo con usuarios profesionales y no profesionales en varios estadios del proyecto Los usuarios han declarado que la herramienta VITALAS representa una mejora sobre las herramientas disponibles actualmente, debido al intuitivo interfaz de usuario que ofrece múltiples e innovadores servicios de búsqueda. Como limitaciones del sistema podemos citar un tiempo de respuesta mejorable, así como la necesidad de una formación previa a los usuarios con el fin de extraer todas las ventajas potenciales de la herramienta . Future work: autocompletado y corrección de términos; búsqueda avanzada que integre metadatos, similaridad, y conceptos mediante operadores lógicos; proporcionar filtros para refinar la búsqueda; integración de archivos de audio en múltiples idiomas; o mejorar el nivel de accesibilidad del interfaz de usuario. Los resultados de VITALAS son aplicables a sectores tales como medios de comunicación y difusión, agencias de prensa, agencias fotográficas, compañías multimedia, gestores de activos digitales, educación, seguridad y prevención de delitos y, en general, para facilitar el acceso a archivos corporativos en grandes empresas.
  • Búsqueda de contenidos multimedia en la web El uso de archivos multimedia se ha convertido en algo común hoy en día para el público en general y la Web no es ajena a este fenómeno. El volumen de este tipo de información presente en nuestras vidas crece cada día. En 2008, el índice de Google contenía un billón (1012) de páginas web, según una estimación de la Comisión Europea. YouTube recibe cada minuto 24 horas de video –equivalente a 120.000 películas cada semana. Flicker recibe 3,7 millones de fotos por día. Esto es aún más notorio en el caso de los usuarios profesionales de sectores como medios de comunicación, agencias fotográficas, compañías multimedia, etc., para los cuales es de máximo interés disponer de una herramienta capaz de indexar y recuperar información eficazmente. Actualmente el uso de las fotografías y vídeos digitales se extiende a la actividad diaria de cualquier persona y no sólo a la de aquellos sectores profesionales que habitualmente los utilizan como son los relacionados con la educación, prensa, arte, medicina, investigación, publicidad, archivos, bibliotecas, etc. La web constituye una inmensa enciclopedia digital visual de alcance universal…
  • Esto es aún más notorio en el caso de los usuarios profesionales de sectores como medios de comunicación, agencias fotográficas, compañías multimedia, etc., para los cuales es de máximo interés disponer de una herramienta capaz de indexar y recuperar información eficazmente. Dividirla en dos traspas? *CRIS => Yo creo que queda bien en una sola
  • Mejorando el panorama de buscadores Búsqueda por similaridad visual ( like.com ) Búsqueda por conceptos ( Getty Images ) Búsqueda por color ( Exalead, Xcavator ) Vistas de cluster ( Google Labs ) Sugerencias relacionadas ( Yahoo, Google ) Relevance feedback ( Sortfix, Vimasearch ) Lightboxes ( Dreamstime, 123rf )
  • La foto a buscar no está muy definida.
  • SOA: Service Oriented Architecture , Servicios Web ESB: Enterprise ServiceBus como mediador y comunicación entre servicios BPEL como or GUI: Web application -Cliente (HTML, Ajax, Javascript, JSON -Servidor(JSPs, Java, XML-RDF parser)
  • SVM: Support Vector Machine LSCOM: Large Scale Concept Ontology for Multimedia
  • V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video
  • V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video
  • V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video
  • Transcript of "VITALAS, hacia una nueva generación de buscadores multimedia"

    1. 1. VITALAS, hacia una nueva generación de buscadores multimedia Iñaki Etxaniz Cristina Martínez TECNALIA - Sistemas de Información e Interacción WWW/Internet 2010 10-11 Diciembre Algarve, Portugal
    2. 2. Contexto
    3. 3. Multimedia hoy
    4. 4. El índice de Google contenía un billón (1012 ) de páginas web en 2008 YouTube recibe cada minuto 24 horas de video (= 34.000 horas al día) Flicker recibe 3,7 millones de fotos al día. Multimedia en la Web
    5. 5. SAXASXSAX Usuarios profesionales: medios de comunicación, agencias fotográficas, compañías multimedia… Necesitan encontrar lo que buscan: una herramienta capaz de almacenar y recuperar información con rapidez y eficacia VITALAS, contexto
    6. 6. VITALAS, el reto Desarrollar un buscador multimedia avanzado que localice contenidos de forma eficaz, incluso sin anotación manual previa. Que ofrezca facilidades, parcialmente presentes en otros buscadores, como: Búsqueda por similaridad visual (like.com) Búsqueda por conceptos (Getty Images) Búsqueda por color (Exalead, Xcavator) Sugerencias (Yahoo, Google) Relevance feedback (Sortfix, Vimasearch) Lightboxes (Dreamstime, 123rf)
    7. 7. VITALAS, un caso de uso “Michael, a journalist of the national newspaper «Le Soir» needs to find a picture of a researcher in a medical laboratory with the “right type of material”. As part of the request is not precisely expressed (material?), the results may not be relevant. The user has to browse the resulting picture set to select one corresponding to the illustration he imagines.” 1. Búsqueda textual y/o de conceptos multimedia 2. Resultados en función del perfil del usuario 3. Navegación interactiva en los resultados 4. Zoom y selección de un resultado 5. Búsqueda de resultados similares Pasos de la búsqueda:
    8. 8. VITALAS, visión general
    9. 9. VITALAS – Video & Image Indexing and Retrieval in the Large Scale Objetivo: Buscador multimedia, orientado a profesionales del sector y archivistas, con el fin de gestionar la indexación y recuperación a gran escala de videos e imágenes. Proyecto: Europeo IP (FP6-IST) Plazo: 36+3 meses: ene 2007 – mar 2010 Socios (12):(BE) Belga (DE) Fraunhofer IAIS, IRT (ES) Tecnalia-Sistemas de Información e Interacción* (FR) INRIA, ERCIM, INA, EADS (GB) Univ. of Sunderland, Codeworks (GR) CERTH-ITI (NL) CWI * Responsable de la Interfaz Gráfica de Usuario (GUI)
    10. 10. VITALAS, arquitectura Arquitectura Orientada a Servicios (SOA) Client & Web-Server tiers (source: The Java EE 5 Tutorial, Sun) Interfaz de usuario Web avanzado (RIA) Capa cliente (HTML, Ajax, JScript, CSS, JSON) Capa lógica de servidor (JSPs, servlets, Java)
    11. 11. Extracción de Conceptos cross-media Low-level Feature Extraction Fusion Classifiers Multimedia Document CONCETP Scores  Low-level features WBL, DCOLOR, CSD, HOUGH, Text, MFCC-Audio  Fusion Early fusion / Cross-domain concept fusion  Classifiers Array of SVMs (one per concept)  Concept selection Characteristic terms selected + LSCOM Filtered by users and technicians  Concept disambiguation Definition, examples, related keywords.  Training set selection From captions; >5 positive examples per concept Documents manually annotated, 530 concepts 90s abbey aborigines abused_child abused_woman ac_milan_soccer academy_award accident_non_car accident actor actress adult advertisement_commercial aerobics aerospace affectionate african_culture african_ethnicity agreement agricultural_people agriculture aircraft_cabin ………………..
    12. 12. VITALAS, el usuario es importante “La eficiencia de una aplicación mejora cuando está diseñada para aprender del comportamiento del usuario”. -> Perfiles de Usuario y Preferencias “El valor de un buscador depende tanto de su eficiencia como de facilidad de uso y comprensión de los resultados”. -> Usabilidad -> Diseño Centrado en el Usuario
    13. 13. Personalización  Preferencias de Usuario Personalización de búsquedas Personalización de la presentación de resultados  Lightboxes Salva resultados relevantes (imagen & video) Múltiples lightboxes  Histórico de búsquedas Almacena y lanza ‘queries’ previas  Sugerencias Basadas en ‘logs’ de usuarios
    14. 14. Diseño centrado en el usuario ISO 13407:1999 Human-centred design for interactive systems
    15. 15. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios ISO 13407:1999 Human-centred design for interactive systems
    16. 16. Diseño centrado en el usuario ISO 13407:1999 Human-centred design for interactive systems I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso
    17. 17. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso III. Soluciones de diseño siguiendo directrices de usabilidad ISO 13407:1999 Human-centred design for interactive systems
    18. 18. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso III. Soluciones de diseño siguiendo directrices de usabilidad IV. Evaluaciones de funcionalidad y ergonomía con usuarios ISO 13407:1999 Human-centred design for interactive systems
    19. 19. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso III. Soluciones de diseño siguiendo directrices de usabilidad IV. Evaluaciones de funcionalidad y ergonomía con usuarios  Varias iteraciones para una mejora progresiva del sistema ISO 13407:1999 Human-centred design for interactive systems
    20. 20. VITALAS, directrices de diseño Ayudas claras a la navegación Ninguna página sin salida Proporcionar atajos para usuarios experimentados Simplicidad y coherencia Dar importancia a la estética en el diseño
    21. 21. VITALAS, directrices de diseño Ayudas claras a la navegación Ninguna página sin salida Proporcionar atajos para usuarios experimentados Simplicidad y coherencia Dar importancia a la estética en el diseño Mostrar los resultados de forma inmediata Resaltar los términos de la búsqueda en los resultados Ofrecer diferentes vistas de resultados Integrar navegación y búsqueda Equilibrar opciones por defecto vs. control por el usuario Proporcionar sugerencias al usuario Proporcionar un historial de búsquedas
    22. 22. VITALAS, evaluaciones Evaluación de funcionalidad y ergonomía Aceptación, utilidad y usabilidad Tests de usuarios: Thinking-aloud y cuestionario Evaluación heurística: Análisis siguiendo principios de usabilidad (lista de criterios predefinidos, p.e. Nielsen). +Participación en el concurso interactivo TRECVID’09
    23. 23. VITALAS, varias iteraciones v1 (2008)
    24. 24. VITALAS, varias iteraciones v1 (2008) v2 (2009)
    25. 25. VITALAS, varias iteraciones v1 (2008) v2 (2009) v3 (2010)
    26. 26. VITALAS, el buscador
    27. 27. VITALAS, diseño y funcionalidad Basic search
    28. 28. VITALAS, diseño y funcionalidad Basic search Extended search
    29. 29. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search
    30. 30. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion
    31. 31. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload
    32. 32. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload Search by color
    33. 33. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload Search by color Light boxes
    34. 34. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload Search by color Light boxes Search on part of a picture
    35. 35. VITALAS, diseño y funcionalidad (II) Zoom / Video preview
    36. 36. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback
    37. 37. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback
    38. 38. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback
    39. 39. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view
    40. 40. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view
    41. 41. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes
    42. 42. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom
    43. 43. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position
    44. 44. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments
    45. 45. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments Highlight matching terms in transcription
    46. 46. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments Highlight matching terms in transcription Click to play a segment
    47. 47. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments Highlight matching terms in transcription Click to play a segment Similar video
    48. 48. VITALAS, conclusiones
    49. 49. evaluaciones + iteraciones + usuarios Mejoras como resultado de los test de usuario:  Drag & drop de resultados.  Vista de cluster para agrupar los resultados según los criterios de búsqueda  Back/forward para moverse entre las vistas  Histórico de las búsquedas realizadas en la sesión, que permita repetirlas  Usar mouse-over en lugar de clicks (zoom, seleccionar segmentos)  Vista preliminar de los videos en la vista de resultados (fotogramas)  Mejoras en la interacción con el video (zoom, cursor, marcar seg./texto)
    50. 50. VITALAS, conclusiones  Valoración muy positiva de las posibilidades de búsqueda multi-modal, que se pueden combinar entre sí (fused search).  Efectividad: búsquedas por similaridad (2x); búsquedas por conceptos (3x); búsquedas combinadas (5x).  La ergonomía de la aplicación favorece el manejo del sistema y junto con el look and feel profesional mejora la experiencia del usuario. Criterio Valor (1-Muy útil; 5 Nada útil) Utilidad 1,3 Funcionalidad 2,1 Facilidad de uso 2,2 Ergonomía 1,9 Evaluación del sistema sobre colecciones profesionales extensas (16K horas de video + 1M de imágenes)
    51. 51. Obrigado-Gracias
    52. 52. Obrigado-Gracias VITALAS, hacia una nueva generación de buscadores multimedia inaki.etxaniz@tecnalia.com
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×