VITALAS, hacia una nueva generación de buscadores multimedia

  • 371 views
Uploaded on

Presentación del paper: "VITALAS, hacia una nueva generación de buscadores multimedia" en WWW/Internet 2010 - Algarve, Portugal. …

Presentación del paper: "VITALAS, hacia una nueva generación de buscadores multimedia" en WWW/Internet 2010 - Algarve, Portugal.
(Premio al mejor artículo de investigación)

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
371
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
6
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • ABSTRACT El manejo de archivos multimedia se ha convertido en algo común hoy en día para el público en general. El volumen de este tipo de información presente en nuestras vidas, en gran parte a través de la Web, crece cada día. De ahí que resulte de máximo interés, sobre todo para los usuarios profesionales, disponer de una herramienta capaz de indexarla y recuperarla eficazmente. El proyecto VITALAS tiene como objetivo gestionar la indexación y recuperación a gran escala de videos e imágenes, y está especialmente dirigido a profesionales. En este artículo presentamos una visión general de la herramienta y una descripción detallada de su interfaz de usuario, que permite la búsqueda y visualización de contenido multimedia. Asimismo, se presenta el papel desempeñado por los usuarios durante las fases de diseño y evaluación, quienes han proporcionado una opinión positiva del resultado, confirmando así la utilidad y eficacia del enfoque seguido. CONCLUSIONES El sistema VITALAS ha sido diseñado teniendo en cuenta los requisitos y casos de uso expresados por los usuarios , y ha sido refinado como resultado de las evaluaciones llevadas a cabo con usuarios profesionales y no profesionales en varios estadios del proyecto Los usuarios han declarado que la herramienta VITALAS representa una mejora sobre las herramientas disponibles actualmente, debido al intuitivo interfaz de usuario que ofrece múltiples e innovadores servicios de búsqueda. Como limitaciones del sistema podemos citar un tiempo de respuesta mejorable, así como la necesidad de una formación previa a los usuarios con el fin de extraer todas las ventajas potenciales de la herramienta . Future work: autocompletado y corrección de términos; búsqueda avanzada que integre metadatos, similaridad, y conceptos mediante operadores lógicos; proporcionar filtros para refinar la búsqueda; integración de archivos de audio en múltiples idiomas; o mejorar el nivel de accesibilidad del interfaz de usuario. Los resultados de VITALAS son aplicables a sectores tales como medios de comunicación y difusión, agencias de prensa, agencias fotográficas, compañías multimedia, gestores de activos digitales, educación, seguridad y prevención de delitos y, en general, para facilitar el acceso a archivos corporativos en grandes empresas.
  • Búsqueda de contenidos multimedia en la web El uso de archivos multimedia se ha convertido en algo común hoy en día para el público en general y la Web no es ajena a este fenómeno. El volumen de este tipo de información presente en nuestras vidas crece cada día. En 2008, el índice de Google contenía un billón (1012) de páginas web, según una estimación de la Comisión Europea. YouTube recibe cada minuto 24 horas de video –equivalente a 120.000 películas cada semana. Flicker recibe 3,7 millones de fotos por día. Esto es aún más notorio en el caso de los usuarios profesionales de sectores como medios de comunicación, agencias fotográficas, compañías multimedia, etc., para los cuales es de máximo interés disponer de una herramienta capaz de indexar y recuperar información eficazmente. Actualmente el uso de las fotografías y vídeos digitales se extiende a la actividad diaria de cualquier persona y no sólo a la de aquellos sectores profesionales que habitualmente los utilizan como son los relacionados con la educación, prensa, arte, medicina, investigación, publicidad, archivos, bibliotecas, etc. La web constituye una inmensa enciclopedia digital visual de alcance universal…
  • Esto es aún más notorio en el caso de los usuarios profesionales de sectores como medios de comunicación, agencias fotográficas, compañías multimedia, etc., para los cuales es de máximo interés disponer de una herramienta capaz de indexar y recuperar información eficazmente. Dividirla en dos traspas? *CRIS => Yo creo que queda bien en una sola
  • Mejorando el panorama de buscadores Búsqueda por similaridad visual ( like.com ) Búsqueda por conceptos ( Getty Images ) Búsqueda por color ( Exalead, Xcavator ) Vistas de cluster ( Google Labs ) Sugerencias relacionadas ( Yahoo, Google ) Relevance feedback ( Sortfix, Vimasearch ) Lightboxes ( Dreamstime, 123rf )
  • La foto a buscar no está muy definida.
  • SOA: Service Oriented Architecture , Servicios Web ESB: Enterprise ServiceBus como mediador y comunicación entre servicios BPEL como or GUI: Web application -Cliente (HTML, Ajax, Javascript, JSON -Servidor(JSPs, Java, XML-RDF parser)
  • SVM: Support Vector Machine LSCOM: Large Scale Concept Ontology for Multimedia
  • V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video
  • V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video
  • V1-Diseñado por nosotros, los desarrolladores V2-Diseño profesional V3-Mejoras pedidas por los usuarios. Video

Transcript

  • 1. VITALAS, hacia una nueva generación de buscadores multimedia Iñaki Etxaniz Cristina Martínez TECNALIA - Sistemas de Información e Interacción WWW/Internet 2010 10-11 Diciembre Algarve, Portugal
  • 2. Contexto
  • 3. Multimedia hoy
  • 4. El índice de Google contenía un billón (1012 ) de páginas web en 2008 YouTube recibe cada minuto 24 horas de video (= 34.000 horas al día) Flicker recibe 3,7 millones de fotos al día. Multimedia en la Web
  • 5. SAXASXSAX Usuarios profesionales: medios de comunicación, agencias fotográficas, compañías multimedia… Necesitan encontrar lo que buscan: una herramienta capaz de almacenar y recuperar información con rapidez y eficacia VITALAS, contexto
  • 6. VITALAS, el reto Desarrollar un buscador multimedia avanzado que localice contenidos de forma eficaz, incluso sin anotación manual previa. Que ofrezca facilidades, parcialmente presentes en otros buscadores, como: Búsqueda por similaridad visual (like.com) Búsqueda por conceptos (Getty Images) Búsqueda por color (Exalead, Xcavator) Sugerencias (Yahoo, Google) Relevance feedback (Sortfix, Vimasearch) Lightboxes (Dreamstime, 123rf)
  • 7. VITALAS, un caso de uso “Michael, a journalist of the national newspaper «Le Soir» needs to find a picture of a researcher in a medical laboratory with the “right type of material”. As part of the request is not precisely expressed (material?), the results may not be relevant. The user has to browse the resulting picture set to select one corresponding to the illustration he imagines.” 1. Búsqueda textual y/o de conceptos multimedia 2. Resultados en función del perfil del usuario 3. Navegación interactiva en los resultados 4. Zoom y selección de un resultado 5. Búsqueda de resultados similares Pasos de la búsqueda:
  • 8. VITALAS, visión general
  • 9. VITALAS – Video & Image Indexing and Retrieval in the Large Scale Objetivo: Buscador multimedia, orientado a profesionales del sector y archivistas, con el fin de gestionar la indexación y recuperación a gran escala de videos e imágenes. Proyecto: Europeo IP (FP6-IST) Plazo: 36+3 meses: ene 2007 – mar 2010 Socios (12):(BE) Belga (DE) Fraunhofer IAIS, IRT (ES) Tecnalia-Sistemas de Información e Interacción* (FR) INRIA, ERCIM, INA, EADS (GB) Univ. of Sunderland, Codeworks (GR) CERTH-ITI (NL) CWI * Responsable de la Interfaz Gráfica de Usuario (GUI)
  • 10. VITALAS, arquitectura Arquitectura Orientada a Servicios (SOA) Client & Web-Server tiers (source: The Java EE 5 Tutorial, Sun) Interfaz de usuario Web avanzado (RIA) Capa cliente (HTML, Ajax, JScript, CSS, JSON) Capa lógica de servidor (JSPs, servlets, Java)
  • 11. Extracción de Conceptos cross-media Low-level Feature Extraction Fusion Classifiers Multimedia Document CONCETP Scores  Low-level features WBL, DCOLOR, CSD, HOUGH, Text, MFCC-Audio  Fusion Early fusion / Cross-domain concept fusion  Classifiers Array of SVMs (one per concept)  Concept selection Characteristic terms selected + LSCOM Filtered by users and technicians  Concept disambiguation Definition, examples, related keywords.  Training set selection From captions; >5 positive examples per concept Documents manually annotated, 530 concepts 90s abbey aborigines abused_child abused_woman ac_milan_soccer academy_award accident_non_car accident actor actress adult advertisement_commercial aerobics aerospace affectionate african_culture african_ethnicity agreement agricultural_people agriculture aircraft_cabin ………………..
  • 12. VITALAS, el usuario es importante “La eficiencia de una aplicación mejora cuando está diseñada para aprender del comportamiento del usuario”. -> Perfiles de Usuario y Preferencias “El valor de un buscador depende tanto de su eficiencia como de facilidad de uso y comprensión de los resultados”. -> Usabilidad -> Diseño Centrado en el Usuario
  • 13. Personalización  Preferencias de Usuario Personalización de búsquedas Personalización de la presentación de resultados  Lightboxes Salva resultados relevantes (imagen & video) Múltiples lightboxes  Histórico de búsquedas Almacena y lanza ‘queries’ previas  Sugerencias Basadas en ‘logs’ de usuarios
  • 14. Diseño centrado en el usuario ISO 13407:1999 Human-centred design for interactive systems
  • 15. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios ISO 13407:1999 Human-centred design for interactive systems
  • 16. Diseño centrado en el usuario ISO 13407:1999 Human-centred design for interactive systems I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso
  • 17. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso III. Soluciones de diseño siguiendo directrices de usabilidad ISO 13407:1999 Human-centred design for interactive systems
  • 18. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso III. Soluciones de diseño siguiendo directrices de usabilidad IV. Evaluaciones de funcionalidad y ergonomía con usuarios ISO 13407:1999 Human-centred design for interactive systems
  • 19. Diseño centrado en el usuario I. Identificación del contexto e involucración de los usuarios II. Especificaciones basadas en casos de uso III. Soluciones de diseño siguiendo directrices de usabilidad IV. Evaluaciones de funcionalidad y ergonomía con usuarios  Varias iteraciones para una mejora progresiva del sistema ISO 13407:1999 Human-centred design for interactive systems
  • 20. VITALAS, directrices de diseño Ayudas claras a la navegación Ninguna página sin salida Proporcionar atajos para usuarios experimentados Simplicidad y coherencia Dar importancia a la estética en el diseño
  • 21. VITALAS, directrices de diseño Ayudas claras a la navegación Ninguna página sin salida Proporcionar atajos para usuarios experimentados Simplicidad y coherencia Dar importancia a la estética en el diseño Mostrar los resultados de forma inmediata Resaltar los términos de la búsqueda en los resultados Ofrecer diferentes vistas de resultados Integrar navegación y búsqueda Equilibrar opciones por defecto vs. control por el usuario Proporcionar sugerencias al usuario Proporcionar un historial de búsquedas
  • 22. VITALAS, evaluaciones Evaluación de funcionalidad y ergonomía Aceptación, utilidad y usabilidad Tests de usuarios: Thinking-aloud y cuestionario Evaluación heurística: Análisis siguiendo principios de usabilidad (lista de criterios predefinidos, p.e. Nielsen). +Participación en el concurso interactivo TRECVID’09
  • 23. VITALAS, varias iteraciones v1 (2008)
  • 24. VITALAS, varias iteraciones v1 (2008) v2 (2009)
  • 25. VITALAS, varias iteraciones v1 (2008) v2 (2009) v3 (2010)
  • 26. VITALAS, el buscador
  • 27. VITALAS, diseño y funcionalidad Basic search
  • 28. VITALAS, diseño y funcionalidad Basic search Extended search
  • 29. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search
  • 30. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion
  • 31. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload
  • 32. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload Search by color
  • 33. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload Search by color Light boxes
  • 34. VITALAS, diseño y funcionalidad Basic search Extended search Advanced search Term/concept suggestion Similar search + Upload Search by color Light boxes Search on part of a picture
  • 35. VITALAS, diseño y funcionalidad (II) Zoom / Video preview
  • 36. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback
  • 37. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback
  • 38. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback
  • 39. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view
  • 40. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view
  • 41. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes
  • 42. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom
  • 43. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position
  • 44. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments
  • 45. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments Highlight matching terms in transcription
  • 46. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments Highlight matching terms in transcription Click to play a segment
  • 47. VITALAS, diseño y funcionalidad (II) Zoom / Video preview Relevance feedback Cluster view Keyframes Timelines zoom Video playback position Highlight relevant segments Highlight matching terms in transcription Click to play a segment Similar video
  • 48. VITALAS, conclusiones
  • 49. evaluaciones + iteraciones + usuarios Mejoras como resultado de los test de usuario:  Drag & drop de resultados.  Vista de cluster para agrupar los resultados según los criterios de búsqueda  Back/forward para moverse entre las vistas  Histórico de las búsquedas realizadas en la sesión, que permita repetirlas  Usar mouse-over en lugar de clicks (zoom, seleccionar segmentos)  Vista preliminar de los videos en la vista de resultados (fotogramas)  Mejoras en la interacción con el video (zoom, cursor, marcar seg./texto)
  • 50. VITALAS, conclusiones  Valoración muy positiva de las posibilidades de búsqueda multi-modal, que se pueden combinar entre sí (fused search).  Efectividad: búsquedas por similaridad (2x); búsquedas por conceptos (3x); búsquedas combinadas (5x).  La ergonomía de la aplicación favorece el manejo del sistema y junto con el look and feel profesional mejora la experiencia del usuario. Criterio Valor (1-Muy útil; 5 Nada útil) Utilidad 1,3 Funcionalidad 2,1 Facilidad de uso 2,2 Ergonomía 1,9 Evaluación del sistema sobre colecciones profesionales extensas (16K horas de video + 1M de imágenes)
  • 51. Obrigado-Gracias
  • 52. Obrigado-Gracias VITALAS, hacia una nueva generación de buscadores multimedia inaki.etxaniz@tecnalia.com