• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Contribucion a la caracterizacion del descriptor de color del estandar MPEG-7
 

Contribucion a la caracterizacion del descriptor de color del estandar MPEG-7

on

  • 365 views

Se presenta una caracterización del descriptor visual de color de MPEG-7 que permita a los usuarios abordar el uso de dicho descriptor

Se presenta una caracterización del descriptor visual de color de MPEG-7 que permita a los usuarios abordar el uso de dicho descriptor

Statistics

Views

Total Views
365
Views on SlideShare
365
Embed Views
0

Actions

Likes
1
Downloads
0
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment
  • Buenas tardes mi nombre es Jose Edward Ortiz, sean todos bienvenidos a la presentación de los resultados de mi trabajo de grado que tiene como titulo: “ Contribución a la caracterización del descriptor visual de color del estándar MPEG-7”, dirigido por la profesora Patricia Trujillo.
  • Los siguientes son los temas que se van a tratar:
  • Anteriormente para recuperar información de grandes repositorios multimedia, se hacia uso de la anotación o indexación manual, que consistía en crear una descripción del contenido del material para facilitar su posterior recuperación. Este proceso presenta problemas de velocidad, ambigüedad, y falta de consistencia, pues dos personas pueden percibir la información visual de forma distinta e incluso una misma persona en diferentes instantes de tiempo, puede describir la misma imagen de manera diferente según sus nuevas experiencias y conocimientos adquiridos. A comienzos de la década de los ’90 surgieron la Recuperación de imágenes basada en contenido CBIR, para solucionar los problemas de la indexación manual. Estos sistemas son deterministicos, es decir producen la misma anotación para la misma imagen en diferentes instantes de tiempo, además son capaces de procesar grandes volúmenes de información.
  • Los objetivos planteados para este trabajo de grado fueron:
  • El grupo de expertos en imágenes en movimiento MPEG, surgió con el objetivo de crear una técnica de compresión de video estándar que facilitara el acceso a este tipo de material. MPEG ha normalizado formatos como MPEG 1 para video digital y su extensión para audio MP3, MPEG-2 para difusión de TV, MPEG7 que es el que vamos a ver un poco en esta presentación y MPEG-21 que define un FrameWork multimedia.
  • A diferencia de MPEG 1, 2 y 4 donde la compresión era el objetivo en MPEG-7 el objetivo es poder tener acceso a la información, es decir la recuperación. La norma MPEG7 esta dividida en algo que el grupo MPEG definió partes. Las principales partes de MPEG7 son: Descriptores, que son las característica a analizar tanto visuales como de audio. DDL, Que define el lenguaje de la anotación como una extensión del XML. DS, Que define la estructura interna de la anotación XML. Descripciones, que es la forma de representar cada descriptor y por ultimo las herramientas que implementan en software todo lo anterior.
  • Para trabajar con MPEG-7 se tienen dos archivos: El archivo del recurso multimedia en formato .MP3 .MPG o .JPG y el archivo de anotación .XML o .MP7 Aquí podemos ver un ejemplo de una anotación XML, en la parte superior el tag de inicio XML, luego el tag propio de MPEG7, DescriptionUnit agrupa una lista de descripciones y por ultimo Descriptor que define una unidad de descripción que este caso es la información referente a un histograma de color.
  • El trabajo con MPEG7 se divide en dos etapas, la primera offline donde se toma un gran repositorio de material multimedia al cual se le extraen las anotaciones automáticas. En la segunda etapa recuperación on-line, se parte de una imagen de ejemplo, luego el sistema realiza el mismo proceso de anotación para la imagen de ejemplo y luego se hace un proceso de matching entre la notación de la imagen de ejemplo y las anotaciones del repositorio. Después se retorna una lista con imágenes que pertenecian a las anotaciones que tenían una menor distancia a la anotación de la imagen de ejemplo.
  • Los descriptores visuales definidos en MPEG7 son color, textura, forma, movimiento, localización y uno especial para reconocimiento de rostros.
  • El descriptor de color que es el de interés en este trabajo y está dividido en dos grupos: los descriptores de contexto y los descriptores de recuperación. Los descriptores son CS y CQ y son los que le dan un contexto a los demás descriptores. Los descriptores de recuperación DC, SC, CL y CS son los que permiten la anotación y matching por su característica correspondiente.
  • Los espacios de color definidos en MPEG7 son: ……
  • Cuando se captura una imagen existen dos procesos: El muestreo que convierte una región continua en un píxel de la imagen digital y la cuantización que es la que determina el color en dicho píxel. El descriptor Cuantización de color almacena la cuantización original de la imagen que por defecto es 256.
  • Color dominante es uno de los descriptores de recuperación. La idea de este descriptor es resumir la información de color usando hasta 8 colores dominantes Aquí podemos ver un ejemplo: En el centro tenemos la imagen original, al lado izquierdo los colores dominantes generados por el descriptor y al lado derecho una imagen cuantizada utilizando solamente los colores dominante.
  • Aquí tenemos la anotación XML para el paisaje que vimos dos diapositivas atrás. Tenemos 8 colores dominantes con su correspondiente porcentaje.
  • La recuperación en todos los descriptores se hace utilizando diferentes medidas de distancia. Para el color dominante se usa esta formula: Donde F1 y F2 son las anotaciones de dos imágenes, a sub k,l es el coeficiente de dissimilitud, p1 y p2 son las probabilidades de cada color dominante para cada imagen.
  • El color escalable se basa en la técnica mas común de recuperación de imágenes por color que es el histograma de color, trabajado en el espacio de color HSV y pasado por la transformada de Haar para reducir la escala sin perdida de información.
  • Aquí tenemos un ejemplo de anotación XML para color escalable con los valores para cada casilla del histograma, algunos valores son negativos por el uso de la transformada de Haar. La recuperación se hace utilizando la norma ele uno, a partir de dos anotaciones de color escalable.
  • El descriptor de distribución de color, se calcula dividiendo la imagen en 8 filas y 8 columnas y determinando el color dominante por cada casilla. Se utiliza el espacio YCC y se codifica utilizando la DCT para comprimir la información de la anotación.
  • Aquí tenemos un ejemplo de la anotación XML para distribución de color.
  • Esta el la medida de distancia utilizada para la recuperación de imágenes a partir de anotaciones de distribución de color. Se resta
  • Aquí tenemos un ejemplo de la anotación XML para estructura de color.
  • Para la caracterización se utilizo la medida de evaluación de sistemas de recuperación ANMRR la cual fue desarrollada en el proceso de estandarización de MPEG7. Esta medida da como resultado un valor entre 0 y 1 donde el 0 es el mejor resultado en el cual todas las imágenes que dan respuesta a la consulta q estan de primeras en la ventana de resultado. El 1 significa que ninguna de las imágenes que daban respuesta a la consulta estaban en la ventana de resultados.

Contribucion a la caracterizacion del descriptor de color del estandar MPEG-7 Contribucion a la caracterizacion del descriptor de color del estandar MPEG-7 Presentation Transcript

  • Contribución a la caracterización del descriptor visual de color del estándar MPEG-7 Presentado por: Jose Edward Ortiz A. Dirigido por: Patricia Trujillo PhD.
  • Contenido Introducción (CBIR) Objetivos general y específicos MPEG y MPEG-7 Descriptores visuales Descriptores de color Herramienta de software Caracterización Conclusiones Preguntas Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 2 Jose Edward Ortiz
  • CBIR: Content based image retrieval •Tiempo de anotaciónSistemas de anotación manual •Objetividad? •Consistencia? •Imparcialidad? •Criterio?Sistemas de anotación automáticos •Es deterministico •Procesamiento rápido •Capacidad de análisis estadísticos •Mejor nivel de detalle Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 3 Jose Edward Ortiz
  • Objetivos GENERAL  Contribuir a la caracterización del descriptor visual de color de MPEG-7 ESPECÍFICOS  Implementar una aplicación que calcule y almacene la información de color contenida en una imagen  Implementar una aplicación que permita la recuperación de imágenes, con base en la información de color existente en un banco de descriptores de imágenes  Realizar pruebas de la aplicación, usando un repositorio de imágenes estándar  Estudiar el poder discriminante de los descriptores de color en la recuperación de imágenes. Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 4 Jose Edward Ortiz
  • MPEG Moving Picture Experts GroupMPEG ha normalizado los siguientes formatos de compresión y normas auxiliares: MPEG-1: Estándar inicial de compresión de audio y vídeo. Base de MP3. MPEG-2: Norma para audio y vídeo para difusión de calidad de televisión y DVD. MPEG-3: Diseñado originalmente para Televisión de Alta Definición, pero abandonado posteriormente en favor de MPEG-2. MPEG-4: Basado en MPEG1 y MPEG2, con soporte para objetos y medios 3D, utilizado en difusión de video digital. MPEG-7: Sistema formal para la descripción de contenido multimedia. MPEG-21: FrameWork multimedia que hace uso de todas las normas anteriores. Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 5 Jose Edward Ortiz
  • MPEG-7 Interfaz de Descripción de Contenido Multimedia Compresión Descripción MPEG-1 MPEG-2 MPEG-4 Partes principales de MPEG-7:  Descriptors (Visuales y de Audio)  Description Definition Language (Basado en XML)  Description Schemes  Descriptions  Systems Tools Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 6 Jose Edward Ortiz
  • Anotación en el DDL .mp3 .mpg .jpg .xml .mp7Basado en XML por ser un lenguaje estándar y extensible. Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 7 Jose Edward Ortiz
  • Funcionamiento de MPEG-7 eXperimentation Model (XM) ImageMagic DomXML Proceso de anotación (off-line) XML (o BiM) Repositorio multimedia Matching Anotación Recuperación Imagen de ejemplo 1 Proceso 2de recuperación 3 (on-line) . Imagen . de consulta Lista de imágenes de respuesta Repositorio anotado Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 8 Jose Edward Ortiz
  • Descriptores visuales Color Descriptors  Motion Descriptors Texture Descriptors  Camera Motion  Homogenous Texture  Motion Trajectory  Texture Browsing  Parametric Motion  Edge Histogram  Motion Activity Shape Descriptors  Localization  Region Shape  Region Locator  Contour Shape  Spatio Temporal Locator  Shape 3D  Others  Face Recognition Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 9 Jose Edward Ortiz
  • Descriptores de colorDe contextoEspacio de color Explica el color dominanteCuantización de colorDe recuperaciónColor dominante Recuperación por características muy generales (paisajes)Color escalable Grupo de marcos o imágenes Recuperación contenido de colorDistribución de color Recuperación por formaEstructura de color Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 10 Jose Edward Ortiz
  • Espacio de color RGB: Muy utilizado en representación digital de color. Y,Cr,Cb: Útil para trabajar con escala de grises H,S,V: Semejante a la forma humana de percepción del color. HMMD: Cuantización definida. Transformación lineal con referencia a RGB Escala de grises Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 11 Jose Edward Ortiz
  • Cuantización del color Contenido y distribución. 256 128 64 Imágenes originales de “Presentación de Imágenes.pdf”, Maria PatriciaTrujillp Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 12 Jose Edward Ortiz
  • Colores dominantes Clustering de color de hasta 8 nodos Estructura del descriptor: Vector 3D, Porcentaje Cálculo utilizando el Algoritmo Generalizado de Lloyd Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 13 Jose Edward Ortiz
  • Colores dominantes Anotación XML <Value><VisualDescriptor <Percentage>3</Percentage>xmlns="urn:mpeg:mpeg7:schema: <Index>17 18 9</Index>2001" </Value>xmlns:xsi="http://www.w3.org/200 <Value>1/XMLSchema-instance" <Percentage>2</Percentage> xsi:type="DominantColorType"> <Index>21 16 6</Index> </Value><SpatialCoherency>0</SpatialC <Value>oherency> <Percentage>7</Percentage> <Value> <Index>20 25 27</Index> <Percentage>3</Percentage> </Value> <Index>4 4 2</Index> <Value> </Value> <Percentage>4</Percentage> <Value> <Index>13 13 6</Index> <Percentage>4</Percentage> </Value> <Index>9 9 4</Index> <Value> </Value> <Percentage>2</Percentage> <Value> <Index>19 21 7</Index> <Percentage>3</Percentage> </Value> <Index>14 17 20</Index> </VisualDescriptor> </Value> Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 14 Jose Edward Ortiz
  • Colores dominantes Recuperación Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 15 Jose Edward Ortiz
  • Color escalable Histograma de color en HSV, normalizado con la transformada de Haar (Utilizando la cuantización definida) Se codifica utilizando la transformada de Haar. Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 16 Jose Edward Ortiz
  • Color escalable Ejemplo de anotación XML<VisualDescriptor xsi:type="ScalableColorType" numOfBitplanesDiscarded="0" numOfCoeff="256"> <Coeff>-212 75 27 56 3 11 21 28 4 8 8 22 15 20 25 25 -2 0 -3 4 -5 -1 9 8 -2 2 4 6 -9 0 -4 -3 0 2 0 5 0 0 -2 2 1 1 1 2 -14 0 -4 5 -14 -3 -13 -8 -12 -5 -2 -3 -3 3 0 2 5 5 0 -2 0 -1 0 0 0 1 1 1 1 0 2 0 2 2 0 0 0 0 0 2 0 1 0 1 2 0 3 -3 3 0 0 -1 0 0 0 0 1 1 3 2 2 -4 -2 -7 -3 -2 0 -1 -1 0 0 1 0 2 1 0 7 3 7 1 10 2 5 2 0 -1 0 -3 0 -1 -3 -2 0 -1 0 -5 0 -1 -3 -2 0 -1 0 -5 0 -3 -1 -4 0 -3 0 -5 0 -3 -3 -3 0 -1 0 -2 0 -1 -3 -2 0 -1 0 -2 0 -3 -6 -3 0 -1 -1 1 0 3 -9 0 0 -3 0 -3 0 3 4 6 0 -1 0 -3 -1 0 4 5 0 -1 0 -6 -1 1 -1 3 0 -1 1 -6 0 0 -1 2 0 -3 -3 -6 -3 0 -3 2 -3 0 -3 0 -3 0 -1 2 -3 0 0 0 -3 2 0 1 -3 1 0 5 -3 1 -7 -1 -3 -2 -3 -1 -2 0 -3 0</Coeff> </VisualDescriptor> Recuperación utilizando la norma uno (Sumatoria del valor absoluto de las diferencias) Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 17 Jose Edward Ortiz
  • Distribución de color Estructura espacial del color Boceto de 8x8 Útil para recuperación por boceto Se utiliza el espacio YCC Se representa con coeficientes DCT (AC y DC) Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 18 Jose Edward Ortiz
  • Distribución de color Anotación XML<VisualDescriptor xsi:type="ColorLayoutType"> <YDCCoeff>29</YDCCoeff> <CbDCCoeff>18</CbDCCoeff> <CrDCCoeff>27</CrDCCoeff> <YACCoeff63>18 26 24 12 12 17 13 16 15 13 14 17 15 12 15 16 14 17 15 12 15 16 16 16 18 16 15 15 15 17 15 16 16 15 15 16 14 15 16 14 15 16 16 17 15 15 15 15 15 15 16 16 16 15 15 16 15 16 15 15 16 16 16</YACCoeff63> <CbACCoeff63>13 26 25 18 15 12 17 16 16 15 18 14 18 18 18 15 16 18 17 14 15 14 15 16 13 14 16 17 15 16 17 15 17 16 16 13 15 16 15 15 16 15 15 15 16 16 16 15 15 15 15 15 15 16 16 16 15 15 16 16 16 15 16</CbACCoeff63> <CrACCoeff63>14 9 9 15 15 17 16 17 15 16 15 16 15 14 16 16 15 15 15 17 16 15 15 15 17 16 15 15 16 14 15 16 15 17 17 16 16 16 15 16 16 16 16 16 16 15 15 15 16 16 15 15 16 15 16 15 15 16 15 16 15 16 15</CrACCoeff63> </VisualDescriptor> Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 19 Jose Edward Ortiz
  • Distribución de color Recuperación Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 20 Jose Edward Ortiz
  • Estructura del color Histograma basado en estructura de 8x8 pixeles Captura el contenido y la configuración espacial Se presenta en el espacio HMMD Imagen original de “MPEG 7 Color Structure Descriptor”, Adis Buturovic Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 21 Jose Edward Ortiz
  • Estructura del color Anotación XML <MultimediaContentxsi:type = "ImageType"> <VisualDescriptor xsi:type = "ColorStructureType" colorQuant= “1" > <Values>183 0 0 0 255 15 81 0 219 175 92 37 101 92 58 53 34 73 56 86 24 3 4 0 55 28 15 15 34 4 0 0</Values> </VisualDescriptor> </MultimediaContent> Recuperación utilizando la norma uno. Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 22 Jose Edward Ortiz
  • Modelo de eXperimentación MPEG-7 de la Universidad del Valle Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 23 Jose Edward Ortiz
  • Modelo de eXperimentación MPEG-7 de la Universidad del Valle Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 24 Jose Edward Ortiz
  • Modelo de eXperimentación MPEG-7 de la Universidad del Valle Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 25 Jose Edward Ortiz
  • Modelo de eXperimentación MPEG-7 de la Universidad del Valle Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 26 Jose Edward Ortiz
  • Modelo de eXperimentación MPEG-7 de la Universidad del Valle Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 27 Jose Edward Ortiz
  • Caracterización La medida ANMRR (Average Normalizad Modified Retrieval Rate) da como resultado un sólo número que indica la calidad de la recuperación sobre todas las consultas. Esta medida se usa, como el criterio de evaluación en todos los experimentos sobre los descriptores visuales de MPEG-7. Esta medida esta definida por: q = Imagen de consulta Esta medida toma valores en el rango [0,1] 0 -> Todas las imágenes ground-truth aparecieron en la ventana de resultados 1 -> Ninguna imagen ground-truth apareció en la ventana de resultados Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 28 Jose Edward Ortiz
  • Resultados Categoría Subcategoría Detalles (Ejemplos)Personas 1. Una persona En primer plano 2. Varias personas En primer planoPaisajes 3. Urbanos Edificios, iglesias, etc. 4. Rurales vegetación Bosques, prados, etc. 5. Rurales playa amarilla 6. Rurales mar y vegetación 7. Rurales casasObjetos 8. Variados Herramientas, muebles, etc.Vegetales 9. Flores 10. Verduras-frutas 11. Plantas De tipo decorativo.Animales 12. Acuáticos 13. Terrestres Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 29 Jose Edward Ortiz
  • Detalles técnicos de las pruebasCaracterísticas del equipo de pruebas•Procesador AMD Athlon XP 2200 GHz•1 GB de memoria RAM•250 GB DDConfiguración de las pruebas•1 repositorio de 100 imágenes por cada subcategoría.•1 imágen de consulta por cada repositorio.•10 Imágenes ground-truth (incluidas en el repositorio).•Ejecución de 5 consultas por cada pareja descriptor-subcategoría. Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 30 Jose Edward Ortiz
  • Resultados Subcategoría DC SC CS CL IS1. Una persona 0.57 0.29 0.26 0.41 0,642. Varias personas 0.72 0.41 0.17 0.19 0,793. Urbanos 0.54 0.59 0.68* 0.56 0,844. Rurales vegetación 0.08* 0.00* 0.00* 0.11 0,115. Rurales playa amarilla 0.88 0.32 0.32 1.00* 0,806. Rurales mar y vegetación 0.57 0.80 0.51 0.41 0,607. Rurales casas 0.86 0.82* 0.56 0.46 0,808. Variados 0.16 0.16 0.16 0.16 0,169. Flores 0.34 0.18 0.00* 0.71 0,4210. Verduras-frutas 0.64 0.38 0.19 0.00* 0,9111. Plantas 0.37 0.34 0.21 0.22 1,0012. Acuáticos 1.00* 0.41 0.22 0.44 0,7613. Terrestres 0.20 0.59 0.68* 0.13 0,60 Tiempo anotación (seg) 2.28 0.1 0.3 0.08 -- Mejor recuperación [0 - 0.2]: Peor recuperación [0.8 - 1]: Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 31 Jose Edward Ortiz
  • Imágenes ground truthConsulta Imágenes ground truth Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 32 Jose Edward Ortiz
  • Conclusiones Los descriptores de Color dominante y Distribución de color pueden recibir como entrada al momento de la recuperación además de imágenes de ejemplo, bocetos hechos manualmente por el usuario. Color dominante es una descriptor muy costoso de calcular computacionalmente y sus resultados no son los mejores, por tanto su uso se podría condicionar por el campo de acción y tipo de imágenes a recuperar. La característica de color en el estándar MPEG-7 se puede resumir en un análisis cuantitativo (Ej: histogramas de color) y de distribución espacial (Ej: distribución de color). Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 33 Jose Edward Ortiz
  • Conclusiones La orientación de las imágenes en el repositorio no cambia los resultados de recuperación de los descriptores Color dominante, Estructura de color y Color escalable, pero si afecta a Distribución de color. Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 34 Jose Edward Ortiz
  • Conclusiones La orientación de captura de las imágenes (horizontal-vertical) no afecta significativamente los resultados de recuperación (incluso en Distribución de color) debido a que en cualquiera de los dos sentidos se conserva el 75% del contenido de la imagen que la parte central (zona más relevante de la imagen). Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 35 Jose Edward Ortiz
  • ¿ Preguntas y/o sugerencias?Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 36 Jose Edward Ortiz
  • ¡Muchas gracias!Contribución a la caracterización del descriptor de color del estándar MPEG-7 Diapositiva 37 Jose Edward Ortiz