Diapositivas Visión por Computador: Visión 3D

1,768 views

Published on

ATENCIÓN!! La conversión que SlideShare hace no es muy buena. Por eso lo he subido a uploaded.net para que podáis descargar el fichero original. Sigue el link: http://ul.to/rfkp14y6

La visión artificial constituye uno de los temas de investigación que posee en la actualidad un espectro más amplio de posibles aplicaciones industriales, y que en un futuro adquirirá todavía una mayor relevancia. Muestra de ello son tanto los esfuerzos que dedican al tema los principales centros de investigación del mundo entero como el interés que demanda la industria en estas aplicaciones. La mayor parte de las realizaciones prácticas existentes, trabajan sobre imágenes bidimensionales, bien por manejar objetos planos, o bien por considerar que la información del objeto a analizar está suficientemente condensada en una o varias proyecciones. Esto supone una fuerte restricción en la gama de productos a analizar y en sus resultados. En la actualidad, el desarrollo de nuevas técnicas de procesamiento de imágenes, así como la espectacular evolución de los equipos informáticos, permite incluir la tercera dimensión como un objetivo adicional, permitiendo una adecuada adquisición y un correcto tratamiento de la información tridimensional de los objetos.

Docente: REINOSO GARCÍA, ÓSCAR
Formato: DIAPOSITIVAS
Temas tratados:

01 Introducción
02 Proceso de Formación de Imágenes
03 Modelo de Cámara
04 Caracteristicas de Imágenes
05 Transformaciones de Imágenes
06 Detección de Bordes
07 Segmentación
08 Formatos de Almacenamiento

Published in: Education
1 Comment
1 Like
Statistics
Notes
No Downloads
Views
Total views
1,768
On SlideShare
0
From Embeds
0
Number of Embeds
425
Actions
Shares
0
Downloads
34
Comments
1
Likes
1
Embeds 0
No embeds

No notes for slide

Diapositivas Visión por Computador: Visión 3D

  1. 1. Div. Ingeniería de Sistemas y Automática Universidad Miguel Hernández GRUPO DE TECNOLOGÍA INDUSTRIAL
  2. 2.   Definición   Transformación Información Luminosa   Imagen Digital   Sistema Humano Visión <> Sistema Visión Artificial   Aplicaciones de la Visión por Computador   Etapas en un Sistema de Visión   Componentes de un SVA
  3. 3. Visión por Computador: Proceso de extracción de información del mundo físico a partir de imágenes utilizando para ello un computador Ciencia que estudia la interpretación de imágenes mediante computadores digitales
  4. 4.   Definición   Transformación Información Luminosa   Imagen Digital   Sistema Humano Visión <> Sistema Visión Artificial   Aplicaciones de la Visión por Computador   Etapas en un Sistema de Visión   Componentes de un SVA
  5. 5. •  La formación de imágenes es un proceso mediante el cual una información 3D (la escena) es proyectada en un plano 2D (la imagen). •  Las cámaras imitan el proceso que tiene lugar en el ojo humano. Mundo 3D
  6. 6. •  Modelo de cámara simplificado. •  El propósito del modelo es que cada punto de la escena sea proyectado en un solo punto del plano de imagen. •  De esa manera la imagen estará enfocada. Eje óptico Apertura Sistema óptico Mundo 3D
  7. 7.  Modelo ideal de cámara (pinhole). •  Una superficie mate emite luz en todas las direcciones. •  Cuando la apertura es muy pequeña, desde cualquier punto sólo pasa luz con una dirección. •  Todos los puntos están bien definidos: imagen enfocada. Eje óptico Apertura Plano de imagen (fotodetector) P P’ Distancia focal Mundo 3D
  8. 8.  Comparar con lo que ocurre a medida que aumenta el tamaño de la apertura. •  Los puntos se difuminan. P P’ P P’ P Círculosde confusión P’
  9. 9.   Definición   Transformación Información Luminosa   Imagen Digital   Sistema Humano Visión <> Sistema Visión Artificial   Aplicaciones de la Visión por Computador   Etapas en un Sistema de Visión   Componentes de un SVA
  10. 10. 47 54 77 64 70 68 72 80 78 65 100 104 110 90 101 135 124 120 138 112 165 170 165 163 160
  11. 11.   Definición   Transformación Información Luminosa   Imagen Digital   Sistema Humano Visión <> Sistema Visión Artificial  Aplicaciones de la Visión por Computador   Etapas en un Sistema de Visión   Componentes de un SVA
  12. 12.   Comparación entre sistemas  Sistema Humano  Mejor capacidad de reconocimiento  Mejor adaptación a situaciones imprevistas  Utilización de conocimiento previo  Sistema Artificial  Mejor evaluación de magnitudes físicas  Buen desempeño de tareas rutinarias
  13. 13.   Proyección de Perspectiva  Ventaja Sistema Humano de Visión Imagen Resultante Posibles orígenes
  14. 14.  Dificultad para medir magnitudes de intensidad  Ventaja Sistema Visión Artificial
  15. 15. Si sus ojos siguen el movimiento del punto rotativo rosado, sólo verá un color: rosado. Si su mirada se detiene en la cruz negra del centro, el punto rotativo se vuelve verde. Ahora, concéntrese en en la cruz del centro. Después de un breve periodo de tiempo, todos los puntos rosados desaparecerán y sólo verá un único punto verde girando. Es asombroso como nuestro cerebro trabaja. En realidad no hay ningún punto verde, y los puntos rosados no desaparecen. Esto debería ser prueba suficiente de que no siempre vemos lo que creemos ver...
  16. 16.   Dificultad mediciones geométricas  Ventaja Sistema de Visión Artificial
  17. 17.   Creación de Contornos ilusorios
  18. 18.   Reconocimiento de información compleja  Ventaja Sistema Humano de Visión
  19. 19.   Efectos ilusorios
  20. 20.   Influencia del entorno (1)  Ilusión de Muller-Lyer
  21. 21.   Influencia del entorno
  22. 22.   Influencia del entorno  Ilusión de Ponzo
  23. 23.   Diferencia en el análisis de objetos  Ventaja Sistema Visión Artificial
  24. 24.   Efectos ópticos ilusorios  Ventaja Sistema de Visión Artificial
  25. 25.   Definición   Transformación Información Luminosa   Imagen Digital   Sistema Humano Visión <> Sistema Visión Artificial   Aplicaciones de la Visión por Computador   Etapas en un Sistema de Visión   Componentes de un SVA
  26. 26.   Aplicaciones de la visión por computador  Procesos industriales  Apoyo al diagnóstico médico  Percepción remota  Guiado de vehículos móviles  Gestión de la información visual  Control de calidad de productos y procesos
  27. 27.   Objetivos de las aplicaciones industriales de la visión por computador  Mejora en la calidad de la inspección  Mejora en la cantidad de la inspección  Sustitución de los operarios  Integración en el entorno automatizado  Incremento de la fiabilidad
  28. 28.   Limitaciones de las aplicaciones industriales de la visión por computador  Adaptación a situaciones imprevistas  Utilización de métodos indirectos en la determinación de las características
  29. 29.   Definición   Transformación Información Luminosa   Imagen Digital   Sistema Humano Visión <> Sistema Visión Artificial   Aplicaciones de la Visión por Computador   Etapas en un Sistema de Visión   Componentes de un SVA
  30. 30. Detección Bordes Interpretación Escena Adq. Imagen Muestreo DiscretizaciónPreprocesamiento Realce, suavizado, etc. Segmentación Extracción de objetos de la imagen Extracción Características Representación matemática Reconocimiento y Localización Objetos Qué son y dónde están
  31. 31.   Definición   Transformación Información Luminosa   Imagen Digital   Sistema Humano Visión <> Sistema Visión Artificial   Aplicaciones de la Visión por Computador   Etapas en un Sistema de Visión   Componentes de un SVA
  32. 32. Iluminación Cámara Digitalizador Computador Escena Matriz 2D de niveles de gris o color Señal Analógica Luz reflejada o emitida
  33. 33.   Características de las cámaras de VA   Tamaño del elemento sensor   Resolución   Sensibilidad y relación señal/ruido   Respuesta espectral   Uniformidad de blanco y negro   Estabilidad en función de la temperatura   Margen dinámico   Blooming, smearing, lag.   Obturador electrónico   Montura de objetivos   Tamaño, peso, etc.
  34. 34.   Propósito:   Conversión de una señal analógica a señal discreta almacenable en un computador   Algunos Fabricantes:   MATROX   IMAGING TECHNOLOGY   DATACUBE   NATIONAL INTSTRUMENTS   ...
  35. 35.   Características:  Señales de entrada  Tipo de señal:  Video compuesto, Señal estándar (PAL, NTSC, ...)  B/N o Color, Entrada de video digital  Nº Canales de entrada  Velocidad de transferencia  Bus de conexión  Memoria disponible en el digitalizador  Capacidad de procesamiento  Software de programación  ...
  36. 36.   Definición  Proceso de conversión a digital de la señal analógica transmitida por la cámara. Se realiza un muestreo o digitalización de las coordenadas espaciales y una cuantificación o digitalización en niveles de gris.
  37. 37. Original 8 puntos4 puntos 2 puntos Muestreo espacial
  38. 38. 256 248 1664 Cuantificación
  39. 39.   Matriz de valores Imagen digitalizada con 256 niveles de gris
  40. 40.  Sustitución de los operarios  Evitar su presencia en entornos peligrosos  Térmicos, riesgo físico, lumínico, nuclear, ruidoso,...  Abaratar costes de producción  Incremento de la fiabilidad  Eliminación de criterios subjetivos  Por ejecución de tareas rutinarias  Por cambio de turno
  41. 41.   Mejora en la calidad de los productos y de los procesos involucrados   Detección de defectos más pequeños, manipulado más preciso de piezas, ...
  42. 42.  Mejora en la cantidad de los productos y de los procesos involucrados  Mayor rapidez en la inspección  Aumento de la cadencia de producción
  43. 43.  Integración en el entorno automatizado  Dotación de integración sensorial en un proceso automatizado
  44. 44.   Inspección Visual Automatizada o Control de Calidad de Productos  Proceso automático para decidir si un determinado producto cumple con un conjunto de especificaciones previamente establecidas, definidas como estándar de calidad.
  45. 45.  Control de los Procesos de Automatización  Están íntimamente ligados a los elementos mecánicos o de control que intervienen en el proceso  Robot  Manipulador  etc
  46. 46.  Inspección de forma, apariencia y presencia producto.  El control se realiza determinando características globales del producto.
  47. 47.  Inspección de defectos en productos discretos.  El control se realiza determinando características locales del producto.  Forma, tamaño o acabado.
  48. 48.  Inspección de defectos en productos continuos.  El control se realiza determinando características locales del producto.  Forma, tamaño o acabado.
  49. 49.  Inspección dimensional de productos.  Unidimensional, Bidimensional o Tridimensional  Por la naturaleza del producto (p.ej. grosor de una plancha de aluminio)  Por existir ejes de simetría (p.ej. diámetro de una pieza de revolución)
  50. 50.   Industria del automóvil: Componentes y acabado   Industria de los electrodomésticos: componentes y acabado   Industria de transformación y empaquetado de alimentos   Industria farmacéutica y de cosméticos   Sistemas de embalaje y empaquetamiento   Tarjetas de circuito impreso y circuitos cableados   Impresión de documentos   Industria básica de transformación (madera, aluminio, acero, papel, ...)   Industria de la cerámica y el mármol   Industria textil
  51. 51. Va a estar íntimamente ligado a los elementos mecánicos o de control que intervienen en el proceso de automatización  Robot  Manipulador
  52. 52.   Control de presencia de un producto.  La presencia activa el comienzo de un proceso   Manipulado de piezas paletizadas  El objetivo es determinar la posición para el posterior manipulado   Manipulado de piezas apiladas (“Bin-Picking”)   Mecanizado de piezas  Realizado con la ayuda de la información visual  Ajuste de aparatos   Ensamblado y desensamblado automático  Fusión sensorial con más sensores (fuerza, tacto, etc.)  Intervienen movimientos acomodaticios   Seguimiento de objetos en movimiento
  53. 53.   Cristalería Española
  54. 54. Div. Ingeniería de Sistemas y Automática Universidad Miguel Hernández GRUPO DE TECNOLOGÍA INDUSTRIAL
  55. 55. •  La formación de imágenes es un proceso mediante el cual una información 3D (la escena) es proyectada en un plano 2D (la imagen). •  Las cámaras imitan el proceso que tiene lugar en el ojo humano. Mundo 3D
  56. 56. •  Modelo de cámara simplificado. •  El objetivo del modelo es que cada punto de la escena sea proyectado en un solo punto del plano de imagen. •  De esa manera la imagen estará enfocada. Eje óptico Apertura Sistema óptico Mundo 3D
  57. 57.  Modelo ideal de cámara (pinhole). •  Una superficie mate emite luz en todas las direcciones. •  Cuando la apertura es muy pequeña, desde cualquier punto sólo pasa luz con una dirección. •  Todos los puntos están bien definidos: imagen enfocada. Eje óptico Apertura Plano de imagen (fotodetector) P P’ Distancia focal Mundo 3D
  58. 58.  Comparar con lo que ocurre a medida que aumenta el tamaño de la apertura. •  Los puntos se difuminan. P P’ P P’ P Círculosde confusión P’
  59. 59.  La imagen estará enfocada cuando el tamaño del círculo de confusión sea menor que el tamaño de cada celda del fotodetector.  Sin embargo, el modelo pinhole tiene muchas limitaciones y es poco usado.  Apertura muy pequeña  Entra muy poca luz  La imagen sale muy oscura. http://www.pinhole.org/
  60. 60.  Solución 1: aumentar el tiempo de exposición, manteniendo el tamaño de la apertura.  No funciona bien si hay movimiento.  Aunque, se puede usar para acumular movimiento.
  61. 61.  Solución 2: aumentar el tamaño de la apertura y utilizar unas lentes que realicen el enfoque.  Por las limitaciones físicas de las lentes, sólo se pueden enfocar los objetos en cierta distancia.  Profundidad de campo: rango de distancias (en la escena) en la que los objetos aparecen enfocados. Prof.campo(aprox.) deunospocoscm. Prof.campo(aprox.) desde3m.ainfinito
  62. 62.  Solución 3: manteniendo reducidos el tiempo de exposición y el tamaño de la apertura, aumentar la sensibilidad de los fotodetectores.  Usando películas más sensibles o ajustando la sensibilidad (o ganancia) en la cámara.  Problema: con más sensibilidad aumenta el ruido. Mucha luz, baja sensibilidad Poca luz, alta sensibilidad
  63. 63.  Realmente, los cuatro factores no son contradictorios, sino que están presentes a la vez en todos los sistemas fotográficos:  Tamaño de apertura (o abertura del diafragma).  Tiempo de exposición (o velocidad de obturación).  Sensibilidad de los fotodetectores (o valor ISO).  Óptica utilizada (sistema de lentes). Dos funciones:  Enfoque: su ajuste, junto con la apertura, determina la profundidad de campo.  Aumento (zoom): establece el ángulo de visión y la distancia focal.  Los distintos elementos se ajustan para conseguir dos objetivos:  Que entre la cantidad de luz suficiente.  Que los objetos de interés estén enfocados.
  64. 64. Abertura del diafragma  El diafragma es una imitación del iris de un ojo humano.  Cuanto menor es la apertura, más profundidad de campo pero entra menos luz. En el límite, tiende al modelo pinhole, y la profundidad de campo abarcaría, teóricamente, desde 0 hasta el infinito.  La apertura se expresa en relación a la constante f. Valores típicos entre f/1,4 y f/22.  A mayor número, menor tamaño de apertura.  Suele mantenerse fija en cámaras de vídeo. http://www.fotonostra.com/fotografia/
  65. 65. Velocidad de obturación  Es el tiempo durante el cual se deja pasar la luz al fotodetector.  Se mide en segundos. Normalmente entre 1/8000 y 30 segundos. Lo habitual en fotografía es ~1/125 s.  Junto con la apertura, determina la cantidad de luz que entra.  Otro problema es el movimiento. Si el tiempo es muy grande, la imagen puede aparecer movida.  Objetos que se mueven rápido en condiciones normales.  Movimiento involuntario en escenas nocturnas u oscuras.
  66. 66. Sensibilidad de los fotodetectores  En fotografía analógica, está relacionada con la composición y grosor de la película.  Existen distintos estándares ISO de película, clasificados según el nivel de sensibilidad. Desde 3200 ISO (muy sensible) hasta 50 ISO (poco sensible).  Cuanto más sensible, más ruido por la cuantización de la luz (efecto de granularidad).  En fotografía digital, la sensibilidad está relacionada con la ganancia (voltaje en relación al número de fotones entrantes).  En digital, a veces se asigna a la ganancia un valor ISO, correspondiente al nivel analógico equivalente.
  67. 67. Óptica de enfoque  Junto con el tamaño de apertura determina la profundidad de campo. Cuanto más amplia mejor.  La p.c. es un rango definido por dos valores: la distancia más próxima enfocada y la más lejana.  Suele estar entre unos pocos centímetros (modo macro) e infinito (paisajes, astronomía, etc.).  Tipos de sistemas de enfoque:  Enfoque fijo (sin lentes de enfoque): cámaras pinhole, video-vigilancia,..., no muy habitual.  Enfoque manual: controlado por el usuario.  Enfoque automático: requiere un motor y una lógica de control. Normalmente basado en el punto central.
  68. 68. Óptica de aumento (zoom)  Los conceptos de aumento, zoom, campo visual y distancia focal están estrechamente relacionados entre sí.  Campo visual: cantidad (angular) de una escena que aparece visible en la imagen.  Se distingue entre gran angular (ángulo grande, >60º) y teleobjetivo (ángulo pequeño, <30º). Gran angular Teleobjetivo 70º 26º
  69. 69.  Zoom (aumento): relación (cociente) entre el máximo y el mínimo ángulo de visión.  Ejemplo. Máximo 70º, mínimo 26º. Zoom = 70/26 = 2,7x •  Tipos: zoom analógico y digital. •  El zoom analógico se consigue modificando (desplazando) el sistema de lentes, haciendo que disminuya el campo visual. Aumento de 2,7x
  70. 70. Ejemplo.Aumentode25x
  71. 71.  El zoom digital es un simple proceso, a posteriori, de interpolación. El zoom digital no mejora la información ni la calidad de las imágenes. Más bien al revés.  Ejemplos. Con zoom ópticoCon zoom digital http://www.solarviews.com/cap/face/face3.htm
  72. 72.  El ángulo de visión y el zoom están estrechamente relacionados con la distancia focal.  Distancia focal: distancia entre la apertura y el plano de imagen. Cuanto mayor distancia focal, menor ángulo de visión y más zoom, y viceversa. df df df ap ap apα α α ¿Cuánto vale α en función de df y ap? Gran angular Teleobjetivo
  73. 73. α = 2·arctan (ap/2df)  En analógico, la distancia focal se mide en milímetros. El plano de imagen suele ser película de 35 mm (ap = 35 mm).  Ángulos de visión según la distancia focal:  Gran angular df < 35 mm  α > 2 arctan(35/70) = 53,1º  Teleobjetivo df > 70 mm  α < 2 arctan(35/140) = 28,1º  El equivalente del ojo humano es de unos 45º.  En fotografía digital, se debería medir en píxeles... pero se mide también en mm. Por lo tanto, es necesario conocer el ancho del chip CCD.
  74. 74.  Ojo: la distancia focal también influye en la cantidad de luz entrante y en la profundidad de campo.  Cantidad de luz: a menor distancia focal, entra más luz. df df df Foco k Foco k Foco k Razón: la misma cantidad de luz se distribuye en un espacio mayor •  Profundidad de campo: mejor enfoque con un gran angular. df df df Punto k Punto k Punto k Razón: a igual distancia aumenta el tamaño del círculo de confusión
  75. 75.  Matemáticamente, el proceso de formación de imágenes es modelado como una proyección perspectiva.  Elementos del modelo de proyección perspectiva:  Centro de proyección (equivale a la apertura del pinhole).  Plano de proyección (plano de la imagen). Centro de Proyección Plano de Proyección Distancia focal X, Y ZEje óptico Punto principal P P’ La imagen de un punto P viene dada por la intersección de la recta P-C.P. con el plano de proyección.
  76. 76.  Si el centro de proyección es el punto (0, 0, 0) y la distancia focal es 1, y el punto principal (0, 0, 1), la proyección en la imagen de un punto P= (x, y, z) será: (u, v) = (x/z, y/z) Centro de Proyección Plano de Proyección Distancia focal X, Y Z P P’ Q Q’ R R’ ¡Por eso los objetos lejanos se ven más pequeños que los cercanos! S S’
  77. 77.  Pero el modelo proyectivo no es completo. No explica algunos fenómenos como el desenfoque, la distorsión radial y las aberraciones cromáticas. Conclusiones:  El proceso de formación está en la “parte analógica” del ámbito de procesamiento de imágenes.  Para nosotros las imágenes serán simples matrices de números, pero...  Es importante conocer los elementos, factores y parámetros que intervienen en los dispositivos de captura.  Por suerte (o por desgracia), muchas cámaras no permiten ajustar los parámetros, lo hacen automáticamente.
  78. 78. Visión Tridimensional UPM DISAM 1 Modelo de Captación de Imágenes Div. Ingeniería de Sistemas y Automática Grupo de Tecnologías Industriales Universidad Miguel Hernández Dpto. Automática, Ingeniería Electrónica e Informática Industrial Universidad Politécnica de MadridUPM DISAM Grupo de Visión
  79. 79. Visión Tridimensional UPM DISAM 2Tabla de Contenidos Modelo de lentes: Pinhole, Delgada y Gruesa Parámetros del Modelo de Captación Sistemas de Coordenadas involucradas Proceso de Calibración
  80. 80. Visión Tridimensional UPM DISAM 3Modelo de Lente Pinhole P(xw , yw , zw ) Centro Óptico Eje Óptico P(X,Y) Plano Focal Plano Imagen f La información 3D del mundo se proyecta en el plano de la imagen a través del Centro Óptico situado a una distancia igual a la Distancia Focal del plano de la imagen. El Eje Óptico es la línea perpendicular al plano de la imagen y que pasa por el centro óptico. El Plano Focal es el plano que pasa por el centro óptico y cuyos puntos no tienen proyección en el plano de la imagen.
  81. 81. Visión Tridimensional UPM DISAM 4Modelo de Lente Pinhole P(xw, yw, zw) Centro Óptico Eje Óptico P(X,Y) Plano Focal Plano Imagen f La información 3D del mundo se proyecta en el plano de la imagen a través del Centro Óptico situado a una distancia igual a la Distancia Focal del plano de la imagen. El Eje Óptico es la línea perpendicular al plano de la imagen y que pasa por el centro óptico. El Plano Focal es el plano que pasa por el centro óptico y cuyos puntos no tienen proyección en el plano de la imagen.
  82. 82. Visión Tridimensional UPM DISAM 5Modelo de Lente Pinhole c c c c Z Y f Y Z X f X = = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 0100 0010 0001 c c c Z Y X f n Yn Xn P(xw, yw, zw) Yc Xc zc f(Cx,Cy) X Y P(x, y) Eje Óptico Centro Óptico Plano Imagen xc yc Zc
  83. 83. Visión Tridimensional UPM DISAM 6Modelo Ideal o de Lente Delgada f f P(xw, yw, zw) P(X, Y) d in dout Cuando se tiene una irradiación finita en el plano de la imagen. Produce las mismas ecuaciones de proyección. Ley de Gauss fdd outin 111 =+ Magnificación m d dout = int
  84. 84. Visión Tridimensional UPM DISAM 7Modelo Ideal o de Lente Delgada Los Rayos ópticos que pasan por el centro de la lente no sufren ninguna deflexión. Los Rayos que entran paralelos al eje óptico de la lente convergen en un punto del eje óptico a una distancia igual a la distancia focal del centro de la lente. f f P(xw, yw, zw) P(X, Y) d in dout
  85. 85. Visión Tridimensional UPM DISAM 8Modelo Ideal o de Lente Delgada Profundidad de Campo. confusion lente out campo circulo apertura d dprofundida Φ= 2 f f P(xw, yw, zw) P(X, Y) Profundidad de campo Círculo de confusión Apertura de la lente d A dout din d2 out d1 out
  86. 86. Visión Tridimensional UPM DISAM 9Modelo de Lente Gruesa Puntos de referencia Nodales Principales Focales P(X, Y) P(xw, yw, zw) L.F. Posterior α α Espesor f f P. F. Imagen P.F. Objeto L F. Frontal dout din PN
  87. 87. Visión Tridimensional UPM DISAM 10Modelo de Lente Gruesa Puntos de referencia Nodales Principales Focales •Para reducir las aberraciones que se producen en una lente, los sistemas de lentes constan de varios juegos de lentes coaxiales. • Produce la misma proyección que el modelo ideal de lente, excepto por un offset adicional. •El centro óptico es reemplazado por los puntos nodal delantero y trasero de la lente. •Cualquier rayo luminoso que alcanza el punto nodal delantero, continúa su propagación emergiendo del punto nodal trasero sin cambiar su dirección. P(X, Y) P(xw, yw, zw) L.F. Posterior α α Espesor f f P. F. Imagen P.F. Objeto L F. Frontal dout din PN
  88. 88. Visión Tridimensional UPM DISAM 11Modelo de Lente Gruesa Puntos de referencia Nodales Principales Focales •Los puntos principales son dos puntos conjugados situados sobre el eje óptico, intersección sobre éste de los planos con magnificación unidad. •Los puntos focales son dos puntos situados sobre el eje óptico y conjugados a puntos del infinito. •Cuando el medio entre el objeto y la lente tiene el mismo índice de refracción que el medio entre la imagen y la lente, las distancias focales delantera y trasera son iguales y los puntos principales coinciden con los puntos nodales. •La apertura del diafragma tiene como misión reducir las aberracciones ópticas. P(X, Y) P(xw, yw, zw) L.F. Posterior α α Espesor f f P. F. Imagen P.F. Objeto L F. Frontal dout din PN
  89. 89. Visión Tridimensional UPM DISAM 12Modelo de Lente Gruesa Para reducir las aberraciones que se producen en una lente, los sistemas de lentes constan de varios juegos de lentes coaxiales. Produce la misma proyección que el modelo ideal de lente, excepto por un offset adicional. El centro óptico es reemplazado por los puntos nodal delantero y trasero de la lente. Cualquier rayo luminoso que alcanza el punto nodal delantero, continúa su propagación emergiendo del punto nodal trasero sin cambiar su dirección.
  90. 90. Visión Tridimensional UPM DISAM 13Modelo de Lente Gruesa Los puntos principales son dos puntos conjugados situados sobre el eje óptico, intersección sobre éste de los planos con magnificación unidad. Los puntos focales son dos puntos situados sobre el eje óptico y conjugados a puntos del infinito. Cuando el medio entre el objeto y la lente tiene el mismo índice de refracción que el medio entre la imagen y la lente, las distancias focales delantera y trasera son iguales y los puntos principales coinciden con los puntos nodales. La apertura del diafragma tiene como misión reducir las aberracciones ópticas.
  91. 91. Visión Tridimensional UPM DISAM 14Tabla de Contenidos Modelo de lentes: Pinhole, Delgada y Gruesa Parámetros del Modelo de Captación Parámetros intrínsecos. Distorsiones Parámetros extrínsecos Sistemas de Coordenadas involucradas Proceso de Calibración
  92. 92. Visión Tridimensional UPM DISAM 15Parámetros del Modelo de Captación Parámetros Intrínsecos. Son los que describen la geometría y óptica del conjunto cámara y Tarjeta de Adquisición de Imágenes. Afectan al proceso que un rayo luminoso sigue desde que alcanza la lente del objetivo hasta que impresiona un elemento sensible. Parámetros Extrínsecos. Son aquellos que definen la orientación y la posición de la cámara, respecto a un Sistema de Coordenadas conocido, al que se llamará Sistema de Coordenadas del Mundo.
  93. 93. Visión Tridimensional UPM DISAM 16Parámetros Intrínsecos Distancia focal. Se define como la distancia que separa el centro óptico del plano de la imagen y está dada en mm. Factores de Escala. Relacionan las coordenadas en mm. del plano de la imagen, con las coordenadas en píxeles de la memoria de almacenamiento. Punto Principal. Es el Punto de intersección entre el eje óptico de la cámara y el plano de la imagen.
  94. 94. Visión Tridimensional UPM DISAM 17Parámetros Intrínsecos Coeficientes de Distorsión. La distorsión geométrica afecta a los puntos en el plano de la imagen; como resultado de una serie de imperfecciones en la fabricación y el montaje de las lentes que forman el sistema óptico. La cantidad de error de posición depende de la posición del punto en el plano de la imagen. Tres tipos de distorsión. Distorsión Radial. Distorsión Descentral. Distorsión Prismática.
  95. 95. Visión Tridimensional UPM DISAM 18Parámetros Intrínsecos. Distorsiones Distorsión Radial. Provocada por defectos en la curvatura de las lentes. ( ) ( )[ ] ( ) ( )[ ] d k X X Y O X Y d k Y X Y O X Y Xr d d d d d Yr d d d d d = + + = + + 1 2 2 5 1 2 2 5 , ,
  96. 96. Visión Tridimensional UPM DISAM 19Parámetros Intrínsecos. Distorsiones Imagen sin Distorsión Imagen con Distorsión Radial k1=-0.04 Imagen con Distorsión Radial k1=0.04
  97. 97. Visión Tridimensional UPM DISAM 20Parámetros Intrínsecos. Distorsiones Distorsión Descentral. Provocada por la falta de colinealidad de los centros ópticos. Produce desplazamientos radiales y tangenciales. ( )[ ] ( )[ ]422 21 4 2 22 1 ,32 ,23 ddddddYd ddddddXd YXOYXpYXpd YXOYXpYXpd +⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ++= ++⎟ ⎠ ⎞ ⎜ ⎝ ⎛ +=
  98. 98. Visión Tridimensional UPM DISAM 21Parámetros Intrínsecos. Distorsiones Imagen sin Distorsión Imagen con Distorsión Descentral p1=0.0 ; p2=-0.04Imagen con Distorsión Descentral p1=0.0 ; p2=0.04
  99. 99. Visión Tridimensional UPM DISAM 22Parámetros Intrínsecos. Distorsiones ( ) ( )[ ] ( ) ( )[ ] d s X Y O X Y d s X Y O X Y X p d d d d Y p d d d d = + + = + + 1 2 2 4 2 2 2 4 , , Distorsión Prismática. Se origina por las imperfecciones en las lentes durante su diseño y fabricación, así como en el montaje de la óptica en la cámara. Causa desplazamientos radiales y tangenciales.
  100. 100. Visión Tridimensional UPM DISAM 23Parámetros Intrínsecos. Distorsiones Distorsión Total. Aunque la distorsión descentral y la distorsión prismática tienen unos coeficientes similares, modelan dos tipos diferentes de distorsiones. Las dos tienen diferentes ejes de máxima distorsión tangencial. ( ) ( ) ( ) ( ) ( ) ( ) d X Y s X Y p X p Y p X Y k X X Y d X Y s X Y p X Y p X p Y k Y X Y X d d d d d d d d d d d Y d d d d d d d d d d d , , = + + + + + + = + + + + + + 1 2 2 1 2 1 2 2 1 2 2 2 2 2 1 2 2 2 2 1 2 2 3 2 2 3 Prismática Descentral Radial
  101. 101. Visión Tridimensional UPM DISAM 24Parámetros Extrínsecos de la Cámara Parámetros Extrínsecos. Son aquellos que definen la orientación y la posición de la cámara, respecto a un Sistema de Coordenadas conocido, al que se llamará Sistema de Coordenadas del Mundo. Tres parámetros definen el desplazamiento y otros parámetros definen la orientación.
  102. 102. Visión Tridimensional UPM DISAM 25Tabla de Contenidos Modelo de lentes: Pinhole, Delgada y Gruesa Parámetros del Modelo de Captación Sistemas de Coordenadas involucradas Proceso de Calibración
  103. 103. Visión Tridimensional UPM DISAM 26Sistemas de Coordenadas Zw Xw Yw Yc Xc Zc f Yf Xf (Cx,Cy) Xu Yu P(xf, yf) Eje Óptico Centro Óptico P(xw, yw, zw) Plano Imagen xc yc ( ) ( ) ( ) ( )fff uuyx cccc www YXO YXCC ZYXO ZYXO ,;imagenladelateralessCoordenada ,;,imagenladecentralessCoordenada ,,;cámaraladesCoordenada ,,;mundodelsCoordenada • • • •
  104. 104. Visión Tridimensional UPM DISAM 27Sistemas de Coordenadas Relación entre: las coor- denadas del mundo y de la cámara ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ 110001 333231 232221 131211 w w w z y x c c c z y x trrr trrr trrr z y x Zw Xw Yw Yc Xc Zc f Yf Xf (Cx,Cy) Xu Yu P(xf, yf) Eje Óptico Centro Óptico P(xw, yw, zw) Plano Imagen xc yc
  105. 105. Visión Tridimensional UPM DISAM 28Sistemas de Coordenadas Relación entre las coor- denadas de la cámara y las centrales de la imagen ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 0100 0010 0001 c c c u u z y x f n yn xn Zw Xw Yw Yc Xc Zc f Yf Xf (Cx,Cy) Xu Yu P(xf, yf) Eje Óptico Centro Óptico P(xw, yw, zw) Plano Imagen xc yc
  106. 106. Visión Tridimensional UPM DISAM 29Sistemas de Coordenadas Relación entre las coordenadas centrales de la imagen: Las teóricas (sin distorsión) Las reales (con distorsión) ( ) ( )uuyud uuxud yxDyy yxDxx , , += += Zw Xw Yw Yc Xc Zc f Yf Xf (Cx,Cy) Xu Yu P(xf, yf) Eje Óptico Centro Óptico P(xw, yw, zw) Plano Imagen xc yc
  107. 107. Visión Tridimensional UPM DISAM 30Sistemas de Coordenadas Relación entre las coordenadas laterales y centrales de la imagen ydyf xdxf CyKy CxKx += += Zw Xw Yw Yc Xc Zc f Yf Xf (Cx,Cy) Xu Yu P(xf, yf) Eje Óptico Centro Óptico P(xw, yw, zw) Plano Imagen xc yc
  108. 108. Visión Tridimensional UPM DISAM 31Sistemas de Coordenadas ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ 110001 333231 232221 131211 w w w z y x c c c z y x trrr trrr trrr z y x ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 0100 0010 0001 c c c u u z y x f n yn xn ( ) ( )uuyud uuxud yxDyy yxDxx , , += += ydyf xdxf CyKy CxKx += += Zw Xw Yw Yc Xc Zc f Yf Xf (Cx,Cy) Xu Yu P(xf, yf) Eje Óptico Centro Óptico P(xw, yw, zw) Plano Imagen xc yc
  109. 109. Visión Tridimensional UPM DISAM 32Sistemas de Coordenadas Coordenadas centrales de la cámara en función de las coordenadas del mundo y de los parámetros del modelo ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ 110001 333231 232221 131211 w w w z y x c c c z y x trrr trrr trrr z y x ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 0100 0010 0001 c c c u u z y x f n yn xn ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 333231 232221 131211 w w w z y x u u z y x trrr trrr trrr fn yn xn ⎪ ⎪ ⎪ ⎩ ⎪⎪ ⎪ ⎨ ⎧ +++ +++ = +++ +++ = zwww ywww u zwww xwww u tzryrxr tzryrxr fy tzryrxr tzryrxr fx 333231 232221 333231 131211
  110. 110. Visión Tridimensional UPM DISAM 33Sistemas de Coordenadas ⎪ ⎪ ⎪ ⎩ ⎪⎪ ⎪ ⎨ ⎧ +++ +++ ++= +++ +++ ++= zwww ywww yyyyf zwww xwww xxxxf tzryrxr tzryrxr fKDKCy tzryrxr tzryrxr fKDKCx 333231 232221 333231 131211 Coordenadas laterales de la cámara en función de las coordenadas del mundo y de los parámetros del modelo ⎩ ⎨ ⎧ ++= ++= uyyyyf uxxxxf yKDKCy xKDKCx ( ) ( )uuyud uuxud yxDyy yxDxx , , += += ydyf xdxf CyKy CxKx += +=
  111. 111. Visión Tridimensional UPM DISAM 34Sistemas de Coordenadas Relación matricial entre las coordenadas del mundo y las coordenadas laterales de la cámara (sin distorsión ). Matriz de Proyección. ( ) ( ) ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ + + = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 110000100 00 00 333231 232221 131211 w w w z y x yyy y xxx x f f z y x trrr trrr trrr f f DKC K f DKC K n yn xn ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 w w w f f z y x M n yn xn ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 11000 0100 00 00 333231 232221 131211 w w w z y x yy xx f f z y x trrr trrr trrr CfK CfK n yn xn
  112. 112. Visión Tridimensional UPM DISAM 35Sistemas de Coordenadas Relación matricial entre las coordenadas del mundo y las coordenadas laterales de la cámara (sin distorsión ). Matriz de Proyección. ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ ++++ ++++ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 333231 332332223121 331332123111 w w w z zyyyyyyyyy zxxxxxxxxx f f z y x trrr tCtfKrCrfKrCrfKrCrfK tCtfKrCrfKrCrfKrCrfK n yn xn [ ] [ ] [ ]⎪ ⎩ ⎪ ⎨ ⎧ = = = 3332313 2322212 1312111 Si rrrr rrrr rrrr ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ ++ ++ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 3 32 31 w w w z zyyyyy zxxxxx f f z y x tr tCtfKrCrfK tCtfKrCrfK n yn xn
  113. 113. Visión Tridimensional UPM DISAM 36Sistemas de Coordenadas Relación matricial entre las coordenadas del mundo y las coordenadas laterales de la cámara (sin distorsión ). Matriz de Proyección. ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ ++ ++ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 11 343 242 141 3 32 31 w w w w w w z zyyyyy zxxxxx f f z y x mm mm mm z y x tr tCtfKrCrfK tCtfKrCrfK n yn xn [ ] [ ] [ ]⎪ ⎩ ⎪ ⎨ ⎧ = = = 3332313 2322212 1312111 Si mmmm mmmm mmmm ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 1 34333231 24232221 14131211 w w w f f z y x mmmm mmmm mmmm n yn xn
  114. 114. Visión Tridimensional UPM DISAM 37Tabla de Contenidos Modelo de lentes: Pinhole, Delgada y Gruesa Parámetros del Modelo de Captación Sistemas de Coordenadas involucradas Proceso de Calibración
  115. 115. Visión Tridimensional UPM DISAM 38Proceso de Calibración CALIBRACIÓN: Determinación de los parámetros involucrados en el proceso de captación: Parámetros intrínsecos: Factores de escala: Kx, Ky Distancia focal: f Punto principal: Cx, Cy Distorsión: Dx, Dy Parámetros extrínsecos: Vector de traslación: T Matriz de rotación: R
  116. 116. Visión Tridimensional UPM DISAM 39Proceso de Calibración Etapas del proceso de calibración Ecuaciones del sistema: Modelo matemático Obtención de datos de campo : Proyección sobre la imagen de puntos 3D conocidos Determinación de los parámetros: Resolución de las ecuaciones con los datos de campo
  117. 117. Visión Tridimensional UPM DISAM 40Proceso de calibración Elemento de calibración
  118. 118. Visión Tridimensional UPM DISAM 41Proceso de Calibración Técnicas aplicadas a la Fotogrametría. Son necesarios métodos de calibración muy exactos. Se emplean ópticas profesionales sin problemas de distorsiones. Conocimiento a priori de los parámetros intrínsecos. Técnicas aplicadas a la Robótica y Automatización. Son necesarios métodos rápidos y autónomos. Imágenes con menor resolución. Se ven afectadas por muchos factores que de forma sistemática causan errores. MÉTODOS DE CALIBRACIÓN
  119. 119. Visión Tridimensional UPM DISAM 42Proceso de Calibración Técnicas basadas en Modelos con significado físico Aproximación clásica de la fotogrametría Transformación Lineal Directa (DLT) Restricción de Alineamiento Radial (RAC) Punto de Desvanecimiento Técnicas basadas en Modelos matemáticos MÉTODOS DE CALIBRACIÓN
  120. 120. Visión Tridimensional UPM DISAM 43Proceso de Calibración Técnicas basadas en Modelos con significado físico. Aproximación clásica de la fotogrametría. Tienen en cuenta las ecuaciones convencionales de colinealidad del modelo pinhole de cámaras. Resuelve el problema planteado realizando una optimización no lineal, para ello son necesarios buenos datos iniciales. Transformación Lineal Directa (DLT) Se realiza una calibración en dos pasos. En primer lugar se calculan los elementos de la Matriz de Proyección. A partir de ella se obtienen los parámetros intrínsecos y extrínsecos.
  121. 121. Visión Tridimensional UPM DISAM 44Proceso de Calibración Técnicas basadas en modelos con significado físico. X Y X Y u u d d = Restricción de Alineamiento Radial (RAC) Incorpora únicamente la distorsión radial, manteniendose la relación. Se necesita conocer inicialmente una serie de parámetros del conjunto cámara/tarjeta. El resto de los parámetros se obtiene de forma lineal. Punto de Desvanecimiento Calcula separadamente los parámetros intrínsecos y los extrínsecos. Mediante optimización no lineal se puede incorporar cualquier modelo de distorsión.
  122. 122. Visión Tridimensional UPM DISAM 45Proceso de Calibración Técnicas basadas en un modelo matemático. No se tiene ningún significado físico de la cámara. X c x y c x y Y c x y c x y f ij w i w j i j ij w i w j i j f ij w i w j i j ij w i w j i j 1 1 1 1 0 3 3 1 1 0 3 1 2 1 1 0 3 3 1 1 0 3 = = ≤ + ≤ ≤ + ≤ ≤ + ≤ ≤ + ≤ ∑ ∑ ∑ ∑ ( ) ( ) ( ) ( ) La idea básica es la relación entre un punto del espacio 3D y la proyección de ese punto en la imagen 2D. La distorsión se compensa mediante interpolación. Como inconveniente destacar la poca utilidad cuando se desarrollan sistemas activos de visión.
  123. 123. Visión Tridimensional UPM DISAM 46Proceso de Calibración Transformación Lineal Directa (DLT) Obtención de los elementos de la matriz de proyección. Sin considerar las restricciones Considerando restricciones Cálculo de los parámetros intrínsecos y extrínsecos a excepción de la distorsión. Cálculo de la distorsión (si se modela). Cálculo de otros errores sistemáticos. ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 111 343 242 141 34333231 24232221 14131211 w w w w w w w w w f f z y x mm mm mm z y x mmmm mmmm mmmm z y x M n Yn Xn
  124. 124. Visión Tridimensional UPM DISAM 47Proceso de Calibración Transformación Lineal Directa (DLT) Obtención de los elementos de la matriz de proyección ⎩ ⎨ ⎧ =−−−−+++ =−−−−+++ ⎪ ⎪ ⎩ ⎪ ⎪ ⎨ ⎧ +++ +++ = +++ +++ = ⇒ ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ = ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 0 0 1 1423222134333231 1413121134333231 34333231 14232221 34333231 14131211 34333231 24232221 14131211 mzmymxmYmYzmYymYxm mzmymxmXmXzmXymXxm mzmymxm mzmymxm Y mzmymxm mzmymxm X z y x mmmm mmmm mmmm n Yn Xn wwwffwfwfw wwwffwfwfw www www f www www f w w w f f 0TrivialSolución0Sistema =⇒= mmA
  125. 125. Visión Tridimensional UPM DISAM 48Método de Transformación Lineal Directa Calculo de la Matriz de Proyección sin considerar las restricciones. 1 1 1 34 11 34 12 34 13 34 14 34 21 34 22 34 23 34 24 34 31 34 32 34 33 34 1 2 3 4 5 6 7 8 9 10 11 m M m m m m m m m m m m m m m m m m m m m m m m L L L L L L L L L L L L = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟⎟ → = ⎡ ⎣ ⎢ ⎢ ⎢ ⎤ ⎦ ⎥ ⎥ ⎥ X x L y L z L L x L y L z L Y x L y L z L L x L y L z L f w w w w w w f w w w w w w = + + + + + + = + + + + + + 1 2 3 4 9 10 11 5 6 7 8 9 10 11 1 1 Transformación Lineal Directa (DLT)
  126. 126. Visión Tridimensional UPM DISAM 49Proceso de Calibración ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ⋅ ⋅ ⋅= ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ⋅ ⋅ ⋅ −−− −−− fi fi fiwifiwifiwiwiwiwi fiwifiwifiwiwiwiwi Y X L L L L L L L L L L L YzYyYxzyx XzXyXxzyx 11 10 9 8 7 6 5 4 3 2 1 10000 00001 Transformación Lineal Directa (DLT) Calculo de la Matriz de Proyección sin considerar las restricciones. Con n puntos (conocidos xwi , ywi , zwi , Xfi , Yfi ) se obtiene un sistema con 11 incógnitas y 2n ecuaciones
  127. 127. Visión Tridimensional UPM DISAM 50Proceso de Calibración A partir de los parámetros L y considerando el significado físico de la matriz M se obtienen sus elementos. M L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L L = + + + + + + + + + + + + + + + + + + + + + + + 1 9 2 10 2 11 2 2 9 2 10 2 11 2 3 9 2 10 2 11 2 4 9 2 10 2 11 2 5 9 2 10 2 11 2 6 9 2 10 2 11 2 7 9 2 10 2 11 2 8 9 2 10 2 11 2 9 9 2 10 2 11 2 10 9 2 10 2 11 2 11 9 2 10 2 11 2 9 2 1 10 2 11 2 + ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟⎟L Transformación Lineal Directa (DLT)
  128. 128. Visión Tridimensional UPM DISAM 51Proceso de Calibración Cálculo de la matriz de perspectiva considerando las restricciones a que está sujeta. ( ) ( ) 0 1 nesrestricciolasasujeto 1 3231 3 343 242 141 =∧⋅∧ = ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ mmmm m z y x mm mm mm n nYf nXf w w w Transformación Lineal Directa (DLT) Al emplear la segunda restricción se tiene que resolver un sistema no lineal que es algo que se pretende evitar con este método.
  129. 129. Visión Tridimensional UPM DISAM 52Proceso de Calibración Se utiliza exclusivamente la primera restricción. Se resuelve el problema de optimización dividiendo el conjunto de variables en dos, las que están sujetas a restricción y las que no, y empleando las técnicas de multiplicadores de Lagrange. ( ) min Cy Dz z minR Cy Dz z y z y z , , + = = + + ⋅ − 2 2 2 2 1 1 sujeto a λ Transformación Lineal Directa (DLT)
  130. 130. Visión Tridimensional UPM DISAM 53Proceso de Calibración Calculo de los parámetros intrínsecos y extrínsecos. ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ++ ++ = 343 242 141 3 32 31 mm mm mm tr tCtfKrCrfK tCtfKrCrfK M z zyyyyy zxxxxx ( ) ( ) y T y T y T yy T x T x T x T xx T CrrCrrfKrrCrfKmm CrrCrrfKrrCrfKmm =⋅+⋅=⋅+=⋅ =⋅+⋅=⋅+=⋅ 333233232 333133131 Transformación Lineal Directa (DLT) Cálculo inmediato de r3 y de tz Coordenadas del Punto Principal
  131. 131. Visión Tridimensional UPM DISAM 54Método de Transformación Lineal Directa Calculo de las distancias focales en x e y. ( ) ( ) ( )[ ] [ ] =⋅−⋅−⋅+⋅+⋅+⋅ =⋅+−+⋅+=⎥⎦ ⎤ ⎢⎣ ⎡ ⋅−⋅• 2 333133311311 2 3313131 2 3111 T x T x T xx T xx T xx T xx T xx T xxxx TT rrCrrfKrCrCrCrfKrfKrCrfKrfK rrCrfKrCrfKrCrfKmmmm Transformación Lineal Directa (DLT) Calculo de los parámetros intrínsecos y extrínsecos. xxxxxx ffKfCCKf ⇒==−+= 2222222 ( ) ( ) ( )[ ] [ ] =⋅−⋅−⋅+⋅+⋅+⋅ =⋅+−+⋅+==⎥⎦ ⎤ ⎢⎣ ⎡ ⋅−⋅• 2 333233322322 2 3323232 2 3222 T y T y T yy T yy T yy T yy T yy T yyyy TT rrCrrfKrCrCrCrfKrfKrCrfKrfK rrCrfKrCrfKrCrfKmmmm yyyyyy ffKfCCKf ⇒==−+= 2222222
  132. 132. Visión Tridimensional UPM DISAM 55Método de Transformación Lineal Directa Transformación Lineal Directa (DLT) Calculo de los parámetros intrínsecos y extrínsecos. Calculo de los parámetros extrínsecos restantes. y zy yzyyy x zx xzxxx y y yy x x xx fK tCm ttCtfKm fK tCm ttCtfKm fK rCm rrCrfKm fK rCm rrCrfKm − =⇒+= − =⇒+= − =⇒+= − =⇒+= 24 24 14 14 32 2322 31 1311
  133. 133. Visión Tridimensional UPM DISAM 56Proceso de Calibración Calculo de la Distorsión Un modelo mas completo al utilizado hasta el momento es el siguiente. X D dX n x m y m z m m x m y m z m m Y D dY n x m y m z m m x m y m z m m fsindistorsion X f X w w w w w w fsindistorsion Y f Y w w w w w w f f + + + = + + + + + + + + = + + + + + + + 11 12 13 14 31 32 33 34 21 22 23 24 31 32 33 34 X X D Y Y D f fs in d is to r s io n x f fs in d is to r s io n y − = − = Transformación Lineal Directa (DLT) Despreciando todos los errores salvo la distorsión.
  134. 134. Visión Tridimensional UPM DISAM 57Proceso de Calibración Calculo de otros errores sistemáticos. ( ) ( ) X X D p p X p Y p X p X Y p Y p X Y p X Y p X p Y Y Y D q qY q X q Y q X Y q X q Y X q Y X q Y q X f fsindistorsion X f f f f f f f f f f f f f fsindistorsion Y f f f f f f f f f f f f − + = + + + + + + + + + − + = + + + + + + + + + 0 1 2 3 2 4 5 2 6 2 7 2 8 3 9 3 0 1 2 3 2 4 5 2 6 2 7 2 8 3 9 3 Transformación Lineal Directa (DLT) Es conveniente calcular en pasos distintos los parámetros intrínsecos y extrínsecos, los coeficientes de distorsión y los coeficientes de otros errores sistemáticos para evitar inestabilidades.
  135. 135. Visión Tridimensional UPM DISAM 58Proceso de Calibración Emplea un modelo de distorsión que solamente tiene en cuenta la distorsión radial. ( ) ( ) D X k r k r D Y k r k r x d y d = + + = + + 1 2 2 4 1 2 2 4 .... .... Restricción de Alineamiento Radial (RAC). Método Tsai Al existir solamente distorsión Radial se obtiene ywww xwww u u d d tzryrxr tzryrxr y x y x +++ +++ == 232221 131211
  136. 136. Visión Tridimensional UPM DISAM 59Proceso de Calibración Se supone conocido Cx , Cy , Ky Determinación de |R| , tx , ty Cálculo de coordenadas centrales con distorsión Cálculo de incógnitas intermedias (aj) Cálculo de |ty| Determinación del signo de ty Cálculo de Sx Cálculo de |R| , tx Determinación de f , k1 , tz Aproximación inicial de f , tz Cálculo iterativo de f , k1 , tz Restricción de Alineamiento Radial (RAC). Método Tsai
  137. 137. Visión Tridimensional UPM DISAM 60Proceso de Calibración Cálculo de coordenadas centrales con distorsión Restricción de Alineamiento Radial (RAC). Método Tsai ( ) ( ) ( ) y x x i u i ux i dy i dx i d i d i dyy i f i d i dxx i f i d i f i f K K S y xS yK xK y x yKCyy xKCxx yx = == ⎪⎩ ⎪ ⎨ ⎧ =−= =−= con ˆ ˆ :cocienteelformaseSi ˆ ˆ obtieneSe ,:puntoslosdepartirA
  138. 138. Visión Tridimensional UPM DISAM 61Proceso de Calibración Cálculo de incógnitas intermedias (aj) Restricción de Alineamiento Radial (RAC). Método Tsai { { { i d a xxy i d i w a xy i d i w a xy i d i w a xy i d i w a y i d i w a y i d i w a y i d y y i w i w i w x i w i w i w xi u i u xi d i d ytStyzrStyyrStyxrSt xzrtxyrtxxrtx t tzryrxr tzryrxr S y x S y x ˆˆˆˆ ˆˆˆˆ 0Si ˆ ˆ cocienteelendoSustituyen 7321 654 1 13 1 12 1 11 1 23 1 22 1 21 1 232221 131211 321321321321 −−−− −−− +++ =+++ ≠ +++ +++ ==
  139. 139. Visión Tridimensional UPM DISAM 62Proceso de Calibración Cálculo de incógnitas intermedias (aj) Restricción de Alineamiento Radial (RAC). Método Tsai i d i d i w i d i w i d i w i d i w i d i w i d i w i d yaxzaxyaxxayzayyayxax n ˆˆˆˆˆˆˆˆ incógnitas7yecuacionesconsistemaunobtieneSe 7654321 +−−−++= Cálculo de |ty| Determinación del signo de ty 2 6 2 5 2 4 1 aaa t y ++ = Para un punto cualquiera (alejado del centro de la imagen) se calcula su proyección sin distorsión, ensayando con el valor positivo y el valor negativo
  140. 140. Visión Tridimensional UPM DISAM 63Proceso de Calibración Cálculo de Sx Restricción de Alineamiento Radial (RAC). Método Tsai Cálculo de |R| , tx ( )2 3 2 2 2 1 2 aaatS yx ++= x y x yyy x y x y x y S t at rrrrrrrrr tartartar S t ar S t ar S t ar 7 2 23 2 1333 2 22 2 1232 2 21 2 1131 623522421 313212111 111 = −−=−−=−−= === ===
  141. 141. Visión Tridimensional UPM DISAM 64Proceso de Calibración Determinación de f , k1 , tz Aproximación inicial de f , tz Se obtiene f , tz con distorsión nula, mediante mínimos cuadrados Restricción de Alineamiento Radial (RAC). Método Tsai Cálculo iterativo de f , k1 , tz Optimización no lineal del sistema ( ) ( )[ ] ( ) ( )[ ] z i w i w i w x i w i w i w y i d i dy i d z i w i w i w x i w i w i w x i d i dx i d tzryrxr tzryrxr fKyxkKy tzryrxr tzryrxr fKyxkKx +++ +++ ++= +++ +++ ++= 333231 23222122 1 333231 13121122 1 ˆˆˆ ˆˆˆ
  142. 142. Visión Tridimensional UPM DISAM 65Proceso de Calibración Causas posibles Modelo matemático incompleto Errores en la adquisición de los datos Mal comportamiento de los algoritmos de calibración Consecuencia Mala precisión en las aplicaciones de visión tridimensional El proceso de calibración produce parámetros poco robustos, con alto grado de inestabilidad
  143. 143. Visión Tridimensional UPM DISAM 66Proceso de Calibración Emplea un modelo de distorsión que solamente tiene en cuenta la distorsión radial. ( ) ( ) D X k r k r D Y k r k r x d y d = + + = + + 1 2 2 4 1 2 2 4 .... .... X Y x y X Y X Y X Y x y X Y r x r y r z t r x r y r z t u u u u d d d d d d w w w x w w w y = = ⎫ ⎬ ⎪⎪ ⎭ ⎪ ⎪ → = → = + + + + + + 11 12 13 21 22 23 Restricción de Alineamiento Radial (RAC). Método Tsai Al existir solamente distorsión Radial se obtiene
  144. 144. Visión Tridimensional UPM DISAM 67Proceso de Calibración Poniendo la expresión anterior en función de las coordenadas en píxeles del plano de la imagen. ( ) ( ) ywww xwwwx fx cxx x yfyd xfxxxd tzryrxr tzryrxr Y Xs N Nd d CYdYY CXdSXSX +++ +++ =→ ⎪ ⎪ ⎪ ⎭ ⎪⎪ ⎪ ⎬ ⎫ = −== −=⋅= − −− 232221 131211 1 11 ' ' s X Y r x r y r z t r x r y r z t s X Y r t x r t y r t z t t r t x r t y r t z x w w w x w w w y x y w y w y w x y y w y w y w − − − − − − − − −= + + + + + + → = + + + + + + 1 11 12 13 21 22 23 1 11 1 12 1 13 1 1 21 1 22 1 23 1 1 Restricción de Alineamiento Radial (RAC). Método Tsai Dividiendo ahora por ty queda la expresión que será necesario desarrollar.
  145. 145. Visión Tridimensional UPM DISAM 68Proceso de Calibración Calibración coplanar de cámaras. Suponiendo conocido a priori el factor de incertidumbre de escala pueden calcularse los valores intermedios ai ( ) ( ) Y x Y y Y X x X y r t r t t t r t r t X Y x Y y Y X x X y a a a a a X di wi di wi di di wi di wi y y x y y y di di wi di wi di di wi di wi di − − ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = − − ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = − − − − − 11 1 12 1 1 21 1 22 1 1 2 3 4 5 Restricción de Alineamiento Radial (RAC). Método Tsai
  146. 146. Visión Tridimensional UPM DISAM 69Proceso de Calibración Calculo de ty. t S S D D S a a a a D a a a a y 2 2 2 2 1 2 2 2 4 2 5 2 1 5 2 4 4 2 = − − = + + + = − ( ) ( ) ( ) ( ) ( ) r t r t r t r t r t r t r t r t t t t t y y y y y y y y x y x y 11 1 11 12 1 12 21 1 21 22 1 22 1 = = = = = − − − − − Restricción de Alineamiento Radial (RAC). Método Tsai Calculo de la matriz de rotación R y de tx, el resto de los elementos de R, se obtienen aplicando las propiedades de las matrices de rotación.
  147. 147. Visión Tridimensional UPM DISAM 70Proceso de Calibración Calculo de la distancia focal, coeficiente de distorsión y tz → ⎪ ⎪ ⎭ ⎪ ⎪ ⎬ ⎫ ++ ++ = ++ ++ = zwiwi ywiwi di zww xww di tyrxr tyrxr fY tyrxr tyrxr fX 3231 2221 3231 1211 Restricción de Alineamiento Radial (RAC). Método Tsai ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ + + =⎟⎟ ⎠ ⎞ ⎜⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ −++ −++ ⎩ ⎨ ⎧ +=−++ +=−++ diwiwi diwiwi zdiywiwi dixwiwi diwiwizdiywiwi diwiwizdixwiwi Yyrxr Xyrxr t f Ytyrxr Xtyrxr YyrxrtYftyrxr XyrxrtXftyrxr 3231 3231 2221 1211 32312221 32311211
  148. 148. Visión Tridimensional UPM DISAM 71Proceso de Calibración Calibración de cámaras con un conjunto de puntos no coplanares. ( ) ( ) Yx Yy Yz Y Xx Xy Xz r t s r t s r t s t t s r t r t r t X Yx Yy Yz Y Xx Xy Xz a a a a a a a X w w w d w w w y x y x y x x y x y y y w w w d w w w − − − ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = − − − ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ = − − − − − − − 11 1 12 1 13 1 1 21 1 22 1 23 1 1 2 3 4 5 6 7 Restricción de Alineamiento Radial (RAC). Método Tsai
  149. 149. Visión Tridimensional UPM DISAM 72Proceso de Calibración Calculo de ty a a a ty 5 2 6 2 7 2 2 1 + + = a a a s t x y 1 2 2 2 3 2 2 2+ + = r a t s r a t s r a t s r a t r a t r a t t a t y x y x y x y y y x y 11 1 12 2 13 3 21 5 22 6 23 7 4 = ⋅ = ⋅ = ⋅ = ⋅ = ⋅ = ⋅ = ⋅ Restricción de Alineamiento Radial (RAC). Método Tsai Determinación de sx Calculo de la matriz de Rotación y de tx
  150. 150. Visión Tridimensional UPM DISAM 73Proceso de Calibración Calculo de la distancia focal, coeficiente de distorsión y tz ( ) ( ) ( ) X f r x r y r z t r x r y r z t Y f r x r y r z t r x r y r z t r x r y r z t f X t r x r y r z X r x r y r z t f Y t r di wi wi wi x wi wi wi z di wi wi wi y wi wi wi z wi wi wi x di z wi wi wi di wi wi wi y di z = + + + + + + = + + + + + + ⎫ ⎬ ⎪⎪ ⎭ ⎪ ⎪ → + + + − = + + + + + − = 11 12 13 31 32 33 21 22 23 31 32 33 11 12 13 31 32 33 21 22 23 31( ) ( ) ( ) ( ) ( ) x r y r z Y r x r y r z t X r x r y r z t Y f t r x r y r z X r x r y r z Y wi wi wi di wi wi wi x di wi wi wi y di z wi wi wi di wi wi wi di + + ⎧ ⎨ ⎪ ⎩⎪ + + + − + + + − ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = + + + + ⎛ ⎝ ⎜⎜ ⎞ ⎠ ⎟⎟ 32 33 11 12 13 21 22 23 31 32 33 31 32 33 Restricción de Alineamiento Radial (RAC). Método Tsai
  151. 151. Visión Tridimensional UPM DISAM 74Proceso de Calibración Causas posibles Modelo matemático incompleto Errores en la adquisición de los datos Mal comportamiento de los algoritmos de calibración Consecuencia Mala precisión en las aplicaciones de visión tridimensional El proceso de calibración produce parámetros poco robustos, con alto grado de inestabilidad
  152. 152. Div. Ingeniería de Sistemas y Automática Universidad Miguel Hernández GRUPO DE TECNOLOGÍA INDUSTRIAL
  153. 153.   Histograma   Nivel de Ruido   Brillo   Contraste   Nitidez   Color   Vecindad
  154. 154.   Histograma  Distribución de Niveles de Gris en una imagen  Función de densidad de probabilidad de niveles de gris  Coordenadas  Abscisas: rango posible de intensidades de gris  Ordenadas: número de pixeles para cada nivel de gris
  155. 155.  Algoritmo. Cálculo de un histograma.  Entrada. A: imagen de maxX x maxY  Salida. Histograma: array [0,...,255] de entero  Algoritmo: Histograma[]:= 0 para y:= 1, ..., maxY hacer para x:= 1, ..., maxX hacer Histograma[A(x,y)]:= Histograma[A(x,y)]+1
  156. 156.  Los histogramas son una herramienta importante en análisis de imágenes: ¿es buena la calidad de una imagen?, ¿sobra luz?, ¿falta contraste?  Ayudan a decidir cuál es el procesamiento más adecuado para mejorar la calidad de una imagen...  Tanto cualitativamente (qué operación aplicar),  Como cuantitativamente (en qué cantidad).  En principio, una buena imagen debe producir un histograma más o menos uniforme y repartido en todo el rango de valores. 0 255127 Nivel de gris Frecuencia
  157. 157.  Ejemplo 1. La imagen es muy oscura. Falta luz. 0 255127 Frecuencia •  Ejemplo 2. La imagen es muy clara. Sobra brillo. 0 255127 Frecuencia
  158. 158.  Ejemplo 3. La imagen tiene poco contraste. 0 255127 Frecuencia •  Ejemplo 4. Hay mucho contraste, pocos medios tonos. 0 255127 Frecuencia
  159. 159.  Histogramas de color. En imágenes multicanal podemos obtener un histograma de cada canal por separado. Canal Rojo Canal Verde Canal Azul 0 255127 0 255127 0 255127
  160. 160.  O, también, podemos calcular histogramas conjuntos, en 2 ó 3 dimensiones. Canales R y G Canales G y B Canales R y B •  Estos histogramas aportan información sobre los rangos de colores más frecuentes en la imagen. •  En teoría, el histograma es de 256x256 celdas (bins). •  Pero, para obtener buenos resultados, mejor usar un número reducido de celdas. Por ejemplo 64x64 ó 32x32.
  161. 161.  Uso de histogramas para mejorar la calidad de las imágenes.  Ejemplo. El histograma indica tonos muy oscuros. •  Solución. Aplicar un operador que “estire” el histograma.
  162. 162.   Histograma   Nivel de Ruido   Brillo   Contraste   Nitidez   Color   Vecindad
  163. 163.   Nivel de ruido  Variación en el nivel de gris que sufre un pixel no debida a la aportación lumínica de la escena  Tipos  Correlados: La variación del nivel de gris depende de la posición espacial del pixel afectado Imagen sin ruido Imagen con ruido correlado
  164. 164.  Tipos  No correlados: La variación del nivel de gris no depende de la posición espacial del pixel afectado  Gaussiano: La distribución del ruido se asemeja a una distribución gaussiana de una determinada media y varianza Imagen sin ruido Ruido Gaussiano M=0 σ=25
  165. 165.  Tipos  No correlados: La variación del nivel de gris no depende de la posición espacial del pixel afectado  Gaussiano  Aleatorio: También llamado de sal y pimienta. El número de pixeles afectados y la intensidad del mismo son variables aleatorias independientes Imagen sin ruido Ruido Aleatorio
  166. 166.   Histograma   Nivel de Ruido   Brillo   Contraste   Nitidez   Color   Vecindad
  167. 167.   Brillo  Nivel de gris medio en una imagen Brillo 104 Brillo 56
  168. 168.   Histograma   Nivel de Ruido   Brillo   Contraste   Nitidez   Color   Vecindad
  169. 169.   Contraste  El contraste de una imagen define la variación del nivel de gris en los pixel de la misma  Estimación:
  170. 170.   Histograma   Nivel de Ruido   Brillo   Contraste   Nitidez   Color   Vecindad
  171. 171.   Nitidez  Respuesta en nivel de gris de la imagen ante cambios bruscos en la iluminación de la escena captada. Alta nitidez frente a baja nitidez
  172. 172.  La baja nitidez puede estar provocada por:  Objetos fuera del rango de enfoque de la óptica  Deficiencias del elemento sensor  Efectos de algoritmos de tratamiento de imágenes  La medición de la nitidez es una tarea compleja, pues depende de:  Los objetos presentes en la imagen  La presencia de ruido Dn:derivada en la dirección de máximo cambio
  173. 173. Nitidez: 18.24%Nitidez: 11.97%
  174. 174.   Histograma   Nivel de Ruido   Brillo   Contraste   Nitidez   Color   Vecindad
  175. 175.   Teoría básica del color Fuente de luz emite radiación con diferentes long. de onda El objeto refleja otra distribución de longitudes de onda Los fotoreceptores del ojo son sensibles a determinadas distribuciones Los estímulos se envían al cerebro y se percibe el color
  176. 176.   Naturaleza de la Luz y Color  Luz es una radiación Electromagnética (Dualidad):  Se comporta como corpúsculo  Compuesta por fotones  Emiten y absorben energía  Se comporta como onda en su propagación  Campo eléctrico y campo magnético  Senoides vibrando en perpendicular
  177. 177.  Luz como onda:  Espectro Electromagnético  Espectro visible: Entre 780 nm y 380 nm
  178. 178.   Interacción entre la Luz y la Materia  El color en los objetos viene provocado por la interacción de una luz emitida sobre el mismo.  Si la luz impacta sobre un objeto:  Será completa o parcialmente transmitida  Será completa o parcialmente reflejada  Será completa o parcialmente absorbida  Transmisión
  179. 179.  Indice Refractivo (RI): relación entre la velocidad de la luz en un medio y el vacío.  Refracción: Cambio en la dirección de la luz al atravesar dos medios con RI diferentes  El RI de una sustancia se ve afectado por la longitud de onda de la fuente de luz
  180. 180.   Reflexión: Superficies que reflejan la luz con una intensidad y con un ángulo igual que la incidente.  Absorción: La luz incidente se absorbe en función de la pigmentación del objeto
  181. 181.  Reflectancia Espectral: Cantidad de luz en cada longitud de onda que es reflejada por un objeto en comparación con la reflexión pura (objeto blanco)
  182. 182.   Visión Humana  El color que percibe el ser humano es una combinación de tres estímulos distintos de la retina  Bastones: No sensibles al color  Conos: Tres tipos sensibles al color rojo verde y azul
  183. 183.  Sensibilidad Espectral: similares a las curvas de reflectancia espectral.  Estímulos: Es lo que llega al cerebro como consecuencia de todo el proceso.
  184. 184.   Radiación  Cantidad total de energía que fluye desde una fuente luminosa (watios)   Luminancia  Cantidad de energía que un observador percibe de una fuente luminosa (lúmenes)   Brillo  Sensación acromática de la intensidad de la luz   Tinte (Hue)  Longitud de onda dominante en el color   Saturación  Pureza relativa entre el blanco y la longitud de onda dominante (tinte). El blanco puro posee una saturación nula
  185. 185.   Modelos de representación del color  Modelo RGB  Estímulos principales para la percepción del color en el ser humano  Colores aditivos primarios
  186. 186.   Una imagen en RGB está representada por 3 planos distintos, uno por cada color primario   Cuando llegan al monitor RGB, estas tres imágenes se combinan en la pantalla fosforescente para producir una imagen compuesta en color   Para un sistema que digitaliza la imagen con 24 bits de resolución, los valores máximos de R, G y B serán igual a 255   Espacio euclídeo, en el que cada componente primario se corresponde con un eje ortogonal
  187. 187. Negro (0,0,0) Blanco (1,1,1) Grises (n,n,n) Rojo (1,0,0) Verde (0,1,0) Azul (0,0,1)
  188. 188.  Modelo CMY (Cian-Magenta-Yellow)  Es el modelo típico para impresoras de color   Utiliza los colores Cian (C), Magenta (M) y Yellow (Y), que son los colores secundarios de luz o primarios de los pigmentos
  189. 189.  Modelo YIQ (Luminancia - Fase - Cuadratura)  Es una recodificación del RGB más eficaz en la transmisión para TV en color, y que además es compatible con los estándares de TV en blanco y negro  La información del color (I+Q) y la información de la luminancia están desacopladas  Conversión RGB - YIQ:
  190. 190.  Modelo HSI (Hue (tono)- Saturación - Intensidad)  La información de intensidad (I) está desacoplada de la información del color (H,S)  H y S están íntimamente relacionadas con la forma en que los humanos percibimos el color.  Transformación RGB - HSI
  191. 191.   Descomposición 3 canales RGB Canal Rojo Canal AzulCanal Verde
  192. 192.   Histograma   Nivel de Ruido   Brillo   Contraste   Nitidez   Color   Vecindad
  193. 193.   Vecindad:  Vecindad a 4  Vecindad a 8 X X O X X X X X X O X X X X
  194. 194. Div. Ingeniería de Sistemas y Automática Universidad Miguel Hernández GRUPO DE TECNOLOGÍA INDUSTRIAL
  195. 195.  Pregunta: ¿Cuál es la base teórica del procesamiento de imágenes? ¿Qué operaciones aplicar?  Recordatorio: ¡una imagen digital no es más que una matriz, o array bidimensional, de números!  Podemos aplicar las mismas operaciones que sobre cualquier número: sumar, restar, multiplicar, dividir, aplicar and, or, máximo, mínimo, integrales, derivadas...  Cada operación tendrá un significado propio. 90 67 68 75 78 92 87 73 78 82 63 102 89 76 98 45 83 109 80 130 39 69 92 115 154
  196. 196.   Operaciones Puntuales   Operaciones Locales   Operaciones Globales   Operaciones Geométricas
  197. 197.   Característica  El resultado de aplicarlas a un pixel depende únicamente del valor de intensidad de ese pixel  Pueden ser:  Independiente de las características globales  Con una sola imagen  Transformaciones de una imagen según una función  Entre varias imágenes  Dependiente de la imagen
  198. 198.   Independientes de las Características Globales  Operaciones de UNA imagen con una CONSTANTE  Suma  Resta  Multiplicación  División  Máximo  Mínimo  Umbralización  Inversa
  199. 199.   Ejemplo Original Inversa
  200. 200. Sumar una constante: R(x, y):= A(x, y) + a  Significado: incrementar el brillo de la imagen en la cantidad indicada en a.  El histograma se desplaza a la derecha en a píxeles. a
  201. 201.  Ojo: la suma puede ser mayor que 255...  La operación debería comprobar el overflow: si A(x, y) + a > 255 entonces R(x, y):= 255 sino R(x, y):= A(x, y) + a  Esto se debe hacer también en las demás operaciones, comprobando si el valor es <0 ó >255.  Coloquialmente, un píxel “por encima” de 255 o por debajo de 0 se dice que está saturado.  La saturación supone una pérdida de información. Ejemplodeimagen muysaturada
  202. 202.  En imágenes en color, la suma se realiza sobre los tres canales (R, G y B) y con el mismo valor. R(x, y).R:= A(x, y).R + a R(x, y).G:= A(x, y).G + a R(x, y).B:= A(x, y).B + a •  ¿Qué ocurre si se suma un valor distinto a cada canal?
  203. 203. Restar una constante: R(x, y):= A(x, y) - a  Significado: decrementar el brillo de la imagen en la cantidad indicada en a.  El histograma se desplaza a la izquierda en a píxeles. a
  204. 204. Multiplicar por una constante: R(x, y):= b·A(x, y)  Significado: aumentar la intensidad de la imagen en b.  El histograma se “estira” hacia la izquierda.
  205. 205.  Tanto en la suma como en la multiplicación, se aumenta el nivel de gris de los píxeles, pero de forma distinta.  En la suma, el parámetro a (entero) indica el número de niveles de gris a aumentar: de -255 a 255.  En el producto, el parámetro b (real) indica el factor a multiplicar.  b=1 → Ningún cambio  b=2 → Se duplica el valor de gris. Los píx. >127 se saturan.  b=0,5 → Se “encoge” a la mitad el histograma. Suma Multiplicación 0 + a 0*b
  206. 206. Dividir por una constante: R(x, y):= A(x, y) / b = Multiplicar por 1/b ... ¡obviamente!  El histograma se “encoge”.
  207. 207.   Independientes de las Características Globales  Transformaciones según una FUNCIÓN racional o irracional  Valor absoluto de una imagen con signo  Transformación logarítmica  Transformación exponencial  Operaciones entre varias imágenes  suma, resta, multiplicación, división  máximo, mínimo  AND, OR, XOR
  208. 208.   Ejemplo Original Original con Ruido Gaussiano Resta Resta X 6
  209. 209.   Ejemplo Original Umbralizada 128 Mínimo: Original Umbr. 128
  210. 210.   Dependientes de las Características Globales  Manipulación del Histograma  Autoescalados de la imagen Original Ecualización Histograma
  211. 211. Origen Máx: 182 Mín: 55 Origen - 55 Escalada
  212. 212.  Las transformaciones elementales se pueden ver como funciones f: N → N.  Interpretación: para cada valor de gris de entrada hay un valor de salida. 0 25512864 192 025512864192 Valor de entrada Valordesalida f: curva tonal •  Se puede usar cualquier función f. •  La transformación hace que se modifique el histograma.
  213. 213. 0 25512864 192 025512864192 Identidad: f(v):= v 0 25512864 192 025512864192 Suma: f(v):= v + a 0 255 12864 192 025512864192 Resta: f(v):= v - a a a 0 25512864 192 025512864192 Multiplicar 2: f(v):=2v 0 25512864 192 025512864192 Dividir 2: f(v):= v/2 0 255 12864 192 025512864192 Por 3: f(v):= 3v
  214. 214.  En general, podemos definir una transformación lineal genérica de la forma: f(v):= b·v + a 0 25512864 192 025512864192 Ej. Inversa: f(v):= 255 - v •  Pero la transformación también puede ser no lineal: cuadrática, polinomial, exponencial, logarítmica, escalonada, etc. •  ¿Cómo decidir cuál es la transformación más adecuada?  Usar el histograma.
  215. 215.  Normalmente, interesa “estirar” el histograma, para conseguir que aparezca todo el rango de valores.  Idea: definir una transformación lineal tal que el histograma resultante vaya de 0 a 255.  Ajuste lineal o estiramiento (stretch) del histograma:  Buscar el valor mínimo del histograma: m  Buscar el valor máximo: M  f(v):= (v-m)*255/(M-m) m M Nota: Esto es una simple regla de 3
  216. 216. 0 25512864 192 025512864192  Ejemplo. m= 86, M= 214 R(x,y):= (A(x,y)-86)*1,99 A R Histograma de A HistogramadeR Ojo: no necesaria- mente “el máximo” Para imágenes en color, se aplica la misma función a los tres canales (R,G,B)
  217. 217.  Cuidado: un simple píxel con valor muy alto o muy bajo puede hacer que el ajuste del histograma sea muy malo.  Por ejemplo, si hay un píxel con valor 0 y otro con 255, la transformación sería la identidad (la imagen no cambia).  Solución: en lugar de mínimo y máximo, ajustar usando dos percentiles del histograma (p. ej. 10%-90%, ó 5%-95%). Histograma de A 5% 5%
  218. 218.  Más ejemplos de estiramiento lineal del histograma.
  219. 219.  La transformación de histograma puede tomar cualquier forma (no necesariamente lineal).  Ejemplos. 0 25512864 192 025512864192 Valor de entrada Valordesalida Resultado: oscurecer los medios tonos. Parábola: c1v2 + c2v + c3 0 25512864 192 Valor de entrada Resultado: aclarar los medios tonos. Raíz: c1v0.5 + c2 025512864192 0 25512864 192 Valor de entrada Resultado: aclarar tonos oscuros y oscurecer los claros. Dos trozos de curva (parábola y raíz) 025512864192
  220. 220.  Elevar a 2, elevar a 1/2, ...  Se define la transformación de gama como: f(v):= 255·(v/255)1/GAMA Gama 1 Gama 2 Gama 4Gama 0,75Gama 0,5 0 25512864 192 025512864192
  221. 221.  Otra transformación habitual es la ecualización del histograma (del latín aequalis = igual).  Ecualización del histograma: es una transformación definida de forma que el histograma resultante se reparte uniformemente en todo el rango de grises. 0 255127 0 255127 0 25512864 192 025512864192 ¿? •  En este caso se usa una función escalonada: f: array [0..255] de byte
  222. 222.  ¿Cómo definir f para conseguir la ecualización?  Idea: suponer que a la salida hay 5 niveles de gris. 0 255127 0 25512864 192 04213 20% 20% 20% 20% 20% para todo píxel (x,y) de R hacer R(x,y):= f[A(x,y)] 0 421 3
  223. 223.  Algoritmo. Cálculo de la función de ecualización del histograma.  Entrada. Histograma: array [0,...,255] de entero np: entero (número total de píxeles = mx*my)  Salida. f: array [0,...,255] de byte  Algoritmo: f[0]:= 0 acumulado:= Histograma[0] para i:= 1, ..., 254 hacer f[i]:= acumulado*255/np acumulado:= acumulado + Histograma[i] finpara f[255]:= 255 La función de ecualización es la integral del histograma, escalada por el factor 255/np.
  224. 224. Imagen de entrada (A) Imagen ecualizada (R) Histograma de A Histograma de RFunción f
  225. 225.  Ejemplos. Ecualización del histograma. •  Cuidado, en algunos casos los resultados pueden ser artificiosos. Cada canal (R,G,B) es ecualizado por separado
  226. 226. Inciso: ecualización local del histograma.  Tanto la ecualización como el estiramiento se pueden aplicar localmente.  Para cada píxel (x, y) de la imagen, calcular el histograma de una región vecina de tamaño nxn.  Aplicar la transformación correspondiente a (x, y).
  227. 227.  Ejemplos. Operadores booleanos. Imagen de entrada A Imagen de entrada B A AND B A OR B A XOR B
  228. 228.  En imágenes no binarias no tienen mucho sentido... ¿Cómo se interpretan? •  Las operaciones binarias aparecen en análisis de imágenes, y también para trabajar con máscaras y recortes de objetos. AGrisANDBGris ARGBANDBRGB
  229. 229.  Imágenes de entrada. A B C •  ¿Cómo conseguir el montaje de la página anterior? •  R:= (B AND NOT C) OR (AAND C)
  230. 230. 1.  T1:= B AND NOT C B NOT C T1 2.  T2:= AAND C 3.  R:= T1 OR T2 A C T2 T1 T2 R
  231. 231.  La imagen binaria (C) se suele denominar máscara.  La máscara permite segmentar el objeto de interés. C Cuestiones: •  ¿Cómo crear la máscara de forma automática? •  La zona del pelo no se mezcla bien con el fondo. ¿Cómo evitar este problema? R ¿¡!?
  232. 232. Sumar dos imágenes: R(x, y):= A(x, y) + B(x, y)  Significado: mezclar las dos imágenes. •  Ojo: [0..255] + [0..255] = [0..510] B A R
  233. 233.  Para evitar la saturación se puede usar la media. Media de 2 imágenes: R(x, y):= (A(x,y)+B(x,y))/2 •  Significado: las imágenes son semitransparentes (al 50%). B A R
  234. 234.  De forma similar, se puede definir la media ponderada. Media ponderada: R(x,y):= a·A(x,y) + (1-a)·B(x,y) •  La media ponderada se puede usar para crear una transición suave entre imágenes (o vídeos). a = 0,25 a = 0,5 a = 0,75
  235. 235.  La media de imágenes se puede usar para acumular imágenes de un vídeo.  Ejemplo 1. Combinar imágenes con mucho ruido de una escena, para obtener una mezcla con menos ruido. Imágenes capturadas de TV Imagen acumulada
  236. 236.  Ejemplo 2. Crear un modelo de fondo de una escena, acumulando varias imágenes. •  Idea: si además de la media en cada píxel calculamos también la varianza, podríamos tener un modelo gaussiano del fondo (N(µ,σ)). Imágenes de Quickcam Modelo de fondo
  237. 237. Restar dos imágenes: R(x, y):= A(x, y) - B(x, y)  Significado: obtener diferencia entre imágenes. B A A-B [0..255] - [0..255] = [-255..255]  La mitad de los píxeles se saturan a 0 B-A
  238. 238. Restar dos imágenes, manteniendo el rango de salida: R(x, y):= (A(x, y) - B(x, y))/2 + 128 B A (A-B)* (B-A)*
  239. 239.  Muchas veces lo que interesa es conocer la diferencia entre las imágenes.  Solución: tomar valor absoluto de la resta. Diferencia: R(x, y):= abs(A(x, y) - B(x, y)) •  Píxel negro: las dos imágenes son iguales en ese píxel. •  Cuando más clara es una zona, más se diferencian las imágenes. B A R ¿? Son muy distintas...
  240. 240.  Aplicaciones de la diferencia: encontrar variaciones entre imágenes que, en principio, deberían ser parecidas.  Ejemplo 1. Analizar la pérdida de información al comprimir una imagen. Por ejemplo, con JPEG. Dif. x16 Dif. x16
  241. 241.  Ejemplo 2. Segmentación del fondo de una escena.  Tenemos un fondo (imagen media) y una nueva imagen. x2 x2 Modelo de fondo Frame 1 Frame 2 Idea: esto se puede usar para crear la máscara... ¿Cómo?
  242. 242.   Proceso. 1.  Obtener el modelo de fondo M. 2.  Para cada imagen A del vídeo. 3.  Calcular la diferencia: D = abs(M-A). 4.  Umbralizar la imagen con un valor adecuado. U = umbralizar(D, x). 5.  Sea F el nuevo fondo. 6.  R:= (F AND NOT U) OR (A AND U) M A D U F R ¿Cómo arreglar eso?
  243. 243.  Ejemplo 3. Detección de movimiento en vídeo.  Dada una secuencia de vídeo, queremos saber si se ha producido alguna modificación, y en qué zonas de la imagen (“encuentra las 7 diferencias”). Frame 1 Frame 2 Diferencia x2 •  ¿Qué objetos se han movido y en qué dirección?
  244. 244. Producto imágenes: R(x, y):= A(x, y)·B(x, y)/255 B A A·B •  Necesario escalar el resultado (dividir por 255). •  Efecto de mezcla, similar a la suma, pero conceptualmente más próximo a un AND...
  245. 245. División imágenes: R(x, y):= 255·A(x, y)/B(x, y) B A A/B •  También es necesario escalar el resultado (multiplicar por 255). •  ¿Cuál es interpretación del resultado?
  246. 246.  Ejemplo 1. Realizar una transformación de intensidad distinta para cada píxel. A B1 B2 A*B1 A*B 2
  247. 247.  Estos mismos tipos de imágenes se pueden usar para hacer sumas, restas, divisiones, etc.  Ejemplo. R(x, y):= A(x, y)·B(x, y)/128  Si B(x, y) = 128 el píxel de A no cambia.  Si B(x, y) < 128 el píxel se oscurece.  Si B(x, y) > 128 el píxel se aclara.  El producto es también la base en la idea de máscara o selección difusa.  Idea: una imagen se compone de distintos elementos o capas, que tienen definido cierto nivel de transparencia.
  248. 248.  Ejemplo 2. Mezcla y combinación de imágenes. Queremos combinar dos imágenes, por ejemplo, para poner una etiqueta descriptiva en una foto. Una imagen binaria sirve de máscara: 0 = fondo, 1 = etiqueta. A B M •  Resultado: R:= (AAND NOT M) OR (B AND M) No me convence... mejor un reborde suave (difuminado) R
  249. 249.  Solución. Usar una máscara “suave”, una imagen en gris: 0 = transparente, 255 = opaco. Combinar: sumas y productos. M •  Resultado: R:= A·(255-N)/255 + B·N/255 N Producto de imágenes
  250. 250.  Indicaciones sobre el ejemplo 2.  La “mascara suave” es la idea del canal alfa.  RGB  RGBA, donde el canal A indica el grado de opacidad de un píxel (0= transparente, 255= opaco).  Uso: definimos imágenes, con sus canales alfa, y las componemos poniendo unas sobre otras.  La composición de imágenes con canal alfa es básicamente una media ponderada como hemos visto.  En el modo binario, muchas herramientas incorporan las ideas de máscara, selección, región de interés (cuando es rectangular) o canal de interés (en multicanal).  No necesitamos trabajar con operaciones booleanas, aunque implícitamente es lo que hay subyacente.
  251. 251. Otras operaciones no lineales  Mínimo de 2 imágenes. R(x, y):= min(A(x, y), B(x, y)) •  Máximo de 2 imágenes. R(x, y):= max(A(x, y), B(x, y)) A A B B R R
  252. 252.  Ejemplo. Una alternativa para crear modelos de fondo es usar máximos y mínimos. En lugar de tener media y varianza, tenemos máximo y mínimo del fondo en cada píxel. •  Dada una imagen nueva, para cada píxel, comprobar si su valor está entre el máximo y el mínimo. Si lo está: fondo; si no lo está: objeto. Fondo mínimo Fondo máximo
  253. 253.  Con esto tenemos otra forma de hacer la segmentación de los objetos. Modelo de fondo Frame 1 Frame 2 La máscara ya está binarizada
  254. 254.   Operaciones Puntuales   Operaciones Locales   Operaciones Globales   Operaciones Geométricas
  255. 255.   La imagen se transforma en función de los niveles de gris de cada píxel considerado y de los de su entorno (Filtro)   Pueden ser:  Lineales  No lineales:  Estadísticas  Analíticas  Media geométrica  Media armónica  ....  Morfológicas
  256. 256.  Convolución g(x,y) = w1*f(x-1,y-1)+ w2*f(x,y-1)+ w3*f(x+1,y-1)+ w4*f(x-1,y)+ w5*f(x,y)+ w6*f(x+1,y)+ w7*f(x-1,y+1)+ w8*f(x,y+1)+ w9*f(x+1,y+1) 3,5 4,5 5,5 3,4 4,4 5,4 3,3 4,3 5,3 0,5 1,5 2,5 0,4 1,4 2,4 0,3 1,3 2,3 0,2 1,2 2,2 0,1 1,1 2,1 0,0 1,0 2,0 3,2 4,2 5,2 3,1 4,1 5,1 3,0 4,0 5,0 w7 w8 w9 w4 w5 w6 w1 w2 w3 Máscara Imagen
  257. 257.  Convolución 3,5 4,5 5,5 3,4 4,4 5,4 3,3 4,3 5,3 0,5 1,5 2,5 0,4 1,4 2,4 0,3 1,3 2,3 0,2 1,2 2,2 0,1 1,1 2,1 0,0 1,0 2,0 3,2 4,2 5,2 3,1 4,1 5,1 3,0 4,0 5,0 w7 w8 w9 w4 w5 w6 w1 w2 w3 G(2,2) = f(3,2)*w6+ f(1,3)*w7+ f(2,3)*w8+ f(3,3)*w9 s7 s8 s9 s6 f(1,2)*w4+s4 f(2,2)*w5+ s5 f(1,1)*w1+ s1 f(2,1)*w2+ s2 f(3,1)*w3+s3
  258. 258. 1 1 1 1 1 1 1 1 1 1/9 -1 -1 -1 0 0 0 1 1 1
  259. 259.  No Lineales  Estadísticas Original + Ruido Aleatorio Filtro Mediana
  260. 260.  No Lineales  Analíticas  Media Geométrica  Media Armónica  ...
  261. 261.  No Lineales  Morfológicas  Relacionadas con la estructura geométrica de los objetos  Depende del elemento estructurante  En imágenes binarias:   Erosión   Dilatación   Adelgazamiento y esqueletización   Opening   Closing  En imágenes multinivel:   Extensión de las mismas operaciones
  262. 262.  Erosión y dilatación:  Dependen de la forma del elemento estructurante y de la imagen Elemento estructurante 3,5 4,5 5,5 3,4 4,4 5,4 3,3 4,3 5,3 0,5 1,5 2,5 0,4 1,4 2,4 0,3 1,3 2,3 0,2 1,2 2,2 0,1 1,1 2,1 0,0 1,0 2,0 3,2 4,2 5,2 3,1 4,1 5,1 3,0 4,0 5,0 Imagen
  263. 263.  Erosión de imágenes binarias
  264. 264.  Dilatación de imágenes binarias
  265. 265.  Erosión de una imagen multinivel
  266. 266.  Dilatación de una imagen multinivel
  267. 267.   Operaciones Puntuales   Operaciones Locales   Operaciones Globales   Operaciones Geométricas
  268. 268.   Operaciones globales  La imagen se transforma globalmente sin considerar los pixeles de forma individual, realizándose un cambio de dominio  Entre las más empleadas:  Transformada de Fourier  Transformada de Hadamard-Walsh  Transformada de Karhunen-Lòeve  Transformada discreta del coseno  Transformada de Hough  Cambio entre modelos de color  También se definen sus transformadas inversas
  269. 269.  Transformada de Fourier f(x,y) Dominio Frecuencia Dominio Espacio F(u,v) TF G(u,v) H(u,v) g(x,y) TF-1 h(x,y)
  270. 270.   Operaciones Puntuales   Operaciones Locales   Operaciones Globales   Operaciones Geométricas
  271. 271.   Operaciones geométricas  La posición de cada pixel en la imagen resultado depende de la posición en la imagen origen  Las más usadas:  Homotecia, zoom  Traslación  Rotación, transformada de Hotelling  Warping, corrección de distorsiones  Morphing
  272. 272.  Warping  Correspondencia entre las posiciones de los pixels en la imagen de entrada y posiciones de los pixels en la imagen de salida I(r,c) D(r’, c’) Transformación Geométrica r’ = R(r,c) c’ = C(r,c)  Para determinar las ecuaciones es necesario identificar un conjunto de puntos de la imagen de entrada que tengan correspondencia con un conjunto de puntos de la imagen de salida (tiepoints)  Estas ecuaciones suelen ser bilineales
  273. 273. 1. Definir los cuadrilateros sobre la imagen con unos puntos ‘tiepoints’ conocidos 2. Encontrar las ecuaciones R(r,c) y C(r,c) para estos puntos 3. Establecer una correspondencia entre los puntos dentro de este cuadrilatero y la imagen final I(r,c)
  274. 274. Warping
  275. 275.  Morphing
  276. 276. Div. Ingeniería de Sistemas y Automática Universidad Miguel Hernández
  277. 277.   Definición de Borde   Extracción de Bordes   Operadores Derivada   Comparación de Funciones Locales   Comparación con Máscaras Orientadas   Umbralización
  278. 278.  Cualquier discontinuidad que sufre alguna función de intensidad sobre los puntos de la misma  Tipos de bordes:  Cambio brusco en la distancia cámara-objeto (dc)  Cambio en la normal del objeto (n)  Cambio en la reflectancia del objeto (r)  Cambio en la proyección de la luz incidente (s) dc dc dc dc n n r s
  279. 279.   Definición de Borde   Extracción de Bordes   Operadores Derivada   Comparación de Funciones Locales   Comparación con Máscaras Orientadas   Umbralización
  280. 280.  Filtrado + Extracción = Detección de bordes  Umbralización:  Selecciona pixeles etiquetados como bordes  Localización:  Suministra información exacta de la posición y orientación del borde Filtrado Extrac. Umbral Local. f(x,y) f1(x,y) g(x,y) b(x,y) y=p(x)
  281. 281.   En el dominio espacial  Operadores derivada de los niveles de intensidad  Comparaciones de funciones locales de intensidad  Comparación con máscaras orientadas, previamente definidas (template matching)   Características Exigibles  Precisión  Robustez  Calidad del etiquetado
  282. 282.   Definición de Borde   Extracción de Bordes   Operadores Derivada   Comparación de Funciones Locales   Comparación con Máscaras Orientadas   Umbralización
  283. 283.   Efecto  La primera derivada produce un resalte de las zonas en que la intensidad no es homogénea.  La segunda derivada origina un cambio de signo en la posición de borde.  ”Zero -crossing" (paso por cero) Perfil de Intensidad 1ª Derivada 2ª Derivada
  284. 284.   Vector Gradiente  Vector unitario en la dirección del gradiente
  285. 285.  Discretización del Vector Gradiente  Desplazamiento de los bordes en una cantidad positiva de 0.5 píxels -1 1
  286. 286.  Discretización del Vector Gradiente (Eje Y) -1 1
  287. 287.  Aproximaciones (Vector Gradiente) siendo -1 0 0 1 0 1 -1 0
  288. 288.   Primera Derivada Direccional  Derivada de la función f(x,y) en la dirección α  Derivada de la función f(x,y) en la dirección del gradiente θ  Escogiendo el propio gradiente como vector
  289. 289.   Primera Derivada Direccional (Ejemplo)  Isotrópico (v)  No Lineal (i) Primera Derivada Direccional
  290. 290.  Gradiente de Roberts Detector horizontal  Detector vertical Detectores diagonales 0 1 -1 0 1 0 0 -1 1 1 1 0 0 0 -1 -1 -1 -1 0 1 -1 0 1 -1 0 1 0 -1 -1 1 0 -1 1 1 0 -1 -1 0 -1 0 1 0 1 1 fx fy
  291. 291.  Operador de Prewitt Operador de Sobel  Máscaras de Kirsch -1 0 1 -1 0 1 -1 0 1 1 2 1 0 0 0 -1 -2 -1 -1 0 1 -2 0 2 -1 0 1 1 1 1 0 0 0 -1 -1 -1 -3 -3 5 -3 0 5 -3 -3 5 -3 -3 -3 -3 0 5 -3 5 5 -3 -3 -3 -3 0 -3 5 5 5 -3 -3 -3 5 0 -3 5 5 -3 5 -3 -3 5 0 -3 5 -3 -3 5 5 -3 5 0 -3 -3 -3 -3 5 5 5 -3 0 -3 -3 -3 -3 -3 5 5 -3 0 5 -3 -3 -3 K0 0º K1 45º K2 90º K3 135º K4 180º K5 235º K6 270º K7 315º Módulo del Gradiente = Máximo de estos valores Dirección = Correspondiente al máximo
  292. 292.  Ejemplos de operadores derivada Detector horizontal Detector vertical Detector de Sobel
  293. 293.   Algoritmo de Canny   Obtención del gradiente   Supresión no máxima al resultado del gradiente   Histéresis de umbral a la supresión no máxima   Cierre de contornos abiertos 1.  Obtención del gradiente: Gaussiana Gradiente I Suavizado Derivada J Em Ea
  294. 294. 2. Supresión no máxima al resultado del gradiente a.  Para todo punto se obtiene la dirección más cercana dk a 0º, 45º, 90º y 135º en Ea(i,j) b.  Si Em(i,j) es menor que uno de sus dos vecinos en la dirección dk, IN(i,j)=0. Si no IN(i,j)=Em(i,j) 3. Histéresis de umbral a la supresión no máxima Permite eliminar máximos procedentes de ruido, etc. a.  Entrada IN, Ea, y dos umbrales T1 y T2 (T2>T1) b.  Para todo punto en IN, y explorando en un orden: a.  Localizar el siguiente punto tal que IN(i,j) > T2 b.  Seguir las cadenas de máximos locales a partir de IN(i,j) en ambas direcciones perpendiculares a la normal al borde siempre que IN>T1. Marcar los puntos explorados. c.  La salida es un conjunto de bordes conectados de contornos de la imagen, así como la magnitud y orientación.
  295. 295. 4. Cierre de contornos abiertos (Algoritmo de Deriche y Cocquerez) a.  La imagen de entrada es una imagen de contornos binarizada (1= borde; 0=no borde) b.  Para cada punto de borde de un extremo abierto se le asigna un código que determina las direcciones de búsqueda para el cierre del contorno c.  Para los pixels marcados con este código se marca como pixel de borde el de máximo gradiente en las tres direcciones posibles. d.  Se repiten los pasos hasta que se cierren todos los contornos. 26 25 24 27 0 23 20 21 22 1 812842 64 32 16
  296. 296. IMAGEN ORIGINALSUPRESIÓN DE NO MÁXIMOSIMAGEN BINARIZADA PREVIA HISTÉRESIS DE UMBRAL
  297. 297.   Operador Laplaciana  Discretizaciones aproximadas 1 -2 1 1 -2 1
  298. 298.  Acción conjunta de las dos máscaras 0 1 0 1 -4 1 0 1 0 Operador Laplaciana
  299. 299.   Segunda Derivada Direccional  En la dirección α  siendo H la matriz Hessiana  Escogiendo el vector unitario en la dirección del gradiente
  300. 300.  Operador Laplaciana 0 1 0 1 -4 1 0 1 0 1 1 1 1 -8 1 1 1 1 -1 2 -1 2 -4 2 -1 2 -1
  301. 301.   Operador Laplaciana de la Gaussiana   El filtro obtenido resulta bastante costoso en tiempo de computación   Al ser un operador segunda derivada se reduce el efecto del ruido al suavizar la imagen   Se detectan bordes en todas las direcciones   Se puede trabajar a diferentes escalas al variar el valor de la desviación estándar de la Gaussiana. Cuanto mayor es esta desviación, habrá un menor número de pasos por cero. Original + LG Positivos – Blanco Negativos - Negro Imagen de Ceros
  302. 302.  Aproximación de Haralick y Shaphiro   Se filtra la imagen con la Laplaciana de la Gaussiana   Un pixel es declarado como cero:  Si es menor que –t y uno de sus ocho vecinos es mayor que t  Si es mayor que t y uno de sus ocho vecinos es menor que -t t=4000 Desviación = 2.0
  303. 303.   Definición de Borde   Extracción de Bordes   Operadores Derivada   Comparación de Funciones Locales   Comparación con Máscaras Orientadas   Extracción de Esquinas   Umbralización
  304. 304.   Funciones Gaussianas  Se comparan la imagen origen con imágenes filtradas con Gaussianas de distinta sigma siendo h un filtro Gaussiano  Realce de los bordes
  305. 305. Filtro: Gaussiano σ=1 Filtro: Gaussiano σ=0.7 Diferencia imágenes previas
  306. 306.   Funciones Exponenciales simétricas   Operaciones Morfológicas  Imagen dilatada multinivel  Imagen erosionada multinivel  Realce de bordes: Diferencia entre ambas
  307. 307. Imagen Dilatada Multinivel Imagen Erosionada Multinivel Diferencia Dilatación-Erosión
  308. 308.   Definición de Borde   Extracción de Bordes   Operadores Derivada   Comparación de Funciones Locales   Comparación con Máscaras Orientadas   Extracción de Esquinas   Umbralización
  309. 309.   Conjunto de Máscaras  Cada una resalta la existencia de un borde en una determinada dirección  Tamaño y número  Dependiente de la precisión requerida  Realce de los bordes
  310. 310.   Definición de Borde   Extracción de Bordes   Operadores Derivada   Comparación de Funciones Locales   Comparación con Máscaras Orientadas   Extracción de Esquinas   Umbralización
  311. 311.   Método de Kitchen y Rosenfeld Siendo fx, fy las primeras derivadas y fxx, fxy, fyy las segundas derivadas. U1 es un umbral para determinar si hay borde.   Curvatura Gaussiana (Beaudet)

×