Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Estudio de investigación sobre técnicas de calibración de cámaras

3,839 views

Published on

En este texto se pretende sintetizar un curso Calibración de Cámaras integradas a un Sistema de Visión Artificial. En este trabajo se plantea la existencia, inherente a cualquier Sistema de Visión Artificial, de un proceso de calibración de su cámara. Se considera como sistema de visión, una cámara de video con la suficiente capacidad técnica para realizar los estudios y lograr nuestros objetivos, así como los algoritmos desarrollados para calibrar la cámara.
Muchas técnicas diferentes, en la actualidad, muestran como obtener información 3D del mundo físico usando una imagen o secuencia de imágenes capturadas por una o más cámaras. Cada técnica incluye una serie de procesos que influyen directamente en lograr un rendimiento eficaz; dentro de éstos, el principal proceso es la calibración. La calibración es el inconveniente básico en aplicaciones de sistemas de visión en las que se pretenda obtener información geométrica del espacio. Este problema consiste en encontrar los valores de la posición y orientación de una cámara, así como sus propiedades ópticas, geométricas y digitales a partir de puntos conocidos en el espacio que son proyectados en una imagen. Es decir, la calibración de cámaras tiene como objetivo establecer los parámetros que intervienen en el proceso geométrico de formación de la imagen.
En la mayoría de los medios actuales, las propiedades de una cámara pueden considerarse como estables y conocidas por lo que el problema se reduce a determinar la orientación y posición del sistema de referencia de una imagen. Un modelo matemático que describa y relacione correctamente la información del espacio 3D y su correspondiente información 2D de una o unas imágenes, es la base principal de realizar una buena calibración. De hecho, la calibración depende de la precisión con que obtengamos la información del espacio y de la imagen.
El contenido de este texto comienza en el Capítulo 1 - Introducción que se trata una breve presentación al desarrollo del trabajo. Al Capítulo anterior le sucede el Capítulo 2 – Planteamiento matemático Geometría de la formación de imágenes y que realiza un estudio de las herramientas matemáticas en las cuales nos basaremos.
A continuación, se ilustrarán distintos modelos existentes para establecer la función de transferencia 3D 2D en un Sistema de Visión Artificial y se analizarán los algoritmos más conocidos para llevar a cabo la calibración del sistema. Entre los expuestos podremos encontrar los cuatro siguientes:
• Método de calibración del cálculo de la matriz de transformación perspectiva.
• Método de calibración de los dos planos.
• Método de calibración de Roger Y. Tsai.
• Técnica de Ayache.
• Técnica de Song De Ma.
• Método de calibración de Zhang.
Finalmente, realizaremos un breve estudio sobre el auge de las aplicaciones de un sistema de calibración de cámaras en la actualidad.

  • Be the first to like this

Estudio de investigación sobre técnicas de calibración de cámaras

  1. 1. ALUMNO: Jaime Martínez Verdú E-MAIL: jaime.martinez@alu.umh.es POSTGRADO: Máster Universitario de Investigación en Tecnologías Industriales y de telecomunicaciónASIGNATURA: Visión por computador PROFESOR: Oscar Reinoso
  2. 2. Prefacio. . En este texto se pretende sintetizar un curso Calibración de Cámaras integradas aun Sistema de Visión Artificial. En este trabajo se plantea la existencia, inherente acualquier Sistema de Visión Artificial, de un proceso de calibración de su cámara. Seconsidera como sistema de visión, una cámara de video con la suficiente capacidadtécnica para realizar los estudios y lograr nuestros objetivos, así como los algoritmosdesarrollados para calibrar la cámara. Muchas técnicas diferentes, en la actualidad, muestran como obtener información3D del mundo físico usando una imagen o secuencia de imágenes capturadas por una omás cámaras. Cada técnica incluye una serie de procesos que influyen directamente enlograr un rendimiento eficaz; dentro de éstos, el principal proceso es la calibración. Lacalibración es el inconveniente básico en aplicaciones de sistemas de visión en las que sepretenda obtener información geométrica del espacio. Este problema consiste enencontrar los valores de la posición y orientación de una cámara, así como suspropiedades ópticas, geométricas y digitales a partir de puntos conocidos en el espacioque son proyectados en una imagen. Es decir, la calibración de cámaras tiene comoobjetivo establecer los parámetros que intervienen en el proceso geométrico de formación de laimagen. En la mayoría de los medios actuales, las propiedades de una cámara puedenconsiderarse como estables y conocidas por lo que el problema se reduce a determinar laorientación y posición del sistema de referencia de una imagen. Un modelo matemáticoque describa y relacione correctamente la información del espacio 3D y sucorrespondiente información 2D de una o unas imágenes, es la base principal de realizaruna buena calibración. De hecho, la calibración depende de la precisión con queobtengamos la información del espacio y de la imagen.
  3. 3. El contenido de este texto comienza en el Capítulo 1 - Introducción que se trata unabreve presentación al desarrollo del trabajo. En este capítulo vendrá detallada la historiade los sistemas de representación de geometrías e introduciremos una serie de conceptos ytérminos relacionados con el campo de la calibración de cámaras. Asimismo,expondremos aquellos factores que influyen directamente en la formación de la imagen yanalizaremos, a grandes rasgos, los parámetros principales que puede presentar unacámara. En este capítulo desarrollaremos, a su vez, el procedimiento general decalibración de una cámara. Al Capítulo anterior le sucede el Capítulo 2 – Planteamiento matemático Geometríade la formación de imágenes y que realiza un estudio de las herramientas matemáticas en lascuales nos basaremos. Además, considera una descripción de la Teoría que mejor modelala formación de las imágenes: La Geometría Proyectiva. Finalmente, éste capítulo expone elmodelo matemático de la cámara y estudia analíticamente los parámetros de localización yorientación de la cámara. A continuación, se ilustrarán distintos modelos existentes para establecer lafunción de transferencia 3D ↔ 2D en un Sistema de Visión Artificial y se analizarán losalgoritmos más conocidos para llevar a cabo la calibración del sistema. Entre los expuestospodremos encontrar los cuatro siguientes: • Método de calibración del cálculo de la matriz de transformación perspectiva. • Método de calibración de los dos planos. • Método de calibración de Roger Y. Tsai. • Técnica de Ayache. • Técnica de Song De Ma. • Método de calibración de Zhang. Finalmente, realizaremos un breve estudio sobre el auge de las aplicaciones de unsistema de calibración de cámaras en la actualidad. Desarrollaremos dos ejemplos dondese podrá comprobar la importancia, sobre todo en la industria y robótica, de lacalibración de un sistema de Visión Artificial. Jaime Martínez Verdú
  4. 4. PREFACIO.CAPÍTULO 1: INTRODUCCIÓN.CAPÍTULO 2: PLANTEAMIENTO MATEMÁTICO.CAPÍTULO 3: TECNOLOGÍAS Y TÉCNICAS EXISTENTES.CAPÍTULO 4: APLICACIONES.CONCLUSIÓN.BIBLIOGRAFÍA.APÉNDICE A. La matriz pseudoinversa.APÉNDICE B. Matemáticas De Zhang.APÉNDICE C. Caso ejemplo
  5. 5. CAPÍTULO 1: INTRODUCCIÓN.1.1. Un poco de historia 1-41.2. Terminología de calibración 1-7 1.2.1. Calibración de la cámara 1-7 1.2.2. Orientación de la cámara 1-7 1.2.3. Sistema de calibración 1-71.3. Factores que influyen en la formación de una imagen 1-8 1.3.1. Efectos internos 1-8 1.3.2. Efectos externos 1-91.4. Parámetros que influyen en la calibración de una cámara 1-10 1.4.1. Parámetros intrínsecos 1-10 1.4.2. Parámetros extrínsecos 1-111.5. Distorsión de la lente 1-12 1.5.1. Distorsión radial 1-12 1.5.2. Distorsión tangencial 1-131.6. Procedimiento general del método de calibración 1-14
  6. 6. CAPÍTULO 2: PLANTEAMIENTO MATEMÁTICO. GEOMETRÍA DE LA FORMACIÓN DE IMÁGENES.2.1. Algunas transformaciones básicas 2-2 2.1.1. Coordenadas homogéneas 2-2 2.1.2. Traslación 2-2 2.1.3. Escalado 2-3 2.1.4. Rotación 2-4 2.1.5. Concatenación y transformación inversa 2-62.2. Proyecciones 2-8 2.2.1. Proyección de perspectiva 2-8 2.2.2. Proyección ortográfica 2-13 2.2.3. Proyección paralela 2-142.3. Modelo de la cámara 2-152.4. Recuperación de los parámetros de la cámara 2-16 2.4.1. Localización de la cámara 2-16 2.4.2. Orientación de la cámara 2-16
  7. 7. CAPÍTULO 3: TECNOLOGÍAS Y TÉCNICAS EXISTENTES.3.1. Método de calibración del cálculo de la matriz de transformación perspectiva 3-5 3.1.1. Desarrollo matemático generalizado 3-6 3.1.2. Desarrollo matemático singularizado 3-10 3.1.3. Obtención del vector incógnita mediante el Método de los M C 3-12 3.1.4. Ejemplo de calibración del método estudiado 3-14 3.1.5. Procedimiento de calibración del método estudiado 3-173.2. Método de calibración de los dos planos 3-183.3. Método de calibración de Roger Y. Tsai 3-25 3.1.1. Los cuatro pasos de transformación desde las coordenadas 3D del mundo a las coordenadas de la imagen en el computador 3-27 3.1.2. Ecuaciones de correspondencia entre las coordenadas 3D del mundo y las coordenadas 2D de la imagen en el computador 3-31 3.1.3. Calibración de la cámara utilizando un conjunto de puntos coplanares 3-34 3.1.4. Calibración de la cámara utilizando un conjunto de puntos no coplanares 3-40 3.1.5. Enmiendas del método de calibración de Tsai I: Técnica de Ayache 3-44 3.1.6. Enmiendas del método de calibración de Tsai I:Técnica de Song De Ma 3-453.4. Método de calibración de Zhang 3-46 3.4.1. Desarrollo matemático generalizado 3-47 3.4.2. Resolución de la calibración de la cámara 3-53 3.4.3. Procedimiento de calibración del método estudiado 3-553.5. Comparativa sobre las técnicas y tecnologías existentes 3-56
  8. 8. CAPÍTULO 4: APLICACIONES.4.1. Aplicaciones de calibración simultánea 4-54.2. Aplicaciones con cámaras precalibradas 4-7
  9. 9. Capítulo 1 1CAPÍTULO Introducción INTRODUCCIÓN ¿Qué es la Visión Artificial? Dicho concepto hace referencia a una gran herramientapara establecer la relación entre el mundo tridimensional y sus vistas bidimensionalestomadas de él. Por medio de esta teoría se puede conseguir, por un parte, unareconstrucción del espacio tridimensional a partir de sus vistas y, por otra, efectuar unasimulación de una proyección de una escena 3D en la posición deseada a un planobidimensional. El presente texto estudia la técnica de calibración de cámaras y reflexiona sobre suinterés actual, pues se trata de un proceso esencial para lograr el buen funcionamiento deun Sistema de Visión Artificial (AVS del inglés “Artificial Vision System”). De acuerdo conla definición de la Real Academia de la Lengua Española, se entiende por calibración: “Establecer con la mayor exactitud posible, la correspondencia entre las indicaciones de uninstrumento de medida y los valores de la magnitud que se mide con él.” En nuestro caso, se desea conseguir la relación entre píxeles de una imagen yvalores de la imagen en medidas reales. En un sentido amplio, la calibración de unacámara hace referencia a la obtención de todos aquellos parámetros que intervienen en laformación de la imagen, tanto los denominados geométricos, involucrados en el procesogeométrico de formación de la imagen, como los radiométricos, que tienen que ver conel brillo de los objetos proyectados. La calibración de una cámara es un procesoimportante en muchos problemas actuales; posiblemente los dos más importantes esténrelacionados con la construcción de un objeto tridimensional y la medición no invasiva.Estos problemas tienen crecientes aplicaciones en robótica, metrología, diseño deentornos visuales, análisis de movimiento, seguimiento de objetos, etc.Jaime Martínez Verdú 1-1 MTIT: Visión por Computador
  10. 10. Capítulo 1 Introducción El uso de sistemas del tratamiento digital de imágenes con propósitos de, porejemplo, robótica o metrología (ciencia que tiene por objeto el estudio de los sistemas depesas y medidas) implica la necesidad de calibración o verificación de dichos sistemas. Por un lado, es conocido que la calibración simultánea de cámaras durante lamedida es un método muy empleado en la actualidad, y por otro lado, la calibraciónindependiente es particularmente útil en los casos siguientes: o Cuando se desea obtener información acerca de la exactitud de un sistema de adquisición de imágenes empleado para medir una escena y también sobre la exactitud de la medida del objeto. o Cuando la calibración simultánea del sistema de medida es irrealizable durante la medida por razones intrínsecas al sistema de modo que algunos parámetros del sistema, o incluso todos, deben ser predeterminados. o Cuando sistemas de visión completos o componentes de ellos deban ser ensayados por el fabricante con la intención de elaborar planes de calidad. o Cuando las imágenes digitales, libres de los efectos del AVS, son generadas para la configuración de un proceso de adquisición (como la rectificación). Además, para la configuración o el setup del sistema de visión artificial, serápreciso determinar posiciones de cámaras u otros sensores respecto a un sistema decoordenadas de orden superior denominado Sistema del Mundo que permitirá ladeterminación de objetos tridimensionales respecto este sistema. Cada vez que es fijado el entorno donde se va a utilizar la cámara requerimos desu calibración. Una cámara normalmente se aproxima por el modelo pin—hole, esto es, pormedio del reflejo luminoso de un objeto los haces de luz entran por un orificio y a su vez,éstos se reflejan en un plano denominado imagen. Para fines de modelación matemático,este modelo es equivalente al proyectivo, donde el plano de la imagen está colocado entreel foco y el objeto. A lo largo del estudio, asumiremos que el plano de la imagen es ortogonal al ejeóptico de la cámara y por ello nos interesa conocer la posición de ésta con respecto alescenario. Esta información queda resumida en una matriz de orientación R y un vector de traslación T , que se denominan parámetros extrínsecos. Sin embargo, la proyecciónno consiste únicamente en desplazamientos y rotaciones, pues la imagen puede sufrirdeformaciones (por efecto óptico, diseño de la cámara CCD) que pueden ser vistas comoelongaciones o reducciones en alguno de los ejes, como sesgo de la imagen o corrimientodel punto principal. Estos últimos suelen denominarse parámetros intrínsecos.Jaime Martínez Verdú 1-2 MTIT: Visión por Computador
  11. 11. Capítulo 1 Introducción Entonces, calibrar la cámara consiste en encontrar los parámetros que influyen enla transformación entre puntos 3D del entorno específico de la aplicación y puntos 2D dela imagen, esto es, los parámetros intrínsecos y extrínsecos. En realidad, los sensores CCDson muy sensibles a cambios ambientales: Temperatura. Humedad. Iluminación. y aunque los cambios no sean drásticos, pueden ser significativos en muchasaplicaciones. En las cámaras más especializadas, las modificaciones de los valoresintrínsecos son compensadas vía programación o electrónica, aunque en muchasocasiones la excelente calidad de sus componentes evitan dichas distorsiones. No obstante, la gran diversidad de cámaras fotográficas digitales y webcams queexisten comercialmente, evitan la necesidad de adquirir costosos equipos especializados,utilizando las primeras para múltiples aplicaciones. No obstante, estas cámaras no fuerondiseñadas para estas actividades, ni se conocen sus parámetros, además de que sonsusceptibles a variaciones, por lo que es muy importante la calibración que se realice enellas. Lo primero que se debe obtener es un cuerpo geométrico preciso con dimensionesconocidas, para usarlo como patrón de calibración, que corrientemente son cubos opirámides con base cuadrangular o planos patrón. Las dimensiones de los objetos de calibración deben ser muy precisas y regulares.Además, los ángulos rectos deben ser exactos, porque de ellos dependen la medición delas distorsiones y rotaciones. Es difícil conseguir objetos de características tan estrictas,porque implican una fabricación especial y una supervisión muy exigente de calidad. Por supuesto, para que tales restricciones sean útiles, es necesario que lacalibración se realice bajo condiciones controladas. Antes de entrar de lleno con el temade calibración de la cámara se consideran los parámetros que intervienen en la formaciónde una imagen y también un aspecto muy importante que es la distorsión de la lente. En capítulos posteriores se expondrá la necesidad de conocer la geometría de lacámara, a veces llamada el modelo de la cámara y se describirá algún método o proceso decalibración de un AVS, enfocando principalmente en las técnicas fotogramétricas quepermiten la determinación homóloga y muy exacta de los parámetros requeridos.Jaime Martínez Verdú 1-3 MTIT: Visión por Computador
  12. 12. Capítulo 1 Introducción1.1. Un poco de historia. Todos sabemos que una cámara fotográfica origina imágenes planas procedentesde un mundo físico percibido como tridimensional. Antes de la invención de la fotografíaexistía un gran interés en interpretar este mundo 3D en imágenes planas 2D, como es elcaso de la pintura. Los griegos llegaron a conocer muchas de las propiedades geométricas de laproyección. Como es el caso de Thales de Mileto (640 a.C. – 548? a.C.) que con susconocimientos sobre el campo de la Geometría consiguió predecir un eclipse solar y,además, medir la altura de una pirámide a partir de su sombra proyectada sobre el suelo.No obstante, los griegos se engañaban al pensar que la visión era activa, es decir, que losojos emitían partículas al mundo 3D en vez de considerar a los ojos como dispositivospasivos receptores de luz. Cabe mencionar dentro de los matemáticos griegos a Euclides, quien en el sigloIV a.C. ideó la geometría plana. Para Euclides la geometría era concebida como unconjunto de líneas y puntos, independientes de un sistema de coordenadas. Posteriormente, los pintores italianos del Renacimiento fueron los primeros enconcebir la formación de las imágenes y, además, los primeros en estudiar la Geometríapara reproducir correctamente los efectos de la perspectiva en las imágenes del mundoque observaban. La pintura anterior a esta época era plana, es decir, no mostraba ladiferencia de profundidad en los objetos representados, como se muestra en la Figura 1.1izq. La perspectiva fue inventada por Filippo Brunelleschi (1377-1446) alrededor de1413. Brunelleschi fue un gran arquitecto del Renacimiento Temprano. Sus principalesobras se encuentran en Florencia, como por ejemplo la Catedral Santa Maria de Fiore,cuya cúpula es la más grande del mundo con más de 50 metros de diámetro. Artistas como Piero della Francesca (1415-1492), Leonardo da Vinci (1452- 1519)y Albrecht Dürer (1471-1528), los dos primeros italianos y el tercero alemán que viajó aItalia para llevar el Renacimiento a Alemania, realizaron serios estudios geométricos quehan venido empleándose hasta día de hoy. A partir de esta época, se empieza a considerarel punto de fuga, en el que líneas paralelas que se alejan del observador convergen en unpunto.Jaime Martínez Verdú 1-4 MTIT: Visión por Computador
  13. 13. Capítulo 1 IntroducciónFigura 1.1: Pintura pre-renacentista y renacentista. Izquierda: Jesús entrando a Jerusalén. Derecha: Iglesia del Espíritu Santo, Bruneleschi. A modo de ejemplo, la Figura 1.1 muestra dos pinturas: una pre-renacentista yotra renacentista. En la primera se puede observar la polidimensionalidad, en la cual lospuntos de vista de los objetos representados no son únicos. Asimismo, el tamaño de losobjetos está relacionado más con la importancia dentro de la obra que con la ubicaciónespacial. En la segunda pintura se aprecia claramente la profundidad producida por laslíneas que convergen en un punto de fuga. De esta manera se le hace creer al observador que está frente a una escenatridimensional. En el siglo XVI se desarrolla la teoría de la perspectiva. Se introducen lasMáquinas de Perspectiva (para obtener más información sobre este invento acuda a ladirección http://www2.latech.edu/~wtwillou/A301_syl.htm) para ayudar a los pintores areproducir exactamente la perspectiva sin tener que recurrir a engorrosos cálculosmatemáticos. Una de estas máquinas es representada en la Figura 1.2 por Albrecht Dürer. Enesta figura, el ojo del dibujante es mantenido fijo y un dispositivo es utilizado paramaterializar la intersección de cada rayo visual con el plano de la imagen. Las máquinas de perspectiva pueden ser consideradas como el primer intento deuna cámara. Ellas utilizan un plano R (plano de la imagen, ver rejilla en Figura 1.2) dondese forma la imagen y un punto C (centro óptico, ver ojo del dibujante en Figura 1.2) queno pertenece a R en el que se intersectan todos los rayos que forman la imagen.Jaime Martínez Verdú 1-5 MTIT: Visión por Computador
  14. 14. Capítulo 1 Introducción Figura 1.2: Varias imágenes de la Máquina de Perspectiva de Albrecht Dürer. En el año 1545, el astrónomo Germina Frisius publica un estudio donde presentala cámara oscura. En la Figura 1.3 se representa un esquema de la cámara oscura.Mediante un orificio muy pequeño C en una pared se deja entrar la luz externa que esproyectada en una pared interior de lacámara oscura. El resultado es una imageninvertida del mundo exterior. La cámaraoscura sirvió a algunos pintores como aVermeer (1632-1675) para representar de lamanera más precisa posible la realidad. A partir de la teoría del plano Figura 1.3: Cámara oscura.cartesiano introducida por el matemáticoDescartes (1596-1650) se empieza a concebir la geometría desde un punto de vistaalgebraico. Así, las entidades geométricas son descritas como coordenadas y entidadesalgebraicas. En el año 1826 el químico francés Niepce (1765-1833) llevó a cabo la primerafotografía, colocando una superficie fotosensible dentro de una cámara oscura para fijar laimagen. Posteriormente, en 1838 el químico francés Daguerre (1787-1851) hizo el primerproceso fotográfico práctico. Daguerre utilizó una placa fotográfica que era revelada convapor de mercurio y fijada con trisulfato de sodio. En la actualidad se utilizan cámaras reflex y CCD que emplean lentes paraincrementar la potencia de la luz y mejorar el enfoque de la imagen. A pesar de la granmejora en cuanto a tecnologías empleadas para la obtención de imágenes en el día dehoy, es inevitable la aplicación de técnicas de calibración, pues es un inconvenienteincrustado a la obtención de imágenes.Jaime Martínez Verdú 1-6 MTIT: Visión por Computador
  15. 15. Capítulo 1 Introducción1.2. Terminología de la calibración.1.2.1. Calibración de la cámara. La calibración de la cámara, en terminología fotogramétrica, se refiere a ladeterminación de los parámetros de orientación y posición individuales y que sonintrínsecos a la cámara. Al tratar con imágenes digitales, es aconsejable analizar el sistemade adquisición de imágenes por completo, incluso la cámara, las unidades de transmisión ylas posibles tarjetas digitalizadoras. Los parámetros a encontrar mediante una técnica decalibración cualquiera dependen del tipo de cámara utilizado. Una vez el sistema ha sidocalibrado, después de haber orientado la cámara cuidadosamente, pueden realizarse lasmedidas.1.2.2. Establecimiento de la cámara. El establecimiento de la cámara usualmente incluye la fijación de los parámetrosde orientación exterior para definir la posición del origen de la cámara y del eje de lacámara en el sistema de coordenadas del mundo. Esto requiere la determinación de tresrotaciones y tres parámetros de traslación, es decir, un total de seis parámetros para cadacámara.1.2.3. Sistema de calibración. En muchas aplicaciones, se fijan setup’s de varios sensores para la realización de lamedida. Como ejemplos tenemos los sistemas de medida online en donde, por ejemplo,varias cámaras, indicadores del láser, proyectores de patrón, fases rotatorias,… pueden serempleados simultáneamente. Si el sistema por completo se aplica como una herramientade medición integrada, entonces la calibración simultánea y el establecimiento de todoslos componentes involucrados debe definir la calibración del sistema de forma global. Aumento de la resolución de los elementos Sistema mecánico de ajuste piezoeléctrico Ópticas Sensores Almacenamiento de la imagen Transmisión de señal Sincronización interna Sincronización externa Sincronización a nivel de píxel Transmisión digital Figura 1.4: Esquema general de las partes que componen un sistema de adquisición.Jaime Martínez Verdú 1-7 MTIT: Visión por Computador
  16. 16. Capítulo 1 Introducción1.3. Factores que influyen en la formación de una imagen. Todo componente que forma parte de un Sistema de Visión Artificial “dejahuella” en la imagen de un objeto y, por lo tanto, en las medidas resultantes obtenidas delprocesamiento de la imagen. A continuación, presentamos una breve descripción de los elementos que son másrelevantes.1.3.1. Efectos internos. El sistema óptico. Prácticamente todas lentes presentan distorsión con simetríaradial lo cual puede provocar variaciones considerables en la magnitud medida. Por unlado, las lentes destinadas a sistemas ópticos de medición están casi libres de distorsión.Por otro lado, lentes de grandes ángulos, sobre todo, frecuentemente manifiestandistorsión de varios 100 µm en los bordes de la imagen. Las lentes de ojo de pez tienen su propia categoría; éstas, frecuentemente tienenuna distorsión extrema en los bordes. No obstante, a menudo se hace inevitable laaparición de errores durante la fabricación de la lente, ocasionando aberracionesmanifestadas por los componentes en forma de distorsión simétrica radial y de distorsióntangencial. Los elementos ópticos adicionales en el camino recorrido por la luz, tales como unfiltro de barrera de IR o un filtro preservador del sensor, también pueden alterar laimagen y deben ser considerados en la calibración de un sistema. Los elementos de mejora de la resolución. Tanto el tamaño de la imagen como laresolución de los sensores CCD están limitados por sus características y naturaleza.Actualmente, en mercado se venden cámaras digitales con más de 4.000 × 4.000 elementosdel sensor. Con respecto a la estabilidad del bastidor de la cámara y la calidad de laslentes, algunos de ellos se diseñan principalmente para mediciones, por ejemplo, lacámara Rollei Q16 MetricCamera. Otros, usan las técnicas diseñadas para lograr unaresolución más alta cambiando los sensores comerciales en paralelo al plano de la imagen.Básicamente, hay dos técnicas diferentes: microscanning y macroscanning. En el caso de “el microscanning”, los sensores CCD del interline transfer sonreemplazados de modo que los elementos fotosensibles del sensor CCD caigan dentro delos huecos entre los elementos de este tipo de sistema, dónde adquieren la informaciónadicional de la imagen.Jaime Martínez Verdú 1-8 MTIT: Visión por Computador
  17. 17. Capítulo 1 Introducción Alternativamente, en “el macroscanning”, los sensores pueden cambiarse por unmúltiplo de su propio tamaño, produciendo un formato de la imagen más grande. Lasimágenes individuales se orientan entonces con respecto a la imagen global por unsistema mecánico muy preciso u opto-numéricamente. Todos los elementos que logran mejorar la resolución afectan a la exactitud globaldel sistema de adquisición de imágenes. En los sistemas de escaneado de imágenesindividuales con correlación plenamente mecánica, la exactitud del mecanismo tiene unefecto directo en la geometría de la imagen. El sensor y el sistema de transferencia de señales. Debido a su diseño, lossensores Charge-Coupled Device (CCD) normalmente ofrecen una alta exactitudgeométrica. Al analizar un sistema de adquisición de imágenes, su sensor debe evaluarsejunto con la tarjeta digitalizadora empleada. Los errores geométricos de diferente magnitud pueden originarse durante laconversión de A/D de la señal de video, dependiendo del tipo de sincronización, sobretodo si la transferencia del píxel desde la cámara a su almacenamiento en la imagen noestá garantizada que se realice de forma síncrona. Con cualquier sincronización, se hace necesario responder de un factor deafinidad para más combinaciones del sensor de almacenamiento; en otros términos, lospíxeles pueden tener una extensión diferente en la dirección de líneas y columnas.1.3.2. Efectos externos. Si se usan varias cámaras online en un sistema de visión, tanto los parámetros deubicación interior como los de ubicación exterior pueden variar; el primero, por ejemplo,puede ser causado por un reenfocando o por una variación de temperatura, y el últimopor efectos mecánicos o fluctuaciones de temperatura. El rango de efectos resultantes de los errores de la escala durante la medida de unobjeto da lugar a la determinación de un modelo de deformación compleja. Esto es por loque todos los sistemas de este tipo deben hacer posible la verificación o predeterminaciónde los parámetros convenientes.Jaime Martínez Verdú 1-9 MTIT: Visión por Computador
  18. 18. Capítulo 1 Introducción1.4. Parámetros que influyen en la calibración de una cámara. La idea principal de calibrar una cámara es escribir las ecuaciones de proyecciónuniendo las coordenadas conocidas de un conjunto de puntos en 3D con suscorrespondientes proyecciones, y resolverlas para los parámetros de la cámara. En una omás imágenes se toma un patrón de calibración, que es un objeto en 3D de geometríaconocida y posiblemente ubicado en una posición también conocida en el espacio, y segeneran características de imagen que se pueden ubicar con precisión [Trucco y Verri,1998]. La calibración implica el diseño de un modelo matemático para estimar losparámetros extrínsecos e intrínsecos de la cámara dadas imágenes de un patrón decalibración, y su precisión depende de cuán eficazmente ubiquemos los puntos en elespacio y los puntos de referencia de la cámara. Los parámetros de calibración de unacámara se dividen en dos tipos: Parámetros Intrínsecos y Parámetros Extrínsecos.1.4.1. Parámetros intrínsecos. Los parámetros intrínsecos son aquellos que definen las propiedades inherentesde la cámara y de la óptica, es decir, aquellos involucrados en la transformación de puntos3D en el sistema de referencia de la cámara a puntos 2D del plano imagen. Estoscaracterizan las propiedades ópticas, geométricas y digitales de la visión de la cámara queson necesarias para unir las coordenadas en píxeles de un punto imagen con lascoordenadas correspondientes en el marco de la cámara. Estos parámetros también semuestran en la Figura 1.5. Suelen considerarse los siete siguientes: Distancia focal: f. Es la longitud de la lente al plano imagen. Desplazamiento del centro de la imagen: cx y cy. Centro de imagen o punto principal que intersecta el eje óptico de la cámara y el plano imagen. Tamaño efectivo del píxel en dirección horizontal y vertical sx, sy (en milímetros), que dan el aspecto de una escena tomada según el escalamiento y los elementos receptores de la cámara. También es conocida como la razón de aspecto α, que es igual al tamaño del píxel en dirección horizontal entre el tamaño del píxel en dirección vertical. Coeficientes de distorsión: k1 y k2. Se presenta debido a que por la naturaleza de la lente o del proceso de adquisición de una imagen al captar objetos formados por líneas rectas, estas aparecen en la imagen como líneas curvas, es decir, representa el desplazamiento radial dependiendo de la calidad del lente de la cámara usado y la distancia del punto en el espacio al centro de imagen. La distorsión es un fenómeno no deseable y más aún en modelos geométricos.Jaime Martínez Verdú 1-10 MTIT: Visión por Computador
  19. 19. Capítulo 1 Introducción Todas estas definiciones se refieren al centro óptico del sistema de lentes. Elorigen de la cámara es justamente este punto (el eje óptico es el eje que, siendoperpendicular el plano imagen, pasa por el centro óptico). El punto principal es de hecho,pero no en todos los casos, el píxel central de la imagen.1.4.2. Parámetros extrínsecos. Estos identifican la orientación y posición de la cámara con respecto a lascoordenadas mundiales. De hecho, hacen referencia a seis parámetros que definen laposición y orientación de la cámara con respecto al sistema de referencia absoluto: Vector de Traslación: Tx, Ty, Tz. Este vector está definido en el espacio describiendo las posiciones relativas de los orígenes de los dos marcos de referencia, el de la cámara y las mundiales. Matriz de Rotación R : ángulos , , . Cuyo efecto es traer los ejes correspondientes de los dos marcos uno sobre el otro, con la condición de ser una matriz ortogonal RT R R RT I. Los parámetros que definen la traslación, describen la posición de la cámararespecto a un sistema de coordenadas absoluto que denominaremos Sistema deCoordenadas del Mundo. Los parámetros de la rotación, análogamente, describen laorientación adquirida por la cámara respecto al sistema del mundo. Nosotros Se pretendeenfatizar diciendo que sólo existen tresparámetros de rotación que seanindependientes y no nueve parámetroscomo podríamos pensar. En la Figura 1.5 se muestran losparámetros extrínsecos de una cámaraen un modelo en proyección perspectivaen donde se identifican a ( X w , Yw , Z w )como los ejes en coordenadas delsistema mundial, ( xc , yc , zc ) como losejes en coordenadas de la cámara y Figura 1.5: Modelo de cámara en proyección ( x, y) las coordenadas en el plano de la perspectiva. imagen. Se aprecia que w0 denota la transformación de (R, T ) de los parámetrosextrínsecos para alinear los ejes del sistema coordenadas mundiales y el de la cámara, esdecir, trasladar el origen de las coordenadas mundiales con el origen de las coordenadasde la cámara y la rotación para alinear los respectivos ejes.Jaime Martínez Verdú 1-11 MTIT: Visión por Computador
  20. 20. Capítulo 1 Introducción1.5. Distorsión de la lente. Como resultado de imperfecciones en el diseño, pulido y ensamblado de laestructura de las lentes que conforman un sistema óptico, la relación lineal de proyecciónen perspectiva no se cumple causando un deterioro en la calidad geométrica de la imageny, por lo tanto, en la capacidad para medir posiciones de los objetos en ella. Estasimperfecciones implican que la proyección observada en el plano imagen difiere de laideal. En las distorsiones producidas por una lente cabe considerar dos componentes: unaradial y otra tangencial.1.5.1. Distorsión radial. Esta deformación es producida por el radio de curvatura de la lente. Este tipo dedistorsión de la lente hace que los puntos de las imágenes se desplacen en forma radial apartir del eje óptico. Así, un desplazamiento radial negativo indica que los puntos de laimagen adoptan una distorsión radial en “barril”. Esto es, las líneas rectas son vistas comolíneas curvas. Por otro lado, un desplazamiento radial positivo indica que los puntosadoptan una distorsión tipo “cojín” alargándose en los extremos de la imagen. Ladistorsión no es lineal y varía en función de la distancia al centro de la imagen. Suprincipal causa es un pulido defectuoso de la lente (ver Figura 1.6 y 1.7). Figura 1.6: Distorsión en una reja rectangular. Izquierda: reja sin distorsión. Centro: distorsión tipo “barril”. Derecha: la distorsión tipo “cojín”. Considerando la distorsión radial de las lentes y las coordenadas en el plano setiene: Xd Dx Xu 1.5.1 Yd Dy Yu 1.5.2 donde ( X d , Yd ) son las coordenadas reales de la imagen, esto es distorsionadas,y ( X u , Yu ) son las coordenadas del punto corregido.Jaime Martínez Verdú 1-12 MTIT: Visión por Computador
  21. 21. Capítulo 1 Introducción Los términos que suponen la distorsión vienen definidos de la siguiente forma: Dx X d (k1 r 2 k2 r 4 ) 1.5.3 Dy Yd (k1 r 2 k2 r 4 ) 1.5.4 r X d Yd2 2 1.5.5 donde r es la distancia radial observada y los términos ki son los distintoscoeficientes de distorsión y se requiere una serie infinita de términos. Sin embargo, deacuerdo a la experiencia con un único coeficiente se obtienen buenos resultados: Dx Xd k r2 Dx k X d ( X d Yd2 ) 2 r 2 Xd Yd2 1.5.6 Dy Yd k r 2 Dy k Yd ( X d Yd2 ) 2 1.5.7 Por lo tanto, al coeficiente k es llamado factor de distorsión radial, el cuartoparámetro intrínseco de la cámara. No obstante, es una práctica común emplear doscoeficientes: Dx k X d (k1 ( X d Yd2 ) k2 ( X d Yd2 ) 2 ) 2 2 1.5.8 Dy k Yd (k1 ( X d Yd2 ) k2 ( X d Yd2 ) 2 ) 2 2 1.5.9 Distorsión del barril - 0.6% en granangular. longitud focal: 38 milímetros Distorsión del barril - 0.1% en Telephoto. longitud focal: 380 milímetros Figura 1.7: Geometrías de distorsión radial.1.5.2. Distorsión tangencial. Este tipo de distorsión se introduce cuando el sistema óptico no es estrictamentecolineal. Este tipo de imperfecciones aparecen debidas al diseño de la lente y a errores enel ensamblaje de la cámara. Su efecto sobre la imagen suele ser mucho menor que ladistorsión radial por lo que a veces este efecto no suele ser considerado.Jaime Martínez Verdú 1-13 MTIT: Visión por Computador
  22. 22. Capítulo 1 Introducción1.6. Procedimiento general del método de calibración. La calibración de la cámara es un procedimiento necesario en visión porcomputador para conseguir extraer la información dimensional y geométrica de unaimagen 2D. Como ya sabemos, la calibración es el método mediante el cual se estiman losparámetros intrínsecos y extrínsecos de la cámara, así como los parámetros delmanipulador. También es posible estimar los parámetros del modelo de distorsión dellente de la cámara. Existen dos métodos que son extensamente empleados para lacalibración: auto-calibración (self-calibration) y calibración fotogramétrica.La auto-calibración. Las técnicas en esta categoría no usan ningún patrón de calibración. Simplemente moviendo una cámara en una escena estática, la rigidez de la escena da lugar, en general, a dos restricciones en los parámetros intrínsecos de las cámaras para un determinado desplazamiento de la cámara usando tan sólo la información procedente de la imagen. Por consiguiente, si las imágenes son tomadas por la misma cámara con los parámetros intrínsecos fijos, las correspondencias entre tres imágenes son suficientes para recuperar tanto los parámetros intrínsecos como los extrínsecos que nos permiten reconstruir la estructura 3D. Mientras que este método de calibración es muy flexible, no es lo suficientemente maduro todavía pues existen muchos parámetros por estimar, y no siempre es posible obtener unos resultados fiables.Calibración fotogramétrica. La calibración de la cámara, que puede hacerse eficazmente, se ha realizado observando un patrón de calibración cuya la geometría en el espacio 3D es conocida con alta precisión. Dicho patrón consiste habitualmente en dos o tres planos ortogonales entre sí. Aunque, a veces, también se emplea un plano sometido a una traslación conocida (métodos estudiados hasta ahora). Estos procedimientos requieren un aparato de la calibración caro, y una costosa preparación del equipo. En la auto-calibración se toman varias imágenes de una misma escena y mediantela correspondencia entre puntos de distintas imágenes se puede encontrar los mejoresparámetros del modelo que puedan otorgar esta correspondencia. La reconstrucción 3Drealizada con el modelo encontrado está afectada, sin embargo, por un factor de escala yaque en este método no se puede saber cual es el tamaño real de los objetos captados porlas cámaras (un objeto pequeño cerca del centro óptico puede tener la misma imagen queel mismo objeto agrandado más cerca del plano de imagen).Jaime Martínez Verdú 1-14 MTIT: Visión por Computador
  23. 23. Capítulo 1 Introducción Si lo que se busca es una reconstrucción 3D precisa, como es el caso de muchas delas aplicaciones de la robótica, es recomendable utilizar la calibración fotogramétrica. Estacalibración utiliza un objeto 3D de referencia cuya geometría es conocida a la perfección.N puntos de interés son escogidos del objeto de referencia, obteniendo así lascoordenadas Mi = [Xi Yi Zi 1]T, para i = 1,…, N. El objeto es a continuación captado por lacámara y sus puntos de interés son vistos como puntos 2D con coordenadas wi = [ui vi 1]T.Teniendo un modelo de la proyección es posible obtener una estimación teórica de lospuntos 3D. De esta manera se calculan los puntos: wi = f(Mi) donde f es la función deproyección que involucra los parámetros de la cámara, de la lente y/o del manipuladorsegún sea el caso. Formalmente f es una función no lineal que depende de un vector deparámetros µ que agrupa los parámetros del modelo. Para el caso de una proyección sindistorsión se puede usar como función de proyección f. El problema de calibración se transforma en un problema de optimización ˆmediante el cual una función objetivo que mide el error entre la proyección estimada wi yla proyección medida wi debe ser minimizada. Se deben encontrar los parámetros de lafunción de proyección f de tal manera que se minimice la siguiente función objetivo: N 1 J( ) ˆ wi wi min N i 1 Además de estas técnicas, existen otras tales como la eliminación de los puntosque coincidan en direcciones ortogonales y como técnicas basadas en rotaciones puras otraslaciones puras. Como ya se mencionó anteriormente, la calibración es un método estándar paraobtener los parámetros intrínsecos y extrínsecos de la cámara cuyo fin es el de obtenerimágenes de una estructura 3D conocida y buscar el conjunto de parámetros que mejorproyectan los puntos observados entre las coordenadas del mundo tridimensional y lascoordenadas del píxel correspondiente. Aunque existe una gran variedad de métodos y técnicas para la calibración de unacámara, el procedimiento fundamental coincide para cada técnica y método diseñado.Los pasos fundamentales de un proceso de calibración son los tres siguientes: 1. Determinar de forma precisa un cierto número de puntos 3D. 2. Definir sus correspondientes proyecciones en la imagen 2D. 3. Obtener los parámetros que mejor se adecuan a la correspondencia entre unos y otros.Jaime Martínez Verdú 1-15 MTIT: Visión por Computador
  24. 24. Capítulo 1 Introducción Para la realización de los dos primeros pasos se requiere conocer un conjunto depuntos tridimensionales y sus respectivas proyecciones en la imagen. Estos sondenominados comúnmente puntos de calibración. Su disposición dependen del tipo demétodo empleado para la calibración pues pueden, por ejemplo, ser coplanarios o no. Para realizar el proceso de calibración mediante puntos coplanarios, comúnmente,uno de los objetos más simples es un objeto o patrón de calibración plano, como el quese muestra en la Figura 1.8. El plano de calibraciónconsiste de 49 marcas circulares sobre un fondoblanco situadas dentro de un margen negro. Ladistancia entre los centros de las marcas es de 1.25cm y la distancia entre los bordes del margen es de10 cm. Para facilitar el posicionamiento de lospuntos, y siempre que sea posible, el patrón decalibración se coloca de forma paralela al plano XYdel sistema del mundo, lo cual implica que todosellos tengan la misma cota. Figura 1.8: Plantilla de puntos coplanarios. Para el caso de un conjunto de puntos no coplanarios el sistema es análogoexceptuando porque el sistema emplea ahora varias plantillas en vez de una en diferentesplanos. Figura 1.9: Plantilla de puntos no coplanarios. Izq: Dos planos. Der: Tres planos.Jaime Martínez Verdú 1-16 MTIT: Visión por Computador
  25. 25. Capítulo 1 Introducción Las características que, según el criterio descrito por Javier González Jiménez en sulibro Visión por Computador, debe verificar una técnica de calibración son, básicamente, lasque vienen expuestas a continuación: Autonomía: Cualquier procedimiento de calibración diseñado no debería necesitar de la intervención de un operador, es decir, una buena técnica debe prestarse a ser traducida a un algoritmo de forma que el proceso de calibración pudiera automatizarse. Este inconveniente se contempla, por ejemplo, cuando es necesario proporcionar estimaciones iniciales o seleccionar ciertos parámetros de manera mensual para la determinación de los cuales es preciso la intervención de un operador. Precisión: Gran cantidad de aplicaciones requieren una precisión enorme. Estas aplicaciones, tales como la inspección de tolerancias mecánicas, ensamblado o calibrado de un brazo robot,… necesitan de una técnica de calibración capaz de poder alcanzar tales requisitos. Eficiencia: Al decir eficiencia nos referimos, principalmente, a eficiencia en cuanto a carga computacional o número de operaciones realizadas por el ordenador. Por tanto, el método de calibración al completo no debería, en ninguno de los caso, incluir procedimientos de coste computacional elevados. Versatilidad: Finalmente, podríamos exigir a nuestro sistema de calibración que su funcionamiento o manera de operar fuera uniforme y autónomo en un amplio rango de funcionamiento en lo referente a la aplicación, a las ópticas empleadas, a los niveles de precisión,…Jaime Martínez Verdú 1-17 MTIT: Visión por Computador
  26. 26. Capítulo 2 2CAPÍTULO Planteamiento matemático PLANTEAMIENTO MATEMÁTICO GEOMETRÍA DE LA FORMACIÓN DE IMÁGENES Para poder afrontar de una forma segura y clara la teoría orientada a la calibraciónde cámaras necesitamos un respaldo matemático que viene detallado en el presentecapítulo 2. Puesto que la calibración de una cámara es un proceso donde debemos tenerconocimientos de la posición y orientación de la misma, es necesario que conozcamos,antes de empezar a analizar las técnicas y tecnologías existentes, las transformacionesbásicas que pueden realizarse en el espacio ya sean traslaciones, rotaciones, escalados,… Gracias a los conocimientos adquiridos a lo largo de la asignatura de Control deRobots en 4º de Ingeniería Industrial reforzadas con los conceptos estudiados en Visiónpor Computadora del MTIT, éstas bases necesarias para poder estudiar este texto ya sonconocidas por el estudiante. Efectivamente, en robótica las transformaciones encoordenadas homogéneas son muy empleadas para el análisis de la estructura yfuncionamiento de un robot. A continuación, se aborda el problema de la proyección de los objetos de la escenaen el plano imagen donde se presentan varias transformaciones importantes empleadasen el estudio de la imagen y desarrollo de un modelo de cámara. En este estudio seconsidera que la proyección se realiza mediante una transformación perspectiva.Jaime Martínez Verdú 2-1 MTIT: Visión por Computador
  27. 27. Capítulo 2 Planteamiento matemático2.1. Algunas transformaciones básicas. En este subapartado se presenta una representación unificada para problemascomo la rotación de la imagen, el cambio de escala y la traslación de objetos en el espacio.Todas las transformaciones se expresan en un sistema cartesiano tridimensional en el cualun punto posee unas coordenadas denotadas con letras mayúsculas [ X , Y , Z ] . En los Tcasos que impliquen imágenes bidimensionales, las coordenadas de un píxel serepresentaran con letras minúsculas [x, y ] . T2.1.1. Coordenadas homogéneas. Las coordenadas homogéneas de un punto con coordenadas cartesianas [ X , Y , Z ] Tse definen como [k ⋅ X , k ⋅ Y , k ⋅ Z , k ] , donde k es una constante arbitraria distinta de Tcero. En el caso de que k = 0 las coordenadas determinan un vector en el infinito y, portanto, no definen una dirección. La conversión de coordenadas homogéneas a coordenadas cartesianas se realizafácilmente dividiendo las tres primeras coordenadas homogéneas por la cuarta. Un puntodel sistema de coordenadas cartesiano real se expresa en forma vectorial como: X  w = Y    2.1.1 Z    mientras que su homogénea viene dada por: kX   kY  wh =   2.1.2  kZ    k 2.1.2. Traslación. Las coordenadas de un punto cualquiera [ X 2 , Y2 , Z 2 ] tras haber sufrido una Ttraslación de [ X 0 , Y0 , Z 0 ] vienen dadas por: T X2 = X1 + X0 Y2 = Y1 + Y0 2.1.3 Z2 = Z1 + Z0 donde [ X 1 , Y1 , Z1 ] son las coordenadas del punto antes de realizar la traslación. TJaime Martínez Verdú 2-2 MTIT: Visión por Computador
  28. 28. Capítulo 2 Planteamiento matemático Este sistema de ecuaciones puede expresarse de forma matricial como:  X 2  1 0 0 X 0   X1  Y  = 0 1 0 Y0  ⋅ Y1  2.1.4  2       Z 2  0    0 1 Z 0   Z1     Para simplificar y facilitar la notación necesaria en la representación de variastransformaciones (y por otros motivos que no serán analizados en este trabajo) se empleanmatrices cuadradas, quedando de esta forma la expresión anterior:  X 2  1 0 0 X 0  X1 X 2   X1  Y  0 1 0 Y0  Y1  Y2     2 =  ⋅   ⇒   = T ⋅ Y1  2.1.5  Z 2  0 0 1 Z 0   Z1  Z 2   Z1            1  0 0 0 1  1  1  1  donde T es la matriz de traslación y [ X 0 , Y0 , Z 0 ] es el vector de traslación. T2.1.3. Escalado. Las coordenadas de un punto que ha sido escalado a raíz de los factores Sx, Sy y Szen los ejes X , Y , Z respectivamente vienen dadas por: X2 = X1 ⋅ S x Y2 = Y1 ⋅ S y 2.1.6 Z2 = Z1 ⋅ S z Escribiendo en forma matricial donde S es la matriz de escalado:  X 2   Sx 0 0 0  X 1   X1  Y   0 Sy 0  Y  0  1  Y   2 = ⋅ = S ⋅ 1  2.1.7 Z 2   0 0 Sz 0   Z1   Z1          1   0 0 0 1 1  1  Si se pretende realizar un escalado uniforme en el que los tres ejes se escalan porel mismo factor, es decir S x = S y = S z , se puede utilizar la matriz de transformación: 1 0 0 0  0 1 0 0    0 0 1 0  2.1.8  1  0  0 0 S  donde S es el factor de escalado elegido.Jaime Martínez Verdú 2-3 MTIT: Visión por Computador
  29. 29. Capítulo 2 Planteamiento matemático2.1.4. Rotación. Se considera un vector cuyo extremo viene dado por las coordenadas [ X 1 , Y1 , Z1 ] Tcomo muestra la Figura 2.1. [X 2 , Y2 , Z 2 ]T [X 1 , Y1 , Z1 ]T Figura 2.1: Rotación alrededor del eje Z. donde R indica la longitud de dicho vector y φ el ángulo del vector con el eje X: X 1 = R cos φ 2.1.9 Y1 = Rsenφ Supongamos que el vector se rota un ángulo θ alrededor del eje Z en sentidoanti-horario. Las nuevas coordenadas [ X 2 , Y2 , Z 2 ] del punto después de la rotación se Tpueden expresar en función de sus coordenadas iniciales y del ángulo de rotación: X 2 = R cos(θ + φ ) = R cos θ cos φ − Rsenθsenφ Y2 = Rsen(θ + φ ) = Rsenθ cos φ + R cosθsenφ 2.1.10 Sustituyendo las dos primeras ecuaciones: X 2 = X 1 cosθ − Y1senθ 2.1.11 Y2 = X 1senθ + Y1 cosθ En forma matricial:  X 2  cos θ − senθ 0 0  X 1   X1   Y   senθ cos θ 0  Y  0  1  Y   2= = R−θ  1  Z 2.1.12  Z2   0 0 1 0   Z1   Z1         1   0 0 0 1  1  1 Z donde R−θ es la matriz de rotación. El superíndice indica el eje de rotación y elsubíndice el ángulo en sentido de las agujas del reloj.Jaime Martínez Verdú 2-4 MTIT: Visión por Computador
  30. 30. Capítulo 2 Planteamiento matemático Otra forma de obtener la matriz de rotación es considerando dos sistemas decoordenadas X, Y, Z y U, V, W (vectores unitarios) como muestra la Figura 2.2. Rotandoel sistema de coordenadas UVW alrededor del eje Z con un ángulo θ, se observa que el ejeW permanece fijo con el eje Z sin embargo, los ejes U y V han cambiado. Las nuevascoordenadas del sistema U’, V’, W’ pueden escribirse en función del sistema X, Y, Z. Figura 2.2: Sistemas de coordenadas XYZ y UVW. Figura 2.3: Sistema U’V’W’. El vector U’ tiene dos componentes, una a lo largo del eje X y otra a lo largo deleje Y, por tanto, el nuevo vector U’ viene dado por [cos(θ ), sen(θ ),0] . Del mismo modo Tse obtiene las componentes del vector V’ [− sen(θ ), cos(θ ),0] . Como el vector W no ha Tcambiado, permanece con las coordenadas [0,0,1] . La matriz de rotación se puede Tobtener situando las coordenadas de U’, V’ y W’ en la primera, segunda y terceracolumna y la cuarta columna estará compuesta por [0,0,0,1] . T Luego, cos θ − senθ 0 0  cos θ senθ 0 0  senθ cos θ 0 0 − senθ cos θ 0 0 Z R−θ =  Rθ =  Z  2.1.13  0 0 1 0  0 0 1 0      0 0 0 1  0 0 0 1 Realizando el mismo procedimiento se obtiene la transformación de un puntosobre el eje Y con un ángulo β (sentido horario): cos β 0 − senβ 0 cos β 0 − senβ 0  0 1 0 0  0 1 0 0 Y R− β =  Rβ =  Y  2.1.14  senβ 0 cos β 0  senβ 0 cos β 0      0 0 0 1  0 0 0 1Jaime Martínez Verdú 2-5 MTIT: Visión por Computador
  31. 31. Capítulo 2 Planteamiento matemático Finalmente, la rotación de un punto con un ángulo α alrededor de X se realizaempleando la transformación: 1 0 0 0 1 0 0 0 0 cos α − senα 0 0 cos α senα 0 R−Xα =  Rα =  X  2.1.15 0 senα cos α 0 0 − senα cos α 0     0 0 0 1 0 0 0 1 Figura 2.4: Rotación de un punto sobre cada uno de los ejes de coordenadas.2.1.5. Concatenación y transformación inversa. La aplicación de varias transformaciones se puede representar mediante una únicamatriz de transformación que contenga la traslación, rotación y escalado. Por ejemplo, la matriz de transformación de un punto que ha sufrido unatraslación, rotación y escalado viene dada por: (Rθ ⋅ S ⋅ T )V = AV 2.1.16 donde A es la matriz de transformación. El orden en que se produce las sucesivastransformaciones es importante ya que la multiplicación de matrices no es una operaciónconmutativa. La siguiente expresión representa la estructura de una transformación resultadode la concatenación de una matriz de rotación R de dimensión 3 x 3, una matriz de rtraslación T de 3 x 1 y una matriz S de dimensión 1 x 1 que realiza el escalado uniformedel vector al que se aplica A. R T A= 2.1.17 0 S Jaime Martínez Verdú 2-6 MTIT: Visión por Computador
  32. 32. Capítulo 2 Planteamiento matemático Para poder realizar la transformación inversa es importante obtener la matrizinversa de una matriz compuesta a partir de las inversas de las transformacioneselementales de rotación, traslación y escalado. Por tanto, para la transformación A seobtiene: A−1 = T −1S −1 Rθ−1 2.1.18 donde: 1 0 0 0 0 1 0 0 S = −1  2.1.18A 0 0 1 0   0 0 0 S 1 0 0 − X0 0 1 0 − Y0  T = −1  2.1.18B 0 0 1 − Z0    0 0 0 1   cos(−θ ) sen(−θ ) 0 0 − sen(−θ ) cos(−θ ) 0 0 Rθ−1 =   2.1.18C  0 0 1 0    0 0 0 1Jaime Martínez Verdú 2-7 MTIT: Visión por Computador
  33. 33. Capítulo 2 Planteamiento matemático2.2. Proyecciones.2.2.1. Proyección de perspectiva. También conocida como proyección central, es la proyección de un punto delespacio tridimensional en una superficie bidimensional por medio de líneas rectas quepasan a través de un punto, llamado centro óptico o de proyección. La proyección deperspectiva modela la formación de imágenes en una cámara pin-hole. Este modelo deproyección no distorsiona los objetos en la proyección, sino que éstos se proyectaninvertidos y escalados de acuerdo con un factor dado por la distancia focal f. En la Figura 2.5 se muestra un modelo de formación de imágenes. Definimos elsistema de coordenadas de la cámara ( x, y, z ) de forma que el plano de la imagen coincidacon el plano xy y que el eje óptico (el que pasa por el centro óptico) coincida con el eje z.Así el centro de la imagen es el origen de coordenadas y el centro de la lente tiene comocoordenadas [0,0, f ] . En esta sección suponemos que el sistema de coordenadas de la Tcámara está alineado con el sistema de coordenadas absoluto. Figura 2.5: Modelo básico del proceso de formación de imágenes. Sean X, Y, Z las coordenadas absolutas de cualquier punto de una imagen en 3D ysuponiendo que Z es mayor que f, se obtiene la siguiente relación (mediante triángulossemejantes) que nos da las coordenadas x e y de la proyección del punto X, Y, Z en elplano imagen: x X y Y =− 2.2.1A =− 2.2.1B f Z− f f Z− f donde los signos negativos indican que los puntos de la imagen son invertidos.Jaime Martínez Verdú 2-8 MTIT: Visión por Computador
  34. 34. Capítulo 2 Planteamiento matemático Por tanto, las coordenadas sobre el plano imagen del punto proyectado: fX fY x= 2.2.2A y= 2.2.2B f −Z f −Z Como se puede observar, estas ecuaciones no son lineales al aparecer divisionespor la variable Z. Es habitual expresar dichas ecuaciones en coordenadas homogéneas. Lascoordenadas homogéneas de un punto cuyas coordenadas cartesianas son w = [ X , Y , Z ] Tvienen dadas por wh = [k ⋅ X , k ⋅ Y , k ⋅ Z , k ] donde k es una constante arbitraria distinta de Tcero. Definiendo la matriz de transformación de perspectiva como: 1 0 0 0 0 1 0 0 P= 0  2.2.3 0 1 0   0 0 − 1 1  f  El producto de dicha matriz por el vector expresado en coordenadas homogéneasviene dado por: 1 0 0 0 kX   kX  0   1 0 0  kY   kY  ch = Pwh =    = 2.2.4 0 0 1 0  kZ   kZ     − kZ  0 0 − 1 1  k     f + k  f   Los elementos de ch son las coordenadas de la cámara en forma homogénea.Dividiendo cada uno de los tres componentes de ch por el cuarto, se obtiene lascoordenadas de cualquier punto en el sistema de coordenadas de la cámara:  fX     x  f − Z  c =  y =  fY     f −Z 2.2.5  z   fZ       f −Z   La transformación de perspectiva inversa proporciona los puntos de la imagen alespacio tridimensional: ch = Pwh → wh = P −1ch 2.2.6Jaime Martínez Verdú 2-9 MTIT: Visión por Computador
  35. 35. Capítulo 2 Planteamiento matemático donde: 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 P= 0  P = −1  2.2.7 0 1 0 0 0 1 0     0 0 1 1 0 0 − 1 1  f   f  Supongamos que un punto dado en la imagen tiene coordenadas [x0 , y0 ,0] . TDicho punto se puede expresar en forma de vector homogéneo como: kx0  ky  ch =  0  2.2.8  0     k  Luego, el vector de coordenadas absolutas homogéneas: kx0  ky  wh =  0  2.2.9  0     k  O bien en coordenadas cartesianas,  X   x0  w =  Y  =  y0      2.2.10 Z   0      Esto no es obviamente lo esperado, ya que se obtiene Z = 0 para cualquier puntotridimensional. Este problema es causado por el hecho de que proyectar un conjunto depuntos en el plano de la imagen es una transformación "varios a uno". El punto de laimagen ( x0 , y0 )corresponde al con junto de puntos tridimensionales colineales que seencuentran en la línea que pasa por [x0 , y0 ,0] y [0,0, f ] . La ecuación de esta recta en el T Tsistema de coordenadas absoluto es, x0 X = ( f − Z) 2.2.11A f y0 Y= ( f − Z) 2.2.11B fJaime Martínez Verdú 2-10 MTIT: Visión por Computador
  36. 36. Capítulo 2 Planteamiento matemático Estas ecuaciones muestran que a menos que se conozca algo sobre el puntotridimensional que generó un punto de imagen dado (por ejemplo su coordenada Z), nopodemos recuperar completamente el punto tridimensional a partir de su imagen. Estaobservación, se puede usar como una manera de formular una transformación deperspectiva inversa usando simplemente la componente z de ch como una variable libreen vez de ponerla a cero. Así suponiendo, kx0  ky  ch =  0  2.2.12  kz     k  De la ecuación ch = Pwh → wh = P −1ch 2.2.13 se obtiene  kx0   ky   0  wh =  kz  2.2.14  kz   f + k   que después de convertirse a coordenadas cartesianas, da como resultado,  fx0    X   f + z  w = Y  =  0  fy    f + z 2.2.15  Z   fz       f + z   Dicho de otro modo, tratando a z como una variable libre obtenemos, fx 0 X = 2.2.16A f +z fy 0 Y= 2.2.16B f +z fz Z= 2.2.16C f +zJaime Martínez Verdú 2-11 MTIT: Visión por Computador
  37. 37. Capítulo 2 Planteamiento matemático Despejando z en la última ecuación y sustituyendo, x0 X = ( f − Z) 2.2.17A f y0 Y= ( f − Z) 2.2.17B f que resulta congruente con la observación ya mencionada de que recuperar unpunto tridimensional partiendo de su imagen y usando la transformación de perspectivainversa requiere el conocimiento de cómo mínimo una de las coordenadas absolutas delpunto. Comentario: Como la imagen aparece invertida es costumbre utilizar en su lugar unaconfiguración geométricamente equivalente para conseguir que la imagen se sitúe en elmismo lado del centro de proyección tal y como se muestra en la siguiente figura: Figura 2.6: Transformación de perspectiva equivalente a la mostrada en la Figura 2.5. Por semejanza de triángulosJaime Martínez Verdú 2-12 MTIT: Visión por Computador
  38. 38. Capítulo 2 Planteamiento matemático fX x= 2.2.18A Z fY y= 2.2.18B ZJaime Martínez Verdú 2-13 MTIT: Visión por Computador
  39. 39. Capítulo 2 Planteamiento matemático2.2.2. Proyección ortográfica. La proyección ortográfica es la proyección de una entidad tridimensional sobre unplano por un conjunto de rayos paralelos ortogonales a este plano. En la figura se tieneque x = X e y = Y donde de nuevo ( X , Y ) y ( x, y ) denotan las coordenadas del objeto y laimagen respectivamente. Esta proyección es útil para la representación de la orientaciónde cada vector perpendicular a una superficie en lo que se conoce como espaciogradiente. Figura 2.7: Proyección ortográfica. Considerar la geometría de proyección de perspectiva de la Figura 2.6. A medidaque el objeto se aleja del centro óptico a lo largo del eje z, la imagen se hace más pequeña.Y el factor de reducción f/Z en las ecuaciones de proyección de perspectiva se disminuyela sensibilidad al parámetro Z. Esto es, f/(Z+∆Z) tiende a tomar un valor próximo a f/Z amedida que Z/∆Z tiende a ser grande, esto significa que la distancia a la que se encuentraun objeto Z es grande con relación al rango de distancias en el propio objeto ∆Z. Estaaproximación de f/Z en lugar de f/(Z+∆Z) es válida siempre que la distancia a la que seencuentra un objeto es grande con relación al rango de distancias en el propio objeto.Para que la proyección de perspectiva pueda aproximarse por proyección ortográfica hastaun factor de escala uniforme se han de cumplir dos condiciones: 1. El objeto debe situarse próximo al eje óptico. 2. Las dimensiones del objeto deben ser pequeñas. Los términos próximo y pequeño se toman con respecto a la distancia del objeto apartir del centro de proyección. La Figura 2.8 ilustra la aproximación de proyección deperspectiva como un proceso de dos pasos: proyección ortográfica sobre un planopróximo al objeto y paralelo al plano de la imagen y luego proyección de perspectiva sobreel plano de la imagen.Jaime Martínez Verdú 2-14 MTIT: Visión por Computador
  40. 40. Capítulo 2 Planteamiento matemático Figura 2.7: Aproximación de la proyección de perspectiva por proyección ortográfica2.2.3. Proyección paralela. La proyección paralela es una generalización de la proyección ortográfica en la queel objeto se proyecta sobre el plano de la imagen por un conjunto de rayos paralelos queno son necesariamente ortogonales a este plano. La proyección paralela, como la proyección ortográfica, es una transformaciónlineal en el espacio tridimensional. La proyección paralela proporciona también unaaproximación conveniente para la proyección de perspectiva hasta un factor de escalauniforme. La proyección de perspectiva puede aproximarse por proyección paralela hasta unfactor de escala uniforme siempre que las dimensiones del objeto sean pequeñascomparadas con la distancia media del objeto al centro óptico. La dirección de proyecciónparalela es a lo largo de la dirección media de proyección de perspectiva. Cuando elobjeto además de ser pequeño está próximo al eje óptico, la dirección de proyecciónparalela puede tomarse a lo largo del eje óptico, y en este caso obtendríamos proyecciónortográfica.Jaime Martínez Verdú 2-15 MTIT: Visión por Computador
  41. 41. Capítulo 2 Planteamiento matemático2.3. Modelo de la cámara. La transformación de perspectiva relaciona las coordenadas del mundo con lascoordenadas de la imagen cuando la cámara se encuentra en el origen de coordenadas delmundo. Sin embargo, en la realidad necesitamos trasladar y rotar la cámara para obtenerla imagen deseada de un objeto. En un modelo simplificado asumimos que al principio la cámara se encuentra enel origen de coordenadas del mundo, luego es trasladado mediante la matrizG(X0, Y0, Z0), rotado alrededor del eje Z con un ángulo θ en de las agujas del reloj yentorno al eje X con un ángulo φ en sentido horario y posteriormente trasladado por lamatriz C(r1, r2, r3). En este caso, las coordenadas homogéneas del mundo wh estánreferidas a las coordenadas de la cámara ch de la siguiente manera: Ch = PCRφX RθZ GWh 2.3.1 donde 1 0 0 0 0 1 0 0 P= 0  0 1 0   0 0 − 1 1  f  1 0 0 − X0 1 0 0 − r1  0 − Y0  0 1 0 1 0 − r2  G=  C=  0 0 1 − Z0  0 0 1 − r3      0 0 0 1  0 0 0 1   cos θ senθ 0 0 1 0 0 0 − senθ cos θ 0 0 0 cos φ senφ 0 Rθ =  Z  Rφ =  X   0 0 1 0 0 − senφ cos φ 0      0 0 0 1 0 0 0 1 Nótese que las transformaciones inversas para la traslación y rotación son usadasaquí. Esto es porque el sistema de coordenadas ligado a la cámara es el que se traslada yrota en vez del objeto. Luego, las coordenadas cartesianas de la imagen son las siguientes: ( X − X 0 ) cos θ + (Y − Y0 ) senθ − r1 x= f − ( X − X 0 ) senθsenφ + (Y − Y0 ) cos θsenφ − ( Z − Z 0 ) cos φ + r3 + f − ( X − X 0 ) senθ cos φ + (Y − Y0 ) cos θ cos φ + ( Z − Z 0 ) senφ − r2 2.3.2 y= f − ( X − X 0 ) senθsenφ + (Y − Y0 ) cos θsenφ − ( Z − Z 0 ) cos φ + r3 + fJaime Martínez Verdú 2-16 MTIT: Visión por Computador
  42. 42. Capítulo 2 Planteamiento matemático2.4. Recuperación de los parámetros de la cámara. Un problema interesante es recuperar los parámetros de una cámara. Por ejemplo,dada una fotografía tomada por una cámara desde una posición desconocida la cual hasido cortada o ampliada, ¿cómo podemos determinar la posición de la cámara y su orientación, yla medida en la que ha sido cortada o ampliada? Este tipo de aplicaciones son frecuentes endiversas áreas. Por ejemplo, en navegación autónoma, un misil podría obtener la matrizde transformación de la cámara que define la posición del vehículo. Otra aplicación seríael monitorizar el área de trabajo de un brazo robot mediante una cámara estacionaria conla que se determinaría la posición en la que se encuentra el brazo. Los parámetros de lacámara se pueden obtener a partir de su matriz de transformación, y la posición yorientación del manipulador en función de la cámara estacionaria.2.4.1. Localización de la cámara. Considérese un punto 3D X1 con coordenadas (X1, Y1, Z1,1). Si la matriz A de lacámara es conocida se puede determinar las coordenadas de la imagen de un punto de lasiguiente manera, U1=A·X1 donde U1=(ch1 , ch2, ch3, ch4). Multiplicando U1 por la inversade A obtendremos el vector X1. Si ponemos ch3 = 0 entonces, U1’=(ch1 , ch2, 0, ch4),realizando la misma multiplicación obtendremos nuevas coordenadas X11 que seencuentran en la línea que une X1 con el centro de proyección L. X 11 = A −1 ⋅ U 1 2.4.1 Del mismo modo, podemos coger otro punto X2(X2, Y2, Z2) y generar X21, el cualse encontrará en la línea que pasa por X2 y el centro de proyección. Ahora, podemosdeterminar fácilmente L mediante la intersección de ambas líneas.2.4.2. Orientación de la cámara. La orientación de la cámara se define como la orientación del plano imagen. Amedida que el objeto se acerca a la lente su imagen se sitúa más lejos, a lo largo del eje Y,del centro de la imagen. Cuando el objeto se encuentre en la lente, la imagen se formaráen el infinito. La única forma de que la imagen de un punto infinito se forme en elinfinito es que la cuarta componente de las coordenadas homogéneas sea cero, es decir:  C h1  X  C     h2  = A ⋅  Y  2.4.2 C h 3  Z       0  1Jaime Martínez Verdú 2-17 MTIT: Visión por Computador
  43. 43. Capítulo 2 Planteamiento matemático La última ecuación proporciona la siguiente restricción en la orientación de lacámara: a41 X + a42Y + a43 Z + a44 = 0 2.4.3 Dicha ecuación pertenece a un plano que pasa por la lente L paralelo al planoimagen. De esta ecuación queda claro que (a41, a42, a43) es el vector normal al planoimagen y paralelo a la cámara. La orientación en función de una rotación θ (sentido horario) alrededor del eje X,seguido de otra rotación φ alrededor del eje Y viene dada por: a 42 θ = arctg 2.4.4 − a43 − a41 φ = arcsen 2.4.5 a 41 + a 42 + a 43 2 2 2Jaime Martínez Verdú 2-18 MTIT: Visión por Computador
  44. 44. Capítulo 3 3CAPÍTULO Técnicas y Tecnologías Existentes TECNOLOGÍAS Y TÉCNICAS EXISTENTES Esta sección introduce al conocimiento de varias técnicas para la estimación de losparámetros intrínsecos y extrínsecos de una cámara, proceso comúnmente conocido conel nombre de calibración geométrica de una cámara. Concretamente, toda la teoríadesarrollada en este capítulo va dirigida a la computación de los parámetros intrínsecos yextrínsecos de una cierta cámara según una matriz de transformación que puede adoptarvarias formas dependiendo la naturaleza de la técnica de calibración: • Método de calibración del cálculo de la matriz de transformación perspectiva. • Método de calibración de los dos planos. • Método de calibración de Tsai. − Enmienda del método de calibración de Tsai realizada por Ayache. − Enmienda del método de calibración de Tsai realizada por Song de Ma. • Método de calibración de Zhang. • … Sin adentrarnos todavía en tales técnicas de calibración, en este apartado todavíade carácter introductorio, daremos nuestros primeros pasos en un proceso de calibraciónconcreto e ideal que expondremos a continuación.Jaime Martínez Verdú 3-1 MTIT: Visión por Computador

×