REALIDAD
AUMENTADA
Profesora:
María José Abásolo
Universidad Nacional de La Plata

Realidad Aumentada | María José Abásolo...
Contenidos
MÓDULO 1
Introducción a Realidad Aumentada (RA)
 MÓDULO 2
Dispositivos de entrada y salida
 MÓDULO 3
Fundamen...
Contenidos
MÓDULO 1
Introducción a Realidad Aumentada (RA)
 MÓDULO 2
Dispositivos de entrada y salida
 MÓDULO 3
Fundamen...
M3- Fundamentos teóricos
 Formación

de imágenes
 Tracking basado en visión
 Calibración de cámara

Realidad Aumentada ...
M3- Fundamentos teóricos
 Formación

de imágenes
 Tracking basado en visión
 Calibración de cámara

Realidad Aumentada ...
M3- Fundamentos teóricos
 Formación





de imágenes

Sistemas de referencia
Transformaciones geométricas
Transformac...
M3- Fundamentos teóricos

Formación de imágenes
 El

proceso de formación una imagen a partir
de un objeto 3D convierte c...
M3- Fundamentos teóricos

Formación de imágenes


En RA se tiene






El mundo real en el que situamos un sistema de
...
M3- Fundamentos teóricos

Formación de imágenes

Diagrama conceptual de RA
captura

tracking
Posición y orientación

Video...
M3- Fundamentos teóricos

Formación de imágenes
Mundo 3D
El mundo 3D
está compuesto
por objetos
situados en
ciertas posici...
M3- Fundamentos teóricos

Formación de imágenes

La cámara
captura la
escena desde
una cierta
posición y
orientación.

Cám...
M3- Fundamentos teóricos

Formación de imágenes

La imagen
es el resultado
de una proyección
que realiza la
cámara.
La ima...
M3- Fundamentos teóricos

Formación de imágenes

centro de proyección

En una cámara
real, la imagen
formada en el
plano d...
M3- Fundamentos teóricos

Formación de imágenes

En fotos sintéticas
se elige tener en
cuenta la imagen
que se forma
en un...
M3- Fundamentos teóricos
 Formación





de imágenes

Sistemas de referencia
Transformaciones geométricas
Transformac...
M3- Fundamentos teóricos

Formación de imágenes
Sistemas de referencia
 Se

dijo que el mundo 3D está compuesto por
objet...
M3- Fundamentos teóricos

Formación de imágenes
Sistemas de referencia
Sistema de
Coordenadas
Mundo 3D
La posición y
orien...
M3- Fundamentos teóricos

Formación de imágenes
Sistemas de referencia

El sistema
de coordenadas
cámara 3D
tiene el orige...
M3- Fundamentos teóricos

Formación de imágenes
Sistemas de referencia

Sistema de coordenadas
Imagen 2D

Los puntos de
la...
M3- Fundamentos teóricos
 Formación




de imágenes

Sistemas de referencia
Transformaciones geométricas
Transformació...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
Sistema de
Coordenadas
local
Cada objeto
pued...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
Sistema de
Coordenadas
Mundo 3D

Al componer ...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
Sistema de
Coordenadas
Mundo 3D

Sistema de
C...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


En computación gráfica tienen especial imp...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Traslación:





Especificar vector
Des...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Rotación




Especificar: punto, ángulo...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Rotación


Especificar: punto fijo, ángul...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Rotación
 Si el punto fijo es el origen y...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Rotación
 Si el punto fijo es el origen y...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Rotación
 Si el punto fijo es el origen y...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Rotación general
x’
y’
z’

=

r11
r21
r31
...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Escalado uniforme y no uniforme

Realidad ...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Escalado


Especificar: factor de escala ...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Hasta ahora hemos expresado la traslación
...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Por cuestiones de eficiencia en la
impleme...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Representación


homogénea

Permite expres...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Representación


homogénea

Puntos y vecto...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Traslación


P’ = P + d

x’
x
=
y’
y
z’
z
...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Rotación


Si el punto fijo es el origen y...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Rotación


Si el punto fijo es el origen y...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Rotación


Si el punto fijo es el origen y...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Rotación


Rotación general
x’
=
y’
z’

r1...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 Escalado


Si el punto fijo es el origen:
...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas
 La

forma matricial uniforme permite la
imp...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas




Si cada transformación está expresada c...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas


Se debe cuidar el orden en que se multipli...
M3- Fundamentos teóricos

Formación de imágenes
Transformaciones geométricas

Sistema de
Coordenadas
Cámara 3D

Un punto P...
M3- Fundamentos teóricos
 Formación





de imágenes

Sistemas de referencia
Transformaciones geométricas
Transformac...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección

Sistema de coordenadas
Imagen 2D

Cada punto...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyecciones perspectiva y paralela

Perspect...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole

Pc...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole (2D...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole (2D...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole (2D...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole (2D...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole (2D...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole (2D...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
Modelo de Pinhole (2D...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección

 El

modelo de cámara de Pinhole solo
consi...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección

 La

matriz de proyección completa
consider...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
cámara proyectiva fin...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
cámara proyectiva fin...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
cámara proyectiva fin...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección
Proyección perspectiva:
cámara proyectiva fin...
M3- Fundamentos teóricos

Formación de imágenes
Transformación de proyección

 Los

parámetros intrínsecos de una
cámara ...
M3- Fundamentos teóricos
 Formación





de imágenes

Sistemas de referencia
Transformaciones geométricas
Transformac...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes
Sistema de
Coordenadas
Mundo 3D

1- Un pu...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes
Sistema de
Coordenadas
Mundo 3D

P se
tra...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes

Punto 3D en
coordenadas
local

Pm: punto...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes
Sistema de
Coordenadas
Mundo 3D

2- Pm se...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes

Pm: punto 3D en
coordenadas
mundo

Pc: p...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes
Sistema de
Coordenadas
Mundo 3D

3- Final...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes

pi:punto 2D
de la imagen
en pixeles

x
y...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


Pc puede expresarse en base a Pm

pi: ...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes

pi: punto 2D
de la imagen
en pixeles

x
...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


De esta forma las transformaciones geo...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


pi: punto 2D
de la imagen
en pixeles

...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


Esta es la expresión matemática del pr...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes
 Proceso

directo: conociendo la matriz
...
M3- Fundamentos teóricos

Formación de imágenes

Diagrama conceptual de RA
captura

tracking
Posición y orientación

Video...
M3- Fundamentos teóricos

Formación de imágenes
 Se





dijo que en RA

Se tiene un mundo real donde situamos un
sist...
M3- Fundamentos teóricos

Formación de imágenes


En RA, para poder combinar objetos virtuales
con la realidad de forma r...
M3- Fundamentos teóricos

Formación de imágenes


En RA




Conocidas las matrices se aplica el proceso descripto
para ...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


Proceso inverso: ¿es posible a partir ...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


Proceso inverso: ¿es posible a partir ...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


Proceso inverso: a partir de la imagen...
M3- Fundamentos teóricos

Formación de imágenes
Proceso de formación de imágenes


Proceso inverso: a partir de la imagen...
M3- Fundamentos teóricos
 Formación

de imágenes
 Tracking basado en visión
 Calibración de cámara

Realidad Aumentada ...
Fundamentos de RA
 Tracking





basado en visión

Qué es el tracking videométrico
Tracking de marcadores
Tracking de...
Fundamentos de RA
 Tracking





basado en visión

Qué es el tracking videométrico
Tracking de marcadores
Tracking de...
M3- Fundamentos teóricos

Tracking basado en visión

Que es tracking videométrico
 Tracking:

el tracking es el seguimien...
M3- Fundamentos teóricos

Tracking basado en visión

Diagrama conceptual de RA
captura

tracking
Posición y orientación

V...
M3- Fundamentos teóricos

Tracking basado en visión

Que es tracking videométrico
 En

RA, el tracking del usuario es nec...
M3- Fundamentos teóricos

Tracking basado en visión

Que es tracking videométrico
 Tracking




puede realizarse

Basa...
M3- Fundamentos teóricos

Tracking basado en visión

Que es tracking videométrico
 Tracking




basado en visión

Tambi...
M3- Fundamentos teóricos

Tracking basado en visión

Diagrama conceptual de RA
captura

tracking
Posición y orientación

E...
M3- Fundamentos teóricos

Tracking basado en visión

Que es tracking videométrico
 El

stream de video capturado por la c...
M3- Fundamentos teóricos

Tracking basado en visión
Que es tracking videométrico


El flujo de trabajo de una aplicación ...
M3- Fundamentos teóricos

Fundamentos de RA
 Tracking





basado en visión

Qué es el tracking videométrico
Tracking...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Un marcador es una imagen 2D impresa con un
...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


En el capítulo anterior se vieron los difere...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores






El marcador es un objeto real del que ...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
 Ventajas



de tracking de marcadores:

Rob...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
Workflow de una aplicación de RA con tracking d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
Workflow de una aplicación de RA con tracking d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
Workflow de una aplicación de RA con tracking d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
Workflow de una aplicación de RA con tracking d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
Workflow de una aplicación de RA con tracking d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
Workflow de una aplicación de RA con tracking d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
Workflow de una aplicación de RA con tracking d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Volviendo a la formación de imágenes…
Sistem...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


¿Qué conocemos?

Sistema de coordenadas
Imag...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


¿Qué conocemos?

Se conoce una imagen que ca...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Distorsión radial

Realidad Aumentada | Marí...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
 Distorsión

de la imagen capturada

Realidad ...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


¿Qué conocemos?

También mediante la
CALIBRA...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Incógnita
Sistema de
Coordenadas
Mundo 3D

E...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


x
y

Ecuaciones

/Z c

Zc x
Zc y
Zc

=

Tp
(...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
1.

Preprocesamiento: calibración de la cámara
...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
1.

Preprocesamiento: calibración de la cámara
...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Localizar marcadores en cada frame

Ejemplo...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Localizar marcadores en cada frame

Librerí...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Localizar marcadores en cada frame

Librerí...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Localizar marcadores en cada frame

Librerí...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Localizar marcadores en cada frame


Librer...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Localizar marcadores en cada frame


Librer...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
1.

Preprocesamiento: calibración de la cámara
...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Estimar la matriz de transformación de cada
...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Proceso iterativo de optimización: se
minimi...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
1.
2.

3.
4.

5.

Inicialización: estimación in...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
1.

Preprocesamiento: calibración de la cámara
...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores
1.

Preprocesamiento: calibración de la cámara
...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Técnicas de tracking incrementales




El ...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de marcadores


Técnicas de tracking incrementales


Wagner...
M3- Fundamentos teóricos

Fundamentos de RA
 Tracking





basado en visión

Qué es el tracking videométrico
Tracking...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales






A veces no se puede o n...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Clasificación de los algoritm...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Los algoritmos CON conocimien...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Los algoritmos CON conocimien...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Dentro de estas dos categoría...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Clasificación de los algoritm...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en b...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en b...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en b...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en b...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en b...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Clasificación de los algoritm...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en t...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en t...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en t...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en t...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en t...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Clasificación de los algoritm...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales
Métodos de tracking basados en d...
M3- Fundamentos teóricos

Tracking basado en visión
Tracking de características naturales


Clasificación de los algoritm...
M3- Fundamentos teóricos

Tracking sin conocimiento de
la escena
 SLAM

(Simultaneous Localization and
Mapping)





...
M3- Fundamentos teóricos

Tracking sin conocimiento de
la escena


PTAM (Parallel Tracking and Mapping) se ejecuta
en tie...
M3- Fundamentos teóricos

Fundamentos de RA
 Tracking





basado en visión

Qué es el tracking videométrico
Tracking...
M3- Fundamentos teóricos

Tracking videométrico
Tracking híbrido


Tracking híbrido




Técnicas que combinan la salida...
M3- Fundamentos teóricos

Tracking videométrico
Tracking híbrido


Técnicas que combinan la salida de dispositivos
físico...
M3- Fundamentos teóricos
 Formación

de imágenes
 Tracking basado en visión
 Calibración de cámara

Realidad Aumentada ...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara

 Los

parámetros intrínsecos de una
cámara real da...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara


Según el modelo elegido, la cámara se describe me...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara


Generalmente el conjunto cámara y tarjeta de
adqu...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara
 Calibración


[Tsai, 1987]

Proceso mediante el c...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara
 En

aplicaciones de realidad aumentada
se necesita...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara
 Puntos


de control

Plantilla de puntos de los c...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara
 Puntos


de control

Patrón de puntos y cuadrícul...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara


Se conocen:




Se extraen:






Pmi las co...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara
 Ecuaciones

Realidad Aumentada | María José Abásol...
M3- Fundamentos teóricos

Formación de imágenes
Calibración de cámara


Diversos métodos de resolución:




Lineales: ...
Calibración de cámara


Software de calibración






GML MatLab Camera Calibration Toolbox
http://research.graphico...
Upcoming SlideShare
Loading in …5
×

Realidad Aumentada - Modulo 3 Fundamentos

1,231 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,231
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
62
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Realidad Aumentada - Modulo 3 Fundamentos

  1. 1. REALIDAD AUMENTADA Profesora: María José Abásolo Universidad Nacional de La Plata Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
  2. 2. Contenidos MÓDULO 1 Introducción a Realidad Aumentada (RA)  MÓDULO 2 Dispositivos de entrada y salida  MÓDULO 3 Fundamentos teóricos  MÓDULO 4 Librerías y authoring de RA  Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
  3. 3. Contenidos MÓDULO 1 Introducción a Realidad Aumentada (RA)  MÓDULO 2 Dispositivos de entrada y salida  MÓDULO 3 Fundamentos teóricos  MÓDULO 4 Librerías y authoring de RA  Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
  4. 4. M3- Fundamentos teóricos  Formación de imágenes  Tracking basado en visión  Calibración de cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  5. 5. M3- Fundamentos teóricos  Formación de imágenes  Tracking basado en visión  Calibración de cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  6. 6. M3- Fundamentos teóricos  Formación     de imágenes Sistemas de referencia Transformaciones geométricas Transformación de proyección Proceso de formación de imágenes Realidad Aumentada | María José Abásolo | Facultad Inform
  7. 7. M3- Fundamentos teóricos Formación de imágenes  El proceso de formación una imagen a partir de un objeto 3D convierte cada punto 3D en un píxel de la imagen 2D  La formación de una imagen 2D a partir de un objeto 3D puede expresarse matemáticamente  Es válido para representar   el proceso de sacar una foto en la realidad el proceso de obtener una vista determinada del mundo virtual Realidad Aumentada | María José Abásolo | Facultad Inform
  8. 8. M3- Fundamentos teóricos Formación de imágenes  En RA se tiene    El mundo real en el que situamos un sistema de coordenadas 3D Un modelo sintético 3D que debe estar referenciado en el sistema de coordenadas 3D del mundo real Según la posición y orientación del usuario en relación al sistema de coordenadas 3D, se debe generar una imagen sintética que se combinará con la escena real  La imagen sintética es el resultado de tomar una vista (como sacar una foto) del modelo 3D desde la posición y orientación del usuario Realidad Aumentada | María José Abásolo | Facultad Inform
  9. 9. M3- Fundamentos teóricos Formación de imágenes Diagrama conceptual de RA captura tracking Posición y orientación Video o visión directa del mundo real generador de escena virtual Proyección de la escena virtual (gráficos 3d) y otros elementos Proceso de formación de imágenes combinador Imagen real + objetos virtuales Realidad Aumentada | María José Abásolo | Facultad Inform registrados
  10. 10. M3- Fundamentos teóricos Formación de imágenes Mundo 3D El mundo 3D está compuesto por objetos situados en ciertas posiciones y orientaciones. Puede ser real o sintético. Realidad Aumentada | María José Abásolo | Facultad Inform
  11. 11. M3- Fundamentos teóricos Formación de imágenes La cámara captura la escena desde una cierta posición y orientación. Cámara Puede ser una cámara real en caso de estar sacando una foto. Puede ser una cámara sintética en caso de estar visualizando un modelo virtual. Realidad Aumentada | María José Abásolo | Facultad Inform
  12. 12. M3- Fundamentos teóricos Formación de imágenes La imagen es el resultado de una proyección que realiza la cámara. La imagen se Imagen formada forma en el plano de proyección Realidad Aumentada | María José Abásolo | Facultad Inform
  13. 13. M3- Fundamentos teóricos Formación de imágenes centro de proyección En una cámara real, la imagen formada en el plano de proyección está “invertida” Imagen con cámara real Realidad Aumentada | María José Abásolo | Facultad Inform
  14. 14. M3- Fundamentos teóricos Formación de imágenes En fotos sintéticas se elige tener en cuenta la imagen que se forma en un plano situado Imagen con delante de la cámara sintética cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  15. 15. M3- Fundamentos teóricos  Formación     de imágenes Sistemas de referencia Transformaciones geométricas Transformación de proyección Proceso de formación de imágenes Realidad Aumentada | María José Abásolo | Facultad Inform
  16. 16. M3- Fundamentos teóricos Formación de imágenes Sistemas de referencia  Se dijo que el mundo 3D está compuesto por objetos situados en diferentes posiciones y orientaciones  También la cámara está situada en cierta posición y orientación  Cuando se habla de posiciones y orientaciones es necesario establecer en relación a QUÉ nos referimos: se necesita un sistema de referencia Realidad Aumentada | María José Abásolo | Facultad Inform
  17. 17. M3- Fundamentos teóricos Formación de imágenes Sistemas de referencia Sistema de Coordenadas Mundo 3D La posición y orientación de los objetos reales o sintéticos suele expresarse en relación a un sistema de coordenadas 3D situado en algún lugar del mundo Realidad Aumentada | María José Abásolo | Facultad Inform
  18. 18. M3- Fundamentos teóricos Formación de imágenes Sistemas de referencia El sistema de coordenadas cámara 3D tiene el origen en el centro óptico y el eje Z alineado con el eje de proyección Sistema de Coordenadas Cámara 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  19. 19. M3- Fundamentos teóricos Formación de imágenes Sistemas de referencia Sistema de coordenadas Imagen 2D Los puntos de la imagen se expresan en relación a un sistema de coordenadas 2D con los ejes alineados con los bordes de la imagen y el centro en una esquina o en el centro de la imagen Realidad Aumentada | María José Abásolo | Facultad Inform
  20. 20. M3- Fundamentos teóricos  Formación    de imágenes Sistemas de referencia Transformaciones geométricas Transformación de proyección Realidad Aumentada | María José Abásolo | Facultad Inform
  21. 21. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas Sistema de Coordenadas local Cada objeto puede tener un sistema de coordenadas Local. Por ejemplo, para modelar un objeto virtual se puede usar un sistema de coordenadas local situado en el centro del objeto Realidad Aumentada | María José Abásolo | Facultad Inform
  22. 22. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas Sistema de Coordenadas Mundo 3D Al componer una escena con varios objetos, la ubicación de los mismos en la escena se hace en relación a un único sistema de coordenadas mundo, mediante transformaciones geométricas Las transformaciones geométricas son traslaciones, rotaciones y escalado Realidad Aumentada | María José Abásolo | Facultad Inform
  23. 23. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas Sistema de Coordenadas Mundo 3D Sistema de Coordenadas Cámara 3D El sistema de coordenadas mundo 3D puede expresarse en relación al sistema de coordenadas cámara 3D mediante transformaciones geométricas Realidad Aumentada | María José Abásolo | Facultad Inform
  24. 24. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  En computación gráfica tienen especial importancia las transformaciones afines  Es una transformación lineal  f() es lineal si f(α p + β q) = α f(p) + β f(q)  Las transformaciones de las combinaciones lineales de los vértices pueden obtenerse mediante la combinación lineal de las transformaciones de los vértices Por ejemplo para transformar todos los puntos de un segmento basta con transformar los extremos y luego trazar el segmento transformado uniendo estos extremos transformados   Las siguientes transformaciones geométricas son transformaciones afines:  traslación, rotación y escalado Realidad Aumentada | María José Abásolo | Facultad Inform
  25. 25. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Traslación:    Especificar vector Desplaza los puntos una distancia fija en una dirección x’ d x + x = P’ = P + d y’ y z’ 1 y z 1 dy dz 0 Realidad Aumentada | María José Abásolo | Facultad Inform
  26. 26. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación    Especificar: punto, ángulo y vector Ejemplo simple: rotar puntos alrededor de origen (2D) En coordenadas polares:    x = r cos f , y = r sin f, x’ = r cos (f +υ), y’ = r sin (f +υ) x’ = r (cos f . cos υ - sin f . sin υ)= x cos υ – y sin υ y’ = r (cos f . sin υ + sin f . cos υ) = x sin υ + y cos υ x’ cos υ –sin υ = y’ sin υ cos υ x y (x’,y’) Realidad Aumentada | María José Abásolo | Facultad Inform Rotación 2D
  27. 27. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Especificar: punto fijo, ángulo y vector Rotación 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  28. 28. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Si el punto fijo es el origen y el vector z:    x’ = x cos υ – y sin υ y’ = x sin υ + y cos υ z’ = z x’ = y’ z’ cos υ -sin υ 0 sin υ cos υ 0 0 0 1 x y z Matriz de rotación Rz(υ ) Realidad Aumentada | María José Abásolo | Facultad Inform
  29. 29. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Si el punto fijo es el origen y el vector x:    x’ = x y’ = y cos υ – z sin υ z’ = y sin υ + z cos υ x’ y’ z’ = 1 0 0 0 cos υ -sin υ 0 sin υ cos υ x y z Matriz de rotación Rx(υ ) Realidad Aumentada | María José Abásolo | Facultad Inform
  30. 30. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Si el punto fijo es el origen y el vector y:    x’ = x cos υ + z sin υ y’ = y z’ = -x sin υ + z cos υ x’ = y’ z’ cos υ 0 0 1 -sin υ 0 sin υ 0 cos υ x y z Matriz de rotación Ry(υ ) Realidad Aumentada | María José Abásolo | Facultad Inform HAY UN CAMBIO DE SIGNO DEL SIN (REGLA DE LA MANO DERECHA)
  31. 31. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación general x’ y’ z’ = r11 r21 r31 r12 r22 r32 r13 r23 r33 x y z Realidad Aumentada | María José Abásolo | Facultad Inform
  32. 32. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Escalado uniforme y no uniforme Realidad Aumentada | María José Abásolo | Facultad Inform
  33. 33. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Escalado  Especificar: factor de escala β, punto fijo y vector (escalad en dirección al vector) β > 1 alarga objeto en dirección del vector 0 ≤ β < 1 acorta objeto en dirección del vector β < 0 dan lugar a la reflexión Si el escalado es en relación al origen y en dirección a ejes principales: x’ βx 0 0 x = y’ y 0 βy 0 Realidad Aumentada 0 María José Abásolo | Facultad Inform | 0 β z’ z z
  34. 34. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Hasta ahora hemos expresado la traslación como una suma, y la rotación y el escalado como una multiplicación: la representación no es homogénea x’ r11 r12 r13 x x’ x = y’ y z’ z 1 1 traslación dx dy dz 0 y’ z’ = r21 r22 r23 r31 r32 r33 y z rotación x’ = y’ z’ βx 0 0 0 βy 0 0 0 βz x y z Realidad Aumentada |escalado Abásolo | Facultad Inform María José
  35. 35. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Por cuestiones de eficiencia en la implementación computaciones de la concatenación de transformaciones se necesita una representación homogénea de la traslación, la rotación y el escalado Realidad Aumentada | María José Abásolo | Facultad Inform
  36. 36. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Representación  homogénea Permite expresar uniformemente en forma matricial tanto la rotación y el escalado como la traslación  Cada transformación afín 3D se representa por una matriz de 4x4 Realidad Aumentada | María José Abásolo | Facultad Inform
  37. 37. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Representación  homogénea Puntos y vectores 3D se representan con 4 dimensiones   Vector (x,y,z) es (x,y,z,0) Punto (x,y,z) es (x,y,z,1) Realidad Aumentada | María José Abásolo | Facultad Inform
  38. 38. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Traslación  P’ = P + d x’ x = y’ y z’ z 1 1 x’ = y’ z’ 1 + dx dy dz 0 1 0 0 dx 0 1 0 dy 0 0 1 dz 0001 Esta forma no es general: adición x y z 1 Forma más general: Multiplicación de matrices Matriz de traslación T(d) Aumentada | María José Abásolo | Facultad Inform Realidad
  39. 39. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Si el punto fijo es el origen y el vector z: x’ = y’ z’ cos υ -sin υ 0 sin υ cos υ 0 0 0 1 x y z x’ y’ z’ 1 cos υ -sin υ 0 0 sin υ cos υ 0 0 0 0 10 0 0 01 x y z 1 = Matriz de rotación Rz(υ ) en coordenadas homogéneas Realidad Aumentada | María José Abásolo | Facultad Inform
  40. 40. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Si el punto fijo es el origen y el vector x: x’ y’ z’ = x’ = y’ z’ 1 1 0 0 0 cos υ -sin υ 0 sin υ cos υ x y z 1 0 0 0 0 cos υ -sin υ 0 0 sin υ cos υ 0 0 0 0 1 x y z 1 Matriz de rotación Rx(υ ) en coordenadas homogéneas Realidad Aumentada | María José Abásolo | Facultad Inform
  41. 41. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Si el punto fijo es el origen y el vector y: x’ = y’ z’ cos υ 0 sin υ 0 1 0 -sin υ 0 cos υ x y z x’ = y’ z’ 1 cos υ 0 sin υ 0 0 1 0 0 -sin υ 0 cos υ 0 0 0 0 1 x y z 1 Matriz de rotación Ry(υ ) en coordenadas homogéneas Realidad Aumentada | María José Abásolo | Facultad Inform
  42. 42. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Rotación  Rotación general x’ = y’ z’ r11 r21 r31 x’ = y’ z’ 1 r11 r12 r13 0 r21 r22 r23 0 r31 r32 r33 0 r12 r22 r32 r13 r23 r33 0 0 0 Matriz de rotación general 1 x y z x y z 1 Realidad Aumentada | María José Abásolo | Facultad Inform
  43. 43. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Escalado  Si el punto fijo es el origen: x’ = y’ z’ βx 0 0 0 βy 0 0 0 βz x y z x’ = y’ z’ 1 βx 0 0 0 0 βy 0 0 0 0 βz 0 0 0 0 1 x y z 1 Matriz de escalado (β) en coordenadas homogéneas Realidad Aumentada | María José Abásolo | Facultad Inform
  44. 44. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  La forma matricial uniforme permite la implementación eficiente de transformaciones sucesivas mediante la multiplicación de matrices Realidad Aumentada | María José Abásolo | Facultad Inform
  45. 45. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas   Si cada transformación está expresada como una matriz de 4x4, se pueden llevar a cabo sucesivas transformaciones con multiplicaciones sucesivas de matrices de 4x4 Por ejemplo: primero rotar u grados con respecto al eje Z y luego trasladar (vector d)  x’ = y’ z’ 1 P’ = Td Rz P 1 0 0 dx 0 1 0 dy 0 0 1 dz 0001 cos υ -sin υ 0 0 x = cos υ -sin υ 0 dx x sin υ cos υ 0 0 y sin υ cos υ 0 dy y 0 0 1 z 0 0 1 dz z 0 1 1 0 0 01 0 0 01 Realidad Aumentada | María José Abásolo | Facultad Inform
  46. 46. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas  Se debe cuidar el orden en que se multiplican las matrices ya que muchas combinaciones de transformaciones no son conmutativas Realidad Aumentada | María José Abásolo | Facultad Inform
  47. 47. M3- Fundamentos teóricos Formación de imágenes Transformaciones geométricas Sistema de Coordenadas Cámara 3D Un punto Pm en relación al sistema de coordenadas mundo puede expresarse en el sistema de coordenadas cámara como Pc = Tcc Pm Tcc: matriz de 4x4 que expresa las transformaciones geométricas Realidad Aumentada | María José Abásolo | Facultad Inform
  48. 48. M3- Fundamentos teóricos  Formación     de imágenes Sistemas de referencia Transformaciones geométricas Transformación de proyección Proceso de formación de imágenes Realidad Aumentada | María José Abásolo | Facultad Inform
  49. 49. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Sistema de coordenadas Imagen 2D Cada punto Pc del mundo 3D (en coord. cámara) se proyecta según el modelo de la cámara y tiene su correspondiente pi en la imagen Realidad Aumentada | María José Abásolo | Facultad Inform proyectada 2D Sistema de Coordenadas Cámara 3D
  50. 50. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyecciones perspectiva y paralela Perspectiva Paralela Realidad Aumentada | María José Abásolo | Facultad Inform
  51. 51. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole Pc: punto del mundo en coord cámara (Xc,Yc,Zc) Punto principal pi: punto de la imagen Plano imagen Eje principal Centro de proyección f:distancia Realidad Aumentada | María José Abásolo | Facultad Inform focal
  52. 52. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole (2D) Pc: punto del mundo en coord cámara (Xc,Yc,Zc) pi: punto de la imagen Por similitud de tríángulos se deduce y / Yc = f / Zc f:distancia x / Xc = f / Zc Realidad Aumentada | María José Abásolo | Facultad Inform focal
  53. 53. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole (2D) • Mapeo del punto del modelo Pc al punto pi en el plano imagen x = Xc . f / Zc y = Yc . f / Zc • Al dividir por Zc la ecuación es NO LINEAL: la proyección no es una transformación AFIN • Es además IRREVERSIBLE: a partir de un punto p en una imagen no puede deducirse el punto en el espacio Pc Realidad Aumentada | María José Abásolo | Facultad Inform
  54. 54. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole (2D) • Pese a no ser transformación AFIN, puede expresarse en coordenadas homogéneas como matriz de 4x4 • Esto es una ventaja ya que resulta muy eficiente en la implementación utilizar la multiplicación de matrices al igual que se hizo con las transformaciones geométricas Realidad Aumentada | María José Abásolo | Facultad Inform
  55. 55. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole (2D) •Para expresar matricialmente las ecuaciones las expresamos de la siguiente forma: Zc x = Xc f Zc y = Yc f Zc z = Zc f Realidad Aumentada | María José Abásolo | Facultad Inform
  56. 56. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole (2D) Zcx Zcy Zcz Zc = f 0 0 0 0 f 0 0 0 0 f 1 0 0 0 0 Xc Yc Zc 1 • A continuación el punto P=(Zc x, Zc y, Zc z, Zc) que es (f Xc, f Yc, f Zc, Zc) debe dividirse por Zc para obtener el punto proyectado pi= (Xc f/Zc, Yc f/Zc, f, 1) Realidad Aumentada | María José Abásolo | Facultad Inform
  57. 57. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole (2D) Zcx Zcy Zcz Zc = f 0 0 0 0 f 0 0 0 0 f 1 0 0 0 0 Xc Yc Zc 1 • Dado que se trata de una imagen puede ignorarse la componente Z que siempre es igual a la distancia focal f, o distancia del plano donde se forma la imagen Realidad Aumentada | María José Abásolo | Facultad Inform
  58. 58. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: Modelo de Pinhole (2D) Zcx Zcy Zc = f 0 0 0 0 f 0 0 0 0 1 0 Xc Yc Zc 1 • Entonces puede escribirse utilizando una matriz de 3 x 4 Realidad Aumentada | María José Abásolo | Facultad Inform
  59. 59. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección  El modelo de cámara de Pinhole solo considera como parámetro  f distancia focal Realidad Aumentada | María José Abásolo | Facultad Inform
  60. 60. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección  La matriz de proyección completa considera los siguientes parámetros intrínsecos de la cámara:  f distancia focal (ox,oy): coordenadas del centro de la imagen  mx,my escalas para mapeo a pixeles  Realidad Aumentada | María José Abásolo | Facultad Inform
  61. 61. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: cámara proyectiva finita  Coordenadas   del centro El origen de coordenadas en el plano de la imagen puede no estar en el centro Sea O = (ox,oy) las coordenadas del punto principal x = Xc . f / Z c + o x y = Yc . f / Z c + o y  Para escribir la matriz de proyección se reescribe: Zc x = Xc . f + Zc ox Z c y = Yc . f + Z c o y Realidad Aumentada | María José Abásolo | Facultad Inform
  62. 62. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: cámara proyectiva finita  Coordenadas  del centro De forma matricial: Zcx Zcy Zc f 0 ox 0 = 0 f oy 0 0 0 1 0 Xc Yc Zc 1 Realidad Aumentada | María José Abásolo | Facultad Inform
  63. 63. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: cámara proyectiva finita  Diferente escala en ejes X e Y de la imagen   Las cámaras CCD puede producir pixels no cuadrados Sea mx y my el número de pixels por unidad de distancia en coordenadas imagen en los ejes X o Y x=X .f.m /Z +e c x c x y = Yc . f . m y / Z c + o y  Para escribir la matriz de proyección se reescribe: Zc x = Xc . f . mx + ox Zc Zc y = Yc . f . my + oy Zc Realidad Aumentada | María José Abásolo | Facultad Inform
  64. 64. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección Proyección perspectiva: cámara proyectiva finita  Diferente escala en ejes X e Y de la imagen  De forma matricial: Zcx Zcy Zc f.mx 0 ox 0 = 0 f.m o 0 y y 0 0 1 0 Xc Yc Zc 1 Realidad Aumentada | María José Abásolo | Facultad Inform
  65. 65. M3- Fundamentos teóricos Formación de imágenes Transformación de proyección  Los parámetros intrínsecos de una cámara real dada pueden estimarse mediante un proceso denominado CALIBRACIÓN (se verá más adelante) Realidad Aumentada | María José Abásolo | Facultad Inform
  66. 66. M3- Fundamentos teóricos  Formación     de imágenes Sistemas de referencia Transformaciones geométricas Transformación de proyección Proceso de formación de imágenes Realidad Aumentada | María José Abásolo | Facultad Inform
  67. 67. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes Sistema de Coordenadas Mundo 3D 1- Un punto P Sistema de coordenadas cualquiera del mundo 3D Imagen 2D expresado en un sistema de Sistema de coordenadas Coordenadas local Cámara 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  68. 68. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes Sistema de Coordenadas Mundo 3D P se transforma Sistema de coordenadas mediante Tcm Imagen 2D (rotaciones y traslaciones) en Sistema de Pm Coordenadas expresado en un sistema de Cámara 3D coordenadas mundo 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  69. 69. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes Punto 3D en coordenadas local Pm: punto 3D en coordenadas mundo Xm = Ym Zm 1 Tcm 4x4 X Y Z 1 Realidad Aumentada | María José Abásolo | Facultad Inform
  70. 70. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes Sistema de Coordenadas Mundo 3D 2- Pm se transforma en Sistema de coordenadas Pc mediante Imagen 2D Sistema de Coordenadas Cámara 3D Tcc (rotaciones y traslaciones) expresado sistema de coordenadas cámara 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  71. 71. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes Pm: punto 3D en coordenadas mundo Pc: punto 3D en coordenadas cámara Xc Yc Zc 1 = Tcc 4x4 Xm Ym Zm 1 Matriz de transformaciones Realidad Aumentada | María José Abásolo | Facultad Inform geométricas
  72. 72. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes Sistema de Coordenadas Mundo 3D 3- Finalmente cada punto Pc Sistema de coordenadas expresado en Imagen 2D coordenadas cámara 3D se Sistema de proyecta Tp para obtener un Coordenadas punto pi de la Cámara 3D imagen 2D (división por z) Realidad Aumentada | María José Abásolo | Facultad Inform
  73. 73. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes pi:punto 2D de la imagen en pixeles x y Pc: punto 3D en coordenadas cámara /Zc Zcx Zcy Zc = Tp (3x4) Xc Yc Zc 1 Matriz de proyección Realidad Aumentada | María José Abásolo | Facultad Inform
  74. 74. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  Pc puede expresarse en base a Pm pi: punto 2D de la imagen en pixeles x y Pc: punto 3D en coordenadas cámara /Zc Zcx Zcy Zc = Tp (3x4) Xc Yc Zc 1 Matriz de proyección Realidad Aumentada | María José Abásolo | Facultad Inform
  75. 75. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes pi: punto 2D de la imagen en pixeles x y Pm:punto 3D en coordenadas mundo /Zc = Zcx Zcy Zc Tp (3x4) Tcc 4x4 Xm Ym Zm 1 Matriz de proyección Matriz de transformaciones Realidad Aumentada | María José Abásolo | Facultad Inform geométricas
  76. 76. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  De esta forma las transformaciones geométricas seguidas de una proyección se expresan como multiplicación de matrices pi:punto 2D de la imagen en pixeles x y Pm:punto 3D en coordenadas mundo /Zc = Zcx Zcy Zc Tp (3x4) Tcc 4x4 Xm Ym Zm 1 Matriz de proyección Matriz de transformaciones Realidad Aumentada | María José Abásolo | Facultad Inform geométricas
  77. 77. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  pi: punto 2D de la imagen en pixeles Conociendo la matriz de proyección y la matriz de transformaciones geométricas, a partir de cada punto 3D Pm del mundo se calcula cada punto 2D pi en la imagen Tp x y /Zc = f.mx 0 ox 0 0 f.my oy 0 0 0 1 0 Zcx Zcy Zc Pm: punto 3D en coordenadas mundo Tcc r11 r21 r31 0 r12 r22 r32 0 r13 r23 r33 0 dx dy dz 1 Xm Ym Zm 1 Matriz de proyección Matriz de transformaciones Realidad Aumentada | María José Abásolo | Facultad Inform geométricas
  78. 78. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  Esta es la expresión matemática del proceso de formación de imágenes pi: punto 2D de la imagen en pixeles Tp x y /Zc = f.mx 0 ox 0 0 f.my oy 0 0 0 1 0 Zcx Zcy Zc Pm: punto 3D en coordenadas mundo Tcc r11 r21 r31 0 r12 r22 r32 0 r13 r23 r33 0 dx dy dz 1 Xm Ym Zm 1 Matriz de proyección Matriz de transformaciones Realidad Aumentada | María José Abásolo | Facultad Inform geométricas
  79. 79. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  Proceso directo: conociendo la matriz de proyección y la matriz de transformaciones geométricas, a partir de cada punto Pm del mundo 3D se calcula cada punto pi en la imagen 2D  En computación gráfica las imágenes o vistas de una escena se obtienen aplicando a cada punto 3D la multiplicación por las matrices Realidad Aumentada | María José Abásolo | Facultad Inform
  80. 80. M3- Fundamentos teóricos Formación de imágenes Diagrama conceptual de RA captura tracking Posición y orientación Video o visión directa del mundo real generador de escena virtual Proyección de la escena virtual (gráficos 3d) Proceso de formación de imágenes combinador Imagen real + objetos virtuales Realidad Aumentada | María José Abásolo | Facultad Inform registrados
  81. 81. M3- Fundamentos teóricos Formación de imágenes  Se    dijo que en RA Se tiene un mundo real donde situamos un sistema de coordenadas 3D de referencia Se tiene un mundo sintético 3D Se deben “registrar” las imágenes sintéticas en el mundo real, quiere decir que se debe referenciar el mundo sintético 3D en el sistema de coordenadas 3D en el mundo real Realidad Aumentada | María José Abásolo | Facultad Inform
  82. 82. M3- Fundamentos teóricos Formación de imágenes  En RA, para poder combinar objetos virtuales con la realidad de forma registrada se deben conocer   la matriz de transformaciones geométricas: equivale a conocer la posición y orientación del usuario en el sistema de referencia, que se obtienen con el tracking la matriz de proyección: en el caso en que el usuario visualice la escena real capturada por una cámara se deben conocer o estimar las características de dicha cámara (proceso de CALIBRACIÓN) Realidad Aumentada | María José Abásolo | Facultad Inform
  83. 83. M3- Fundamentos teóricos Formación de imágenes  En RA   Conocidas las matrices se aplica el proceso descripto para computación gráfica para generar la imagen sintética que se combinará con la escena real Este proceso se realiza en cada instante ya que la posición y orientación del usuario pueden cambiar continuamente Realidad Aumentada | María José Abásolo | Facultad Inform
  84. 84. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  Proceso inverso: ¿es posible a partir de un punto de la imagen pi deducir el punto 3D Pm del mundo?  NO, a partir de UNA sola imagen y SIN conocimiento adicional de la escena no es posible deducir el punto 3D. Ya se dijo que la proyección es un proceso irreversible Realidad Aumentada | María José Abásolo | Facultad Inform
  85. 85. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  Proceso inverso: ¿es posible a partir de un punto de la imagen pi deducir el punto 3D Pm del mundo?  SI, es posible calcular el punto 3D si se conocen: MÁS DE UNA IMAGEN de la escena tomadas desde diferentes puntos de vista,  la matriz de proyección, y  relaciones entre las diferentes imágenes en forma de pares de puntos correspondientes Este proceso se aplica para la reconstrucción 3D a partir de fotografías, denominado fotogrametría   Realidad Aumentada | María José Abásolo | Facultad Inform
  86. 86. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  Proceso inverso: a partir de la imagen ¿es posible deducir la matrices de proyección y la matriz de transformaciones geométricas?  SI, es posible calcular una de las dos matrices conociendo  la otra matriz, además de  conocer la asociación entre imagen y modelo 3D en forma de pares de puntos correspondientes Realidad Aumentada | María José Abásolo | Facultad Inform
  87. 87. M3- Fundamentos teóricos Formación de imágenes Proceso de formación de imágenes  Proceso inverso: a partir de la imagen ¿es posible deducir la matrices de proyección y la matriz de transformaciones geométricas?  Sección CALIBRACIÓN Sección  TRACKING VIDEOMETRICO En el proceso de calibración se deducirá la matriz de proyección a partir de varias imágenes En RA se deducirá la matriz de transformaciones geométricas en el tracking basado en visión Realidad Aumentada | María José Abásolo | Facultad Inform
  88. 88. M3- Fundamentos teóricos  Formación de imágenes  Tracking basado en visión  Calibración de cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  89. 89. Fundamentos de RA  Tracking     basado en visión Qué es el tracking videométrico Tracking de marcadores Tracking de características naturales Tracking híbrido Realidad Aumentada | María José Abásolo | Facultad Inform
  90. 90. Fundamentos de RA  Tracking     basado en visión Qué es el tracking videométrico Tracking de marcadores Tracking de características naturales Tracking híbrido Realidad Aumentada | María José Abásolo | Facultad Inform
  91. 91. M3- Fundamentos teóricos Tracking basado en visión Que es tracking videométrico  Tracking: el tracking es el seguimiento de un objeto para obtener su posición y orientación en relación a una referencia Realidad Aumentada | María José Abásolo | Facultad Inform
  92. 92. M3- Fundamentos teóricos Tracking basado en visión Diagrama conceptual de RA captura tracking Posición y orientación Video o visión directa del mundo real generador de escena virtual Proyección de la escena virtual (gráficos 3d) y otros elementos virtuales combinador Imagen real + objetos virtuales Realidad Aumentada | María José Abásolo | Facultad Inform registrados
  93. 93. M3- Fundamentos teóricos Tracking basado en visión Que es tracking videométrico  En RA, el tracking del usuario es necesario ya que conociendo su posición y orientación en relación a un sistema de coordenadas en la escena real se puede superponer la información sintética “registrada” (es decir, considerando el mismo sistema de coordenadas) Realidad Aumentada | María José Abásolo | Facultad Inform
  94. 94. M3- Fundamentos teóricos Tracking basado en visión Que es tracking videométrico  Tracking    puede realizarse Basado en dispositivos físicos Basado en visión Híbrido Realidad Aumentada | María José Abásolo | Facultad Inform
  95. 95. M3- Fundamentos teóricos Tracking basado en visión Que es tracking videométrico  Tracking   basado en visión También se denomina videométrico o basado en video (vision based, videometric, video based) En lugar de utilizar dispositivos físicos específicos para tracking, la posición y orientación de la cámara en relación a la escena real puede estimarse analizando el video capturado por la cámara utilizando técnicas de visión por computador Realidad Aumentada | María José Abásolo | Facultad Inform
  96. 96. M3- Fundamentos teóricos Tracking basado en visión Diagrama conceptual de RA captura tracking Posición y orientación El tracking basado en video utiliza la captura de la escena real Video o visión directa del mundo real generador de escena virtual Proyección de la escena virtual (gráficos 3d) y otros elementos virtuales combinador Imagen real + objetos virtuales Realidad Aumentada | María José Abásolo | Facultad Inform registrados
  97. 97. M3- Fundamentos teóricos Tracking basado en visión Que es tracking videométrico  El stream de video capturado por la cámara se usa simultáneamente:   como el fondo (video background) que ve el usuario en la pantalla (en caso de usar un dispositivo de visualización no transparente) para el tracking de la cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  98. 98. M3- Fundamentos teóricos Tracking basado en visión Que es tracking videométrico  El flujo de trabajo de una aplicación de RA con tracking basado en visión es el siguiente: a. Preprocesamiento: a.1. Calibración de la cámara a.2. Modelado de la escena virtual b. Procesamiento: b.1. Inicializaciones: b.1.1. Definir matriz de proyección. b.1.2. Carga de la escena virtual b.2. Procesamiento de cada cuadro de video: b.2.1. Captura de cuadro de video b.2.2. Estimación de la posición y orientación de la cámara b.2.3. Visualización de la escena aumentada Realidad Aumentada | María José Abásolo | Facultad Inform
  99. 99. M3- Fundamentos teóricos Fundamentos de RA  Tracking     basado en visión Qué es el tracking videométrico Tracking de marcadores Tracking de características naturales Tracking híbrido Realidad Aumentada | María José Abásolo | Facultad Inform
  100. 100. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Un marcador es una imagen 2D impresa con un formato específico conocido por la aplicación de tracking Realidad Aumentada | María José Abásolo | Facultad Inform
  101. 101. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  En el capítulo anterior se vieron los diferentes tipos de marcadores más conocidos    Template ID-Marker DataMatrix y QRCode Realidad Aumentada | María José Abásolo | Facultad Inform
  102. 102. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores    El marcador es un objeto real del que se conocen, por construcción, sus puntos 3D en un sistema de coordenadas local al marcador A partir del análisis de cada imagen del video, pueden localizarse puntos 2D del marcador Se hacen corresponder los puntos 2D localizados con los puntos 3D conocidos del marcador, y a partir de las correspondencias se puede estimar la posición y orientación del marcador en relación a la cámara (matriz de transformaciones geométricas) Realidad Aumentada | María José Abásolo | Facultad Inform
  103. 103. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Ventajas   de tracking de marcadores: Robusta Computacionalmente eficiente  Desventajas  de tracking de marcadores: Los marcadores son visibles para los usuarios interfiriendo con la escena real Realidad Aumentada | María José Abásolo | Facultad Inform
  104. 104. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores Workflow de una aplicación de RA con tracking de marcadores Realidad Aumentada | María José Abásolo | Facultad Inform
  105. 105. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores Workflow de una aplicación de RA con tracking de marcadores CAPTURA DE VIDEO REAL La cámara captura el video stream Realidad Aumentada | María José Abásolo | Facultad Inform
  106. 106. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores Workflow de una aplicación de RA con tracking de marcadores El video stream capturado se renderizará como fondo para generar el efecto see-through y se analizará posteriormente para tracking Realidad Aumentada | María José Abásolo | Facultad Inform
  107. 107. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores Workflow de una aplicación de RA con tracking de marcadores DETECCIÓN E IDENTIFICACIÓN DE MARCADORES EN CADA FRAME En cada frame capturado se aplica un algoritmo de detección de marcadores (basado en detección de rectángulos) seguido de una identificación del marcador. En esta fase se compensa también la Realidad Aumentada | de la imagen capturada. distorsión María José Abásolo | Facultad Inform
  108. 108. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores Workflow de una aplicación de RA con tracking de marcadores ESTIMACIÓN DE “POSE” DE CADA MARCADOR DETECTADO Si se detectaron marcadores, se aplica para cada uno un algoritmo de estimación de la matriz 4x4 que expresa la traslación y orientación del marcador con respecto al sistema de coordenadas cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  109. 109. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores Workflow de una aplicación de RA con tracking de marcadores DIBUJO DE OBJETOS VIRTUALES 3D La matriz de posición y orientación estimada puede usarse para dibujar objetos virtuales de manera registrada con el mundo real. La cámara virtual tiene que tener las mismas características que la real. Realidad Aumentada | María José Abásolo | Facultad Inform
  110. 110. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores Workflow de una aplicación de RA con tracking de marcadores RESULTADO El usuario ve en su pantalla el resultado final: superposición del video capturado con los objetos virtuales superpuestos Realidad Aumentada | María José Abásolo | Facultad Inform
  111. 111. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Volviendo a la formación de imágenes… Sistema de Coordenadas Mundo 3D Sistema de coordenadas Imagen 2D Sistema de Coordenadas Cámara 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  112. 112. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  ¿Qué conocemos? Sistema de coordenadas Imagen 2D Se conoce el marcador en el mundo real en un sistema local. No conoce su posición y orientación Sistema de Coordenadas Cámara 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  113. 113. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  ¿Qué conocemos? Se conoce una imagen que capturó la cámara real que puede tener distorsión Imagen proyectada “IDEAL” sin distorsión Imagen capturada por la cámara real Mediante la CALIBRACIÓN de la cámara es posible obtener la distorsión para poder corregir la imagen Aumentada Realidadcapturada | María José Abásolo | Facultad Inform
  114. 114. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Distorsión radial Realidad Aumentada | María José Abásolo | Facultad Inform
  115. 115. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Distorsión de la imagen capturada Realidad Aumentada | María José Abásolo | Facultad Inform
  116. 116. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  ¿Qué conocemos? También mediante la CALIBRACIÓN pueden conocerse los parámetros intrínsecos de la cámara y en consecuencia la matriz de proyección. Cámara real Realidad Aumentada | María José Abásolo | Facultad Inform
  117. 117. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Incógnita Sistema de Coordenadas Mundo 3D Esta es la incógnita: la matriz de transformación que expresa la traslación y rotación del marcador con respecto al sistema de coordenadas cámara Sistema de coordenadas Imagen 2D Sistema de Coordenadas Cámara 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  118. 118. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  x y Ecuaciones /Z c Zc x Zc y Zc = Tp (3x4) x’ y’ Punto 2D en la imagen distorsionada del marcador (compensar la distorsión) p: Punto 2D en la imagen ideal del marcador Los puntos en la imagen se extraen por técnicas de visión Matriz de Proyección de la cámara obtenida por CALIBRACIÓN Realidad Tcc (4x4) ? Xm Ym Zm 1 Pc: punto 3D del marcador en el sistema de coordenadas de la cámara Pm: punto 3D del marcador en el sistema de coordenadas del marcador (se conoce por construcción) INCÓGNITA: Matriz 4x4 con la traslación y rotación del marcador en relación al sistema de coordenadas cámara (?) Aumentada | María José Abásolo | Facultad Inform
  119. 119. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores 1. Preprocesamiento: calibración de la cámara   2. Conocer la distorsión Conocer la matriz de proyección Procesamiento de cada frame 1. 2. 3. Localizar marcadores Estimar la matriz de transformación de cada marcador Rendering de la escena mixta utilizando la matriz estimada para superponer objetos en el lugar del marcador Realidad Aumentada | María José Abásolo | Facultad Inform
  120. 120. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores 1. Preprocesamiento: calibración de la cámara   2. Conocer la distorsión Conocer la matriz de proyección Procesamiento de cada frame 1. 2. 3. Localizar marcadores Estimar la matriz de transformación de cada marcador Rendering de la escena mixta utilizando la matriz estimada para superponer objetos en el lugar del marcador Realidad Aumentada | María José Abásolo | Facultad Inform
  121. 121. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Localizar marcadores en cada frame  Ejemplo: Librería de RA ARToolkit (ARTK) Hirokazu Kato, Mark Billinghurst. Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System. Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). pages 85-94, 1999, USA. Realidad Aumentada | María José Abásolo | Facultad Inform
  122. 122. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Localizar marcadores en cada frame  Librería de RA ARToolkit (ARTK) Realidad Aumentada | María José Abásolo | Facultad Inform
  123. 123. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Localizar marcadores en cada frame  Librería de RA ARToolkit (ARTK) 1. Umbralización (thresholding) y detección de bordes Realidad Aumentada | María José Abásolo | Facultad Inform
  124. 124. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Localizar marcadores en cada frame  Librería de RA ARToolkit (ARTK) 2. Búsqueda de cuadriláteros:    Se extraen las regiones cuyo contorno son 4 segmentos Las regiones muy grandes o pequeñas se rechazan Se extraen los parámetros de los 4 segmentos y las coordenadas de los 4 vértices Realidad Aumentada | María José Abásolo | Facultad Inform
  125. 125. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Localizar marcadores en cada frame  Librería de RA ARToolkit (ARTK) 3. Se normaliza el interior de cada marcador usando una transformación perspectiva Realidad Aumentada | María José Abásolo | Facultad Inform
  126. 126. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Localizar marcadores en cada frame  Librería de RA ARToolkit (ARTK) 4. Las imágenes normalizadas se chequean contra una serie de patrones conocidos (4 comparaciones por correlación con cada marcador de la base de datos para considerar las posibles rotaciones de 90º) Realidad Aumentada | María José Abásolo | Facultad Inform
  127. 127. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores 1. Preprocesamiento: calibración de la cámara   2. Conocer la distorsión Conocer la matriz de proyección Procesamiento de cada frame 1. 2. 3. Localizar marcadores Estimar la matriz de transformación de cada marcador Rendering de la escena mixta utilizando la matriz estimada para superponer objetos en el lugar del marcador Realidad Aumentada | María José Abásolo | Facultad Inform
  128. 128. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Estimar la matriz de transformación de cada marcador   Dados los 4 pares correspondientes Pm y p  Pm = (Xm, Ym, Zm), vértice del marcador en sistema de coordenadas mundo  p = (x, y), vértice del marcador en la imagen Objetivo: estimar Tcc  Pc = (Xc, Yc, Zc), vértice del marcador en sistema de coordenadas cámara  Pc = Tcc Pm  Relación: Pc proyectado y dividido por z es p Realidad Aumentada | María José Abásolo | Facultad Inform
  129. 129. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Proceso iterativo de optimización: se minimiza una función de error Error = ¼ Ʃ (xi – qxi)2 + (yi – qyi)2 i=1..4 Realidad Aumentada | María José Abásolo | Facultad Inform
  130. 130. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores 1. 2. 3. 4. 5. Inicialización: estimación inicial de la matriz de transformación Tcc0 Usar la estimación actual Tcc para calcular qi=(qxi,qyi), las proyecciones de cada vértice Pmi del marcador qi= Tcc Pmi Calcular el error ¼ Ʃ (xi – qxi)2 + (yi – qyi)2 Calcular las correcciones ΔTx, ΔTy, ΔTz de los parámetros de traslación y las correcciones Δμx, Δμy, Δμz para los ángulos de rotación. Actualizar la matriz de transformaciones geométricas Tcc Repetir paso 2 a 4 hasta converger Realidad Aumentada | María José Abásolo | Facultad Inform
  131. 131. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores 1. Preprocesamiento: calibración de la cámara   2. Conocer la distorsión Conocer la matriz de proyección Procesamiento de cada frame 1. 2. 3. Localizar marcadores Estimar la matriz de transformación de cada marcador Rendering de la escena mixta utilizando la matriz estimada para superponer objetos en el lugar del marcador Realidad Aumentada | María José Abásolo | Facultad Inform
  132. 132. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores 1. Preprocesamiento: calibración de la cámara   2. Conocer la distorsión Conocer la matriz de proyección Procesamiento de cada frame 1. 2. 3. Localizar marcadores Estimar la matriz de transformación de cada marcador Rendering de la escena mixta utilizando la matriz estimada para superponer objetos en el lugar del marcador Realidad Aumentada | María José Abásolo | Facultad Inform
  133. 133. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Técnicas de tracking incrementales   El algoritmo de tracking de marcadores presentado anteriormente exige la visibilidad total del marcador en cada cuadro de video Las técnicas de tracking incrementales permiten seguir teniendo la posición y orientación aún cuando los marcadores se pierden o son tapados Realidad Aumentada | María José Abásolo | Facultad Inform
  134. 134. M3- Fundamentos teóricos Tracking basado en visión Tracking de marcadores  Técnicas de tracking incrementales  Wagner Daniel et al. Robust and Unobtrusive Marker Tracking on Mobile Phones. International Symposium on Mixed and Augmented Reality 2008  Analiza dos técnicas para recuperar la posición del marcador ocluido  El flujo óptico  Seguimiento de características  Video demostrativo http://www.youtube.com/watch?v=HgrJ3gwwP94 Realidad Aumentada | María José Abásolo | Facultad Inform
  135. 135. M3- Fundamentos teóricos Fundamentos de RA  Tracking     basado en visión Qué es el tracking videométrico Tracking de marcadores Tracking de características naturales Tracking híbrido Realidad Aumentada | María José Abásolo | Facultad Inform
  136. 136. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales    A veces no se puede o no se desea poner marcadores en una escena. Sin embargo, en una imagen hay muchas características o puntos de interés que pueden extraerse para proveer una descripción de un objeto de interés En ese caso se pueden realizar el seguimiento de características naturales presentes en la imagen de la escena como son bordes, esquinas y texturas Realidad Aumentada | María José Abásolo | Facultad Inform
  137. 137. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Clasificación de los algoritmos de tracking de características naturales:  Con conocimiento de la escena real    requieren modelo 3D del objeto a seguir requieren una imagen ya guardada y analizada Sin conocimiento de la escena real  estos algoritmos no necesitan ningún conocimiento previo de la escena real Realidad Aumentada | María José Abásolo | Facultad Inform
  138. 138. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Los algoritmos CON conocimiento de la escena real requieren una inicialización a priori en la que guardan una imagen o vista de un objeto que usarán como referencia, ya que se conoce o establece la posición y orientación de la cámara para esa imagen Realidad Aumentada | María José Abásolo | Facultad Inform
  139. 139. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Los algoritmos CON conocimiento de la escena real pueden a su vez clasificarse en dos grandes categorías:  Short baseline-matching   Comparan el frame actual con el frame anterior, por esto son “short” dado que la variación de la posición y orientación de la cámara de un frame a otro es “corta” Wide baseline-matching  Comparan el frame actual con el frame de referencia, entre los cuales puede haber una “amplia” variación de la posición y orientación de la cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  140. 140. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Dentro de estas dos categorías se encuentran diferentes algoritmos:  Short baseline-matching    Métodos basados en bordes Métodos basados en texturas Wide baseline-matching  Métodos basados en detección Realidad Aumentada | María José Abásolo | Facultad Inform
  141. 141. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Clasificación de los algoritmos de tracking de características naturales:  Con conocimiento de la escena  Short baseline-matching    Wide baseline-matching   Métodos basados en bordes Métodos basados en texturas Métodos basados en detección Sin conocimiento de la escena  SLAM (Simultaneous Localization and Mapping) Realidad Aumentada | María José Abásolo | Facultad Inform
  142. 142. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en bordes  Fueron los primeros enfoques ya que son eficientes y fáciles de implementar  RAPiD (Real-time Attitude and Position Determination) presentado por Harris (1992)  Fue uno de los primeros trackers en tiempo real, y se han desarrollado diversas mejoras para hacerlo más robusto Realidad Aumentada | María José Abásolo | Facultad Inform
  143. 143. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en bordes  RAPiD La idea básica es considerar un conjunto de puntos de control 3D en el objeto a seguir que pertenezcan a bordes del objeto  Se requiere conocimiento del objeto en 3D (por esto el algoritmo es basado en el modelo o “model-based”)  Realidad Aumentada | María José Abásolo | Facultad Inform
  144. 144. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en bordes  RAPiD   El movimiento 3D del objeto entre dos frames consecutivos puede recuperarse a partir del desplazamiento 2D de los puntos de control en las imágenes El algoritmo exige una inicialización donde se registra el modelo con la imagen para comenzar con un valor válido de la matriz de transformaciones geométricas T0. Realidad Aumentada | María José Abásolo | Facultad Inform
  145. 145. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en bordes  RAPiD  En cada cuadro, se realiza lo siguiente:      Predecir la matriz de transformaciones geométricas Tj que representa la posición y orientación de los puntos de control Pi del objeto en relación a la cámara, a partir de la matriz de transformaciones geométricas del cuadro anterior Tj-1. Usar la estimación actual Tj para calcular las proyecciones qi de cada punto de control Pi Localizar en la imagen los puntos de control efectivos pi (suelen ser parámetros que definen los bordes) Calcular el error que existe entre los puntos de control efectivos y los puntos de control proyectados (error=distancia (q,p)) Ajustar la posición y orientación predichas resolviendo un sistema lineal minimizando las distancias al cuadrado entre los puntos de control efectivos y los puntos de control proyectados Realidad Aumentada | María José Abásolo | Facultad Inform
  146. 146. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en bordes   Un problema es que pueden existir bordes (y en consecuencia puntos de control) extraidos erroneamente Algoritmos que agregan robustez a RAPiD:      Vaccetti et al (2004) Combining edge and texture information for real time accurate 3D camera tracking. ISMAR 2004 Drummond & Cipolla (2002) Real time visual tracking of complex structures. PAMI, 27(7) Marchand et al(2001) A 2D-3D model-based approach to real time visual tracking. Journal of Image and Vision Computing, 19(13) Simon & Berger (1998) A two stage robust statistical method for temporal registration from features of various types. Proc. Int. Conf on Comp Vision. Amstrong & Zisserman (1995) Robust object tracking. Proc. Of the Asian Conf. on Comp Vision Realidad Aumentada | María José Abásolo | Facultad Inform
  147. 147. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Clasificación de los algoritmos de tracking de características naturales:  Con conocimiento de la escena  Short baseline-matching    Wide baseline-matching   Métodos basados en bordes Métodos basados en texturas Métodos basados en detección Sin conocimiento de la escena  SLAM (Simultaneous Localization and Mapping) Realidad Aumentada | María José Abásolo | Facultad Inform
  148. 148. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en texturas  Si se cuenta con escenas donde el o los objetos a seguir están suficientemente texturados puede extraerse información a partir de la textura de los mismos.  Se requiere un modelo 3D del objeto a seguir (model-based) Realidad Aumentada | María José Abásolo | Facultad Inform
  149. 149. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en texturas  La información de textura puede derivarse del flujo óptico o de correspondencias entre puntos de interés.   Los métodos basados en flujo óptico tratan de estimar el movimiento entre dos cuadros de video consecutivos. Los métodos basados en correspondencias entre puntos de interés, calcula el movimiento de la cámara mediante una minimización de cuadrados mínimos o mediante estimación robusta a partir de los pares de puntos correspondientes en cuadros sucesivos. Realidad Aumentada | María José Abásolo | Facultad Inform
  150. 150. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en texturas  Los métodos basados en puntos de interés seleccionan puntos mediante un “operador de interés”:     Los puntos deben diferentes de sus vecinos (por esto los puntos de bordes quedan excluidos) Los puntos de patrones repetitivos deben rechazarse La selección debe repetirse, es decir, en varias vistas de la escena debe seleccionarse el mismo punto de interés independientemente de la perspectiva o el ruido La extracción de puntos de interés debe ser insensible a cambios de escala, puntos de vista e iluminación Realidad Aumentada | María José Abásolo | Facultad Inform
  151. 151. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en texturas  Dados dos cuadros de video con puntos de vista similares, un procedimiento clásico para este tipo de tracking consiste en:  Seleccionar puntos de interés en la primera imagen, de la cual la posición y orientación de la cámara ya ha sido estimada previamente  Para cada punto seleccionado en la primera imagen, buscar el punto correspondiente en una región alrededor del punto en la segunda imagen  A partir de las correspondencias encontradas deducir el cambio de posición y orientación en 3D a partir de sus distancias en la imagen. Realidad Aumentada | María José Abásolo | Facultad Inform
  152. 152. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en texturas  Si las coordenadas 3D de los puntos no se conoce a priori los métodos están sujetos a errores que producen fallas de tracking  Una solución es inicializar “a mano” comenzando con un frame donde se hacen corresponder un modelo 3D con los puntos correspondientes en la imagen (se registra) Realidad Aumentada | María José Abásolo | Facultad Inform
  153. 153. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Clasificación de los algoritmos de tracking de características naturales:  Con conocimiento de la escena  Short baseline-matching    Wide baseline-matching   Métodos basados en bordes Métodos basados en texturas Métodos basados en detección Sin conocimiento de la escena  SLAM (Simultaneous Localization and Mapping) Realidad Aumentada | María José Abásolo | Facultad Inform
  154. 154. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Existe una similitud entre dos problemas de visión por computador:    Detección de objetos Estimación de la posición y orientación a partir de características naturales Algunos enfoques solucionan ambos a la vez: simultáneamente detectan objetos y estiman su posición y orientación 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  155. 155. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Cada punto de interés se describe mediante un vector de características (denominado descriptor local ya que caracteriza la vecindad del punto) Realidad Aumentada | María José Abásolo | Facultad Inform
  156. 156. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Los métodos de tracking basados en la detección en base a características constan de los siguientes pasos:  Preprocesamiento off-line o entrenamiento: Se tienen imágenes de entrenamiento. Por cada imagen de entrenamiento:  a.1. Localizar puntos de interés en la imagen de entrenamiento  a.2. Calcular el vector de características de cada punto de interés  a.3. Vincular cada punto de interés en la imagen con su correspondiente en el modelo 3D  a.4. Almacenar en la base de datos el vector de características con la ubicación 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  157. 157. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Los métodos de tracking basados en la detección en base a características constan de los siguientes pasos:  Procesamiento: Por cada cuadro del video capturado:  b.1. Localizar los puntos de interés en la imagen  b.2. Describir cada punto de interés mediante un vector de características  b.3. Hacer corresponder cada vector de características con los vectores almacenados en la base de datos.  b.4. Estimar la posición y orientación a partir de las correspondencias más cercanas. Realidad Aumentada | María José Abásolo | Facultad Inform
  158. 158. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  SIFT (Scale-invariant feature transform)  Lowe, D. G., “Distinctive Image Features from ScaleInvariant Keypoints”, International Journal of Computer Vision, 60, 2, pp. 91-110, 2004.  Es uno de los más eficientes descriptores de puntos de interés:   invariante a cambios de escala, orientación, distorsión y parcialmente invariante a cambios de iluminación permite identificar objetos con oclusiones parciales Realidad Aumentada | María José Abásolo | Facultad Inform
  159. 159. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección   Se dijo que cada punto de interés se describe mediante un vector de características Entre los descriptores más usados encontramos:   SIFT SURF Realidad Aumentada | María José Abásolo | Facultad Inform
  160. 160. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  SIFT Vector de características  La vecindad o región del punto de interés se divide en subregiones (3x3 o 4x4), cada una define una parte del vector de características  Para cada subregión se calcula el histograma de orientaciones de gradiente (4 u 8 orientaciones) y se toma como característica el pico del histograma   Por ejemplo: computando el histograma de 8 orientaciones en 4x4 subregiones da un vector de 128 características Finalmente el vector de características se normaliza para reducir los efectos de cambios de iluminación Realidad Aumentada | María José Abásolo | Facultad Inform
  161. 161. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Implementación de SIFT para tracking   Skrypnyk and Lowe (2004) Scene modelling, recognition, and tracking with invariant image features. ISMAR 2004 Video demostrativo http://www.cs.ubc.ca/˜skrypnyk/arproject Realidad Aumentada | María José Abásolo | Facultad Inform
  162. 162. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Wagner Daniel et al. Pose Tracking from Natural Features on Mobile Phones International Symposium on Mixed and Augmented Reality - http://www.icg.tugraz.ac.at/pub/pdf/WAGNER_ISMAR08_ NFT.pdf    Tracking basado en características naturales 6DOF en tiempo real corriendo en un dispositivo móvil Adapta SIFT para su uso en dispositivos móviles Video demostrativo:  http://www.youtube.com/watch?v= mwrHlJok2lA Realidad Aumentada | María José Abásolo | Facultad Inform
  163. 163. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  SURF (Speeded Up Robust Features)    Es un detector y descriptor de características robusto Inspirado en el descriptor SIFT. Según los autores es más robusto a cambios de transformaciones y más rápido SURF usa como característica básica usa la transformada Wavelet de Haar del determinante del detector de “blobs” Hessian. Se basa en sumas de respuestas a la transformada de Haar. Realidad Aumentada | María José Abásolo | Facultad Inform
  164. 164. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  SURF (Speeded Up Robust Features)  Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359, 2008 Realidad Aumentada | María José Abásolo | Facultad Inform
  165. 165. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Implementación  de SURF Christopher Evans Notes on the OpenSURF Library, MSc Computer Science, University of Bristol http://www.cs.bris.ac.uk/Publications/pub_master.jsp?i Realidad Aumentada | María José Abásolo | Facultad Inform
  166. 166. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  Implementación de SURF para dispositivos móviles  Takacs, G., Chandrasekhar, V., Gelfand, N., Xiong, Y., Chen, W.-C.,Bismpigiannis, T., Grzeszczuk, R., Pulli, K., and Girod, B., Outdoors Augmented Reality on Mobile Phone using Loxel-Based Visual Feature Organization, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2008 Realidad Aumentada | María José Abásolo | Facultad Inform
  167. 167. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales Métodos de tracking basados en detección  SURF  Videos demostrativos   http://vimeo.com/groups/augmentedreality/videos/4990304 http://www.youtube.com/watch?v=caFHvamMUTw&feature Realidad Aumentada | María José Abásolo | Facultad Inform
  168. 168. M3- Fundamentos teóricos Tracking basado en visión Tracking de características naturales  Clasificación de los algoritmos de tracking de características naturales:  Con conocimiento de la escena  Short baseline-matching    Wide baseline-matching   Métodos basados en bordes Métodos basados en texturas Métodos basados en detección Sin conocimiento de la escena  SLAM (Simultaneous Localization and Mapping) Realidad Aumentada | María José Abásolo | Facultad Inform
  169. 169. M3- Fundamentos teóricos Tracking sin conocimiento de la escena  SLAM (Simultaneous Localization and Mapping)     Tracking en escenas desconocidas Thrun et al (2004) se deduce la estructura del ambiente sino que al mismo tiempo establece una correlación de la misma con la posición y orientación de la cámara. Reitmayr et al (2010) presenta posibles usos de SLAM en RA Realidad Aumentada | María José Abásolo | Facultad Inform
  170. 170. M3- Fundamentos teóricos Tracking sin conocimiento de la escena  PTAM (Parallel Tracking and Mapping) se ejecuta en tiempo real tanto en PC como en móviles     Klein, G. and Murray, D. “Parallel Tacking and Mapping for small AR workspaces” (2007) Proceedings of 6th IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR 2007) Klein, G. & Murray, D. (2009) “Parallel Tracking and Mapping (PTAM) on a Camera Phone” Proceedings of 8th IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR 2009) Wagner, D.; Mulloni, A.; Langlotz, T. and Schmalstieg, D. (2010) “Real-time Panoramic Mapping and Tracking on Mobile Phones”, Proceedings of IEEE Virtual Reality Conference 2010 (VR’10). Video http://www.robots.ox.ac.uk/~gk/youtube.html Realidad Aumentada | María José Abásolo | Facultad Inform
  171. 171. M3- Fundamentos teóricos Fundamentos de RA  Tracking     basado en visión Qué es el tracking videométrico Tracking de marcadores Tracking de características naturales Tracking híbrido Realidad Aumentada | María José Abásolo | Facultad Inform
  172. 172. M3- Fundamentos teóricos Tracking videométrico Tracking híbrido  Tracking híbrido   Técnicas que combinan la salida de dispositivos físicos y el análisis de video Los sensores (inerciales, giroscopios, GPS) permiten predecir la posición de la cámara y se refina utilizando técnicas de visión    El tracking basado en visión es lento pero estable a largo plazo. Falla en movimientos rápidos El tracking inercial es rápido pero puede tener acumulación de errores a largo plazo Efectivo para aplicaciones que requieren posicionar la cámara con respecto a una escena estática, pero no se aplica al tracking de objetos en movimiento con una cámara estática Realidad Aumentada | María José Abásolo | Facultad Inform
  173. 173. M3- Fundamentos teóricos Tracking videométrico Tracking híbrido  Técnicas que combinan la salida de dispositivos físicos y el análisis de video     Jiang et al (2004) A robust tracking system for outdoor augmented reality. IEEE Virtual Reality Conf 2004 Foxlin & Naimark (2003) Miniaturization, calibration and accuracy evaluation of hybrid self-tracker. ISMAR 2003 Klein & Drummond (2003). Robust visual tracking for noninstrumented augmented reality. ISMAR 2003 Ribo & Lang (2003). Hybrid Tracking for outdoor augmented reality applications. Computer Graphics and applications. Realidad Aumentada | María José Abásolo | Facultad Inform
  174. 174. M3- Fundamentos teóricos  Formación de imágenes  Tracking basado en visión  Calibración de cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  175. 175. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Los parámetros intrínsecos de una cámara real dada pueden estimarse mediante un proceso denominado CALIBRACIÓN Realidad Aumentada | María José Abásolo | Facultad Inform
  176. 176. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Según el modelo elegido, la cámara se describe mediante una serie de parámetros:  Intrínsecos:    Describen la geometría y óptica del conjunto cámara y tarjeta de adquisición de imágenes. Afectan al proceso que sufre un rayo luminoso desde que alcanza la lente del objetivo, impresiona el elemento sensible y se convierte en píxel iluminado. Extrínsecos:  Describen la posición y orientación de la cámara en el sistema de coordenadas conocido denominado sistemas de coordenadas mundo. Realidad Aumentada | María José Abásolo | Facultad Inform
  177. 177. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Generalmente el conjunto cámara y tarjeta de adquisición se describe mediante los siguientes parámetros:   Parámetros Intrínsecos  Distancia focal: f  Distorsiones: Dx, Dy  Centro de la imagen: ox, oy  Factores de escala o tamaño pixel: mx, my Parámetros Extrínsecos  Traslación: Tx,Ty,Tz  Rotación: Rx, Ry, Rz Realidad Aumentada | María José Abásolo | Facultad Inform
  178. 178. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Calibración  [Tsai, 1987] Proceso mediante el cual se calculan los parámetros intrínsecos y/o extrínsecos de la cámara, a partir de un conjunto de puntos de control, conocidas las coordenadas 3D de esos puntos y midiendo las correspondientes coordenadas 2D en una imagen obtenida con dicha cámara. Realidad Aumentada | María José Abásolo | Facultad Inform
  179. 179. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  En aplicaciones de realidad aumentada se necesita realizar la calibración de la cámara utilizada para conocer los parámetros intrínsecos   Conocer la matriz de proyección Tp Corregir las imágenes capturadas compensando distorsión que produce la cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  180. 180. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Puntos  de control Plantilla de puntos de los cuales se conocen las coordenadas 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  181. 181. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Puntos  de control Patrón de puntos y cuadrícula Realidad Aumentada | María José Abásolo | Facultad Inform
  182. 182. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Se conocen:   Se extraen:    Pmi las coordenadas 3D (sistema de coordenadas mundo) de los puntos de control pi las coordenadas 2D en una o más imágenes obtenidas con la cámara a calibrar de los correspondientes puntos de control Se plantean las ecuaciones que relacionan que relacionan las coordenadas mundo 3D y las coordenadas imagen 2D La calibración consiste en:  utilizar los pares de puntos 3D-2D correspondientes a un mismo punto de control para la resolución de ecuaciones Realidad Aumentada | María José Abásolo | Facultad Inform
  183. 183. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Ecuaciones Realidad Aumentada | María José Abásolo | Facultad Inform
  184. 184. M3- Fundamentos teóricos Formación de imágenes Calibración de cámara  Diversos métodos de resolución:    Lineales: DLT (Direct Linear Transform) De minimización no lineal En dos etapas (método de Roger Tsai) 1. 2. Calcula orientación y traslación X e Y Calcula la distancia focal, coeficientes de distorción y la traslación Z Realidad Aumentada | María José Abásolo | Facultad Inform
  185. 185. Calibración de cámara  Software de calibración      GML MatLab Camera Calibration Toolbox http://research.graphicon.ru/calibration/gml-matlab-camera-c GML C++ Camera Calibration Toolbox http://research.graphicon.ru/calibration/gml-c-camera-calibra Algoritmos implementados en las librerías ARToolkit www.hitl.washington.edu/artoolkit Zhang's Camera Calibration Method with Software http://research.microsoft.com/en-us/um/people/zhang/Calib/ Zhang's Camera Calibration and Tsai's Calibration http://www.cs.cmu.edu/~rgw/TsaiDesc.html Realidad Aumentada | María José Abásolo | Facultad Inform

×