M4 Librerias y software de authoring de RA

1,212 views
1,062 views

Published on

0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,212
On SlideShare
0
From Embeds
0
Number of Embeds
24
Actions
Shares
0
Downloads
45
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

M4 Librerias y software de authoring de RA

  1. 1. REALIDAD AUMENTADA Profesora: María José Abásolo Universidad Nacional de La Plata Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
  2. 2. Contenidos MÓDULO 1 Introducción a Realidad Aumentada (RA)  MÓDULO 2 Dispositivos de entrada y salida  MÓDULO 3 Fundamentos teóricos  MÓDULO 4 Librerías y authoring de RA  Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
  3. 3. Contenidos MÓDULO 1 Introducción a Realidad Aumentada (RA)  MÓDULO 2 Dispositivos de entrada y salida  MÓDULO 3 Fundamentos teóricos  MÓDULO 4 Librerías y authoring de RA  Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013
  4. 4. M4- Librerías y authoring de RA Software de RA  En la etapa de diseño de una aplicación de RA quedará definidas algunas cuestiones    Cómo visualizará la escena real aumentada el usuario Cómo se realizará el tracking del usuario Cómo será la interfaz de usuario Realidad Aumentada | María José Abásolo | Facultad Inform
  5. 5. M4- Librerías y authoring de RA Software de RA  Las aplicaciones de RA involucran la creación “a priori” de la información a aumentar  Edición de la información      Escena con objetos 3D Videos/imágenes Texto Sonidos Asociación de la información creada con una ubicación en el espacio real 3D Realidad Aumentada | María José Abásolo | Facultad Inform
  6. 6. M4- Librerías y authoring de RA Software de RA  Para crear o editar la información a “aumentar”  Podrán utilizarse las herramientas específicas de edición según el formato de la información   En caso de escenas 3D sencillas los programadores podrán hacerlo invocando las librerías gráficas La asociación de la información con una ubicación en el espacio real podrá hacerse   Mediante programación Mediante la utilización de una herramienta de autor específica Realidad Aumentada | María José Abásolo | Facultad Inform
  7. 7. M4- Librerías y authoring de RA Software de RA  Como vimos en el esquema de una aplicación de RA pueden existir las siguientes partes que se ejecutarán en tiempo real    Captura de la escena Seguimiento del usuario (tracking) Visualización (rendering) de la escena aumentada   Generación de la vista de la escena virtual (de acuerdo al resultado del tracking) Combinación de la escena real con la escena virtual Realidad Aumentada | María José Abásolo | Facultad Inform
  8. 8. M4- Librerías y authoring de RA Software de RA Esquema de RA captura tracking Posición y orientación Video o visión directa del mundo real generador de escena virtual Proyección de la escena virtual (gráficos 3d) y otros elementos virtuales combinador Imagen real + objetos virtuales Realidad Aumentada | María José Abásolo | Facultad Inform registrados
  9. 9. M4- Librerías y authoring de RA Software de RA Esquema de RA con tracking basado en visión captura tracking Posición y orientación Video o visión directa del mundo real generador de escena virtual Proyección de la escena virtual (gráficos 3d) y otros elementos virtuales combinador Imagen real + objetos virtuales Realidad Aumentada | María José Abásolo | Facultad Inform registrados
  10. 10. M4- Librerías y authoring de RA Software de RA  Para  crear una aplicación de RA Los programadores “expertos” pueden utilizar  Librerías de “bajo nivel” específicas para cada parte de la aplicación    Librerías de captura de video Librerías de tracking Librerías gráficas 3D “Frameworks” y “SDK” de aplicaciones de RA Algunas librerías son de código abierto permitiendo a los programadores su adaptación, otras en cambio son de libre uso pero no se puede acceder al código   Realidad Aumentada | María José Abásolo | Facultad Inform
  11. 11. M4- Librerías y authoring de RA Software de RA  Para  crear una aplicación de RA Los NO programadores pueden utilizar herramientas de autor para la creación de aplicaciones de RA Realidad Aumentada | María José Abásolo | Facultad Inform
  12. 12. M4- Librerías y authoring de RA Software de RA  Dentro las librerías y herramientas de autor podemos diferenciar  Aplicaciones para PC   Aplicaciones web Aplicaciones para teléfonos móviles Realidad Aumentada | María José Abásolo | Facultad Inform
  13. 13. M4- Librerías y authoring de RA Software de RA móviles      Los dispositivos móviles cuentan con menos capacidad de procesamiento y memoria que las PC Una de las restricciones importantes es la batería Entre los sistemas operativos más importantes se enumeran Symbian, Windows Mobile, Android, iOS (para Iphone) Pese a que las plataformas anteriores son programables son mutuamente incompatibles, lo que hace el diseño de software “cross-platform” más dificultoso Aún entre diferentes modelos de dispositivos que soportan el mismo sistema operativo puede haber pequeñas incompatibilidades del hardware de bajo nivel que requiere recompilación para cada modelo Realidad Aumentada | María José Abásolo | Facultad Inform
  14. 14. M4- Librerías y authoring de RA Software de RA móviles  Las aplicaciones tradicionales de RA que utilizaban dispositivos de visualización en la cabeza o HMD, dejaba las manos libres al usuario para interactuar con el contenido virtual mediante dispositivos como mouse, guantes digitales, o inclusive mediante gestos En las aplicaciones de RA que utilizan dispositivos sostenidos por las manos (handheld) el usuario mira a través de la pantalla del dispositivo y se necesita al menos una mano para sostenerlo. Por lo tanto, la interfaz de usuario de esas aplicaciones será diferente a las utilizadas por las aplicaciones tradicionales de RA.  Comunmente el usuario realizará las entradas mediante     Movimiento del dispositivo Teclado del dispositivo Lápiz o dedo sobre la pantalla táctil Realidad Aumentada | María José Abásolo | Facultad Inform
  15. 15. M4- Librerías y authoring de RA Software de RA móviles     El tracking en dispositivos “hand-held” fuerza ciertas restricciones no presentes en otras configuraciones basadas en PC Los sensores externos generalmente no son posibles ya además de su alto coste, los dispositivos móviles son pequeños y no tienen la interfase necesaria para conectarlos. Actualmente existen móviles con GPS y sensores como acelerómetros y giroscopios incorporados El software de tracking tiene que diseñarse específicamente para correr bajo estas plataformas restringidas Realidad Aumentada | María José Abásolo | Facultad Inform
  16. 16. M4- Librerías y authoring de RA Software de RA móviles   El tracking de marcadores (“fiducial markers”) es una de las estrategias más usadas ya que es robusta y computacionalmente eficiente El tracking basado en características naturales resulta más atractivo dado que no se necesita la invasión de marcadores. Pueden encontrarse implementaciones recientes de este tipo de tracking para teléfonos celulares Realidad Aumentada | María José Abásolo | Facultad Inform
  17. 17. M4- Librerías y authoring de RA Software de RA móviles  Existen implementaciones para móviles de tracking basado en seguimiento características naturales  Algoritmo SIFT Wagner Daniel et al. Pose Tracking from Natural Features on Mobile Phones International Symposium on Mixed and Augmented Reality http://www.icg.tu-graz.ac.at/pub/pdf/WAGNER_ISMAR08_NFT.pdf Algoritmo SURF  Takacs, G., Chandrasekhar, V., Gelfand, N., Xiong, Y., Chen, W.C.,Bismpigiannis, T., Grzeszczuk, R., Pulli, K., and Girod, B., Outdoors Augmented Reality on Mobile Phone using Loxel-Based Visual Feature Organization, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2008   Realidad Aumentada | María José Abásolo | Facultad Inform
  18. 18. M4- Librerías y authoring de RA Software de RA móviles  Características  de dispositivos móviles La tecnología cambia muy rápido y recientemente hubo un gran salto en los teléfonos celulares (2010-2011)    NVIDIA® Tegra™ 2 es el primer superchip destinado al mercado de los dispositivos móviles, ofrece alta capacidad multitarea gracias a la primera CPU de doble núcleo del sector CPU ARM Cortex-A9 dual core 1,2GHz , el rendimiento de juego de una consola gracias a su GPU NVIDIA® GeForce® ULP (muy bajo consumo). Otra opción similar ofrece el teléfonoc celular Samsung Galaxy SII con procesador Exynos 4210 doble núcleo 1.2GHz, 16Gb de memoria, integra un chip gráfico Mali400 El teléfono Iphone 4 cuenta con procesador Apple A4 fabricado por Samsung ARM Cortex A8 Core de 1 GHz, memoria de 16 o 32Mb, procesador gráfico PowerVR, sensores como giroscopio de 3 ejes, acelerómetro y localización vía AGPS y brújula digital Realidad Aumentada | María José Abásolo | Facultad Inform
  19. 19. M4- Librerías y authoring de RA Software de RA A continuación se enumerarán las librerías y herramientas de autor que dentro de este módulo detallaremos  Para una lista exhaustiva visitar la lista actualizada que mantiene Daniel Wagner http://www.icg.tugraz.at/Members/gerhard/augme nted-reality-sdks Realidad Aumentada | María José Abásolo | Facultad Inform
  20. 20. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Librerías de tracking basado en marcadores  ARToolkit   FLARToolkit NyARToolkit ARTag  ARToolkitPlus  Realidad Aumentada | María José Abásolo | Facultad Inform
  21. 21. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  Librerías de tracking basado en imágenes   para PC IN2AR Frameworks para programadores  StudierStube Realidad Aumentada | María José Abásolo | Facultad Inform
  22. 22. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Herramientas de autor para NO programadores  Amire Authoring Tool DART  Atomic    Atomic Web BuildAR Realidad Aumentada | María José Abásolo | Facultad Inform
  23. 23. M4- Librerías y authoring de RA Software de RA (móviles)  Aplicaciones   para teléfonos móviles Librerías de tracking basado en marcadores  ARToolkitPlus Librerías de tracking basado en imágenes String  Qualcomm AR Browsers de RA  Wikitude  Layar  junaio   Realidad Aumentada | María José Abásolo | Facultad Inform
  24. 24. M4- Librerías y authoring de RA Software de RA A continuación se detalla cada librería y/o herramienta de autor enumerada previamente   Notar si es para PC/web/móvil Notar si es de código abierto/free/uso comercial/etc. Realidad Aumentada | María José Abásolo | Facultad Inform
  25. 25. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Librerías de tracking basado en marcadores  ARToolkit   FLARToolkit NyARToolkit ARTag  ARToolkitPlus  Realidad Aumentada | María José Abásolo | Facultad Inform
  26. 26. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)      www.hitl.washington.edu/artoolkit Hirokazu Kato, Mark Billinghurst. Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System. Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). pages 85-94, 1999, USA. Librería para tracking de marcadores Enormemente popular dado que ARToolKit es una librería C de distribución gratuita para uso en aplicaciones no comerciales y distribuida como open-source bajo licencia GPL Está bien documentada y hay muchos ejemplos disponibles Realidad Aumentada | María José Abásolo | Facultad Inform
  27. 27. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Si bien es una librería de tracking de marcadores, incluye también  Para captura de video:  llamadas  a la librería DirectShow Para gráficos 3D:  llamadas a la librería OpenGL  carga de modelos VRML Realidad Aumentada | María José Abásolo | Facultad Inform
  28. 28. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK) Realidad Aumentada | María José Abásolo | Facultad Inform
  29. 29. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK) 1. 2. 3. 4. 5. 6. La cámara captura cada frame de video Se realiza una búsqueda por software en cada frame de formas cuadradas Si se encuentra un cuadrado, el software calcula la posición de la cámara en relación al cuadrado Una vez que se conoce la posición del marcador, se dibuja un modelo 3d en la misma posición El modelo 3D se dibuja encima del video del mundo real y por esto aparece superpuesto El video resultado se muestra en el dispositivo de visualización, y por esto cuando se mira a través de el se ven los gráficos superpuestos sobre el mundo real Realidad Aumentada | María José Abásolo | Facultad Inform
  30. 30. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Marcadores de tipo “template markers”  se usan en la librería ARToolkit  el formato es un cuadrado negro y dentro un cuadrado blanco que tiene una imagen asimétrica en negro Realidad Aumentada | María José Abásolo | Facultad Inform
  31. 31. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Marcadores de tipo “template markers”  Se necesita cargar un fichero donde está definido el marcador  Es posible crear nuevos marcadores   Respetar el formato Entrenar a ARToolkit para que reconozca el nuevo marcador Realidad Aumentada | María José Abásolo | Facultad Inform
  32. 32. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Se dibuja la escena virtual utilizando las librerías gráficas OpenGL que tiene: 1. Una pantalla de fondo con la imagen capturada (video 2. frame) pegada como textura El objeto 3D que sufre una transformación de acuerdo a la matriz de transformación estimada T he sim ple program running - a virtual block aligned with a real m arker Realidad Aumentada | María José Abásolo | Facultad Inform
  33. 33. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Limitaciones de ARToolkit   Los objetos virtuales solamente aparecen cuando los marcadores son totalmente visibles El rango de distancia está limitado    Cuanto más largo sea el patrón físico se detectará a mayor distancia Los patrones que tienen grandes areas blancas y negras (baja frecuencia) son los más efectivos A medida que los marcadores se vuelven más horizontales menos se visualiza el centro del marcador y por tanto el reconocimiento es menos confiable Realidad Aumentada | María José Abásolo | Facultad Inform
  34. 34. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Limitaciones de ARToolkit Los resultados del tracking se ven afectados por las condiciones lumínicas  Para reducir el reflejo los marcadores puede ser de un material no reflectivo como papel-terciopelo  Realidad Aumentada | María José Abásolo | Facultad Inform
  35. 35. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Limitaciones  de ARToolkit El algoritmo para detectar rectángulos se basa en un thresholding de la imagen y el seguimiento (scan-line) de un primer borde encontrado hasta que se completa la detección de los 4 bordes  Este algoritmo no detecta el marcador si uno de los 4 bordes está incompleto  Solamente detecta marcadores incompletos en el caso de usar una configuración espacial fija de múltiples marcadores Realidad Aumentada | María José Abásolo | Facultad Inform
  36. 36. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)   Debido a que el algoritmo de detección de rectángulos trabaja con una precisión de subpixels, aún cuando el marcador permanece fijo la matriz puede variar, produciendo que el objeto virtual “parpadee” (“jitter”) en su posición Hay dos maneras de realizar el tracking de los marcadores:   Cada frame se analiza independientemente de los anteriores Se considera la historia de los frames y si la matriz no cambia demasiado se toma el valor del frame anterior, esto puede disminuir el parpadeo de los objetos (“jitter”) se puede habilitar Realidad Aumentada | María José Abásolo | Facultad Inform
  37. 37. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Provee dos tipos de calibración  1 fase, fácil y menos preciso, suficiente para superposición de imágenes (run calib_camera2)   Usa el patron de puntos para estimar a la vez tanto los parametros de distorsion como la matriz de proyección 2 fases, más preciso, necesario si se quiere realizar mediciones en 3D (run calib_dist y luego calib_cparam)   Primero usa el patron de puntos para estimar los parametros de distorsion Luego, usando el patron de lineas y en base a los parametros de distorsion estima los parametros de la matriz de proyección Realidad Aumentada | María José Abásolo | Facultad Inform
  38. 38. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit (ARTK)  Calibración de cámara    En caso de no realizar la calibración puede usarse una calibración por defecto (los parametros están en el archivo camera_param.dat) Mediante cualquiera de los dos métodos de calibración se genera un nuevo archivo con parámetros de calibración La estructura que contiene los parametros de calibración es   typedef struct { int xsize, ysize; centro double mat[3][4]; Matriz de proyección double dist_factor[4]; 4 coeficientes de distorsión } ARParam; Invocación para cargar los parámetros desde archivo: ARParam wparam; arParamLoad(nombre_archivo, 1, &wparam) Realidad Aumentada | María José Abásolo | Facultad Inform
  39. 39. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Librerías de tracking basado en marcadores  ARToolkit   FLARToolkit NyARToolkit ARTag  ARToolkitPlus  Realidad Aumentada | María José Abásolo | Facultad Inform
  40. 40. M4- Librerías y authoring de RA Software de RA ARToolkit (ARTK)  Existen versiones de ARToolkit en otros lenguajes:  NyARToolkit  http://nyatla.jp/nyartoolkit/wiki/index.php  Existen versiones en      Java, Processing, Android (SO para móviles basado en GNU/Linux), C# y C++ FLARToolkit  http://www.libspark.org/wiki/saqoosha/FLARToolKit/en  Versión ActionScript 3(lenguaje utilizado en aplicaciones web realizadas en el entorno Adobe Flash) Realidad Aumentada | María José Abásolo | Facultad Inform
  41. 41. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Librerías de tracking basado en marcadores  ARToolkit   FLARToolkit NyARToolkit ARTag  ARToolkitPlus  Realidad Aumentada | María José Abásolo | Facultad Inform
  42. 42. M4- Librerías y authoring de RA Software de RA (PC) ARTag      http://www.artag.net/ Mark Fiala, ARTag, An Improved Marker System Based on ARToolkit. National Research Council Canada, Publication Number: NRC: 47419, 2004. ARTag se inspiró en ARToolkit ARTag usa un procesamiento de imágenes más complejo para lograr más alta confiabilidad e inmunidad a cambios de iluminación Por problemas contractuales del autor dejó de estar disponible por el momento Realidad Aumentada | María José Abásolo | Facultad Inform
  43. 43. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Marcadores de tipo “ID Marker”  Codifican un número de 9-bits en un patron de 6x6. Los 9 bits se repiten 4 veces para llenar los 36 bits  Blanco y negro, con borde negro y dentro una grilla de 6x6 representando con 1 y 0 según sea blanco o negro Realidad Aumentada | María José Abásolo | Facultad Inform
  44. 44. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Marcadores de tipo “ID Marker”    Cientos de marcadores diferentes sin necesidad de entrenamiento Más rápido que usar “template markers” (como en ARToolkit) sobre todo al aumentar el número de marcadores presentes. La librería ARTag y como veremos ARToolkit Plus utilizan dos versiones diferentes de este tipo de marcadores Realidad Aumentada | María José Abásolo | Facultad Inform
  45. 45. M4- Librerías y authoring de RA Software de RA (PC) ARTag  ARTag no necesita ficheros de marcadores como ARToolkit sino que tiene una librería de 2002 marcadores que pueden identificarse de 0 a 2047 (46 ilegales) Realidad Aumentada | María José Abásolo | Facultad Inform
  46. 46. M4- Librerías y authoring de RA Software de RA (PC) ARTag   ARTag uses arrays of the square markers added to objects or the environment allowing a computer vision algorithm to calculate the camera "pose" in real time ARTag has a library of 2002 markers. No pattern files need to be loaded (as with ARToolkit). Each one has a number 0-2047, with (46 illegal ID's in the 11 bit range). The SDK provides a function to create the patterns from an ID number. Realidad Aumentada | María José Abásolo | Facultad Inform
  47. 47. M4- Librerías y authoring de RA Software de RA (PC) ARTag Realidad Aumentada | María José Abásolo | Facultad Inform
  48. 48. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Ejemplo de dos metáforas de uso: "Magic Lens" el usuario sostiene una tablet PC, PDA, o teléfono celular con cámara y mira a través de el para ver la mezcla de realidad y virtualidad.  "Magic Mirror". una cámara fija visualiza al usuario desde una gran pantalla y el usuario ve su reflejo con contenido 3D agregado.  Realidad Aumentada | María José Abásolo | Facultad Inform
  49. 49. M4- Librerías y authoring de RA Software de RA (PC) ARTag  ARTag "Magic Lens"  http://www.artag.net/videos.html Realidad Aumentada | María José Abásolo | Facultad Inform
  50. 50. M4- Librerías y authoring de RA Software de RA (PC) ARTag  ARTag "Magic Mirror“  http://www.artag.net/videos.html José Abásolo | Facultad Inform Realidad Aumentada | María
  51. 51. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Soporta carga de objetos 3D con formato WRL (VRML), OBJ (Wavefront, Maya), ASE (3D-Studio export), y tiene soporte OpenGL Realidad Aumentada | María José Abásolo | Facultad Inform
  52. 52. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Comparación  entre ARTag y ARToolkit El algoritmo para detectar cuadriláteros se basa en detección de bordes en lugar de usar thresholding  Esto resulta en la detección de marcadores parcialmente ocluidos Realidad Aumentada | María José Abásolo | Facultad Inform
  53. 53. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Comparación ARToolkit entre ARTag y ARToolkit ARTag Realidad Aumentada | María José Abásolo | Facultad Inform
  54. 54. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Comparación  entre ARTag y ARToolkit Usa la decodificación digital para identificar el marcador en lugar de la correlación necesaria con ARToolkit.  Esto resulta en más eficiencia y evita la falsa detección o la confusión entre marcadores Realidad Aumentada | María José Abásolo | Facultad Inform
  55. 55. M4- Librerías y authoring de RA Software de RA (PC) ARTag  Comparación  entre ARTag y ARToolkit ARTag funciona mejor bajo condiciones de luz variables ARToolkit ARTag Realidad Aumentada | María José Abásolo | Facultad Inform
  56. 56. M4- Librerías y authoring de RA Software de RA (PC)  Librerías para aplicaciones de PC   Librerías de tracking de bajo nivel  ARToolkit  ARTag  ARToolkitPlus Frameworks y herramientas de autor de aplicaciones de RA      StudierStube Amire Authoring Tool DART Atomic BuildAR Realidad Aumentada | María José Abásolo | Facultad Inform
  57. 57. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Librerías de tracking basado en marcadores  ARToolkit   FLARToolkit NyARToolkit ARTag  ARToolkitPlus  Realidad Aumentada | María José Abásolo | Facultad Inform
  58. 58. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit Plus (ARTK+)      Sucesor de ARToolKit optimizado y extendido tanto para PC como para el uso en dispositivos móviles Código fuente disponible API de clases C++ Inspirado en los marcadores de ARTag, usa marcadores de tipo “ID markers” No actualizado desde June 2006. Sucedido por Studierstube Tracker Realidad Aumentada | María José Abásolo | Facultad Inform
  59. 59. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit Plus (ARTK+)  Marcadores    de tipo “ID Marker” Hasta 512 marcadores diferentes sin necesidad de entrenamiento Más rápido que usar “template markers” como en ARToolkit sobre todo al aumentar el número de marcadores presentes. Codifican un número de 9-bits en un patron de 6x6. Los 9 bits se repiten 4 veces para llenar los 36 bits Realidad Aumentada | María José Abásolo | Facultad Inform
  60. 60. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit Plus (ARTK+)  Marcadores BCH (Bose, Ray-Chaudhuri, Hocquenghem)   Aún más robustos que los ID markers anteriores, ya que usa un algoritmo avanzado de chequeos de redundancia ciclica (CRC) para restaurar marcadores dañados Se incrementa el número de marcadores disponibles a 4096 Realidad Aumentada | María José Abásolo | Facultad Inform
  61. 61. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit Plus (ARTK+)  Otras caracteristicas     Umbralización automática basada en la mediana de todos los pixels del ultimo marcador detectado Compensacion de “vignetting” La compensacion de distorsion es computacionalmente cara, ARTK+ puede habilitarse el uso de una lookup table para acelerar el proceso Para la versión PC, se puede elegir el algoritmo de estimacion de pose RPP (Robust Planar Pose) G. Schweighofer and A. Pinz (Inst.of l.Measurement and Measurement Signal Processing, Graz University of Technology), que da como resultado un tracking más estable que el algoritmo de estimación de pose de ARToolKit Realidad Aumentada | María José Abásolo | Facultad Inform
  62. 62. M4- Librerías y authoring de RA Software de RA (PC) ARToolkit Plus (ARTK+)  Dos opciones para calibración de la camara   Hereda la calibración de ARToolkit Puede usarse un algoritmo más exacto: GML MatLab Camera Calibration Toolbox http://research.graphicon.ru/calibration/gml-matlab-camera Realidad Aumentada | María José Abásolo | Facultad Inform
  63. 63. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  Librerías de tracking basado en imágenes   para PC IN2AR Frameworks para programadores  StudierStube Realidad Aumentada | María José Abásolo | Facultad Inform
  64. 64. M4- Librerías y authoring de RA Software de RA (PC)  IN2AR    http://www.in2ar.com/ Basada en Adobe Flash (aplicaciones web) Permite el seguimiento de cualquier imagen (en lugar del típico marcador) Realidad Aumentada | María José Abásolo | Facultad Inform
  65. 65. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  Librerías de tracking basado en imágenes   para PC IN2AR Frameworks para programadores  StudierStube Realidad Aumentada | María José Abásolo | Facultad Inform
  66. 66. M4- Librerías y authoring de RA Software de RA Studierstube   Daniel Wagner and Dieter Schmalstieg. Making Augmented Reality Practical on Mobile Phones, Part 1. IEEE Computer Graphics and Applications, mayo-junio 2009 Daniel Wagner and Dieter Schmalstieg. Making Augmented Reality Practical on Mobile Phones, Part 2. IEEE Computer Graphics and Applications, julioagosto 2009 Realidad Aumentada | María José Abásolo | Facultad Inform
  67. 67. M4- Librerías y authoring de RA Software de RA Studierstube  Framework completo para el desarrollo de aplicaciones de RA  StbTracker: tracking de marcadores  Muddleware: comunicación multiusuario  Stb SG: maneja el grafo de la escena virtual Realidad Aumentada | María José Abásolo | Facultad Inform
  68. 68. M4- Librerías y authoring de RA Software de RA Studierstube Realidad Aumentada | María José Abásolo | Facultad Inform
  69. 69. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Herramientas de autor para NO programadores  Amire Authoring Tool DART  Atomic    Atomic Web BuildAR Realidad Aumentada | María José Abásolo | Facultad Inform
  70. 70. M4- Librerías y authoring de RA Software de RA Amire  http://www.amire.net/  AMIRE - Authoring Mixed Reality, Grimm P., Haller M., Paelke V., Reinhold S., Reimann C., Zauner J., The First IEEE International Augmented Reality Toolkit Workshop, 29 September, 2002. Darmstadt, GERMANY Realidad Aumentada | María José Abásolo | Facultad Inform
  71. 71. M4- Librerías y authoring de RA Software de RA Amire  El proyecto AMIRE establece la denominadas “MR GEM” que es una colección de técnicas, algoritmos, “code snipets” (biblioteca pública de códigos) con soluciones eficientes a problemas de programación comunes en aplicaciones de realidad mixta Realidad Aumentada | María José Abásolo | Facultad Inform
  72. 72. M4- Librerías y authoring de RA Software de RA Amire  El framework de RA AMIRE incluye:  Componentes 2D y 3D que pueden configurarse por medio de propiedades (“properties”)  Comunicación entre componentes basada en “slot” donde pueden intercambiar datos  Convenciones para las componentes 2D and 3D tal como mecanismo de “picking”  Persistencia de la aplicación en un formato de archivo basado en XML que contiene una lista de dependencias de librerías, instancias de componentes y las conexiones entre componentes Realidad Aumentada | María José Abásolo | Facultad Inform
  73. 73. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Herramientas de autor para NO programadores  Amire Authoring Tool DART  Atomic    Atomic Web BuildAR Realidad Aumentada | María José Abásolo | Facultad Inform
  74. 74. M4- Librerías y authoring de RA Software de RA DART •  http://www.cc.gatech.edu/dart/applications.htm Blair MacIntyre, Maribeth Gandy, Jay Bolter, Steven Dow, Brendan Hannigan. "DART: The Designer’s Augmented Reality Toolkit." Presented as a demo at The Second International Symposium on Mixed and Augmented Reality (ISMAR03), pages 329-339, October 7-10, 2003, Tokyo, Japan. Realidad Aumentada | María José Abásolo | Facultad Inform
  75. 75. M4- Librerías y authoring de RA Software de RA DART • • Es una colección de extensiones del ambiente de programación multimedia Macromedia Director Soporta: • • • streaming de video tracking de marcadores (via ARToolkit) entrada de un amplio rando de trackers y sensores usados en RA (via el VRPN sensor package) Realidad Aumentada | María José Abásolo | Facultad Inform
  76. 76. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Herramientas de autor para NO programadores  Amire Authoring Tool DART  Atomic    Atomic Web BuildAR Realidad Aumentada | María José Abásolo | Facultad Inform
  77. 77. M4- Librerías y authoring de RA Software de RA Atomic Authoring Tool     http://www.sologicolibre.org/projects/atomic/en/ ATOMIC Authoring Tool es una herramienta que permite la creación de aplicaciones de realidad aumentada desarrollada especialmente para noprogramadores. Fue creado como un front end (Interface Gráfica) para la usar librería ARToolkit sin tener que saber programar. Fue escrito en el lenguaje de programación Processing y se distribuye bajo licencia GNU GPL Realidad Aumentada | María José Abásolo | Facultad Inform
  78. 78. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Herramientas de autor para NO programadores  Amire Authoring Tool DART  Atomic    Atomic Web BuildAR Realidad Aumentada | María José Abásolo | Facultad Inform
  79. 79. M4- Librerías y authoring de RA Software de RA web Atomic Web Authoring Tool    http://www.sologicolibre.org/projects/atomicweb/es/ Atomic Web se deriva de ATOMIC Authoring Tool y es una herramienta que permite la creación de aplicaciones de realidad aumentada para exportarlas a cualquier sitio web. Fue creado como un front end para la usar librería Flartookit sin tener que saber programar. El núcleo está escrito en ActionScript3 Realidad Aumentada | María José Abásolo | Facultad Inform
  80. 80. M4- Librerías y authoring de RA Software de RA (PC)  Aplicaciones  para PC Herramientas de autor para NO programadores  Amire Authoring Tool DART  Atomic    Atomic Web BuildAR Realidad Aumentada | María José Abásolo | Facultad Inform
  81. 81. M4- Librerías y authoring de RA Software de RA BuildAR  http://www.buildar.co.nz  Es una aplicación desarrollada por HITLabNZ (los creadores de ARToolkit) que permite crear mediante un editor una escena de realidad aumentada con tracking de marcadores (y la versión PRO permite el tracking de una imagen cualquiera)  Puede descargarse una versión de prueba Realidad Aumentada | María José Abásolo | Facultad Inform
  82. 82. M4- Librerías y authoring de RA Software de RA (móviles)  Aplicaciones para teléfonos móviles    Librerías de tracking basado en marcadores  ARToolkitPlus  StbTracker Librerías de tracking basado en imágenes  String  Qualcomm AR Browsers de RA  Wikitude  Layar  junaio Realidad Aumentada | María José Abásolo | Facultad Inform
  83. 83. M4- Librerías y authoring de RA Software de RA móviles  Librerías de tracking de marcadores para dispositivos móviles:  ARToolKitPlus (ARTK+) http://studierstube.icg.tugraz.ac.at/handheld_ar/artoolkitplus.php  es Opensource, distribuida bajo licencia GPL Como se vió, se diseño a partir de ARToolkit para PC  Ineficiente, no está diseñada especialmente para móviles  Realidad Aumentada | María José Abásolo | Facultad Inform
  84. 84. M4- Librerías y authoring de RA Software de RA (móviles)  Aplicaciones para teléfonos móviles    Librerías de tracking basado en marcadores  ARToolkitPlus  StbTracker Librerías de tracking basado en imágenes  String  Qualcomm AR Browsers de RA  Wikitude  Layar  junaio Realidad Aumentada | María José Abásolo | Facultad Inform
  85. 85. M4- Librerías y authoring de RA Software de RA móviles  Librerías de tracking de marcadores para dispositivos móviles:  Studierstube Tracker (StbTracker) http://studierstube.icg.tugraz.ac.at/handheld_ar/stbtracker.php  No es opensource, ni siquiera está disponible  Eficiente, está diseñada especialmente para móviles Realidad Aumentada | María José Abásolo | Facultad Inform
  86. 86. M4- Librerías y authoring de RA Software de RA StbTracker   Diseñado para PC y dispositivos móviles. Los requerimientos de memoria son muy bajos (100KB, 5-10% of ARTK+) y el procesamiento es muy rapido (el doble más rapido que ARTK+ en dispositivos móviles). Mientras que ARTK+ requiere configuración en tiempo de compilación, StbTracker es altamente modular: los desarrolladores pueden extenderlo creando nuevas características Realidad Aumentada | María José Abásolo | Facultad Inform
  87. 87. M4- Librerías y authoring de RA Software de RA StbTracker  Detecta marcadores bajo condiciones de iluminación extremadamente desbalanceada y permite oclusiones parciales Realidad Aumentada | María José Abásolo | Facultad Inform
  88. 88. M4- Librerías y authoring de RA Software de RA StbTracker Realidad Aumentada | María José Abásolo | Facultad Inform
  89. 89. M4- Librerías y authoring de RA Software de RA StbTracker  Marcadores “Frame Markers”  requieren solo el borde del cuadro para ser identificados, el borde exterior completo y el patrón se reconoce con pixeles negros pegados al interior del mismo. Dentro del recuadro puede ponerse cualquier contenido ya que no es tenido en cuenta para la identificación del patrón Realidad Aumentada | María José Abásolo | Facultad Inform
  90. 90. M4- Librerías y authoring de RA Software de RA StbTracker  Marcadores divididos “spilt markers”  están compuestos de dos códigos de barras separados, reduciendo bastante el área ocupada. El algoritmo utilizado busca pares de códigos de barras con una composición opuesta de bits. Una vez encontrados las esquinas de esos códigos de barras son utilizadas para construir un rectángulo y a partir de este poder determinar la posición de la cámara Realidad Aumentada | María José Abásolo | Facultad Inform
  91. 91. M4- Librerías y authoring de RA Software de RA StbTracker  Marcadores de puntos “Dot markers”  son adecuados para cubrir grandes áreas y consiste en una grilla bidimensional de puntos negros circulares con anillos blancos que los rodean superpuestos en una superficie plana texturada Realidad Aumentada | María José Abásolo | Facultad Inform
  92. 92. M4- Librerías y authoring de RA Software de RA StbTracker  Incluye técnicas de tracking avanzadas como:   Técnicas de tracking incrementales Tracking sin marcadores basado en seguimiento de características naturales Realidad Aumentada | María José Abásolo | Facultad Inform
  93. 93. M4- Librerías y authoring de RA Software de RA StbTracker  Técnicas de tracking incrementales   Seguir teniendo la posición del objeto cuando los marcadores se pierden o son tapados Wagner Daniel et al. Robust and Unobtrusive Marker Tracking on Mobile Phones. International Symposium on Mixed and Augmented Reality http://www.icg.tugraz.at/pub/pdf/WAGNER_ISMAR08_AMT .pdf  Seguimiento de características  Flujo de pixeles Realidad Aumentada | María José Abásolo | Facultad Inform
  94. 94. M4- Librerías y authoring de RA Software de RA StbTracker  Tracking sin marcadores basado en seguimiento de características naturales   Wagner Daniel et al. Pose Tracking from Natural Features on Mobile Phones International Symposium on Mixed and Augmented Reality http://www.icg.tu-graz.ac.at/pub/pdf/WAGNER_ISMAR08_NFT.pdf Adapta dos técnicas para su uso en dispositivos móviles:   SIFT: Se basa en tres etapas principales que son: localización de puntos clave, descripción de características y correspondencia de características. Ferns: Realiza el tracking llevándolo a un problema de clasificación Realidad Aumentada | María José Abásolo | Facultad Inform
  95. 95. M4- Librerías y authoring de RA Software de RA (móviles)  Aplicaciones para teléfonos móviles    Librerías de tracking basado en marcadores  ARToolkitPlus  StbTracker Librerías de tracking basado en imágenes  String  Qualcomm AR Browsers de RA  Wikitude  Layar  junaio Realidad Aumentada | María José Abásolo | Facultad Inform
  96. 96. M4- Librerías y authoring de RA Software de RA móviles  Recientemente han aparecido librerías que intentan evitar el típico uso de marcadores acercándose al tracking basado en características naturales   String http://www.poweredbystring.com/ Creada en 2011, permite crear aplicaciones de RA para teléfonos Iphone (sistema operativo iOS) con seguimiento de imágenes enmarcadas. Disponible gratis una licencia demo. Qualcomm AR http://www.qualcomm.com/ar permite crear aplicaciones de RA para teléfonos con sistema operativo Android y iOS http://developer.qualcomm.com/dev/augmentedreality Realidad Aumentada | María José Abásolo | Facultad Inform
  97. 97. M4- Librerías y authoring de RA Software de RA  Librerías para aplicaciones en teléfonos móviles   Librerías de tracking de bajo nivel  ARToolkitPlus SDKs    String Qualcomm AR Browsers de RA  Wikitude  Layar  junaio Realidad Aumentada | María José Abásolo | Facultad Inform
  98. 98. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Los denominados browsers de RA son aplicaciones que corren en teléfonos celulares que proveen contenidos relevantes dependiendo de la ubicación del usuario en un cierto lugar en el mapa (información de lugares, eventos, ofertas, objetos de alrededor) o de la imagen que está observando Realidad Aumentada | María José Abásolo | Facultad Inform
  99. 99. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Los browsers de RA pueden proveer dos tipos de servicios:   Basados en la localización: a través del GPS y otros sensores del teléfono móvil se conoce la posición del usuario y en que dirección apunta la cámara (se denomina Gravimetric AR). De esta forma se puede visualizar información relevante a la posición mostrando que hay alrededor dependiendo de los intereses del perfil. Basados en imágenes: la aplicación reconoce imágenes capturadas por la cámara del teléfono (por ejemplo objetos, sitios, cuadros, revistas). Una vez reconocidas se puede superponer dinamicamente en el visor contenido multimedia de forma que un objeto 3D esté pegado virtualmente al objeto reconocido. Realidad Aumentada | María José Abásolo | Facultad Inform
  100. 100. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Podemos enumerar los siguientes browsers de RA:     Wikitude http://www.wikitude.com/ creado en 2008 por la empresa Mobilizy Layar http://www.layar.com/ creado en 2008 por la empresa LayarMet junaio http://www.junaio.com/ creado en 2009 de Metaio Augmented Reality Solutions De todos ellos se pueden encontrar versiones para teléfonos con sistema operativo Android o iOS Realidad Aumentada | María José Abásolo | Facultad Inform
  101. 101. M4- Librerías y authoring de RA Software de RA (móviles)  Aplicaciones para teléfonos móviles    Librerías de tracking basado en marcadores  ARToolkitPlus  StbTracker Librerías de tracking basado en imágenes  String  Qualcomm AR Browsers de RA  Wikitude  Layar  junaio Realidad Aumentada | María José Abásolo | Facultad Inform
  102. 102. M4- Librerías y authoring de RA Software de RA (móviles)  Los denominados BROWSERS de RA permiten visualizar a través de la pantalla del teléfono móvil información del entorno real en base a la ubicación que indican el GPS y brújula incorporados Realidad Aumentada | María José Abásolo | Facultad Inform
  103. 103. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Wikitude   http://www.wikitude.com/ Wikitude está basado en datos Wikipedia, se usó en principio como guía de ciudad. Permite visualizar videos de Youtube, acceso a webcams, imágenes Fliker geocodificadas, búsquedas de negocios mediante el Google Local, etc. Realidad Aumentada | María José Abásolo | Facultad Inform
  104. 104. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Wikitude  En la jerga de Wikitude los desarrolladores construyen mundos (worlds), una vez creados se envían al servidor de Wikitude quien realiza el hosting de los mismos. Actualmente cuenta con más de quinientos mundos desarrollados por todo el mundo.  Wikitude es el browser de AR para el que más fácilmente se puede crear contenido sin necesidad de escribir una línea de código. Realidad Aumentada | María José Abásolo | Facultad Inform
  105. 105. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Wikitude  Los mundos pueden crearse usando la interfaz de Google Maps, el lenguaje de marcas KLM o el lenguaje de marcas ARML.   KLM (Keyhole Markup Language)es un lenguaje basado en XLM que describe información geográfica y es el lenguaje usado por Google Earth para describir ubicaciones, coordenadas, etc. ARML (Augmented Reality Markup Language) [2] es una especificación creada por Mobilizy GmbH que permite a los desarrolladores crear contenido que puede visualizarse en diferentes AR browsers. Realidad Aumentada | María José Abásolo | Facultad Inform
  106. 106. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Layar http://www.layar.com/  http://www.youtube.com/watch? v=Ume8PsSOnF8&feature=related Realidad Aumentada | María José Abásolo | Facultad Inform
  107. 107. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Layar http://www.layar.com/  El contenido creado se denomina layer. Los layers son ordenados de acuerdo a categorías y al igual que los sitios de Internet pueden agregarse a los favoritos.  1M usuarios y 2K layers creados y una comunidad activa construyendo herramientas de código abierto para los desarrolladores. Realidad Aumentada | María José Abásolo | Facultad Inform
  108. 108. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Layar http://www.layar.com/  A diferencia de Wikitude, el desarrollador debe encargarse del hosting del contenido.  Los desarrolladores pueden utilizar  MSQL y  PSP. Realidad Aumentada | María José Abásolo | Facultad Inform
  109. 109. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Layar http://www.layar.com/  Layar tiene una serie de características adicionales:  En lugar de íconos simples se pueden agregar objetos 3D.  Triggers que definen acciones que ocurrirán cuando el usuario se aproxime a una cierta ubicación.  Los puntos de interés pueden tener asociado audio.  Autenticación con usuario y clave  Layar Vision reconoce imágenes previamente almacenadas y puede visualizar información sobre ellas http://www.youtube.com/watch?v=AsD0DuPT1GI Con estas características los desarrolladores están construyendo un amplio rango de contenido incluyendo juegos que requieren que los usuarios se desplacen e interactúen con el entorno usando la cámara.   Realidad Aumentada | María José Abásolo | Facultad Inform
  110. 110. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Junaio http://www.junaio.com/  http://www.youtube.com/watch? v=_8B9_lHYQNc&feature=related Realidad Aumentada | María José Abásolo | Facultad Inform
  111. 111. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Junaio http://www.junaio.com/    Fue anunciado como el primer browser de red social de AR. Actualmente es un browser AR con 150 canales (channels) Permite compartir contenido con amigos y visualizar contenido cercano a la localización del usuario. Junaio utiliza tecnología de AR desarrollada previamente por Metaio, incluido su SDK de tracking de características naturales. Realidad Aumentada | María José Abásolo | Facultad Inform
  112. 112. M4- Librerías y authoring de RA Software de RA móviles Browsers de RA  Junaio http://www.junaio.com/  Las funcionalidades incluidas son:      Puntos de interés simples con sonido y video, Objetos 3D y animaciones Detección de proximidad Tracking de características naturales (reconoce imágenes y se visualizan un objeto 3D superpuesto o un video) LLA (latitud, longitud, altitud): Dado que GPS no es siempre exacto, particularmente en interior de edificios LLA consiste en marcadores especiales que ayudan a establecer la posición del usuario mediante el tracking del marcador. Realidad Aumentada | María José Abásolo | Facultad Inform

×