dd      Centro Nacional de Investigación y Desarrollo                      Tecnológico           Departamento de Ciencias ...
Centro Nacional de Investigación y Desarrollo Tecnológico              Departamento de Ciencias Computacionales          T...
DEDICATORIASA Dios, por ayudarme en cada uno de los éxitos y problemas que tuve en estaetapa de mi vidaA mi madre, por tod...
AGRADECIMIENTOSA mi madre María del Carmen Leal Murguía, por haberme dado la vida y habercreído en mí todos estos años, po...
RESUMENDentro del área de la computación del CENIDET se han desarrollado losservicios de recomendación sensibles al contex...
ABSTRACTIn the CENIDET’s computing area have been developed context-awarerecommendation services, which offer to the users...
TABLA DE CONTENIDOLISTA DE FIGURAS                                                                                        ...
3.1.5   Personalized In-store E-Commerce with the PromoPad: an Augmented Reality Shopping Assistant[Zhu 2008]             ...
LISTA DE FIGURASFigura 1.1 algoritmo de localización por redes inalámbricas implementado [Yris 2012]                      ...
Figura 4.11 Diagrama de clases del sistema                                              57Figura 5.1 Unión de la ontología...
Capítulo 1. Introducción                             Capítulo 1. IntroducciónEn este capítulo se describen los antecedente...
Capítulo 1. Introducción1.1 IntroducciónLa computación ubicua es un área de la computación que permite a unacomputadora o ...
Capítulo 1. Introducciónde interés, por lo tanto, la aplicación que se pretende desarrollar debe integrarfunciones de reco...
Capítulo 1. IntroducciónEl algoritmo de localización por redes inalámbricas, mediante Wi-Fi o Bluetooth,consiste en defini...
Capítulo 1. Introducción Figura 1.2 segmentación del entorno de acuerdo a la potencia de señal inalámbrica                ...
Capítulo 1. Introduccióneste código se utiliza para identificar y extraer información del objeto [Portillo2008].Para ésta ...
Capítulo 1. Introducción1.2.3 Generación y explotación de mapas semánticos para      instalaciones organizacionales median...
Capítulo 1. Introducción1.2.4 Servicio de recomendación contextual mediante      ontologías   multidimensionales para disp...
Capítulo 1. IntroducciónCon este conjunto de ontologías, a las cuales se le añadirán las relacionescorrespondientes para c...
Capítulo 1. Introducciónmostrarle los objetos que está viendo a través de la cámara del dispositivomóvil. Para elaborar té...
Capítulo 1. Introducción      Debe implementarse una técnica adecuada de auto-identificación para       los objetos, luga...
Capítulo 1. Introducción      Desarrollar servicios que muestren información contextual en tiempo real       de personas,...
Capítulo 2. Marco Teórico                        Capítulo 2. Marco TeóricoEn esta sección se describen algunas herramienta...
Capítulo 2. Marco Teórico2.1    Realidad aumentadaLa realidad aumentada (Augmented Reality, AR) es un área de investigació...
Capítulo 2. Marco Teórico2.1.1 Reconocimiento de objetos mediante el uso de      marcadoresUn marcador visual es una image...
Capítulo 2. Marco Teórico                  Figura 2.2 ejemplo de un QRCode [Woo 2011]Como puede observarse, los marcadores...
Capítulo 2. Marco TeóricoLos marcadores visuales permiten controlar la identificación visual en elentorno, incluso pueden ...
Capítulo 2. Marco Teórico      Definición de relaciones. Una vez definidos los bordes y las superficies       capturadas,...
Capítulo 2. Marco Teóricoacelerómetros de los ejes X, Y y Z. Una rotación del dispositivo con respecto alnorte (RDN), la r...
Capítulo 2. Marco TeóricoLa computación ubicua surge con el objetivo de integrar a las computadoras enlas actividades de l...
Capítulo 2. Marco Teóricoacadémico, sus dominios de conocimiento, sus competencias individuales1, suspreferencias, gustos,...
Capítulo 2. Marco Teórico2.5   AndroidEs un sistema operativo desarrollado por Google, el cual contiene un conjuntode apli...
Capítulo 2. Marco Teóricoentorno, estas señales analógicas son convertidas a digitales por el ADC yentonces se envían a la...
Capítulo 2. Marco Teóricodispositivo con respecto a sus ejes, el acelerómetro permitirá obtener lavelocidad en la que el d...
Capítulo 3. Estado del Arte                        Capítulo 3. Estado del ArteEn esta sección se analizaran los trabajos q...
Capítulo 3. Estado del Arte3.1   SistemasEn esta sección se describirán los trabajos que desarrollaron sistemas capacesde ...
Capítulo 3. Estado del ArteEste algoritmo funciona con tres tipos de identificación, la identificaciónsensorial TF1, la id...
Capítulo 3. Estado del ArteFigura 3.2. Técnicas de realidad aumentada implementadas en el palacio deGyeongbokgung [Park 20...
Capítulo 3. Estado del ArteFigura 3.3 dispositivo estático para la visualización de información contextual enmurales [Zöll...
Capítulo 3. Estado del Artevisión a un punto de interés, el sistema deberá mostrarle información de esepunto mediante real...
Capítulo 3. Estado del Arte3.1.4 An Augmented Reality Interface to Contextual Information [Ajanki      2011]En este proyec...
Capítulo 3. Estado del ArteFigura 3.8 reconocimiento de objetos e inserción de información en el entorno[Ajanki 2011]3.1.5...
Capítulo 3. Estado del Arte3.2     HerramientasEn esta sección se describirán algunas herramientas que pretenden facilitar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smar...
Upcoming SlideShare
Loading in...5
×

Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smartphones y Ontologías Organizacionales

390

Published on

Dentro del área de la computación del CENIDET se han desarrollado los servicios de recomendación sensibles al contexto, los cuales le ofrecen al usuario información personalizada del entorno de acuerdo a sus preferencias, ubicación, el horario en que se encuentra, los servicios disponibles de la organización, etc. Estos servicios de recomendación han involucrado diferentes tecnologías, desde algoritmos que son capaces para inferir las preferencias del usuario, hasta tecnologías capaces de capturar datos del entorno como RFID, QR-Codes, sensores especializados, etc. En el laboratorio de sistemas distribuidos del CENIDET, se pretende desarrollar un sistema capaz de mostrarle recomendaciones personalizadas e información de alguna organización al usuario, a partir de las preferencias del mismo y la información del entorno en el que se encuentra (hora y lugar de la organización a donde llega). El desarrollo de este sistema comenzó con el proyecto T-Guía, el cual puede proporcionarle información al usuario de la organización a partir de su ubicación, una vez terminado este sistema, se desarrollaron otros proyectos que integraron otras funcionalidades al sistema, tales como servicios de recomendación sensibles al contexto, mapas con información de la
organización en formato SVG y servicios de localización mediante el uso de tecnologías Wi-Fi y RFID, de esta forma se integran nuevas funcionalidades al sistema desarrollado anteriormente.
En este proyecto de tesis, se desarrolló una nueva funcionalidad para el
sistema T-Guía, la cual implementa una interface a través de realidad
aumentada, con la cual el usuario podrá interactuar de manera más natural con
la información del entorno, además de que conocerá hacia donde quedan
algunas ubicaciones de interés. Para ello se desarrolló un modelo de
identificación de puntos de interés mediante 10 (8+2) orientaciones, 8
orientaciones que apuntan hacia los puntos cardinales y 2 para apuntar hacia arriba o abajo del dispositivo, utilizando el sensor de acelerómetro de tres ejes y el magnetómetro fue posible determinar la dirección hacia donde el usuario está apuntando y conocer qué puntos de interés se puede encontrar
visualizando. Finalmente, en este proyecto, pudo desarrollarse una nueva
funcionalidad al sistema, con una aplicación capaz de presentarle al usuario información del entorno al enfocar su dispositivo en diferentes orientaciones.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
390
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
18
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smartphones y Ontologías Organizacionales

  1. 1. dd Centro Nacional de Investigación y Desarrollo Tecnológico Departamento de Ciencias Computacionales TESIS DE MAESTRÍA EN CIENCIAS Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smartphones y Ontologías Organizacionales presentada por Rodrigo Alejandro Morán Leal Ing. en Informática por la Universidad Politécnica del Estado de Morelos como requisito para la obtención del grado de: Maestría en Ciencias en Ciencias de la Computación Director de tesis: Dr. Juan Gabriel González Serna Co-Director de tesis: Dra. Azucena Montes RendónCuernavaca, Morelos, México. 17 de diciembre de 2012
  2. 2. Centro Nacional de Investigación y Desarrollo Tecnológico Departamento de Ciencias Computacionales TESIS DE MAESTRÍA EN CIENCIAS Servicios de Recomendación Contextual para Instituciones de Educación Superior Mediante Realidad Aumentada Utilizando Smartphones y Ontologías Organizacionales presentada por Rodrigo Alejandro Morán Leal Ing. en Informática por la Universidad Politécnica del Estado de Morelos como requisito para la obtención del grado de: Maestría en Ciencias en Ciencias de la Computación Director de tesis: Dr. Juan Gabriel González Serna Co-Director de tesis: Dra. Azucena Montes Rendón Jurado: Dr. Hugo Estrada Esquivel – Presidente M.C. Javier Ortiz Hernández– Secretario Dr. Juan Gabriel González Serna – Vocal Dra. Alicia Martínez Rebollar – Vocal SuplenteCuernavaca, Morelos, México. 17 de diciembre de 2012
  3. 3. DEDICATORIASA Dios, por ayudarme en cada uno de los éxitos y problemas que tuve en estaetapa de mi vidaA mi madre, por todo lo que ha hecho por mí. A mi primo y a mi familia, por haberme brindado su apoyo.A Anayely, por haberme brindado lo que más me faltaba para terminar estelogroA todos aquellos que me ayudaron en esta etapa de mi vida
  4. 4. AGRADECIMIENTOSA mi madre María del Carmen Leal Murguía, por haberme dado la vida y habercreído en mí todos estos años, por haberme apoyado todo este tiempo en mismetas, por haber hecho muchos sacrificios para que yo pudiera llegar hastadonde me encuentro ahora, muchas gracias. A mi primo, Jairo Ramiro, quienha sido mi mejor amigo desde que nací hasta ahora, muchas gracias porescucharme y apoyarme en los buenos y malos momentos. A mi hermana,Violeta, por haberme acompañado y alentado durante todo este periodo. A todami familia que ha estado conmigo apoyándome y dándome ánimos para seguiradelante, muchas gracias.A mi princesa, Anayely Noguerón Valdes, gracias por darme el últimoempujoncito para poder terminar mi maestría, gracias por haber sido mimotivación e inspiración en mi último año, eres la mejor sorpresa que me pudehaber encontrado en mi maestría, gracias por haberme prestado un poco de tutiempo para estar conmigo, gracias por haberme dejado soñar y habercompartido muchos momentos especiales conmigo, muchas gracias. A VivianaAnani Partida Valencia, mi amiga, muchas gracias por haberme prestado tutiempo para escucharme, gracias por haberme enviado esa “buena vibra”siempre.A todos mis amigos que encontré en el CENIDET, Juan Diego, Samuel Vieyra,Luis Ángel Chi, Leticia Aponte, Ilse Yari Landa, Adrian Cruz, Nimrod González,Jesús Rodríguez, Oscar, Julia, Hugo, muchas gracias por haber hecho queesta etapa de mi vida sea inolvidable.A mi director de tesis, el Dr. Juan Gabriel González Serna, por habermeformado durante todo este periodo, ayudándome a desarrollarme comopersona tanto profesional como personalmente. A mis profesores del CENIDETpor haberme enseñado tantas cosas y haberme ayudado a desarrollar todaslas habilidades que tengo ahora conmigo, muchas gracias.Al CONACYT por haberme apoyado económicamente mientras realizaba misestudios, al Centro Nacional de Investigación y Desarrollo Tecnológico, porpermitirme elaborar mis estudios y haberme brindado muchas experiencias yoportunidades durante toda mi estancia en él.A mis revisores por haberme compartido sus conocimientos, y haberme guiadoa través de todo el desarrollo de mi proyecto de tesis. A todos aquellos queformaron parte de mi vida en esta tapa tan importante de mi vida, a todosustedes muchas gracias.
  5. 5. RESUMENDentro del área de la computación del CENIDET se han desarrollado losservicios de recomendación sensibles al contexto, los cuales le ofrecen alusuario información personalizada del entorno de acuerdo a sus preferencias,ubicación, el horario en que se encuentra, los servicios disponibles de laorganización, etc. Estos servicios de recomendación han involucrado diferentestecnologías, desde algoritmos que son capaces para inferir las preferencias delusuario, hasta tecnologías capaces de capturar datos del entorno como RFID,QR-Codes, sensores especializados, etc.En el laboratorio de sistemas distribuidos del CENIDET, se pretende desarrollarun sistema capaz de mostrarle recomendaciones personalizadas e informaciónde alguna organización al usuario, a partir de las preferencias del mismo y lainformación del entorno en el que se encuentra (hora y lugar de la organizacióna donde llega). El desarrollo de este sistema comenzó con el proyecto T-Guía,el cual puede proporcionarle información al usuario de la organización a partirde su ubicación, una vez terminado este sistema, se desarrollaron otrosproyectos que integraron otras funcionalidades al sistema, tales como serviciosde recomendación sensibles al contexto, mapas con información de laorganización en formato SVG y servicios de localización mediante el uso detecnologías Wi-Fi y RFID, de esta forma se integran nuevas funcionalidades alsistema desarrollado anteriormente.En este proyecto de tesis, se desarrolló una nueva funcionalidad para elsistema T-Guía, la cual implementa una interface a través de realidadaumentada, con la cual el usuario podrá interactuar de manera más natural conla información del entorno, además de que conocerá hacia donde quedanalgunas ubicaciones de interés. Para ello se desarrolló un modelo deidentificación de puntos de interés mediante 10 (8+2) orientaciones, 8orientaciones que apuntan hacia los puntos cardinales y 2 para apuntar haciaarriba o abajo del dispositivo, utilizando el sensor de acelerómetro de tres ejesy el magnetómetro fue posible determinar la dirección hacia donde el usuarioestá apuntando y conocer qué puntos de interés se puede encontrarvisualizando. Finalmente, en este proyecto, pudo desarrollarse una nuevafuncionalidad al sistema, con una aplicación capaz de presentarle al usuarioinformación del entorno al enfocar su dispositivo en diferentes orientaciones.
  6. 6. ABSTRACTIn the CENIDET’s computing area have been developed context-awarerecommendation services, which offer to the users personalized information ofthe environment according to their preferences, location, the time in which it is,the services of the organization, etc. These recommendation services haveinvolved different technologies, from algorithms that are able to infer the userspreferences, to technologies able to capture the data environment as RFID,QR-Codes, specialized sensors, etc.In the Distributed System’s Laboratory CENIDET, aims to develop a systemable of showing personalized recommendations and information of anorganization to the user, from preferences and information environment that heis (time and place where he arrives). The development of this system beganwith the project T-Guide, which can provide information to the user in theorganization from his location, once finished this system, other projects weredeveloped that integrated other features to the system, such as context-awarerecommendation services, maps with organizational information in SVG formatand location services using Wi-Fi technology and RFID, so new features areintegrated into the system previously developed.In this thesis, we developed a new feature for the T-Guide system, whichimplements an interface using augmented reality, with which the user caninteract more naturally with information of the environment, plus he will knowwhere some locations of interest are. For that we developed a model to identifypoints of interest by 10 (8 +2) orientations, 8 orientations pointing to the cardinalpoints and 2 to point up or down of the device, using the three-axisaccelerometer sensor and magnetometer was possible to determine thedirection in which the user is pointing and know what points of interest can bedisplayed. Finally, in this project we could develop a new functionality to thesystem, with an application that can present to the user information of theenvironment focusing his device in different directions.
  7. 7. TABLA DE CONTENIDOLISTA DE FIGURAS iiiCapítulo 1. Introducción 51.1 Introducción 61.2 Antecedentes 71.2.1 Servicios de localización conscientes del contexto aplicando perfiles de movilidad y tecnologíasde localización heterogéneas [Arjona 2009] 71.2.2 API para servicios de localización basada en tecnología RFID, QRCode, WIFI y Bluetooth [Yris2012] 71.2.3 Generación y explotación de mapas semánticos para instalaciones organizacionales mediante eluso de ontologías [Estrada 2012] 111.2.4 Servicio de recomendación contextual mediante ontologías multidimensionales para dispositivosSmartphone [González 2012] 121.3 Descripción del problema 131.3.1 Complejidad del problema 141.4 Objetivos del proyecto 151.4.1 Objetivo general 151.4.2 Objetivos específicos 151.5 Justificación 16Capítulo 2. Marco Teórico 172.1 Realidad aumentada 182.1.1 Reconocimiento de objetos mediante el uso de marcadores 192.1.2 Técnicas de reconocimiento visual sin marcadores 212.1.3 Técnicas de reconocimiento sensorial 222.2 Computación ubicua 232.3 Servicios de recomendación contextual 242.4 Modelado organizacional orientado al entorno 252.5 Android 262.6 Tecnología sensorial en Smartphones 26Capítulo 3. Estado del Arte 293.1 Sistemas 303.1.1 A Tracking Framework for Augmented Reality Tours on Cultural Heritage Sites [Park 2010] 303.1.2 An Augmented Reality Presentation System for Remote Cultural Heritage Sites [Zöllner 2009] 323.1.3 Location-based augmented reality on mobile phones [Turk 2010] 333.1.4 An Augmented Reality Interface to Contextual Information [Ajanki 2011] 35 i
  8. 8. 3.1.5 Personalized In-store E-Commerce with the PromoPad: an Augmented Reality Shopping Assistant[Zhu 2008] 363.2 Herramientas 373.2.1 Look!: Framework para Aplicaciones de Realidad Aumentada en Android [Bellón 2011] 373.2.2 CAMAR Tag Framework: Context-Aware Mobile Augmented Reality Tag Framework for Dual-realityLinkage [Woo 2009] 373.2.3 Unified Context-aware Augmented Reality Application Framework for User-Driven Tour Guides [Woo2010] 383.3 Análisis del estado del arte 39Capítulo 4. Diseño de la aplicación 424.1 Arquitectura general del sistema 434.2 Modelo de orientación en el entorno 444.3 Diagrama de casos de uso 494.4 Diagramas de clases 57Capítulo 5. Implementación 605.1 Modificaciones a la red de ontologías 615.2 Servicio de localización 655.3 Desarrollo de la aplicación 675.3.1 Lectura de la información de la Ontología 685.3.2 Implementación de los objetos virtuales 705.3.3 Funcionalidad de filtrado de información 72Capítulo 6. Pruebas 746.1 Plan de pruebas 756.1.1 Enfoque 75 6.1.2 Características a probar 756.1.3 Características excluidas 766.1.4 Elementos de prueba 766.1.5 Requerimientos para realizar las pruebas 776.1.6 Criterio éxito/fracaso de los casos de prueba 776.1.7 Responsabilidades 776.1.8 Diseño de las pruebas 776.2 Reporte de pruebas 806.3 Resultados 115Capítulo 7. Conclusiones y trabajos futuros 1177.1 Conclusiones 1187.2 Aportaciones 1187.3 Trabajos futuros 119Referencias 120 ii
  9. 9. LISTA DE FIGURASFigura 1.1 algoritmo de localización por redes inalámbricas implementado [Yris 2012] 8Figura 1.2 segmentación del entorno de acuerdo a la potencia de señal inalámbrica recibida [Yris 2012] 9Figura 1.3 diagrama del funcionamiento de los portales RFID [Yris 2012] 10Figura 1.4 diagrama para la implementación de portales RFID [Yris 2012] 10Figura 1.5 Ejemplo de un mapa generado en el proyecto [Estrada 2012] 11Figura 2.1 marcadores de plantilla y matrices de datos [Schmalstieg 2007] 19Figura 2.2 ejemplo de un QRCode [Woo 2011] 20Figura 2.3 proceso de umbralización [Schmalstieg 2007] 20Figura 2.4 modelo de rotaciones en un reconocimiento sensorial por orientación 23Figura 2.5 Principales componentes de los sensores [Akyildiz 2002] 26Figura 2.6 diagrama de un giroscopio digital [Jones 2010] 27Figura 3.1 algoritmo de estimación de poses [Park 2010] 30Figura 3.2. Técnicas de realidad aumentada implementadas en el palacio de Gyeongbokgung [Park 2010] 32Figura 3.3 dispositivo estático para la visualización de información contextual en murales [Zöllner 2009] 33Figura 3.4 inserción de objetos virtuales en los dispositivos móviles [Zöllner 2009] 33Figura 3.5 Modelo de reconocimiento mediante localización y orientación propuesto en el proyecto [Turk2010] 34Figura 3.6 aumentación mediante el reconocimiento por orientación y ajuste mediante técnicas dereconocimiento visual 34Figura 3.7 algoritmo para la retribución de información en el sistema [Ajanki 2011] 35Figura 3.8 reconocimiento de objetos e inserción de información en el entorno [Ajanki 2011] 36Figura 3.9 acercamiento a un producto de posible interés para el cliente 36Figura 3.10 generación del mundo virtual a partir del entorno real en el proyecto [Woo 2009] 38Figura 4.1 arquitectura general del nuevo sistema T-Guía 43Figura 4.2 Funcionamiento de la aplicación YLEYANA en el sistema 44Figura 4.3 segmentación del entorno para la construcción de un MOM [Pombinho 2011] 45Figura 4.4 modelo de navegación de 8 orientaciones [Worboys 2011] 46Figura 4.5 modelo de ocho orientaciones para indicar los POIs del entorno 46Figura 4.6 ejemplo de la aplicación del modelo de ocho grados de libertad 47Figura 4.7 definición de las zonas de localización para los estados en el MOM 47Figura 4.8 autómata del modelo de orientación propuesto para la visualización de POIs 48Figura 4.9 manejo de los objetos fuera del campo de visión en el modelo de orientación 49Figura 4.10 Diagrama de casos de uso del sistema 49 iii
  10. 10. Figura 4.11 Diagrama de clases del sistema 57Figura 5.1 Unión de la ontología de infraestructura y ONALIN 62Figura 5.2 Proceso de instanciación de la información del sistema 62Figura 5.3 Modelo de representación de las distintas zonas del entorno [Estrada 2012] 63Figura 5.4 Representación de los segmentos de navegación en el entorno 64Figura 5.5 integración de los puntos de interés al entorno 64Figura 5.6 integración de las orientaciones en el entorno 65Figura 5.7 Botón para la selección de la localización del usuario 66Figura 5.8 Pantalla para la selección de la localización del usuario 66Figura 5.9 Visualización de puntos de interés en el entorno 67Figura 5.10 representación de las clases de la ontología en un entorno real 67Figura 5.11 Ejemplo de instanciación de las ontologías del sistema 68Figura 5.12 Estructura principal de un archivo JSON 68Figura 5.13 Estructura de un objeto del tipo nodo 69Figura 5.14 Estructura de un objeto de orientación 69Figura 5.15 Estructura de un POI 69Figura 5.16 Inserción de imágenes con la librería Look! 70Figura 5.17 Inserción de texto en el objeto virtual 70Figura 5.18 Inserción de objetos virtuales en el entorno 71Figura 5.19 Pantalla de información extra de los puntos de interés del entorno 71Figura 5.20 variables que controlan la visibilidad de los objetos 72Figura 5.21 Método para el filtrado de información 72Figura 5.22 Implementación de opciones de filtrado de información en la aplicación 73Figura 6.1 Representación de la plata baja del edificio de computación 78Figura 6.2 representación de la planta alta del edificio de computación 79Figura 6.3 Error en los archivos XML por la etiqueta Extensión 116Figura 6.4 Recomendaciones nulas en los archivos XML 116 iv
  11. 11. Capítulo 1. Introducción Capítulo 1. IntroducciónEn este capítulo se describen los antecedentes del proyecto y el contexto en elque se desarrolló, así como también los objetivos, el problema a resolver y losalcances del proyecto. 5
  12. 12. Capítulo 1. Introducción1.1 IntroducciónLa computación ubicua es un área de la computación que permite a unacomputadora o dispositivo móvil estar conscientes de su entorno, esto esposible mediante técnicas de reconocimiento contextual y censado de señalesemitidas por distintos tipos de dispositivos que permiten que un sistema puedaestar consciente (de manera artificial) de las actividades o cambios quesuceden en el entorno. La computación ubicua nos permite diseñar variasaplicaciones capaces de interactuar con el entorno, las cuales puedeninvolucrar la localización de objetos en interiores o exteriores, sistemas denavegación, sistemas de información contextual, entre otros.Algunas de las técnicas de identificación usadas en el cómputo ubicuo utilizantecnologías que permiten a los dispositivos conocer la información de losobjetos, lugares y personas de su entorno, ya sea mediante señales de radiofrecuencia o marcadores visuales. El desarrollo de estos sistemas ha idoevolucionando de tal manera que podemos encontrar aplicaciones denavegación para celulares, diseñadas con una interfaz de usuario que permitela navegación con mapas o aplicaciones que implementan interfaces conrealidad aumentada.Actualmente en el Laboratorio de Sistemas Distribuidos del Centro Nacional deInvestigación y Desarrollo Tecnológico (CENIDET) se está desarrollando unsistema de recomendación contextual para Instituciones de Educación Superior(IES), en este proyecto se están modelando, diseñando e implementandoservicios que permiten averiguar las condiciones del entorno físico de unaorganización (IES), con estos servicios los usuarios que visitan una IES recibenrecomendaciones contextuales, en un cliente instalado en su dispositivo móvil,que contienen información de personas, de objetos de conocimiento y delugares, se espera que estas recomendaciones satisfagan sus necesidadesexplicitas e implícitas. La interfaz con la que se le muestran los datos delentorno al usuario utiliza mapas diseñados en segunda dimensión, sinembargo, en los sistemas implementados con este tipo interfaz existe unproblema de interpretación de la información de los objetos y la localización delusuario en el entorno, los sistemas que utilizan técnicas de realidad aumentadapueden mostrar la información contextual de los objetos al enfocarlos con eldispositivo, lo que facilitaría la interpretación de esta información y, debido aque el usuario interactúa directamente con el entorno, no existirían problemaspara interpretar su localización.La implementación de sistemas de realidad aumentada elabora la inserción deobjetos virtuales en el entorno real, lo que implica que cada objeto virtual debeestar asociado a uno real para poder interpretar de manera correcta lainformación, para ello deben diseñarse técnicas para identificar los elementosdel entorno, dependiendo de las condiciones en las que se vaya a implementarla aplicación. Además del reconocimiento de objetos en la realidad aumentada,deben integrarse servicios que proporcionen la información de los objetos quese encuentran en el entorno, y además de ello, deben implementarse serviciosde localización para determinar la ubicación del usuario con el entorno, conocerque objetos se encuentran a su alrededor y finalmente conocer el perfil delusuario para poder elaborar recomendaciones de objetos, lugares o personas 6
  13. 13. Capítulo 1. Introducciónde interés, por lo tanto, la aplicación que se pretende desarrollar debe integrarfunciones de reconocimiento, localización y recomendaciones en el entorno.En resumen, en este proyecto de tesis se diseñaron e implementaron deservicios que presentan la información contextual de recomendaciones depersonas, objetos y lugares utilizando tecnologías de realidad aumentada, porejemplo, descripción de objetos cómo libros, instalaciones, ubicación depersonas e incluso la identificación de personas por medio de tecnologías deauto-identificación. Como resultado de este proyecto de tesis se desarrolló unprototipo para teléfonos inteligentes (o Smartphones) que explota todos lossensores contextuales de estos dispositivos mostrando al usuario informacióncontextual de la IES sobre video en tiempo real capturado por la cámara deldispositivo.1.2 AntecedentesEn esta sección se detallarán las tesis y trabajos que se han elaborado dentrodel área de sistemas distribuidos del CENIDET con respecto al trabajo que seestá desarrollando.1.2.1 Servicios de localización conscientes del contexto aplicando perfiles de movilidad y tecnologías de localización heterogéneas [Arjona 2009]Este trabajo se considera antecedente ya que desarrolló servicios delocalización en interiores que pudieran estar conscientes del contexto, ademásse implementaron servicios para la localización de los usuarios utilizandodispositivos celulares, de esta manera se cuenta con un sistema de localizaciónen interiores que puede identificar los objetos que se encuentren en el entornoreal.Este proyecto logró introducir una aplicación conocida como “T-Guía”, la cualcuenta con una arquitectura cliente servidor, el servidor es capaz de gestionarla ubicación de los objetos mediante tarjetas RFID y las direcciones MAC de losdispositivos, mientras que la aplicación de cliente fue elaborada paradispositivos móviles con sistema operativo Android, y es capaz de recibir lainformación de las localizaciones mediante RFID y QRCodes, gracias a lastecnologías implementadas en este proyecto se logró una localización eninteriores con una precisión de posicionamiento de los dispositivos menor a 2metros.1.2.2 API para servicios de localización basada en tecnología RFID, QRCode, WIFI y Bluetooth [Yris 2012]Este proyecto dio como resultado una API que permitía al programadorimplementar métodos de localización de dispositivos móviles en interiores deedificios en base a las lecturas obtenidas por dispositivos con interfaz IEEE802.11 (Wi-Fi) y RFID. Los métodos que conforman la API también permitiránla trazabilidad en tiempo real de personas y objetos que se encuentrenidentificados por etiquetas RFID pasivas. 7
  14. 14. Capítulo 1. IntroducciónEl algoritmo de localización por redes inalámbricas, mediante Wi-Fi o Bluetooth,consiste en definir distintas áreas de localización dependiendo la potencia de laseñal con la que esta se reciba, en la figura 1.1 puede apreciarse un ejemplode ésta definición de zonas tipo de algoritmo, los distintos puntos de accesoemiten señales con distinto nivel de frecuencia, dependiendo la potenciarecibida por cada uno de los puntos de acceso es posible dividir el entorno enceldas de localización, ya que se ha dividido el entorno en estas celdas, esposible identificar la ubicación del usuario en el entorno al registrar la potenciade la señal recibida, este método es conocido como el algoritmo de localización“fingerprint”. Figura 1.1 algoritmo de localización por redes inalámbricas implementado [Yris 2012]Una vez establecido este algoritmo para la localización en interiores, seprocedió a medir la potencia de las señales de los puntos de acceso en elentorno, registrando el incremento y decremento de cada señal recibida, estopermitió dividir el entorno en celdas de localización con una superficie de 2metros cuadrados, generando una división como se muestra en la figura 1.2. 8
  15. 15. Capítulo 1. Introducción Figura 1.2 segmentación del entorno de acuerdo a la potencia de señal inalámbrica recibida [Yris 2012]Para definir la localización dentro de las distintas áreas funcionales del entorno,se agruparon las celdas que se encontraban dentro de una de las áreas, deésta forma, podrá definirse si el usuario se encuentra en un área funcional delentrono dependiendo en qué conjunto de celdas se encuentra, la siguientetabla define la correspondencia de las zonas funcionales del entorno con lasceldas definidas en la figura anterior.Nombre de la zona de localización Símbolo / colorCENIDET.Cerritus.DCC.Aula_1CENIDET.Cerritus.DCC.Aula_2CENIDET.Cerritus.DCC.Aula_3CENIDET.Cerritus.DCC.Laboratorio_Sistemas_DistribuidosCENIDET.Cerritus.DCC.Laboratorio_Ingenieria_de_softwareCENIDET.Cerritus.DCC.Laboratirio_Inteligencia_ArtificialCENIDET.Cerritus.DCC.Soporte_tecnicoCENIDET.Cerritus.DCC.SanitariosCENIDET.Cerritus.DCC.Escaleras_planta_bajaCENIDET.Cerritus.DCC.Entrada_al_edificioCENIDET.Cerritus.DCC.TragaLuzAdemás de implementar un servicio de localización por tecnologíasinalámbricas, también se implementó un algoritmo de reconocimiento medianteRFID. Esta tecnología permite capturar e identificar de manera automáticainformación contenida en etiquetas (tags) a través de un lector de ondas deradio frecuencia, éstas etiquetas RFID se adhieren a algún objeto, cuando elobjeto se encuentre en el campo de recepción del lector RFID, la etiqueta seenergiza y envía como respuesta un número de 96 bits (código EPC) al lector, 9
  16. 16. Capítulo 1. Introduccióneste código se utiliza para identificar y extraer información del objeto [Portillo2008].Para ésta identificación, se diseñaron portales RFID que contaban con dosantenas lectoras, las cuales podían registrar el movimiento de entrada y salidade alguna entidad que contenga un tag, en la figura 1.3 se presenta el modelode los portales RFID, estos portales podrían ser instalados en los accesos delas distintas áreas del entorno como se muestra en la figura 1.4, de esta formael sistema podría registrar cuando un usuario, con una etiqueta RFID asignada,entraba o salía de determinada área, y de esta forma inferir su localización. Figura 1.3 diagrama del funcionam iento de los portales RFID [Yris 2012] Figura 1.4 diagrama para la implementación de portales RFID [Yris 2012] 10
  17. 17. Capítulo 1. Introducción1.2.3 Generación y explotación de mapas semánticos para instalaciones organizacionales mediante el uso de ontologías [Estrada 2012]En este proyecto se desarrollaron herramientas que permitieron crear mapasvirtuales con anotaciones semánticas de manera automática, de esta forma losmapas contienen información acerca de la estructura de la información,además de contener la información de los elementos que se encuentran encada uno de los lugares.Para poder elaborar esto, los mapas se desarrollaron en el lenguaje de diseñode gráficos en segunda dimensión Scalable Vector Graphics (SVG), de estamanera se lograron desarrollar mapas que contienen información de lasinstalaciones sin depender de algún servicio web para obtener estainformación, además que este formato permite elaborar acercamientos a lasimágenes sin obtener alguna distorsión. En la figura 1.5, se muestra un ejemplode un mapa construido en este formato de la planta baja del edificio decomputación. Figura 1.5 Ejemplo de un mapa generado en el proyecto [Estrada 2012]Para obtener la información contenida en estos mapas, se utilizaron ontologíasorganizacionales, en las cuales contenían información acerca de los objetos,personas, eventos, recursos, etc. Con estas ontologías se podía extraer lainformación de la organización y asignarle esta información a los mapas SVG,de esta forma el mapa contendrá información sobre los objetos y las personasque están asignadas a ese lugar. Además de ello, se desarrolló una ontologíacapaz de modelar la infraestructura de una organización, con la cual eraposible definir áreas funcionales, entradas, edificios, escaleras, etc. 11
  18. 18. Capítulo 1. Introducción1.2.4 Servicio de recomendación contextual mediante ontologías multidimensionales para dispositivos Smartphone [González 2012]El objetivo de esta tesis fue desarrollar servicios de recomendacióncontextuales para usuarios móviles de una IES, mediante la explotación deontologías organizacionales y ontologías de perfil de usuario, para inferirrecomendaciones de servicios, personas, lugares y objetos asociados a unaorganización. Las recomendaciones se explotarán en el dispositivo móvil de unusuario, aplicando técnicas avanzadas de interacción basadas en texto paravisualizar las recomendaciones, utilizando el potencial de los dispositivosmóviles de última generación.Este proyecto busca modelar la información contextual de una organización(IES) mediante una red de ontologías, basándose en los conceptos definidosen [Bouzeghoub 2009] sobre contexto multidimensional, de tal forma, que secontemplan cinco dimensiones, correspondientes a las siguientes ontologías:  Ontología organizacional: en esta ontología, basada en las ontologías de organizaciones desarrolladas previamente en el CENIDET, se describen diversos aspectos de la institución, tales como los datos generales y financieros de una organización, sus competencias, recursos de infraestructura, recursos humanos, estructura organizacional, objetos de conocimiento y servicios, entre otros.  Ontología de localización: esta ontología se forma de ontologías de espacios y de localización, desarrollándose actualmente en CENIDET [Estrada 2010] [Yris 2012], considera espacios interiores y exteriores de las organizaciones.  Ontología de Actividades: se propone esta ontología para describir las actividades de las personas pertenecientes a una organización, considerando el tipo de actividad, el rol de la persona en ella y los recursos organizacionales asociados a dicha actividad.  Ontología de tiempo: se toma como base la ontología OWL-Time y se propone extenderla para satisfacer los requerimientos del sistema de recomendación propuesto en esta tesis, tal como el modelado de horarios, periodos de trabajo, fechas de eventos, etc.  Ontología de perfil de usuario: en esta ontología, basada en las ontologías de perfil de usuarios desarrolladas previamente en el CENIDET, se describen los intereses y preferencias de los usuarios, además de las competencias de los mismos. 12
  19. 19. Capítulo 1. IntroducciónCon este conjunto de ontologías, a las cuales se le añadirán las relacionescorrespondientes para conformar la red, se busca modelar aspectosrelacionados con competencias organizacionales e individuales, objetos deconocimientos, localización, infraestructura, eventos espacio/temporales,agendas de actividades, ocupaciones, roles e intereses de los usuarios.1.3 Descripción del problemaActualmente, los sistemas de información contextual en entornos inteligentesque utilizan realidad aumentada, necesitan establecer métodos para identificarobjetos, personas o lugares que estén contextualizados en el sistema. Sinembargo deben aplicar diferentes tecnologías para el reconocimiento deobjetos dependiendo el entorno en el que se encuentre la aplicación, ya quealgunas de ellas, como el reconocimiento de objetos a través de marcadores,pueden ser más eficientes en ciertos entornos, incluso dependiendo del origendel entorno, algunas tecnologías no pueden implementarse, por ejemplo el usode marcadores en museos de patrimonio cultural.Una vez conocidas las tecnologías que pueden implementarse en el entorno,debe tenerse en cuenta que utilizar una sola técnica para el reconocimiento deobjetos en este tipo de aplicaciones no garantiza una buena precisión alrelacionar los objetos reales con sus anotaciones virtuales [Park 2010], ademáses muy difícil realizar todas las funciones del sistema mediante el uso de unasola tecnología, por ejemplo, si se utilizaran marcadores únicamente, para lalocalización del usuario en el entorno deberían implementarse muchosmarcadores, de tal manera que se asegure que el usuario visualice, ademáscada marcador necesitaría contener la información de la zona del entorno en laque se localiza el usuario, tal como se hizo en [Thomas 2002], en caso de lastecnologías sensoriales, podría detectarse los objetos que se encuentran cercadel dispositivo, sin embargo algunas de ellas emiten señales de corto alcance,tal es el caso de RFID, y en cuanto a la realidad aumentada sería imposibleasociar los objetos virtuales con los reales de manera precisa, por ejemplo encaso de encontrarse múltiples objetos en el entorno, el dispositivo podríadetectar las señales emitidas por estos, sin embargo no podría asignar losobjetos virtuales con precisión a los objetos, debido a que no sabría en quédirección se recibe la señal. Debido a lo anterior, deben implementarsetécnicas que permitan combinar las distintas tecnologías de localización deusuarios y reconocimiento de objetos en el entorno para obtener una mayorprecisión en la inserción de los objetos reales.Cada una de las técnicas utilizadas para la auto-identificación de objetosimplica diferentes procesos para el reconocimiento de los mismos, por ejemplo,la identificación sensorial necesita conocer la localización del usuario paradeterminar que objetos se encuentran en su alrededor, después, con ayuda delos sensores del dispositivo, puede obtener la orientación del usuario y 13
  20. 20. Capítulo 1. Introducciónmostrarle los objetos que está viendo a través de la cámara del dispositivomóvil. Para elaborar técnicas de auto-identificación hibridas es necesario tomaren cuenta ¿cómo se van a reconocer los distintos objetos del entorno utilizandodiversas técnicas?, ya que el entorno puede contar con diferentes objetos, en elcampo de visión podrían encontrarse objetos que se reconozcan mediante suforma, algún marcador o tecnologías sensoriales, de tal manera que debemosconsiderar que en el entorno existen múltiples objetos que pueden auto-identificarse de distintas maneras en tiempo real.Una vez que se implementan las técnicas de auto-identificación para reconocerpersonas, objetos y lugares, se debe extraer la información descriptiva de cadauno de estos elementos de una fuente de información contextual, para esteproyecto de tesis se utilizará el servicio de recomendación T-Guía, este sistemamodela semánticamente una organización y recomienda al usuario cada unode los elementos que define el modelo semántico desarrollado en los proyectosde tesis descritos en la sección 3, como caso de estudio, en este proyecto detesis se considera como escenario de prueba una institución de EducaciónSuperior (IES), debido a que estas contienen información sobre personal,eventos, horarios, objetos, etc. de esta manera existe mucha informacióncontextual en una IES para elaborar recomendaciones de los elementosanteriores, además que los proyectos anteriores, incluyendo el sistema derecomendación [Gonzáles 2010], el servicio de localización [Yris 2012] y elmodelado de la infraestructura [Estrada 2010], están basados en la IESCENIDET, y debido a esto, la aplicación que se pretende desarrollar podríaauxiliarse de éstas herramientas al integrar su funcionamiento para el entornoen que fueron diseñadas.Con el escenario descrito para esta tesis, se debe relacionar la informacióncontextual de los de las personas, lugares y objetos de la IES con las técnicasde realidad aumentada que estén en el campo de visión del dispositivo,solucionando los problemas relacionados con objetos sobrepuestos,identificación de lugares desde diferentes puntos de visión, de acuerdo a laubicación del usuario en las instalaciones de la IES, considerando que lainfraestructura de la organización se conforma de varios edificios multinivel enun área extensa y de muchos objetos de conocimiento y equipos de laboratorio.1.3.1 Complejidad del problemaComo se ha mencionado anteriormente, en este proyecto deben implementarsetécnicas que sean capaces de localizar a los usuarios en entornos inteligentes,los cuales mediante tecnologías para el censado de dispositivos móvilespueden detectar e inferir actividades del usuario, además de que debemostrársele al usuario información contextual del ambiente que lo rodea, lo cualimplica que debe considerarse lo siguiente para poder implementar estaaplicación: 14
  21. 21. Capítulo 1. Introducción  Debe implementarse una técnica adecuada de auto-identificación para los objetos, lugares y personas, que permita la identificación de múltiples objetos en el campo de visión del dispositivo.  Deben implementarse técnicas de reconocimiento de múltiples objetos tanto para la identificación en interiores y exteriores dentro del entorno inteligente.  Deben establecerse técnicas que permitan la auto-identificación de personas, que puedan reconocer a una persona y mostrar la información de ésta mediante información contextual del sistema de recomendación.  Cada técnica utilizada comprende propias dificultades de reconocimiento, los marcadores deben diseñarse de determinado tamaño, dependiendo de la resolución de la cámara del dispositivo, para que puedan identificarse de manera correcta.  La aplicación necesita un repositorio donde pueda asociar los patrones para la identificación de los objetos y la información de los mismos.1.4 Objetivos del proyecto1.4.1 Objetivo generalEl objetivo de esta tesis es el análisis, diseño e implementación de servicios derecomendación contextual para instituciones de educación superior, queutilicen tecnologías de realidad aumentada para mostrar información depersonas, lugares y objetos en dispositivos Smartphone.1.4.2 Objetivos específicos  Implementar servicios de localización en interiores capaces de determinar la localización en tiempo real de un dispositivo móvil.  Desarrollar un servicio que sea capaz de determinar la orientación del dispositivo Smartphone mediante los sensores contextuales como el acelerómetro, magnetómetro y giroscopio.  Desarrollar servicios que permita identificar los objetos, lugares, personas y edificios que se están visualizando en el dispositivo, extrayendo la información contextual del modelo semántico organizacional.  Desarrollar servicios para la extracción de información contextual de una red de ontologías organizacionales, que contendrán la información del entorno en el que se desarrollará la aplicación. 15
  22. 22. Capítulo 1. Introducción  Desarrollar servicios que muestren información contextual en tiempo real de personas, lugares y objetos mediante técnicas de realidad aumentada.1.5 JustificaciónAdemás de la realidad aumentada como una opción de interfaz para lossistemas de cómputo ubicuo, también pueden desarrollarse sistemas quemuestren la información contextual del entorno mediante mapas en segunda otercera dimensión, sin embargo este tipo de interfaz carece de naturalidad en lainteracción del usuario con la información del entorno, lo que conlleva aproblemas como la interpretación de la información del entorno, la localizaciónde lugares, objetos o personas que se encuentren en un piso distinto al delusuario, y al orientar al usuario en cuanto a su localización del edificio [Kurata2007]. Las tecnologías de realidad aumentada han evolucionado la interaccióncon el entorno en los sistemas de computación ubicua, ya que el usuario escapaz de visualizar el entorno real con información mediante objetos virtuales,lo que permite una interacción más intuitiva, de tal manera que el usuariopuede obtener la información y recomendaciones de objetos, lugares ypersonas únicamente al enfocarlas con el dispositivo [Matysczo 2003].Actualmente se está desarrollando una nueva versión del sistema derecomendación contextual de [Arjona 2009], de esta manera este proyectointegraría nuevas funciones que permitieran ampliar su funcionalidad. Comoparte de las mejoras del sistema T-Guía, se pretende mejorar la aplicacióncliente del sistema, de esta manera se implementarían nuevos métodos delocalización y se aprovecharían tecnologías de los dispositivos móviles que nose consideraron al desarrollar la primera versión del sistema T-Guía.Por otro lado, las tecnologías de realidad aumentada le permiten interactuar alusuario con el entorno real de manera más natural con la información deentornos inteligentes. Además, los dispositivos Smartphone integrantecnologías sensoriales que podrían gestionar muchos de los requerimientosde la implementación de aplicaciones de realidad aumentada. Por lo que aldesarrollar una nueva aplicación de información contextual utilizandotecnologías de realidad aumentada, se innovaría la interacción del cliente conel sistema. 16
  23. 23. Capítulo 2. Marco Teórico Capítulo 2. Marco TeóricoEn esta sección se describen algunas herramientas, conceptos y aspectostécnicos que están considerados para el desarrollo del proyecto descrito eneste documento. 17
  24. 24. Capítulo 2. Marco Teórico2.1 Realidad aumentadaLa realidad aumentada (Augmented Reality, AR) es un área de investigaciónque se procura mejorar la interacción con el entorno real mediante lasuperposición de información virtual [Schmalstieg 2011], esto quiere decir quegracias a las tecnologías desarrolladas mediante realidad aumentada podemoselaborar tareas en el entorno real permitiéndonos obtener información de éstemediante la inserción de objetos virtuales en el entorno, la realidad aumentadaabarca tres principales características;  La inserción de imágenes virtuales en los entornos reales. Como ya se mencionó anteriormente, la realidad aumentada integra información en el entorno real mediante objetos virtuales, ya sea mediante animaciones u objetos estáticos sobre el video grabado del entorno mediante la cámara del dispositivo.  Reconocimiento de objetos en tercera dimensión. Debido a que la realidad aumentada necesita sobreponer información de los objetos en el entorno, es necesario colocarla de manera precisa sobre cada uno de ellos, de esta forma se aseguraría una correspondencia del objeto con la información virtual, para ello se aplican distintas técnicas de reconocimiento de los elementos en el entorno.  Interactividad en tiempo real. Una de las características que integra la realidad aumentada es, que mientras el usuario interactúa con el entorno real puede interactuar con los objetos virtuales en el mismo instante.Inicialmente las aplicaciones de realidad aumentada se desarrollaban encomputadoras fijas o se construían dispositivos que se montaban sobre elusuario (Head Mounted Display, HMD) para permitir la movilidad de estasaplicaciones en el entorno [Azuma 1997], sin embargo, el costo de estossistemas y los conocimientos técnicos necesarios para su uso impidierongeneralizar la construcción de sistemas de realidad aumentada en estosdispositivos. Actualmente, varios investigadores han desarrollado sistemas derealidad aumentada aprovechando las tecnologías que ofrecen los dispositivosde cómputo móvil, como los PDA’s, Smartphones, Tablets PC, etc. Estosdispositivos contienen tecnologías sensoriales que nos permiten conocer elposicionamiento del usuario en el entorno y además la orientación del usuariopara conocer que objetos se encuentran en su campo de visión [Thalmann2008].Los sistemas de realidad aumentada requieren de un reconocimiento precisode la orientación y el posicionamiento del usuario para poder ajustar lainformación virtual en los objetos reales, para ello pueden utilizarse distintastécnicas con las cuales puede identificarse a los objetos del entorno, estaspueden clasificarse dependiendo a la estrategia y a las tecnologías utilizadaspara la identificación de objetos del entorno, comúnmente puede elaborarse laidentificación de objetos mediante el uso de marcadores visuales, sinmarcadores o mediante tecnologías sensoriales, a continuación se describe enqué consiste cada una de estas tecnologías. 18
  25. 25. Capítulo 2. Marco Teórico2.1.1 Reconocimiento de objetos mediante el uso de marcadoresUn marcador visual es una imagen que contiene algún código preestablecido,el cual puede ser decodificado por algún dispositivo para el reconocimiento deobjetos, transferencia de información, etc.En la realidad aumentada, los marcadores se utilizan para facilitar y controlarlas imágenes que se van a visualizar, además de implementar otras funcionesen el sistema, por ejemplo, en [Thomas 2002] se implementó un juego derealidad aumentada en primera persona en el que, además de utilizarmarcadores para insertar los objetos virtuales, se implementó un sistema delocalización de bajo costo utilizando los marcadores, en donde se establecía laubicación del usuario en el entorno dependiendo el tipo de marcador. Ademásde funcionar como un sistema de localización los marcadores permiten obtenerla orientación del dispositivo sin necesidad de utilizar sensores de orientaciónen el dispositivo, en trabajos como [Schmalstieg 2003] y [Schmalstieg 2006] losmarcadores ayudan a obtener la orientación del dispositivo de acuerdo a lainclinación de la imagen del marcador capturada.En la figura 2.1 puede apreciarse un ejemplo de los marcadores que se utilizancomúnmente; de plantilla y matrices de datos. Los marcadores de tipo plantillason aquellos que se diseñan con alguna figura en particular, especialmentediseñada para reconocer objetos en el entorno, pueden facilitar la interpretaciónde estos por los usuarios. Las matrices de datos son capaces de almacenarcódigos binarios de manera bidimensional, comúnmente se emplean matricesde 6x6 capaces de generar 4096 marcadores distintos, también se han llegadoa implementar matrices de datos de 144x144 capaces de almacenar hasta1558 bytes. Figura 2.1 marcadores de planti lla y matrices de datos [Schmalstieg 2007]Además de las matrices de datos, también existen los códigos de respuestarápida (Quick Responce Code, QRCode), los cuales representan un códigobidimensional con el cual se puede codificar texto alfanumérico, códigosnuméricos e imágenes, la especificación permite codificar tres clases deinformación: QRCodes con 7,089 caracteres numéricos, con 4,296 caracteresalfanuméricos y con 2,953 códigos binarios (imágenes) [ISO 2006], En la figura2.2 puede apreciarse un ejemplo de un QRCode. 19
  26. 26. Capítulo 2. Marco Teórico Figura 2.2 ejemplo de un QRCode [Woo 2011]Como puede observarse, los marcadores son capaces de almacenar datos dedistintas formas, además que pueden ser útiles para indicarle al usuario zonasde interés. Para poder reconocer la información que se encuentra dentro delmarcador podemos utilizar el algoritmo propuesto en [Schmalstieg 2007], elcual consta de cinco fases descritas de la siguiente forma:Umbralización. En este proceso se eliminan las sombras y los otros colorescapturados del entorno, conservando únicamente aquellos colores quepermitan identificar al marcador, por ejemplo, en la figura 2.3 puede apreciarseque cuando el marcador se encuentra en blanco y negro, el proceso deumbralización eliminará los otros tonos de la imagen, conservando únicamenteaquellos que le permitan identificar el marcador. Figura 2.3 proceso de umbralización [Schmalstieg 2007]Detección de marcadores. Una vez que se ha obtenido una imagen con laumbralización, deberán detectarse todas las figuras que puedan formar unmarcador, en este proceso se obtendrán diversas formas sin importar que noformen un rectángulo o la forma establecida del marcador.Definición de la forma. Una vez obtenidas las figuras candidatas, se sometena una verificación que comprueba que cumplen con la forma de losmarcadores, en caso de que los marcadores sean cuadrados, se descartarántodas las figuras que no tengan las propiedades de la forma del marcador.Verificación de patrones. Una vez obtenidas las figuras de los marcadores,puede identificarse el patrón que este contiene, este proceso permitiráreconocer el marcador y añadir los objetos virtuales correspondientesEstimación de la orientación. Finalmente puede obtenerse una orientacióndel dispositivo con respecto al marcador, esto puede hacerse al detectar algunainclinación en la imagen capturada del marcador 20
  27. 27. Capítulo 2. Marco TeóricoLos marcadores visuales permiten controlar la identificación visual en elentorno, incluso pueden diseñarse para facilitar su reconocimiento, por ejemploal integrar marcadores de colores más visibles en el entorno, además de poderaprovechar otras funcionalidades de estos, como la obtención de la orientacióny ubicación del dispositivo.2.1.2 Técnicas de reconocimiento visual sin marcadoresEn algunos de los entornos, como es en el caso de los museos de patrimoniocultural [Park 2010] y [Papagiannakis 2005], no pueden agregarse marcadorespara la identificación de objetos en el entorno, por lo tanto debe optarse porotras estrategias que le permitan a la aplicación identificar que objetos seencuentran a su alrededor. Las técnicas de reconocimiento visual se utilizan enlos sistemas inteligentes para facilitar la recolección de los datos y la toma dedecisiones, este tipo de técnicas se encarga de clasificar objetos, capturadosen alguna escena o imagen capturada, en cierto número de categorías o clases[Pajares 2008].Muchos sistemas de este tipo se basan en la identificación de formas, bordes,o puntos clave de los objetos en el entorno, para ello es necesario aplicar algúnalgoritmo de tratamiento de imágenes por visión artificial. Para comprender demanera general como puede llevarse a cabo un reconocimiento visual, seexpondrá el algoritmo propuesto por [Matysczok 2003], en el cual se extraenlos bordes de una imagen para el reconocimiento de objetos y, posteriormente,para la inserción de información virtual de ese objeto.  Extracción de la estructura del objeto. Es necesario que primero se obtenga una imagen de algún objeto mediante la cámara del dispositivo, en este paso también se identificarán los bodes y puntos clave que puedan formar alguna figura que pueda ayudar a reconocer el objeto.  Acceso a los datos 3D-CAD. Una vez obtenidas los bordes, puntos o figuras candidatas a formar un objeto, se accede a los modelos creados en programas de diseño asistido mediante computadora (CAD), estos modelos almacenan las formas de los objetos del entorno que pueden ser identificados, de esta forma ayudarán a comparar las figuras obtenidas en el primer paso para determinar si se trata de algún objeto contextualizado.  Detección de figuras auxiliares. Una vez obtenido el modelo 3D-CAD, se compara este modelo con las figuras obtenidas en la captura de la imagen, de esta forma se obtendrán todas las coincidencias con el modelo, obteniendo una primera forma del objeto.  Reducción de polígonos. Ya que se han obtenido los bordes, puntos clave y figuras que coinciden con el modelo 3D-CAD, aquellos que no hayan coincidido con el modelo serán descartados, reduciendo las figuras capturadas para simplificar la forma del objeto y su reconocimiento.  Extracción de bordes dominantes. Ya que se cuenta únicamente con las figuras que coinciden con el modelo, se definen los bordes y superficies que formarán al objeto. 21
  28. 28. Capítulo 2. Marco Teórico  Definición de relaciones. Una vez definidos los bordes y las superficies capturadas, se procede a formar relaciones entre estos para definir el objeto, esto permite reconocer finalmente al objeto  Conversión de datos. Finalmente, este objeto puede pasarse a un formato de reconocimiento, en donde pueda devolverse una clave de identificación, que le pueda indicar al sistema cómo reaccionar una vez que se ha reconocido el objeto, en algunos casos este objeto puede llegar a almacenarse para enriquecer los modelos 3D-CAD.Como puede verse, el proceso de reconocimiento de objetos requiere untratamiento avanzado de imágenes, debido a que estos objetos deben seridentificados sin importar de qué ángulo haya sido capturada la imagen, es porello que los modelos 3D-CAD deben capturarse de manera robusta, de talforma que el objeto pueda identificarse de diferentes perspectivas.2.1.3 Técnicas de reconocimiento sensorialLas técnicas de reconocimiento sensorial pueden dividirse en dos tipos deacuerdo al tipo de reconocimiento que utilizan, por un lado se encuentranaquellas técnicas que se encargan de reconocer los objetos al recibir una señalmediante algún tipo de sensor, y por otro lado se encuentran aquellas queutilizan sensores de orientación para definir que objetos se encuentravisualizando el usuario de acuerdo a la posición en la que se encuentra eldispositivo.Algunos trabajos han utilizado tecnologías como la identificación por lucesinfrarrojas, tecnologías por identificación de radiofrecuencia (RFID) u otro tipode sensores. En trabajos como [Olwal 2006] se utilizan sensores infrarrojos enlos dispositivos para poder detectar una señal capaz de identificar objetos delentorno y proyectar información contextual del mismo. El trabajo [Rashid 2006]utiliza la tecnología RFID para integrar etiquetas en los puntos de interés(points of interest, POI) capaces de contener información de estos, para lalectura de estas etiquetas, se integró un lector de RFID en el dispositivo, deesta forma el sistema era capaz de reaccionar ante los POIs del entornodetectados por el dispositivo.Como puede apreciarse, este tipo de tecnologías se utiliza de manera similar alos marcadores visuales, añadiéndole a algún objeto del entorno un mecanismocapaz de emitir una señal que pueda ser recibida por el dispositivo y de estaforma poder identificarse. Sin embargo, existen otros trabajos que aprovechanlos sensores de orientación como el acelerómetro, giroscopio y magnetómetropara identificar los POIs del entorno. Trabajos como [Paucher 2010]implementan un reconocimiento a base de los sensores de orientación, el cualdespués se complementa con un reconocimiento visual para lograr una mayorprecisión para la correspondencia de la información virtual con los objetosreales.En [Mulloni 2010] se propuso un método con el cual puede saberse si eldispositivo se encuentra viendo un POI a partir de su orientación, en la figura2.4 puede apreciarse el modelo de orientación de un dispositivo con respecto aun POI, como puede verse, existen tres rotaciones R definidas por los 22
  29. 29. Capítulo 2. Marco Teóricoacelerómetros de los ejes X, Y y Z. Una rotación del dispositivo con respecto alnorte (RDN), la rotación del POI con respecto al norte (RPN) y finalmente unarotación del dispositivo con respecto al POI (RDP), el norte se define con lasmediciones del magnetómetro del dispositivo. Figura 2.4 modelo de rotaciones en un reconocimiento sensorial por ori entaciónPara que este modelo funcione es necesario establecer una localización delusuario con el entorno, ya que la orientación de los POIs puede variar deacuerdo a la ubicación del usuario en el entorno, una vez establecida lalocalización del usuario, se toman los datos de las rotaciones RPN, donde seencontrarán referenciados los POIs. Cada vez que el usuario se encuentre enla localización definida se obtiene la rotación del dispositivo RDN, esta rotaciónobtenida puede compararse con la rotación de los POIs RPN y obtener larotación RDP, esta última rotación definirá la rotación que existe entre el puntode interés y el campo de visión del dispositivo, cuando la orientación del campode visión del dispositivo este cerca de un POI, podrá visualizarse la informacióncontextual de este.Como puede apreciarse, las técnicas sensoriales son capaces de identificarobjetos al capturar señales en el entorno, o bien, al identificar la orientación deldispositivo, sin embargo ninguna de estas técnicas utiliza la cámara deldispositivo para elaborar algún tipo de reconocimiento, por lo que la precisiónde estas técnicas se basa únicamente en las señales capturadas o en lasorientaciones medidas, lo que hace que este tipo de técnicas tenga una menorprecisión en la correspondencia de las anotaciones virtuales con los objetosreales.2.2 Computación ubicuaLa computación ubicua mejora el uso de las computadoras haciendo que estasestén conscientes de un entorno físico, procurando que éstas no seanperceptibles para el usuario, por lo tanto podemos definir a la computaciónubicua como el diseño de ambientes inteligentes que integran computadoras odispositivos que sean capaces de registrar los cambios o actividades que seefectúan en el entorno, de esta manera se pueden implementar sistemas quepueden cambiar su comportamiento de acuerdo a los eventos que se presentenen su entorno. [Weiser 1993] 23
  30. 30. Capítulo 2. Marco TeóricoLa computación ubicua surge con el objetivo de integrar a las computadoras enlas actividades de la vida cotidiana, de esta manera las computadoras podríangestionar la información del entorno sin necesidad de que el usuario tuvieraconciencia de los dispositivos encargados de construir el ambiente inteligente,para ello, se han diseñado dispositivos de cómputo móvil cada vez másdiscretos, como los Smartphones o PDA’s, capaces de obtener información delposicionamiento y la orientación del usuario a base de sensores integrados enlos dispositivos, además, también se han diseñado tecnologías capaces deintegrar técnicas de auto-identificación de los objetos en el entorno, como losmarcadores, códigos QR o etiquetas RFID.2.3 Servicios de recomendación contextualEl modelado y administración de contexto es crítico para la implementación deservicios inteligentes (Smart Services), término que incluye dos áreasespecíficas de investigación: a) técnicas de interacción inteligentes, que tratanaspectos relacionados con el descubrimiento, agregación y entrega derecursos, b) servicios inteligentes, enfocados en proporcionar la infraestructuraadecuada para dar soporte a las interacciones inteligentes; es decir,proporcionar la funcionalidad requerida que permita a un sistema adaptarse asu entorno y a las preferencias y necesidades del usuario.Esto significa que además de conocer el contexto del usuario, también serequiere conocer el contexto que le rodea, país, ciudad, época del año, horario,etc. El contexto se puede representar con información espacial, se utilizanbases de datos espaciales (SIG) que procesan información georeferencial(longitud, latitud) para ubicar puntos o superficies de terrenos o instalacionesen cualquier lugar del planeta, esta información es útil para establecer límites,siempre que sea necesario restringir el razonamiento espacial, de acuerdo alos elementos que se encuentren cercanos a una persona, como por ejemplopersonas, instalaciones negocios, lugares, etc.Con esto se reconoce la importancia de la heterogeneidad de la informacióncontextual, así como también de las relaciones inherentes a ésta. Lo anterior sepuede resumir con la siguiente definición de contexto: Cualquier información útilpara caracterizar el estado de entidades individuales y las relaciones entreellos. Una entidad es cualquier objeto o persona que puede afectar elcomportamiento de un sistema y/o su interacción con el usuario.En la última década se han buscado distintos enfoques para representar yadministrar la información contextual. Entre estos acercamientos seencuentran: listas de atributos con sus respectivos valores, modelos XML conuna estructura de datos jerarquizada de atributos y valores, modelos orientadosa objetos y modelos basados en ontologías, estos últimos permiten definirespecificaciones formales de entidades contextuales y sus relaciones dentro deun dominio.Utilizando modelos semánticos basados en ontologías es posible caracterizardimensiones espacio-tiempo, en donde se modela tanto a las personas como alos lugares. Las personas se modelan mediante su perfil, el cual describe losdetalles del usuario en forma de una jerarquía conceptual, representandoinformación como: el nombre, la edad, el año de nacimiento, el nivel 24
  31. 31. Capítulo 2. Marco Teóricoacadémico, sus dominios de conocimiento, sus competencias individuales1, suspreferencias, gustos, su agenda, y más. Con relación al modelado de lugares,se pueden modelar organizaciones describiendo aspectos tales como suinfraestructura tecnológica e instalaciones (activo fijo), sus recursos humanos(capital intelectual), sus objetos de conocimiento 2 (capital estructural), susservicios y sus competencias organizacionales 3 , adicionalmente se puedenmodelar atributos relacionados con espacio-tiempo tales como: horarios,actividades, servicios, ubicación, etc. Con estos modelos se puede integrar unared de ontologías que represente un modelo semántico multidimensional.Como resultado de este modelado semántico multidimensional, los servicios derecomendación contextual han emergido como un área de investigación queofrece varios nichos de oportunidad, áreas como la sobrecarga de informacióny soporte para la toma de decisiones [Middleton 2009]. El enfoque semánticoderivado de las ontologías se puede explotar de manera efectiva en serviciosde recomendación contextual, ya que confiere una capacidad de inferenciasobre la información, haciendo uso de lenguajes basados en lógica de primerorden y cláusulas de Horn [Breitman 2007].2.4 Modelado organizacional orientado al entornoEl modelado organizacional es una disciplina que se encarga de externalizar yformalizar conocimiento estructural y de comportamiento sobre cómo seorganiza, trabaja y cuáles son las funciones de una organización [Cheung2006], lo cual permite describir de manera más sencilla las competencias,recursos técnicos, tecnológicos, objetos de conocimiento, etc. Para poderdescribir los elementos de la organización mencionados anteriormente, seutilizan herramientas como la Web Semántica, memorias corporativas, modelosde competencia y ontologías de la organización.Los modelos organizacionales nos permiten contener un repositorio con el cualpodemos almacenar y administrar información sobre los recursos, lainfraestructura, datos del personal, eventos, actividades y demás acerca de unaorganización, con lo que este repositorio nos suele ser de gran utilidad paraelaborar aplicaciones como servicios de recomendación de la organización,modelos de representación del entono organizacional, e incluso sistemas decómputo ubicuo que puedan informar a un usuario acerca de la localización derecursos, lugares o eventos que se efectúen en el entorno. De esta forma, lasherramientas que permiten modelar la información de las organizaciones nossirven para extraer información relevante para el tipo de aplicaciones que sepretendan diseñar, en el caso del cómputo ubicuo, pueden diseñarse sistemasque permitan obtener información acerca de los eventos, lugares, personas uobjetos que se encuentran en el entorno basándose en un repositorio con lainformación de la organizacional, por ejemplo ontologías organizacionales.1 Conjunto de características personales (conocimiento, habilidades, destrezas, intereses, educación y entrenamiento) que un individuo aplica en un rango desituaciones de un dominio de conocimiento.2 Representación física de conocimiento, de tal manera que dicho conocimiento quede plasmado en un medio físico, en forma de texto, audio, video oimagen.3 Se define como las capacidades colectivas que permitirán a una organización sacar provecho a sus servicios o productos, de sus objetos de conocimiento, desu infraestructura, prestigio y capital intelectual. 25
  32. 32. Capítulo 2. Marco Teórico2.5 AndroidEs un sistema operativo desarrollado por Google, el cual contiene un conjuntode aplicaciones para dispositivos móviles. Android está diseñado para que losdesarrolladores puedan crear aplicaciones en las que se aproveche al máximolos recursos y las funciones de los dispositivos móviles. Android estádesarrollado sobre el núcleo del sistema operativo Linux, además utiliza unamáquina virtual que ha sido diseñada para optimizar los recursos de memoria yhardware en un entorno móvil.Actualmente, los desarrolladores de Android han liberado un SDK (SoftwareDevelopment Kit) con el cual se pueden construir aplicaciones en el lenguajede programación Java, además este SDK puede actuar como un complementopara el entorno de desarrollo Eclipse. Esto se ha hecho con el fin de permitirlesa los desarrolladores diseñar aplicaciones tomando ventaja de todas lascaracterísticas que los dispositivos pueden ofrecer [Kumar 2008].2.6 Tecnología sensorial en SmartphonesActualmente la tecnología celular ha evolucionado hasta el punto en que puedeincluir dispositivos que permitan reconocer actividades del entorno físico, talcomo la cámara, micrófonos, acelerómetros, GPS, etc. Para poder procesaresta información es necesario contar con sensores que permitan captar lasseñales físicas para su transformación en datos electrónicos. Un sensor cuentacon los componentes básicos que se muestran en la figura 2.5, una unidad dedetección (Sensing unit), unidad de procesamiento (Processing unit), unidadtransceptora (Transceiver) y una unidad de energía (Power unit), pueden tenerComponentes adicionales dependientes de alguna aplicación, tales como unsistema de localización (Location finding system), generador de energía (Powergenerator) o un movilizador (Mobilizer). Figura 2.5 Principales componentes de los sensores [Akyildiz 2002]Las unidades de detección están compuestas de dos sub-unidades: sensor yconvertidores analógicos a digitales (Analogic-to-Digital Converters, ADC), elsensor produce las señales analógicas de acuerdo a los datos recibidos del 26
  33. 33. Capítulo 2. Marco Teóricoentorno, estas señales analógicas son convertidas a digitales por el ADC yentonces se envían a la unidad de procesamiento. La unidad deprocesamiento, que está generalmente asociada con una pequeña unidad dealmacenamiento, procesa la información que recibe para convertir los datosrecibidos en información, el transceptor es aquel que se encarga de enviar yrecibir información de otros sensores o dispositivos, para que estos puedaninteractuar con el sensor, uno de los componentes más importantes de unsensor es la unidad de energía, ya que ésta provee al sensor la energía parasu funcionamiento [Akyildiz 2002].En este proyecto se utilizarán sensores que puedan determinar la orientacióndel dispositivo, para ello pueden emplearse sensores del tipo magnetómetro,giroscopio y acelerómetros de tres ejes.Magnetómetro. En general, un magnetómetro es el tipo de sensor que permitemedir la intensidad y dirección de alguna señal magnética, en algunoscelulares, este tipo de sensor nos permite detectar la dirección de la señalmagnética de la tierra y determinar la orientación del teléfono celular conrespecto a los puntos cardinales, lo que a veces puede funcionar como unabrújula digital [Kim 1989].Giroscopio. Un sensor de tipo giroscopio registra los movimientos entre lostres ejes (eje longitudinal, eje vertical y eje transversal de acuerdo a las tresdimensiones del entorno real), de tal manera que podemos detectar laorientación y la inclinación del dispositivo, en la figura 2.6 puede apreciarse unejemplo de un giroscopio digital, se considera el punto central del dispositivocomo el punto de gravedad del giroscopio, y de acuerdo a este punto el sensortomará los valores de su eje vertical (yaw), eje longitudinal (roll) y ejetransversal (pitch), dependiendo de la inclinación en la que se encuentre elsensor [Jones 2010]. Figura 2.6 diagrama de un giroscopio digital [Jones 2010]Acelerómetro. Un sensor del tipo acelerómetro se encarga de medir lasaceleraciones y vibraciones, los acelerómetros son direccionales, esto quieredecir que los acelerómetros pueden medir la aceleración en un solo eje, sinembargo se han podido desarrollar acelerómetros capaces de leer en múltiplesejes, los cuales nos permiten medir la aceleración en tres dimensiones. Adiferencia del giroscopio que se encarga de obtener el posicionamiento del 27
  34. 34. Capítulo 2. Marco Teóricodispositivo con respecto a sus ejes, el acelerómetro permitirá obtener lavelocidad en la que el dispositivo se mueve o cambia de posición en los tresejes mencionados anteriormente [Jones 2010]. 28
  35. 35. Capítulo 3. Estado del Arte Capítulo 3. Estado del ArteEn esta sección se analizaran los trabajos que tienen objetivos similares a losdel proyecto en desarrollo, evaluando cada una de las propuestas de soluciónde estos mismos. 29
  36. 36. Capítulo 3. Estado del Arte3.1 SistemasEn esta sección se describirán los trabajos que desarrollaron sistemas capacesde insertar objetos virtuales en el entorno, cada uno de ellos fue diseñado paracierto tipo de entornos con necesidades muy particulares de los mismos.3.1.1 A Tracking Framework for Augmented Reality Tours on Cultural Heritage Sites [Park 2010]El departamento de ingeniería en electrónica y computación de la universidadHanyang en Corea, desarrolló una aplicación de realidad aumentada para elpalacio Gyeongbokgung, el cual es un museo de patrimonio cultural ubicado enCorea. El objetivo de este proyecto era elaborar una inserción de informaciónvirtual en las exhibiciones del museo mediante realidad aumentada, sinembargo, una de las principales restricciones que tiene este museo depatrimonio cultural es que no se pueden agregar marcadores al entorno parafacilitar el reconocimiento de objetos.En este trabajo se menciona que existen distintos tipos de métodos para laidentificación de objetos en sistemas de realidad aumentada, tales como elreconocimiento mediante el uso de marcadores, sin marcadores(reconocimiento de formas, figuras o patrones) o bien, utilizando tecnologíassensoriales, tales como la radio frecuencia, sensores del dispositivo, etc.Debido a la naturaleza del museo, fue imposible para este proyecto emplear laidentificación de los objetos a través de marcadores, por lo cual, propone unmétodo hibrido, entre técnicas de identificación visual y reconocimientosensorial, para la asociación de objetos virtuales con los objetos reales. Paraello se diseñó un algoritmo como se muestra en la figura 3.1. Figura 3.1 algoritmo de estimación de poses [Park 2010] 30
  37. 37. Capítulo 3. Estado del ArteEste algoritmo funciona con tres tipos de identificación, la identificaciónsensorial TF1, la identificación visual (TF2 y TF3) y la identificación mediante lacombinación de estas dos técnicas (TF4). Para elaborar el reconocimientosensorial TF1, se utilizan sensores de posicionamiento, tales como el GPS,acelerómetro y giroscopio, los cuales permiten estimar la localización,orientación y velocidad con la que se mueve un usuario en el entorno. En elreconocimiento mediante visualización (TF2 y TF3) también estima elposicionamiento del usuario de acuerdo a las imágenes capturadas con lacámara del dispositivo, eso se hace mediante el reconocimiento de figuras,tales como bordes, esquinas o características que son detectadas en lasimágenes capturadas. En TF2 el posicionamiento es estimado utilizando elreconocimiento de las figuras de manera directa, siempre que lascaracterísticas de la escena detectada sean conocidas, por ejemplo una seriede segmentos rectangulares que dominen la escena pudieran describir la formaespecífica de un cuarto en el entorno, o bien, alguna figura especifica podríadescribir un objeto en particular. En TF3, la información referente a la escenacapturada está predefinida en una base de datos, el posicionamiento esdefinido cuando las figuras detectadas en la escena coinciden con las que seencuentran almacenadas en la base de datos, la cual puede contenerreferencia de imágenes o el conjunto de ellas así como sus trasformaciones,tales como la rotación o la escala.Finalmente se emplea un reconocimiento hibrido (TF4) que combina lastécnicas basadas en visión y las mediciones obtenidas mediante la localizaciónsensorial, de manera que la localización sensorial puede proveer informaciónacerca de una región de interés (Region Of Interest, ROI), una vez identificadala región de interés en la que se encuentra el usuario, es posible ajustar losobjetos virtuales al entorno real mediante una identificación visual de aspectosclave del ambiente.Como ya se mencionó anteriormente, este algoritmo se aplicó al palacioGyeongbokgung, tomando los algunos aspectos principales de acuerdo a lasposibles formas de los cuartos y a la localización del usuario con el entorno, enla figura 3.2 pueden apreciarse algunos ejemplos de la inserción de los objetosvirtuales en algunas de las salas del palacio. En algunas de las salas, como laque se muestra en la figura 3.2.a, se pudo insertar el objeto virtual debido a laforma de los objetos que se encontraban en el cuarto (cuatro pilares y unrecuadro en la parte superior), mientras que en otras salas, como en la figura3.2.b y 3.2.c, es necesario localizar primero al usuario y después reconoceralgún patrón establecido, tal como se explicó en el algoritmo de reconocimientohibrido. 31
  38. 38. Capítulo 3. Estado del ArteFigura 3.2. Técnicas de realidad aumentada implementadas en el palacio deGyeongbokgung [Park 2010]3.1.2 An Augmented Reality Presentation System for Remote Cultural Heritage Sites [Zöllner 2009]En este proyecto se implementó un sistema que mostraba información yobjetos virtuales en las exhibiciones de un museo de arqueología y patrimoniocultural, el usuario podía observar videos, imágenes, texto informativo ymodelos en 3D de lugares históricos a partir del reconocimiento de una imagendel entorno.Para mostrar la información virtual se elaboró un reconocimiento visual de losmurales o pinturas que se encontraban en el entorno. En ciertos lugares de losmuseos se instalaron dispositivos como el que se muestra en la figura 3.3, loscuales únicamente tenían 180 grados de libertad, cuando el usuario enfocabaalguno de los murales era posible insertar los objetos virtuales. 32
  39. 39. Capítulo 3. Estado del ArteFigura 3.3 dispositivo estático para la visualización de información contextual enmurales [Zöllner 2009]Además, el usuario también podía visualizar los objetos virtuales endispositivos móviles, como se muestra en la figura 3.4, en este tipo dereconocimiento, el usuario podía acercarse a una pintura que estuviera paralelaal suelo, el dispositivo mostraba un objeto virtual físico, el cual se quedaba demanera estática sobre la pintura, permitiéndole al usuario moverse alrededorde ella para visualizar este objeto en distintas perspectivas. Este sistema fueimplementado en tres museos de patrimonio cultural, adaptando los objetosvirtuales para las exhibiciones y utilizando las mismas técnicas dereconocimiento de objetos. Figura 3.4 inserción de objetos virtuales en los dispositivos móviles [Zöllner 2009]3.1.3 Location-based augmented reality on mobile phones [Turk 2010]El laboratorio “Four Eyes” de la universidad de california implementó unsistema de realidad aumentada capaz de elaborar un reconocimiento visual ysensorial por orientación de los objetos del entorno. Este proyecto propone unenfoque en el que se aprovechan los servicios de localización y estimación deposicionamiento para desarrollar aplicaciones de realidad aumentada, a su vez,integran técnicas de reconocimiento visual de objetos para lograr una mayorprecisión para insertar objetos virtuales.Los desarrolladores del proyecto proponen el modelo que aparece en la figura3.5, la nube azul representa el entorno, en el cual pueden existir diversospuntos de interés y varias localizaciones en donde puede estar el usuario(representadas por los puntos verdes), cada una de estas localizaciones definedos movimientos; uno de rotación, en donde el usuario puede girar con eldispositivo visualizando el entorno a su alrededor, y otro de traslación, endonde el usuario cambia de una localización a otra. Cada una de estaslocalizaciones contiene un campo de visión, el cual puede variar dependiendola rotación del usuario, en este campo de visión pueden encontrarse distintospuntos de interés (representados por los cubos amarillos), de tal forma quecuando un usuario se encuentre en una localización y oriente el campo de 33
  40. 40. Capítulo 3. Estado del Artevisión a un punto de interés, el sistema deberá mostrarle información de esepunto mediante realidad aumentada.Figura 3.5 Modelo de reconocimiento mediante localización y orientación propuestoen el proyecto [Turk 2010]Para el reconocimiento mediante la orientación, se emplearon el magnetómetroy acelerómetros de tres ejes, además de recibir las señales del norte magnéticoy la orientación del dispositivo, estos sensores también captan señales deeléctricas de objetos cercanos y las aceleraciones que se ejercen sobre eldispositivo, por ejemplo la gravedad o el movimiento del usuario, por lo queestas medidas pueden variar y afectar la precisión de los objetos virtuales. Unode los problemas que se expone en este método es que la precisión en lainserción de los objetos virtuales suele ser afectada por las mediciones de lossensores y la precisión del servicio de localización, es por ello que seimplementaron técnicas de visualización que permitieran insertar los objetosvirtuales de manera precisa, en la figura 3.6 puede apreciarse que con elmétodo de reconocimiento por orientación (figura de la izquierda) no se obtieneuna gran precisión en la relación de los objetos virtuales con los reales, alimplementar las técnicas visuales, se logró una correspondencia como semuestra en la figura de la derecha.Figura 3.6 aumentación mediante el reconocimiento por orientación y a justemediante técnicas de reconocimiento visual 34
  41. 41. Capítulo 3. Estado del Arte3.1.4 An Augmented Reality Interface to Contextual Information [Ajanki 2011]En este proyecto se implementó un sistema de información contextual en unainstitución de educación superior, capaz de proporcionar información delentorno dependiendo a la forma en que el usuario interactuaba con ella.Para poder retribuirle información al usuario utilizo un algoritmo como el queaparece en la figura 3.7, primero el sistema infiere la relevancia de lainformación de acuerdo al contexto, como el lugar y horario, y de acuerdo allugar en que se encuentra el usuario, ésta información se proyecta medianterealidad aumentada en un dispositivo HDM (Head Mounted Display), finalmentese evalúa la interacción que tiene el usuario con esta información de acuerdocon su interacción con esta, ésta interacción le permite al sistema volver ainferir la relevancia de información extra del elemento del entorno que elusuario esté visualizando.Figura 3.7 algoritmo para la retribución de información en el sistema [Ajanki 2011]En este sistema se podían insertar las anotaciones virtuales como se muestraen la figura 3.8, como puede observarse, en este proyecto se elaboraba unreconocimiento facial a las personas que pudieran conocer temas de interéspara el usuario, mientras que los puntos de interés, como lugares del entorno,eran reconocidos mediante marcadores visuales. Además de utilizar estastécnicas de identificación, el sistema podía elaborar un reconocimiento de voz,de esta forma el usuario podría proporcionar información extra del contexto. 35
  42. 42. Capítulo 3. Estado del ArteFigura 3.8 reconocimiento de objetos e inserción de información en el entorno[Ajanki 2011]3.1.5 Personalized In-store E-Commerce with the PromoPad: an Augmented Reality Shopping Assistant [Zhu 2008]En este proyecto se implementó un sistema en un centro comercial, el cual lesproporcionaba recomendaciones personalizadas a los clientes del almacén. Detal forma que cuando un usuario se encontraba cerca de algún producto quepudiera ser de interés para él, se le mostraba un acercamiento del producto,como se muestra en la figura 3.9, donde además se le mostraba informacióndel producto y algunas recomendaciones de otros productos similares ocomplementarios. Figura 3.9 acercamiento a un producto de posible interés para el clientePara poder obtener la información del usuario, se les repartía una tarjeta a losclientes frecuentes, de esta forma se podía comprobar que el cliente estabautilizando el sistema, con esta tarjeta era posible identificar al usuario y tenerun registro de las compras que había elaborado anteriormente, permitiendoelaborar un perfil de él para recomendarle productos que pudieran serle deinterés. En este sistema se implementó un servicio de localización mediantemarcadores visuales, de tal forma que únicamente se podría identificar lalocalización del usuario cuando éste se encontrara cerca de un productocontextualizado. 36
  43. 43. Capítulo 3. Estado del Arte3.2 HerramientasEn esta sección se describirán algunas herramientas que pretenden facilitar laimplementación de aplicaciones, con tecnologías de realidad aumentada eninteriores, estas aplicaciones se diseñaron para poder integrar susfuncionalidades a diversos entornos.3.2.1 Look!: Framework para Aplicaciones de Realidad Aumentada en Android [Bellón 2011]Ésta herramienta fue desarrollada en la Universidad Complutense de Madriddentro de la facultad de informática, en este proyecto se pretendía desarrollaruna herramienta capaz facilitar la implementación de sistemas de realidadaumentada, para ello se implementaron varios algoritmos para gestionar elreconocimiento de objetos mediante los sensores de orientación e integraronun sistema de localización mediante tecnologías Wi-Fi.Además de integrar diversos métodos para la manipulación de los sensores delos dispositivos, para el reconocimiento por orientación, se integraron otrasfuncionalidades y servicios, con el objetivo de abarcar la mayoría de lasnecesidades que se presentan en la implementación de sistemas de realidadaumentada, dichos aspectos son los siguientes:  Localización en interiores: Como ya se menciono anteriormente, este proyecto integra un algoritmo de localización en interiores por tecnología Wi-Fi conocido como Closest Neighbor, en el cual se establecen determinadas localizaciones en el entorno de acuerdo a la frecuencia recibida por la señal Wi-Fi, el sistema determina la localización del usuario mediante la cercanía de los puntos de localización definidos anteriormente.  Representación gráfica: En este punto, el Framework permite la representación gráfica de elementos tanto en dos dimensiones como tres dimensiones, únicamente proporcionándole al sistema la información suficiente de los objetos que serán dibujados.  Interacción con los objetos virtuales: El Framework integra un sistema de interacción táctil con los objetos virtuales, de tal forma que el programador debe preocuparse por el efecto producido en dicha interacción.  Acceso a Servicios Remotos: Adicionalmente éste Framework pretende facilitar el acceso a servicios externos, tales como bases de datos alojadas en servidores remotos.3.2.2 CAMAR Tag Framework: Context-Aware Mobile Augmented Reality Tag Framework for Dual-reality Linkage [Woo 2009]En este proyecto se propuso un Framework basado en realidad aumentadapara dispositivos móviles consciente del contexto (Context-Aware Mobile 37

×