Interagir avec des objets de réalité augmentée géoréférencés sur téléphone intelligent

3,260 views
3,005 views

Published on

Le projet de recherche GéoÉduc3D, financé par le réseau de centres d’excellence GEOIDE, vise à concevoir des jeux éducatifs immersifs, réactifs et interactifs, en exploitant les technologies géospatiales et en explorant des questions thématiques auxquelles le jeune public des adolescents est sensible comme les changements climatiques. Dans le cadre de ce projet, un prototype de jeu, nommé Energy Wars Mobile, a été développé, à l’Université Laval, dans le but de faire jouer des adolescents du secondaires sur des thématiques environnementales. Une des particularités de ce prototype est liée à l’exploitation de la réalité augmentée avec des objets géoréférencés, nommés géotags, au travers de téléphones intelligents. Au delà de la visualisation de ces géotags au travers des écrans de ces téléphones, plusieurs fonctionnalités ont été définies et implantées pour interagir avec ces mêmes objets et ainsi rendre plus immersif le jeu. Nous proposons ici de découvrir toutes ces fonctionnalités d’interaction intégrées à un téléphone intelligent sous système d’exploitation Android, qui visent à produire des actions dans le cadre de jeu. De plus, puisqu’un téléphone intelligent est composé d’un grand nombre de composants d’interface comme l’écran tactile, la caméra ou le microphone, des solutions d’interaction multimodale peuvent être plus facilement explorées et produites. Si, au travers de l’écran tactile, différentes interactions sont proposées, nous pouvons montrer que l’usage de la parole, des vibrations et/ou de la synthèse vocale peut avoir un intérêt certain pour réaliser des actions particulières dans le cadre de jeu éducatif ou dans d’autres cadres applicatifs. Enfin, des fonctionnalités plus exploratoires ont été mises en oeuvre avec l’usage du gestuel de la main capté par la caméra du téléphone et interprété pour produire de simples actions.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
3,260
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
37
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Interagir avec des objets de réalité augmentée géoréférencés sur téléphone intelligent

  1. 1. Interagir avec des objets de réalité augmentée géoréférencés sur téléphone intelligent Frédéric Hubert, Ph.D. Département des sciences géomatiques Université Laval Géomatique 2011 13 octobre 2011
  2. 2. Plan de la présentation <ul><li>Contexte </li></ul><ul><ul><li>GéoEduc3D </li></ul></ul><ul><ul><li>RA, MARS </li></ul></ul><ul><ul><li>Energy Wars Mobile </li></ul></ul><ul><li>Limites </li></ul><ul><li>Objectifs </li></ul><ul><li>Interactions multimodales </li></ul><ul><li>Nouvelles interactions pour Energy Wars Mobile </li></ul>
  3. 3. GéoÉduc3D <ul><li>Projet financé par le réseau des centres d’excellence GEOIDE </li></ul><ul><li>Créer des jeux éducatifs pour les adolescents basés sur des technologies géospatiales et axés sur les questions environnementales; </li></ul><ul><li>Exploiter la position du joueur et tout ce qui l'entoure et fournir un haut niveau d'immersion grâce à l'utilisation des techniques de réalité augmentée (RA). </li></ul>
  4. 4. RA : Réalité Augmentée <ul><li>Superposition d’objets graphiques 2D ou 3D dans le champ de vue d’un joueur afin, idéalement, qu’il ne puisse pas faire la distinction entre ce qui est réel et ce qui est virtuel. </li></ul>
  5. 5. MARS ?! <ul><li>MARS : Mobile Augmented Reality System </li></ul><ul><li>Intégration et immersion en environnement réel avec les capteurs des appareils mobile : GPS, compas et accéléromètres </li></ul>? Wikitude World Browser
  6. 6. RA et MARS : techniques <ul><li>Différentes techniques de réalité augmentée sur mobile ou non </li></ul><ul><ul><li>Avec marqueurs physiques </li></ul></ul>
  7. 7. RA et MARS : techniques <ul><li>Différentes techniques de réalité augmentée sur mobile ou non </li></ul><ul><ul><li>Avec marqueurs physiques </li></ul></ul><ul><ul><li>Sans marqueurs </li></ul></ul><ul><ul><ul><li>Selon marqueurs naturels </li></ul></ul></ul>http: //www.qualcomm.com/products-services/augmented- reality
  8. 8. RA et MARS : techniques <ul><li>Différentes techniques de réalité augmentée sur mobile ou non </li></ul><ul><ul><li>Avec marqueurs physiques </li></ul></ul><ul><ul><li>Sans marqueurs </li></ul></ul><ul><ul><ul><li>Avec marqueurs naturels </li></ul></ul></ul><ul><ul><ul><li>Géolocalisé  géotags </li></ul></ul></ul><ul><ul><ul><ul><li>Wikitude </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Layar </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Junaio </li></ul></ul></ul></ul><ul><ul><ul><ul><li>… </li></ul></ul></ul></ul>http://www.metroparisiphone.com /
  9. 9. MARS – Exemples - Junaio http://www.junaio.com /
  10. 10. MARS – Exemples - Layar http://www.layar.com /
  11. 11. MARS – Exemples - Qualcomm http: //www.qualcomm.com/products-services/augmented- reality
  12. 12. GéoÉduc3D : prototype de jeu <ul><li>Energy Wars : Rise of the Chimera </li></ul><ul><ul><li>Basé sur le jeu Warcraft (version PC), </li></ul></ul><ul><ul><li>Environnement virtuel mais avec des bâtiments de l’Université Queen à Kingston (Ontario) </li></ul></ul><ul><ul><li>Finaliste en 2009 pour la conférence Serious Games Showcase and Challenges </li></ul></ul>
  13. 13. GéoÉduc3D : prototype de jeu <ul><li>Energy Wars Mobile </li></ul><ul><ul><li>Basé sur Energy Wars, mais développé à l’Université Laval </li></ul></ul><ul><ul><li>Environnement de jeu 3D réel : </li></ul></ul><ul><ul><ul><li>Intégration de la mobilité avec des téléphones intelligents : iPhone et OS Android </li></ul></ul></ul><ul><ul><ul><li>Immersion avec la réalité augmentée sous forme de géotags (RA géoréférencée) </li></ul></ul></ul><ul><ul><li>But pédagogique : Enseigner des notions de conservations d’énergie </li></ul></ul><ul><ul><li>Équipe de joueurs avec des rôles différents : commandant, éclaireurs et experts. </li></ul></ul><ul><ul><li>Seul l’éclaireur « joue » avec la réalité augmentée. </li></ul></ul>
  14. 14. GéoÉduc3D : prototype de jeu <ul><li>Interfaces utilisateurs de l’éclaireur </li></ul>
  15. 15. Energy Wars Mobile - Limites <ul><li>Quelques limites ressorties des premières versions du jeu : </li></ul><ul><ul><li>Juste la visualisation de géotag, sans interaction avec ces objets. </li></ul></ul><ul><ul><li>Seul l’éclaireur dispose d’un outil de réalité augmentée. </li></ul></ul><ul><ul><li>Difficulté de visualiser la localisation des géotags dans l’environnement. </li></ul></ul><ul><ul><li>Sous exploitation des possibilités des mobiles. </li></ul></ul><ul><ul><li>Pas de possibilités de procéder à la configuration de certains éléments de jeu comme le positionnement des géotags. </li></ul></ul>
  16. 16. D’où … <ul><li>La volonté de rendre plus immersif et plus interactif le prototype de jeu éducatif mobile, selon les principes mis en avant par le projet GéoÉduc3D </li></ul><ul><li>Meilleure prise en compte des possibilités des téléphones intelligents. </li></ul><ul><li>Introduire de nouvelles façons simples ou complexes d’interagir avec des objets de réalité augmentée géoréférencés (géotags). </li></ul>
  17. 17. Les interfaces multimodales <ul><li>Usage simultanée ou alternée de modes ou modalités de communication entre l’homme et la machine. </li></ul><ul><li>Modes de communication liées aux sens humains : </li></ul><ul><ul><li>En entrée </li></ul></ul><ul><ul><ul><li>Visuel </li></ul></ul></ul><ul><ul><ul><li>Auditif </li></ul></ul></ul><ul><ul><ul><li>Tactile </li></ul></ul></ul><ul><ul><ul><li>Olfactif </li></ul></ul></ul><ul><ul><ul><li>Gustatif </li></ul></ul></ul><ul><ul><li>En sortie </li></ul></ul><ul><ul><ul><li>Oral </li></ul></ul></ul><ul><ul><ul><li>Gestuel </li></ul></ul></ul>
  18. 18. Les interfaces multimodales <ul><li>Intérêts : </li></ul><ul><ul><li>Rendre plus intuitive l’interaction et l’expression pour l’humain, </li></ul></ul><ul><ul><li>Augmenter et améliorer l’utilisabilité et l’accessibilité des systèmes informatisés, </li></ul></ul><ul><ul><li>Offrir une interaction adaptable, flexible, coopérative et plus naturelle , </li></ul></ul><ul><ul><li>Diminuer l’ambiguïté liée à l’usage de certaines modalités de communication (ex. la parole), </li></ul></ul><ul><ul><li>Déployer un support pour les personnes ayant des déficiences, </li></ul></ul><ul><ul><li>Garantir des technologies de plus en plus matures. </li></ul></ul>
  19. 19. Les interfaces multimodales Source: www.driver-dimension.com
  20. 20. Les interfaces multimodales géospatiales <ul><li>« Les interfaces multimodales géospatiales sont des solutions d’interfaces homme-machine qui visent à combiner, de manière simultanée ou alternée, des modes de communication impliquant l’usage, direct ou indirect, de l’information géographique dans le but d’améliorer l’utilisabilité et l’accessibilité des données géospatiales au travers de systèmes informatisés. » </li></ul>
  21. 21. Les interfaces multimodales géospatiales - Exemples Système « Put-that-there » de Bolt, 1980 http://edwardhtse.googlepages.com/areasofcreativity
  22. 22. Les interfaces multimodales géospatiales - Exemples http://www.openinterface. org <ul><ul><li>http://www.dfki.de/web </li></ul></ul>
  23. 23. Vers de nouvelles interactions … <ul><li>Proposition de nouvelles interactions pour les prototypes de jeu de GéoÉduc3D, et plus particulièrement Energy Wars Mobile </li></ul><ul><li>Développées sur téléphones avec OS Android </li></ul><ul><ul><li>Java + OpenCV + OpenGL </li></ul></ul><ul><ul><li>Motorola Milestone et Sony Xperia </li></ul></ul><ul><li>Interactions simples & Interactions complexes </li></ul>
  24. 24. Interactions … <ul><li>Accéléromètres : Basculement de vues 2D/3D </li></ul><ul><li>Tactile : Présélection de géotags </li></ul><ul><li>Parole : changement de type de carte 2D, sélectionner, créer, modifier, supprimer des géotags </li></ul><ul><li>Parole + Tactile : création d’un géotag sur vue 2D </li></ul><ul><li>Gestuel : changement d’outils </li></ul>
  25. 25. <ul><li>Simple usage des accéléromètres </li></ul>Interactions – Basculement 2D/3D
  26. 26. Interactions – Basculement 2D/3D
  27. 27. Interactions – Parole <ul><li>Usage de la reconnaissance vocale pour effectuer des actions simples avec des objets de RA géoréférencés </li></ul><ul><ul><li>Utilisation de Google Voice </li></ul></ul><ul><ul><li>Actions </li></ul></ul><ul><ul><li>Utilité pour la configuration du jeu avec le positionnement de géotags par exemple </li></ul></ul><ul><ul><li>Mais également lors du jeu ! </li></ul></ul>
  28. 28. Interactions – Parole <ul><li>Différentes actions proposées en lien avec </li></ul><ul><li>des géotags </li></ul>
  29. 29. Interactions – Parole <ul><li>Exemple : Changer de type de carte en 2D </li></ul>Changer la carte Plan Photo aérienne
  30. 30. Interactions – Parole <ul><li>Combinaisons d’exemples </li></ul>
  31. 31. Interaction – Parole + écran tactile <ul><li>Combinaison de la parole et de l’écran tactile </li></ul><ul><ul><li>Création d’un géotag </li></ul></ul>Créer un obstacle
  32. 32. Interaction - Gestuel <ul><li>Plus exploratoire </li></ul><ul><li>Utilisation du geste de la main pour sélectionner des outils de réalité augmentée </li></ul><ul><ul><li>Pour des experts, selon leur spécialité </li></ul></ul><ul><ul><li>Usage de marqueurs de couleur ou non </li></ul></ul><ul><li>Difficultés majeures liée aux capacités des téléphones intelligents, ainsi qu’à la reconnaissance de la main en environnement extérieur ou non </li></ul>
  33. 33. Interaction - Gestuel
  34. 34. Interaction – Gestuel sur RA <ul><li>Utilisation du geste de la main pour interagir avec un objet RA géoréférencé </li></ul><ul><ul><li>Découvrir le contenu d’un géotag, éliminer un obstacle </li></ul></ul>
  35. 35. Interaction – Gestuel <ul><li>Problèmes </li></ul><ul><ul><li>La reconnaissance sans marqueur en situation extérieure non contrôlée </li></ul></ul><ul><ul><li>Porter le téléphone intelligent d’une main </li></ul></ul><ul><li>Pour la gestuelle, à plus long terme, usage de lunettes de réalité augmentée et lentilles bioniques en situation, libérant ainsi les mains </li></ul>Source : B. A. Parviz, Université Washington
  36. 36. Conclusion <ul><li>De plus en plus d’applications de réalité augmentée sont disponibles pour téléphone intelligent ou tablette. </li></ul><ul><li>Téléphones et tablettes dotées de nombreuses composants d’interfaces à exploiter, tant en entrée qu’en sortie. </li></ul><ul><li>Exploitation des solutions d’interaction multimodale de plus en plus courante et facilitée par les appareils mobile. </li></ul><ul><li>L’interaction de basculement de la vue 3D vers 2D est déjà intégrée au jeu Energy Wars Mobile, qui sera bientôt testé par des adolescents. </li></ul>
  37. 37. Conclusion <ul><li>Intégrer d’autres interactions à l’application Energy Wars Mobile </li></ul><ul><ul><li>Notamment la sélection d’outils par la gestuelle </li></ul></ul><ul><li>Exploiter encore davantage la reconnaissance vocale couplée avec l’écran tactile et/ou la gestuelle </li></ul><ul><ul><li>Dans le but de faciliter la configuration du jeu, mais aussi pour l’immersion dans le jeu </li></ul></ul><ul><li>Intégrer des interactions de sortie dans le jeu comme l’usage de la synthèse vocale et/ou des vibrations </li></ul><ul><li>Conférence 3D GéoInfo 2012, Québec </li></ul>
  38. 38. <ul><li>Merci de votre attention </li></ul><ul><li>QUESTIONS ? </li></ul><ul><li>f [email_address] </li></ul><ul><li>http://frederic-hubert.scg.ulaval.ca </li></ul>

×