Your SlideShare is downloading. ×
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Mémoire Master J Zimmer : Vision relief et interface homme-machine, quelle solution optimum ?

712

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
712
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
25
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. ITIN – 2èmeannée de Manager en Ingénierie InformatiqueSpécialisation SIBAPromotion 2012Mémoire de recherche M2iVision relief et interface homme-machine,quelle solution optimum ?Julie ZIMMER et François-Xavier CORNECSous la direction de M. Florent MICHEL
  • 2. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  2        RemerciementsJe tiens à remercier et saluer le suivi régulier de mon directeur de mémoire, M.Florent MICHEL. Le sujet abordé étant vaste, M. MICHEL m’a permis de m’aiguiller afinque je ne me dirige pas dans de mauvaises directions. De plus, il a été une grande sourced’informations, ce qui a rendu possible la rédaction de ce mémoire.Je remercie mon binôme, M. François-Xavier CORNEC pour notre collaboration lorsde la rédaction de la partie commune de ce mémoire.Je tiens également à remercier l’ITIN de m’avoir donné la possibilité d’étudier un telsujet. Ce sujet, bien qu’éloigné des thèmes abordés cette année, me permet de m’ouvrir àla compréhension de technologies que je n’ai fait qu’utiliser sans en comprendre forcémentles rouages. Ce mémoire m’offre donc la possibilité de compléter ma culture générale surun domaine technique passionnant.
  • 3. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  3        SOMMAIRE1.  INTRODUCTION  .............................................................................................................................  6  2.  FONCTIONNEMENT  DE  LA  VISION  HUMAINE  .................................................................................  7  2.1.  CAPTATION  DE  LA  PROFONDEUR  EN  VISION  MONOCULAIRE  ..........................................................................  7  2.2.  ACCOMMODATION  .............................................................................................................................  8  2.3.  CONVERGENCE  ...................................................................................................................................  9  2.4.  PARALLAXE  ......................................................................................................................................  11  2.5.  TABLEAU  RECAPITULATIF  ....................................................................................................................  12  3.  TECHNIQUES  DE  RESTITUTION  DU  RELIEF  ....................................................................................  13  3.1.  TECHNOLOGIES  MONOSCOPIQUES  ........................................................................................................  13  3.1.1.  «  Head-­‐tracking  »  .................................................................................................................  13  3.2.  STEREOSCOPIE  :  TECHNOLOGIES  AVEC  LUNETTES  .....................................................................................  14  3.2.1.  Stéréoscopie  passive  .............................................................................................................  14  3.2.2.  Stéréoscopie  active  ...............................................................................................................  15  3.3.  STEREOSCOPIE  :  TECHNOLOGIES  SANS  LUNETTES  .....................................................................................  16  3.3.1.  Auto-­‐stéréoscopique  ............................................................................................................  16  3.3.2.  Les  auto-­‐stéréogrammes  ......................................................................................................  17  3.4.  TABLEAU  RECAPITULATIF  ....................................................................................................................  19  4.  CONTRAINTES  DES  TECHNIQUES  DE  RESTITUTION  .......................................................................  20  4.1.  DEFINITION  .....................................................................................................................................  20  4.1.1.  Cinétose  ................................................................................................................................  20  4.1.2.  Image  en  saillie  .....................................................................................................................  21  4.1.3.  Image  en  profondeur  ............................................................................................................  21  4.2.  CONTRAINTES  DE  PARALLAXE  ...............................................................................................................  22  4.3.  CONTRAINTES  DE  CADRAGE  .................................................................................................................  23  4.4.  TABLEAU  RECAPITULATIF  ....................................................................................................................  24  5.  CONCEPTION  DE  MEDIAS  RELIEFS  ................................................................................................  25  5.1.  PRISES  DE  VUES  REELLES  .....................................................................................................................  25  5.2.  SYNTHESES  D’IMAGES  ........................................................................................................................  26  5.3.  TABLEAU  RECAPITULATIF  ....................................................................................................................  28  6.  INTERFACES  HOMMES-­‐MACHINES  ...............................................................................................  29  6.1.  TECHNOLOGIES  TACTILES  ....................................................................................................................  29  6.1.1.  Résistif  ..................................................................................................................................  29  
  • 4. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  4        6.1.2.  Capacitif  ...............................................................................................................................  29  6.1.3.  Les  autres  .............................................................................................................................  30  6.1.4.  Principaux  usages  .................................................................................................................  32  6.1.5.  Exemples  d’interfaces  tactiles  à  vision  relief  ........................................................................  33  6.2.  TECHNOLOGIES  A  INTERFACES  GESTUELLES  .............................................................................................  38  6.2.1.  Les  jeux  .................................................................................................................................  38  6.2.2.  Principaux  usages  .................................................................................................................  42  6.2.3.  Exemple  d’interface  gestuelle  ..............................................................................................  42  6.3.  TABLEAU  RECAPITULATIF  ....................................................................................................................  44  7.  CONCLUSION  DE  L’ETAT  DE  L’ART  ................................................................................................  46  8.  INTERACTION  AVEC  DES  INTERFACES  ..........................................................................................  47  8.1.  INTERACTION  AVEC  DU  CONTENU  2D  ....................................................................................................  47  8.1.1.  Historique  des  périphériques  de  contrôle  .............................................................................  47  8.1.2.  Recensement  constats/inconvénients  ..................................................................................  52  8.1.3.  Tableau  synthétique  .............................................................................................................  53  8.2.  INTERACTION  AVEC  DU  CONTENU  3D  ....................................................................................................  54  8.2.1.  Les  écrans  tactiles  ................................................................................................................  55  8.2.2.  Prototype  Microsoft  .............................................................................................................  56  8.2.1.  Recherche  Microsoft  :  The  Holodesk  ....................................................................................  57  8.2.2.  Boitier  usb  de  Leap  Motion  ..................................................................................................  58  8.2.3.  Tableau  synthétique  .............................................................................................................  60  9.  EVOLUTION  DE  L’INTERACTION  AVEC  DE  LA  3D  ...........................................................................  61  9.1.  USAGE  PUBLIC  ..................................................................................................................................  61  9.1.1.  Evolution  des  caméras  ..........................................................................................................  61  9.1.1.  Limite  de  ces  dispositifs  ........................................................................................................  63  9.1.2.  Constat  .................................................................................................................................  64  9.1.3.  Tableau  synthétique  .............................................................................................................  65  9.2.  USAGE  PROFESSIONNEL  ......................................................................................................................  66  9.2.1.  Evolution  des  souris  ..............................................................................................................  66  9.2.2.  Et  demain  ?  ...........................................................................................................................  66  9.2.3.  Une  solution  plus  adaptée  ?  .................................................................................................  68  9.2.4.  L’immersion  ..........................................................................................................................  70  9.2.5.  Substitution  du  retour  de  force  ............................................................................................  70  9.3.  FUTURS  TECHNOLOGIES  ......................................................................................................................  72  9.3.1.  Prototype  Google  :  Project  Glass  ..........................................................................................  72  
  • 5. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  5        10.  CONCLUSION  DE  LA  THESE  .........................................................................................................  74  11.  BIBLIOGRAPHIE  .........................................................................................................................  76  12.  WEBOGRAPHIE  ..........................................................................................................................  77  
  • 6. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  6        Etat de l’art1. IntroductionCet état de l’art, réalisé en binôme, consiste à comprendre le principe defonctionnement de la vision en relief, mais également celui des interfaces homme-machineen matière de captation gestuelle dans le but de définir quelle solution est la plus adaptée àl’homme.Il faudra dans un premier temps, appréhender le fonctionnement de l’œil afin decomprendre comment il est possible de voir le monde qui nous entoure en relief. Lacompréhension de ce fonctionnement permettra alors de saisir le comportement desdifférentes technologies d’hier, d’aujourd’hui et de demain permettant la diffusion relief surnos écrans ou tout autre support.Dans un second temps il sera également nécessaire de saisir les mécanismes destechnologies actuelles en matière de captation gestuelle.Ensuite, chacun se questionnera sur l’avenir des interfaces hommes machines pourles dispositifs reliefs, avec toutefois des angles de vue différents. L’une traitera del’association des interfaces multi-touch et des diffusions reliefs, l’autre de l’usage de lacaptation gestuelle pour interagir avec du contenu relief.
  • 7. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  7        2. Fonctionnement de la vision humaineL’œil humain permet uniquement de voir et n’interprète pas ce qui est vucontrairement au cerveau. L’œil est constitué de 4 éléments principaux :• La cornée• Le cristallin• La rétine qui capte limage au fond de l’œil à la manière d’un écran• Les humeurs aqueuses et vitrées1Figure 1 : Globe oculaire gauche, vu du dessus.La cornée et le cristallin sont deux lentilles qui forment sur le fond de la rétine l’imageinverse de ce qui est observé. La cornée est la lentille la plus puissante de l’œil et permetde faire converger l’image vers la rétine. Le cristallin quant à lui, concentre les rayonslumineux sur la rétine. Les muscles ciliaires peuvent modifier l’angle de courbure de cettelentille afin de former une image nette sur la rétine. Ce phénomène est appelél’accommodation.2.1. Captation de la profondeur en vision monoculaireLe relief en vision monoculaire est possible grâces aux illusions d’optique, mais onpeut alors se demander comment tromper le cerveau de manière à lui donner la sensationde profondeur ?1http://www.musees-des-techniques.org/UploadFile/GED/Ressources/Ficheenseignant/ZVCF-FICHE_ENSEIGNANT_3.pdf
  • 8. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  8        Notre environnement joue un rôle important dans l’appréciation des distances. Eneffet, certains éléments statiques sont immédiatement identifiés, les maisons par exemple,donnent « l’échelle de largeur d’une vallée ». Certains éléments, quant à eux, peuvent êtreen mouvements (une voiture par exemple) et cacher d’autres objets, ou au contraire, êtrecachés eux mêmes. La façon dont ils circulent, mais également notre façon de nousdéplacer permettent d’apprécier les « distances relatives ».La vitesse à laquelle ces objets circulent est donc importante et rend l’évaluation dela distance difficile. En effet, plus les objets vont vite, moins nous sommes capable de lesidentifier. Ceci est alors atténué par notre propre mouvement, mais peut former desillusions d’optiques si les images de gauches et de droites observées sont alternées àmoins de vingt images par seconde. Les textures des objets permettent également dedéduire (d’interpréter) de quels objets il s’agit.La perspective, quant à elle, joue un rôle dans la perception du relief. Des ancienspeintres et des décorateurs ont autrefois beaucoup utilisés la perspective comme « trompeœil », il ne s’agissait en réalité que de peintures à deux dimensions et de surfaces planes.Le relief de ces peintures a été possible grâce aux formes géométriques, celui-ci est alorsmis en évidence grâce à l’orientation et à la convergence que représentent les lignes deces formes.Chaque objet n’étant pas directement exposé de face au soleil, ils connaissent unezone d’ombre qui peut permettre de définir la forme d’un objet (lors d’une éclipse lunairepar exemple).Lorsque nous regardons la lune, elle nous paraît plate, mais lorsque l’éclipse lunaireest totale, on peut voir apparaître sa forme d’origine. Ce sont ces illusions d’optiques(« défaut d’uniformité de l’éclairage ») qui permettent d’apprécier la vision en relief. De lamême manière, il arrive que les reflets « contribuent à la perception du relief ».2.2. AccommodationL’accommodation est la capacité de l’œil à s’adapter aux distances afin d’assurer lanetteté de la vision. Celle-ci est réalisable grâce au cristallin. Sa puissance varie selon ladistance de l’objet observé. Quand on observe un objet à une grande distance, le cristallin
  • 9. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  9        est au repos et inversement lorsque l’objet est proche. Les rayons lumineux renvoyés parl’objet sont donc déviés par le cristallin vers la fovéa. La fovéa est le point central de larétine sur lequel l’image est « projetée ».2Figure 2 : Accommodation de l’œil.Les appareils photos ont copiés ce principe de fonctionnement. Certains appareilssont dits « autofocus », ces derniers sont capables de s’accommoder automatiquement àl’objet de la scène. Certains photographes jouent sur cette particularité pour réalisercertains effets stylistiques avec un objet en premier plan net puis le reste de la scène ausecond plan est « flou », c’est ce que l’on appelle jouer sur la profondeur de champs.Une relation est constatée entre l’accommodation et la convergence (voir chapitre3.3), si bien que l’on ne peut savoir si c’est la convergence ou l’accommodation qui esteffectuée en premier. Une forte modification de celle relation fatigue la vision d’un individu.2.3. ConvergenceLa convergence est la capacité des yeux à s’orienter pour se fixer sur un point précisd’une scène. Ce principe fonctionne de paire avec l’accommodation. L’angle ainsi formépar les deux yeux donne l’information nécessaire pour que l’accommodation puisse opérer.L’accommodation et la convergence sont liées à la profondeur de l’objet observé, ce quidémontre la relation naturelle qui existe.2http://www.sibylle-cache-son-oeil.com/site/index.php?option=com_content&task=view&id=17&Itemid=34
  • 10. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  10        L’accommodation comme la convergence sont deux phénomènes qui s’effectuentinconsciemment et qui ne sont pas innés chez l’homme. Ces dernières sont acquisesexpérimentalement et inconsciemment pendant l’enfance. On peut considérer alors quecette relation d’accommodation-convergence constitue le comportement par défaut ; maisrien n’empêche l’Homme d’accommoder ou de converger artificiellement d’une manièretotalement différente. Par exemple, il est possible de « loucher » ou d’avoir le regard dansle vide et de voir les objets « flous ». Toutefois, cela provoque une grande fatigue visuelleet il faudra veiller à respecter ce comportement par défaut lors de la restitution d’objets enrelief.Comportement par défaut : le fusionnement des images :Figure 3 : Vision œil droit. Figure 4 : Vision œil gauche.3Figure 5 : Images fusionnées.3http://www.musees-des-techniques.org/UploadFile/GED/Ressources/Ficheenseignant/ZVCF-FICHE_ENSEIGNANT_3.pdf
  • 11. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  11        2.4. ParallaxeOn parle quelque fois d’erreur de parallaxe pour la lecture d’un appareil de métrologieà aiguille. L’erreur de parallaxe est l’angle entre la direction du regard d’un observateur parrapport à la perpendiculaire des graduations de l’appareil de mesure. Si l’angle est nul(lecture perpendiculaire), il n’y a pas d’erreur de lecture. En revanche, plus l’angle estgrand, plus l’erreur de lecture est importante.La parallaxe est donc l’impact induit par le changement de position d’un observateursur la manière dont est perçu un objet.4Figure 6 : Les trois cas de parallaxeLa parallaxe peut désigner également la distance qui sépare deux images du mêmeobjet perçu par les deux yeux. Le schéma ci-dessus illustre les trois types de parallaxepossibles. Sur chaque image, le point noir correspond à l’objet tel qu’il est perçu par lespectateur par rapport à l’écran et les ronds de couleur sont les deux images de cet objetnécessaire à la réalisation du relief. Dans le cas du milieu, les ronds de couleurs sontconfondus avec le rond noir. Dans les trois cas, l’accommodation se fera toujours au niveaude l’écran, ce qui changera c’est la distance à laquelle se fera la convergence. Le premierschéma est l’illustration d’une parallaxe négative, l’objet sera alors perçu comme étant ensaillie. Le second, quant à lui, correspond à une parallaxe nulle, l’objet est alors vu commeétant au niveau de l’écran ; il n’y a donc aucune sensation de vision relief. Enfin, le dernierschéma représente une parallaxe positive, l’objet est vu comme étant en profondeur.4http://fr.wikipedia.org/wiki/Parallaxe
  • 12. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  12        Dans le cas de la vision relief, la parallaxe de mouvement par rapport à la scènepermet d’obtenir davantage d’informations sur l’objet observé, notamment sur sa forme.Certaines technologies exploitent cette particularité afin de donner une sensation deperspective ; c’est le cas de la technologie de Head-tracking (suivi de la tête en français, cf.4.1.1).2.5. Tableau récapitulatifInformations à retenir Définitions/ExplicationsCristallin/Cornée Cristallin : Lentilles restituant sur le fond de la rétine l’imageinverse de ce qui est observé.Cornée : Lentille la plus puissante de l’œil permettant defaire converger l’image vers la rétine.Convergence Orientation des yeux vers un point précis d’une image.Accommodation Mise au point effectuée par le cristallin. Il agit sur les rayonslumineux, l’image observée est vue nettement par le cerveau.Parallaxe Ecart entre deux points identiques d’une imagestéréoscopique. L’un vu sur l’image gauche et l’autre surl’image droite.
  • 13. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  13        3. Techniques de restitution du relief3.1. Technologies monoscopiques3.1.1. « Head-tracking »Le Head-tracking a pour objectif de capter les mouvements de la tête d’un utilisateurou d’un spectateur. Cette captation peut se faire de différentes manières (capteursmagnétiques, optiques, mécaniques, acoustique, inertiels…).Connaître la variation du point de vue de l’utilisateur permet la simulation d’une visionrelief. En effet, l’image affichée sur l’écran est adaptée en temps réel en fonction de laposition de la tête par rapport à l’écran. Un dispositif permet de suivre la position de la têteet adapte les images diffusées en fonction de ces mouvements. Les mouvements étantcaptés par la caméra de l’appareil.5Figure 7 : Head-tracking sur iPhone.6Figure 8 : Head-tracking sur iPad.Cette méthode utilise l’erreur de parallaxe abordée plus haut pour faire apparaître lesimages en reliefs. En effet, l’angle formé par la direction du regard et la perpendiculaire àl’appareil est plus ou moins important selon le changement du point de vue de la personne.5http://www.maxiapple.com/2011/04/3d-sans-lunettes-iphone-4-ipad-video.html6http://tech.mikeshouts.com/head-tracking-with-ipad-2-camera-enables-glasses-free-3d/
  • 14. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  14        Il existe une relation proportionnelle entre l’angle ainsi formé et l’importance du reliefrestitué par l’écran. Il est important de noter que la sensation de relief restitué n’est pasinduite par un point de vue particulier, mais par la modification permanente de ce dernier.3.2. Stéréoscopie : technologies avec lunettes3.2.1. Stéréoscopie passiveDeux techniques principales existent :• Lunettes anaglypheOn ne garde pour limage de gauche que les composantes rouges et pour limage dedroite que les composantes vertes et bleues. Les deux images sont superposées et à laidedune paire de lunettes anaglyphe, chaque œil dispose dun filtre spécifique. Lœil gauchene voit que le bleu et vert et lœil droit ne voit que le rouge. Ces images sont envoyées aucerveau et ce dernier peut alors reconstituer la scène en relief.• Lunettes à verres polarisésLa lumière est une onde. Les ondes sont polarisables, cest-à-dire quil est possibledorienter la manière dont se "déplace" londe.7Figure 9 : Images gauches et droites polarisées différemmentPour cette technique, deux projecteurs sont utilisés. Lun projette limage de gauchepolarisée horizontalement et lautre projette limage de droite polarisée verticalement.7Les images en relief - Le Truc (Das Ding) (Michaël Le Meur, Fabrice Dugast)
  • 15. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  15        Figure 10 : Paire de lunette polarisanteIl suffit alors de porter une paire de lunette polarisante. Le filtre de gauche ne laissepasser que les ondes horizontales et le filtre de droite que les ondes verticales. Chaque œildispose donc de l’image qui lui est dédiée et le cerveau peut alors reconstituer la scène enrelief.Toutefois la polarisation rectiligne présente un inconvénient majeur : il est nécessairede garder la tête bien droite sous peine que les deux verres ne filtrent plus correctement lesondes verticales et horizontales. En effet, si l’utilisateur penche la tête d’un côté ou del’autre, les ondes qui étaient auparavant verticales ou horizontales ne le deviennent plus etles images qui parviennent aux yeux du spectateur peuvent être mélangées. Pour résoudrece problème, la polarisation rectiligne a laissée place à la polarisation circulaire qui permetde s’affranchir de la contrainte précédente.3.2.2. Stéréoscopie activeLa principale technique utilisée en stéréoscopie active avec une paire de lunette estcelle du décalage temporel. Le projecteur projette alternativement et très rapidementlimage de gauche puis limage de droite. Il faut alors porter une paire de lunette de manièreà ce que lœil gauche et lœil droit soient masqués alternativement de manièresynchronisée avec le projecteur. De la même manière que dans les cas précédents, ceprocédé permet de n’afficher les images de droites qu’à l’œil droit et les images de gaucheà l’œil gauche afin que le cerveau puisse reconstituer la scène en relief.
  • 16. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  16        8Figure 11 : Affichage alterné grâce aux lunettes polarisantesLes images ci-dessus illustrent le principe de fonctionnement de la technique décriteplus haut. La paire de lunette dispose de deux verres à cristaux liquides capables des’obstruer lorsqu’ils sont traversés par un champ électrique. Les lunettes sont doncalimentées par une pile et synchronisées avec les images projetées à l’écran. Il est ainsipossible de n’afficher que les images de gauche à l’œil gauche et les images de droites àl’œil droit. Cependant, cette technique nécessite une fréquence élevée afin que lespectateur ne s’aperçoive de rien. L’idéal est de pouvoir afficher pour chaque œil 30images par seconde. Il est donc nécessaire d’atteindre les 60 images par secondes pourles deux yeux, soit 60 hertz. Le principal inconvénient de cette technologie réside dans lefait qu’il faille alimenter ces lunettes et qu’elles deviennent de ce fait plus lourde et moinsconfortables.3.3. Stéréoscopie : technologies sans lunettes3.3.1. Auto-stéréoscopiqueL’auto-stéréoscopie permet de saffranchir de paires de lunettes ou d’un quelconqueautre dispositif permettant de filtrer les images gauches et droites lié à l’utilisateur. Lemoyen de filtrer est alors "mutualisé" et non plus "dédié" comme avec les paires delunettes. Le principe réside dans le fait que le filtrage seffectue directement sur lécran.Différentes solutions existent pour le filtrage, comme par exemple : à réseau lenticulaire, àbarrière de parallaxe, à illumination et à écran holographique. Le schéma ci-dessousexplique le fonctionnement de la solution à réseau lenticulaire :8Les images en relief - Le Truc (Das Ding) (Michaël Le Meur, Fabrice Dugast)
  • 17. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  17        9Figure 12 : Fonctionnement d’un réseau lenticulaireLa scène 3D est alors composée à chaque fois des deux images gauches et droites.Ces images sont découpées en fines bandelettes et alternées. Les rouges sont dédiées àl’œil gauche et les bleues à l’œil droit. Le réseau lenticulaire se trouvant par-dessus l’écranse charge alors de rediriger la lumière de chaque bandelette à l’œil concerné.L’imagerie lenticulaire a longtemps été utilisée sur des vignettes publicitaires pourafficher des images différentes lorsque le support est incliné de bas en haut ou de droite àgauche. Ce principe a été repris pour permettre une vision relief.3.3.2. Les auto-stéréogrammesLes auto-stéréogrammes ou images tridimensionnelles sont des images visiblesaussi bien en deux ou trois dimensions sans systèmes particuliers. Cependant, pour voir unauto-stéréogramme en trois dimensions, cela nécessite d’effectuer un peu de gymnastiqueavec ses yeux.Précédemment, nous avons vu que la convergence était la capacité que les yeux ontà s’orienter pour se fixer sur un point précis d’une scène. Ce mode de vision est naturel etest réalisé inconsciemment. Toutefois, il existe d’autres modes de vision non naturelsnécessitant un peu de gymnastique oculaire qui sont : la vision parallèle (regard dans levide) et la vision croisée (lorsqu’on louche).9http://fr.wikipedia.org/wiki/Fichier:How_a_lenticular_lens_works.png
  • 18. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  18        10Figure 13 : Les trois modes de visionLes images auto-stéréogrammes exploitent la vision parallèle afin de voir ces imagesen trois dimensions. Il existe deux types d’images auto-stéréogrammes, les « camouflés »représentant généralement des formes géométriques invisibles en deux dimensions et lesimages figuratives pouvant être de « vraies » images.Le principe de création d’une image auto-stéréogramme est la répétition de l’imagede base sur un plan horizontal. Cependant cette image de base est modifiée à chaque foispour que chaque œil puisse voir l’image lui correspondant.11Figure 14 : Exemple dune image auto-stéréogrammePour regarder l’image auto-stéréogramme ci-dessus, il faut la regarder en visionparallèle.10http://www.lajauneetlarouge.com/article/les-auto-stereogrammes-des-images-en-relief11http://www.lajauneetlarouge.com/article/les-auto-stereogrammes-des-images-en-relief
  • 19. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  19        3.4. Tableau récapitulatifInformations à retenir Définitions/ExplicationsStéréoscopie Technique permettant de reconstituer une perception 3Dà partir d’images 2D.Auto-stéréogramme Un auto-stéréogramme est une image visible en relief envision parallèle.
  • 20. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  20        4. Contraintes des techniques de restitution4.1. Définition4.1.1. CinétoseLa cinétose ou cinépathie est ce qu’on appelle le mal du virtuel. Ce mal du virtuelpeut s’apparenter au mal des transports. Ce phénomène se produit car l’individu concernés’adapte mal aux voyages terrestres, aériens ou maritimes. Celui-ci subit alors le syndromed’adaptation spatiale, c’est à dire que l’équilibre de l’individu est perturbé. Il existe donc uneincohérence entre le déplacement réel de l’individu et ce que son organisme perçoit.Les vestibules, situées dans la partie la plus interne de l’œil jouent un rôle important.En effet, celles-ci aident l’individu à trouver son équilibre et sont très sensibles. Certainespersonnes se sentent mal en avion car leurs vestibules perçoivent un déplacement alorsquelles ont la sensation d’être immobile. Le cerveau détecte une incohérence entre cesdeux informations et cela provoque des troubles du transport.La cinétose est provoquée par une incompréhension du cerveau lors du traitement dedifférents stimuli sensoriels lorsque deux sens semblent présenter des informationscontradictoires par exemple. Plusieurs éléments peuvent favoriser la cinétose : lepsychisme, l’alcool, la drogue, etc. A l’inverse, le degré d’immersion et l’habituded’utilisation d’un dispositif peuvent permettre d’éviter ou de réduire la cinétose.Les producteurs de films 3D doivent faire attention au nombre d’images par secondesaffichées au spectateur. Nous avons vu précédemment que l’idéal est d’afficher les imagesà une fréquence de 60 Hertz, soit 60 images par secondes. L’œil et le cerveau humainn’est pas totalement habitué au relief artificiel. Bien que les techniques de restitutionsstéréoscopiques soient évoluées, elles ne permettent pas d’avoir une véritable cohérenceentre les informations transmises au cerveau par les différents sens. Dans le cas de lavision, nous avons vu que les parallaxes positives ou négatives impliquaient uneaccommodation et une convergence ne se faisant pas au même endroit, ce qui n’est pas lecas en vision naturelle.
  • 21. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  21        Ainsi, pour ne pas fatiguer le spectateur, il faut veiller à alterner les plans enprofondeur et en saillie et éviter de les afficher pendant trop longtemps au spectateur. Unedes solutions apportée est d’intercaler entre certaines scènes d’autres dont la parallaxe estproche de zéro. Jouer sur le degré d’immersion est également crucial, la qualité de labande sonore et de sa spatialisation est un grand plus.4.1.2. Image en saillieEn vision stéréoscopique, un élément dit en sailli est vu comme étant dans l’espaceentre le plan de l’écran et l’observateur.Exemple d’image en saillie :12Figure 15 : Image dune fenêtre en saillie.4.1.3. Image en profondeurLes images en profondeur donnent l’impression inverse par rapport aux images ensailli. Les images en profondeurs font penser que l’image s’étend aux arrières plans.12http://fr.dreamstime.com/photo-libre-de-droits-fen-ecirctre-en-saillie-image15556005
  • 22. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  22        Exemple d’image en profondeur :13Figure 16 : Illustration de la perspective atmosphérique : les montagnes au loin paraissent estompées.4.2. Contraintes de parallaxeNous avons vu précédemment qu’il existait trois types de parallaxe. La parallaxenégative, qui permet d’afficher des images en saillie, la parallaxe nulle permettant d’afficherles objets au niveau de l’écran et enfin la parallaxe positive permettant d’afficher des objetsen profondeur.Le cerveau de humain n’est pas encore bien habitué à cette vision relief artificielle. Ilest donc crucial pendant le montage d’un film, de veiller à ne pas créer de malaise entrel’œil et le cerveau sous peine de provoquer la cinétose. Nous avons vu précédemment quel’accommodation se faisait toujours au niveau de l’écran. En revanche, lors de scènesutilisant une parallaxe négative ou positive, la convergence ne se fera pas au niveau del’écran mais devant celui-ci ou derrière celui-ci. Il existe donc une incohérence entrel’endroit où se fait la convergence et celui où se fait l’accommodation. Ces incohérencesentrainent une grande fatigue visuelle.La recette utilisée par Walt Disney pour ne pas user psychologiquement le jeunepublic est de faire suivre les scènes tristes par des scènes plus joyeuses accompagnées demélodies joyeuses.Il est judicieux de copier ce principe dans le cinéma 3D et d’alterner les plans enprofondeur, en sailli et au niveau de l’écran afin d’éviter une trop grande fatigue visuelle.13http://fr.wikipedia.org/wiki/Perception_de_la_profondeur
  • 23. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  23        4.3. Contraintes de cadrageNous avons vu précédemment deux exemples d’images. L’une en saillie et l’autre enprofondeur. Si nous devions représenter en relief une image en profondeur, le cadre ou lebord de l’écran ne poserait aucun problème puisque nous aurions simplement la sensationde regarder la scène à travers une fenêtre.Les scènes et objets, bien qu’en sailli, sont représentés par projection à la surface del’écran. Les bords de l’écran constituent donc les limites au-delà desquelles il estimpossible de représenter les objets. Des objets en saillis ne peuvent donc pas sortir ducadre puisque le cadre « couperait » ces derniers et provoquerait une incohérence entre ceque voit l’œil et l’interprétation du cerveau.Figure 17 : Saillie centrée Figure 18 : Saillie hors cadre Figure 19 : Saillie coupéeSur la première image, « Saillie centrée », on s’aperçoit clairement qu’il est possibled’afficher une image en saillie, si celle-ci n’est pas hors cadre. La contrainte qui se pose estlorsque nous représentons un objet en saillie comme sur l’image « Saillie hors cadre ». Eneffet, il est impossible de faire sortir l’objet de l’écran et ce qui sera en réalité affiché estreprésenté sur la troisième image « Saillie coupée ». L’objet qui aurait dû « sortir » ducadre et s’approcher de nous sera coupé par les bords du cadre.
  • 24. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  24        4.4. Tableau récapitulatifInformations à retenir Définitions/ExplicationsCinétose Malaise entre l’œil et le cerveau qui provoque undéséquilibre de l’individu. Celui-ci ressent alors unmal-être.Image en saillie / en profondeur Saillie : Image perçue entre le plan et un individu.Profondeur : Image en arrière plan.Contraintes parallaxe Les points de convergence et l’accommodation desyeux se font dans des directions différentes.
  • 25. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  25        5. Conception de médias reliefs5.1. Prises de vues réellesLes appareils photos à doubles objectifs copient le fonctionnement de la visionstéréoscopique de l’Homme expliqué précédemment. En effet, ces appareils capturentdeux images avec une parallaxe similaire à celle des yeux de l’Homme. Le but de cesappareils à doubles objectifs est donc de capturer les reliefs comme le feraient les deuxyeux de l’Homme.Exemples d’appareils photo à doubles objectifs :14Figure 20 : Appareil photo LUMIX GF2.15Figure 21 : Appareil stéréo argentique : Kit Loreo3D MKII stéréoscopique sur pellicule 24 x 36.Les caméras permettent également de capturer des scènes en relief. Lors detournages vidéo 3D ce sont des caméras reliefs à doubles objectifs qui sont utilisées,comme la caméra AG-3DA1 de Panasonic :14http://www.pc-boost.com/actualite-1295872482-1-La-Radeon-HD-6990-en-photo--Peut-%C3%AAtre-.html15http://fr.wikipedia.org/wiki/Appareil_st%C3%A9r%C3%A9oscopique
  • 26. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  26        16Figure 22 : Caméra AG-3DA1, la première caméra 3D intégréeCertaines caméras 3D autorisent le réglage de la parallaxe. Cela signifie qu’il estpossible de régler l’écart entre les deux objectifs. Cela est notamment utilisé par lesproducteurs afin de donner l’impression qu’un objet est plus ou moins près. Ces dernièressont placées dans un « rig à miroir » 17. Les deux caméras sont disposées selon un anglede 90°, et reliées entre elles par de nombreux moteurs. Un miroir semi-transparent estplacé entre les deux caméras et coupe les deux axes optiques à 45°. L’une des camérasfilme à travers le miroir tandis que l’autre filme l’image sur le miroir. Cela permet aux deuxcaméras d’être très proches l’une de l’autre sans contraintes physiques de contact. Ceprincipe est particulièrement utile pour les plans rapprochés.5.2. Synthèses d’imagesLes scènes que nous voyons actuellement dans les films d’animations ou encoredans les jeux vidéo deviennent de plus en plus réalistes et immersives. Pourtant, celles-ciont été modélisées à partir d’images 2D et d’objets en 3D.16http://www.focus-numerique.com/video-test-panasonic-ag-3da1-premiere-camera-3d-integree-news-2368.html17http://www.commeaucinema.com/interviews/pina,195115-note-85369
  • 27. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  27        18Figure 23 : Les tours de HanoïDes logiciels aident aux développements de jeux vidéo en vue d’obtenir un rendu leplus réaliste possible, tels que « Ogre 3D », « Irrlicht Engine », « Virtools » et « Unity » quisont les leaders du marché.Des images sont spécialement imprimées pour être vues en relief grâce à deslunettes anaglyphes décrites précédemment (filtres de couleurs différents). Ses imagessont alors elles-mêmes appelées images anaglyphe.19Figure 24: Vue anaglyphique, présentant un relief bien perceptible (lunettes bicolores nécessaires : lerouge à gauche).18http://www.xgouchet.fr/blog/index.php/en19http://fr.wikipedia.org/wiki/Anaglyphe
  • 28. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  28        D’autres sont utilisées dans la réalité augmentée :20Figure 25 : La réalité augmentée avec interrupteurLes caméras utilisées fonctionnent alors comme des caméras relief ; deux imagesidentiques avec un point de vue différent. Une parallaxe en vision relief est donc présenteet réglable afin de jouer sur la contrainte de parallaxe détaillée plus haut. Le point de vueest alors déplacé en temps réel (similaire à la technologie du Head-tracking).5.3. Tableau récapitulatifInformations à retenir Définitions/ExplicationsCaméras reliefs Utilisent le même principe que la visionhumaine pour reproduire le relief etpossèdent donc un double objectif.Images en réalité augmentée Point de vue en mouvement et donc entemps réel, utilisant le même principe defonctionnement que la technologie Head-treacking.20http://www.teferic.de/video/2/video/%20artoolkit/xjmuis.html
  • 29. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  29        6. Interfaces hommes-machines6.1. Technologies tactiles6.1.1. RésistifLa technologie résistive est la plus économique et la plus courante. Les écranstactiles résistifs sont composés de deux calques superposés et maintenus distants.Lorsqu’une pression s’effectue, les deux calques se touchent et un courant électriquecircule. La variation dans les champs électriques permettent d’en déduire les coordonnéesx et y de la zone touchée. Cette technologie demeure cependant mono-point, mais permetune utilisation autre qu’avec le doigt ; l’usage du stylet est par exemple possible. Certainsanciens smartphone ou PDA utilisent cette technologie.21Figure 26 : Ecran tactile résistif.6.1.2. CapacitifLes écrans capacitifs, quant à eux, sont constitués d‘une couche à base d’indium quiest placée sur la plaque de verre. Lorsque l’on pose le doigt sur la plaque, certaines de ces21http://fr.wikipedia.org/wiki/%C3%89cran_tactile
  • 30. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  30        charges sont transférées dans celui-ci. Ce déficit est quantifiable et est mesuré à partir dechaque coin de l’écran ce qui permet d’en déduire les coordonnées x et y de la zonetouchée. Cette technologie peut-être considérée comme la suite logique de la précédente.Elle participe à l’amélioration de l’ergonomie de certains dispositifs car elle autorise lemultipoint. Elle a notamment connu un essor particulier grâce à l’Iphone d’Apple. Depuis,de nombreux autres smartphones et tablettes sont équipés de cette technologie.22Figure 27 : Ecran tactile capacitif.6.1.3. Les autresInfrarouge, Optique, FTIR, A jauges de contrainte, à onde de surface. Petit tourd’horizon des autres technologies tactiles existantes. Quels sont les avantages ou lescontraintes par rapport aux deux principales technologies que sont le résistif et lecapacitif ?Les technologies capacitives et résistives sont les principales technologies,cependant il existe également d’autres types de technologies :22http://fr.wikipedia.org/wiki/%C3%89cran_tactile
  • 31. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  31        Onde de surfaceUne onde circule sur la surface de l’écran et lorsque l’utilisateur touche l’écran,celle-ci s’en trouve modifiée. Grâce à l’analyse de l’onde modifiée récupérée, il est possiblede déduire les coordonnées x et y de la zone touchée.InfrarougeL’écran est constitué de rayons infrarouges disposés verticalement ethorizontalement. La détection de contact se fait lors de l’interruption des faisceaux delumière, il est alors possible de déduire les coordonnées x et y de la zone touchée.OptiqueL’optique est munie de deux caméras qui sont disposées dans les coins et unetriangulation permet de déduire les coordonnées x et y de la zone touchée.FTIR (Frustrated Total Internal reflexion) 23La surface supérieure de la plaque est éclairée par des diodes infrarouges. Lorsquele doigt se pose sur la surface supérieure, la lumière est réfléchie dans toutes les directionset principalement sur la surface inférieure de l’écran. Une caméra détecte alors un “point”lumineux sur cette surface inférieure et les coordonnées x et y de la zone touchée peuventen être déduites.NFI (Near Field Imaging)Se base sur la création d’un champ électrostatique autour de l’écran, en approchantun doigt de la surface, le champ s’en trouve courbé. Cette courbure permet de déduire lescoordonnées x et y de la zone touchée.23Jeff Han : http://cs.nyu.edu/~jhan/ftirtouch/
  • 32. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  32        A jauges de contrainteQuatre jauges de contraintes sont placées respectivement dans les quatre coins del’écran. Ces jauges permettent de déterminer la déflexion qu’induit la pression du doigt surl’écran. Il est alors possible de déterminer les coordonnées x et y de la zone touchée.6.1.4. Principaux usagesComme vous avez pu le constater plus haut, toutes ces technologies on un objectifcommun, celui de déterminer les coordonnées x et y de la zone sur l’écran touchée parl’utilisateur. Cependant, elles ne possèdent pas toutes les mêmes avantages et les mêmesinconvénients.Technologies Avantages InconvénientsRésistif • Faible coût• Tous types de pointeurs• Temps de réponse• Recalibragefréquemmentnécessaire (fragilité)• Peu lumineux (>= 75%)• Adaptée aux écrans demoyenne et petite taille• FragilitéCapacitif • Multi-touch• Luminosité (>= 90%)• Temps de réponse• Adaptée aux écrans demoyenne et petite taille• FragilitéOndes de surface • Luminosité• Ecran sensible(rayures, poussières,tâches ...)
  • 33. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  33        Infrarouge • Faible coût• Ecran très résistant(Adaptée aux utilisationsmilitaires)• Luminosité• Lente• Détecte le contactavant le toucherOptique • Faible coût• Adaptée aux grands formats• Pas de multi-touchFTIR • Faible coût• Beaucoupd’élémentsnécessaires à lacréation• Peu répanduNFI • Robuste• Luminosité• Pas de multi-touchA jauge decontraintes• Robuste• Luminosité• Pas de multi-touchLes technologies capacitives et résistives sont les plus répandues car elles sont bonmarché. Cependant, elles demeurent fragiles ce qui implique qu’elles aient une durée devie relativement limitée. Au contraire, les technologies optiques assurent une longévité plusimportante.La technologie infrarouge, quant à elle, a le défaut de détecter un point de contactavant même qu’il ne survienne. La technologie à ondes de surface a également un défautqui est d’être très sensible à toutes impuretés ou rayures présentes à la surface. Cesdernières gênent la propagation des ondes.6.1.5. Exemples d’interfaces tactiles à vision reliefDifférentes solutions en matière d’interfaces tactiles à vision relief existent. Certainesd’entre elles sont localisées sur le support relief, d’autres sont au contraire totalement
  • 34. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  34        délocalisées du support et enfin certaines sont à mi chemin entre ces deux solutions etproposent des solutions semi-délocalisées. Nous étudierons un exemple de chacune deces solutions et mettrons en exergue les avantages et inconvénients de ces dernières.Solution localisée : iLight 3D TouchLa solution iLight a été développée dans le cadre du projet de recherche européen V-City. Elle vise à développer un système collaboratif et innovant pour la visualisationd’environnements urbains en 3D tels que des maquettes par exemple.ILight est une table tactile permettant d’afficher deux points de vue différents sur lemême écran et en vision stéréoscopique. Cela est possible grâce à un système qui filtre lesimages à représenter pour l’un ou l’autre point de vue par le biais de lunettes que portentles deux utilisateurs. De plus, le système est couplé à une technologie de « Head-tracking » à 6 degrés de libertés permettant d’observer les objets et maquettes sous tousleurs angles et donc de proposer à l’utilisateur une expérience vraiment immersive.24Figure 28 : Les deux utilisateurs regardent le même écran, la même maquette mais selon leur proprepoint de vueILight apporte une solution originale afin de contrer les problèmes de collisions entreles objets en saillis et la main de l’utilisateur. ILight est capable de détecter le survol de lamain au dessus de la table tactile, le feedback visuel sur l’écran est alors représenté parune ombre. Lorsque la main de l’utilisateur se rapproche de la surface de la table tactile, lascène représentée à l’écran donne l’impression de « s’enfoncer dans la table ». Les objets24http://ilight-immersion.blogspot.com/
  • 35. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  35        en saillis ne peuvent donc plus entrer en collision avec la main, car ils se retrouvent« éloignés » de la main de l’utilisateur.25Figure 29 : La main est détectée au dessus de lécran, iLight affiche une ombre sous la main symboliséepar un cercle sombre au contour bleutéSolution semi-délocalisée : ToucheoLa solution Toucheo a été réalisée en collaboration avec la société française« Immersion » et les centres de recherches INRIA et CNRS. Le principal intérêt de cettesolution réside dans le fait qu’elle est « Semi-délocalisée ». Cest-à-dire qu’elle estsuffisamment délocalisée de manière à régler les problèmes d’occlusions et de collisionpouvant normalement intervenir avec d’autres solutions de visualisation stéréoscopique,mais à la fois suffisamment proche des objets que l’on manipule avec cette technologie demanière à proposer une solution la plus immersive possible.25http://ilight-immersion.blogspot.com/
  • 36. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  36        Figure 30 : Occlusion de lobjet par la main Figure 31 : Collision entre lobjet et la mainOn peut alors se demander comment Toucheo a réussit ce pari. L’astuce utiliséen’est pas si compliquée qu’elle en a l’air. Elle est le résultat de la combinaison d’un simpleécran 2D tactile surmonté d’une dalle semi-transparente. Alors que l’écran tactileréceptionne les interactions de l’utilisateur telles que les translations, les rotations et lesagrandissements/réductions, la dalle semi-transparente se charge de représenter l’objet 3Den stéréoscopie. L’image de l’objet est réfléchie sur la dalle semi-transparente et Toucheoest couplé à un système de Head-tracking pour une totale immersion. Cette combinaisonpermet à l’utilisateur de placer ses mains entre l’écran tactile et la dalle semi-transparenteet évite ainsi les occlusions et collisions potentielles avec les objets représentés.2627Figure 32 : Schéma de la solution Toucheo1) Ecran stéréoscopique orienté vers le bas2) Dalle semi-transparente sur laquelle l’image stéréoscopique est réfléchie3) Image stéréoscopique de l’image réfléchie4) Ecran tactile 2D capturant les gestes de l’utilisateur26http://hal.inria.fr/docs/00/61/25/05/PDF/uistPreliminary.pdf27http://www.labri.fr/perso/hachet/publications/Toucheo.html
  • 37. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  37        Les six degrés de libertés sont respectés. Il est en effet possible de réaliser destranslations, des rotations et des déformations à l’aide de différents curseurs représentésen 2 dimensions sur l’écran tactile.28Figure 33 : Les différents gestes à réaliser pour la rotation, translation et déformation(a) représente l’interface permettant de manipuler l’objet(b) permet d’effectuer une rotation de l’objet sur l’axe Z en faisant tourner le disque(c) permet d’effectuer une rotation sur l’axe X ou Y selon la réglette utilisée(d) permet d’étirer l’objet selon l’axe de la réglette utilisée(e) permet d’effectuer une translation de l’objet sur l’axe ZSolution délocalisée : CubTileComme son nom l’indique, l’interface de la solution CubTile se fait à travers un cube.CubTile a été développé par la société française « Immersion », leader en matièred’innovation et d’intégration de solutions de réalité virtuelle. Cet objet cubique capte lesombres des doigts sur toutes les faces. Ces données gestuelles sont alors transmises à unordinateur capable de traduire ces données en actions à réaliser.29Figure 34 : Le cube de la solution CubTile28http://hal.inria.fr/docs/00/61/25/05/PDF/uistPreliminary.pdf29http://www.ludovia.com/news/news_238_premiere-mondiale-immersion-presente-cubtile-l-inn.html
  • 38. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  38        L’avantage de cette solution est qu’elle est très intuitive et très ergonomique puisqueles gestes à effectuer sur les faces du cube sont ceux que toute personne effectuerait lorsde la manipulation d’un objet réel. CubTile permet alors de réaliser pour chaque plan, unetranslation et une rotation. Les six degrés de libertés sont alors totalement réalisables trèsfacilement.Les possibilités offertes par CubTile sont nombreuses, on peut notamment imaginerse déplacer dans une pièce à 3 dimensions, manipuler des objets, etc. L’intérêt est énormepuisque CubTile permet très facilement d’appréhender les volumes.6.2. Technologies à interfaces gestuelles6.2.1. Les jeuxLa KinectLa Kinect est un système d’interface gestuelle conçu par Microsoft pour sa consolede jeu, la Xbox 360. Ce périphérique d’interface permet d’interagir avec la console parreconnaissance de mouvement et d’image. Avec la Kinect, la manette devient le corps dujoueur et tous les mouvements associés.Comment la Kinect est-elle capable de détecter la profondeur ? Celle-ci estcomposée de deux éléments principaux qui sont un émetteur et un capteur infrarougeespacés de quelques centimètres. L’émetteur infrarouge projette dans l’espace un motif depoints lumineux mais non visibles à l’œil nu, car ces derniers se trouvent dans la zone duspectre lumineux non visible pour l’humain.
  • 39. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  39        30Figure 35 : Motif de points lumineux créé par lémetteur infrarougeLorsqu’un objet se déplace dans le motif de points lumineux créé par l’émetteur, lemotif change et se déforme. Le capteur infrarouge est alors capable de détecter cettemodification afin de l’interpréter. Le principe de fonctionnement est relativement simple. Onpeut imaginer réaliser un capteur de profondeur avec deux faisceaux laser. Si les deuxpoints créés par le laser sont très éloignés l’un de l’autre, cela signifie qu’ils sont trèséloignés du capteur en revanche, s’ils sont très près l’un de l’autre, cela signifie qu’ils sontproches du capteur. Voici le schéma permettant d’illustrer les précédentes explications :Figure 36 : Capteur de profondeur simplifiéConnaissant l’angle entre les deux faisceaux lumineux et la distance à laquelle setrouve le point bleu clair du point bleu foncé ou le point marron du point orange, il est alorspossible d’en déduire la profondeur.30http://www.cse.iitk.ac.in/users/rahule/thesis.html
  • 40. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  40        Playstation MoveLa Playstation Move est la solution de captation gestuelle développée par Sony. Alorsque la Kinect a fait le choix de faire disparaître les manettes de jeu, Sony a opté pour unesolution un peu plus classique, qui utilise toujours des manettes de jeu.La Playstation Move est constituée du couple suivant : un capteur RGB (une caméra)ainsi qu’une manette surmontée d’une sphère colorée et équipée d’un capteurgyroscopique et d’accélération. Il est alors possible de détecter le mouvement du joueur àl’horizontal et à la vertical en suivant le changement de position de la sphère lumineuse dela manette de jeu à l’aide de la caméra. Mais comment la Playstation Move est alorscapable de détecter le changement de profondeur du joueur ? C’est une fois de plus grâceà la sphère lumineuse qui surmonte la manette. Plus la sphère apparaît grosse plus celasignifie qu’elle est proche de l’écran et inversement, plus la sphère est petite plus celasignifie qu’elle en est éloignée.Certains utilisateurs dénoncent l’aspect disgracieux de la sphère lumineuse de lamanette de jeu, mais elle n’a pas un rôle esthétique à proprement parler. Lorsque lamanette est éteinte, la sphère est blanche. A l’intérieur de cette sphère se trouve une diodeRGB 24bits capable de colorer la sphère. Le but de cette coloration est de maximiser laprécision du système Playstation Move. En effet, si le joueur désire jouer dans une piècepeu ou pas éclairée, cela n’empêchera pas le capteur de repérer la manette. D’autre part,la coloration de la sphère est déterminée par la console en fonction de l’éclairage de lapièce mais également en fonction des couleurs dominantes de cette dernière.La WiiLe système de captation gestuelle utilisé par Nintendo se nomme Wii. La solution deNintendo est constituée des éléments suivants : une manette équipée d’un capteurinfrarouge et d’une barre équipée de quatre Leds infrarouges qui sont alignées.Parmi les solutions de captations gestuelles décrites dans cette partie, la Wii est laplus ancienne, mais a très largement inspiré les deux autres. Contrairement à la PlaystationMove où c’est le capteur RGB localisé au niveau de la console qui traque les manettes, laWii a choisi une solution différente. Ce sont les manettes qui observent la position de larampe de Leds. Cette solution a l’avantage de pouvoir différencier le positionnement de
  • 41. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  41        chacune des manettes, puisque chaque manette communique à la console la position de larampe de Leds qu’elles ont repérées. Rappelons que dans le cas de la Playstation Move, ladistinction des manettes est effectuée par la couleur de la sphère de la manette de jeu.A tout moment, la manette capture la position des 4 Leds infrarouges et transmet cesinformations à la console. La console est alors en mesure d’en déduire la position de lamanette dans un espace à 3 dimensions.Figure 37 : Différents points de vue dune manette de jeuSur l’image ci-dessus, nous apercevons respectivement ce que peut voir une manettede jeu Wii située à gauche de l’écran puis à droite de l’écran.Deux questions apparaissent alors. La première est, comment peut-on définir ladistance à laquelle la manette se trouve de l’écran ?La solution réside, comme dans l’exemple précédent, grâce notamment à la taille etl’intensité des Leds vue par la manette.Figure 38 : Différents points de vue dune manette de jeuLes gros cercles dans le haut de l’image signifient que la manette est proche del’écran ; à contrario les petits cercles observés par la manette signifient que la celle-ci est
  • 42. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  42        éloignée de l’écran. Lorsque nous sommes proches d’un objet il nous apparaît plusvolumineux que lorsqu’il est éloigné, c’est ce même principe qui est utilisé ici.La seconde question concerne la manière dont il est possible de repérer la positionverticale de la manette. La manette est équipée d’un capteur gyroscopique lui permettantde détecter l’inclinaison de cette dernière.En combinant l’ensemble des données récupérées par la manette, il est alorspossible de déterminer la position de la manette dans un espace à 3 dimensions.6.2.2. Principaux usagesActuellement le jeu vidéo utilise énormément ces nouvelles technologies pour uneexpérience de jeu encore plus immersive. Mais d’autres domaines sont ou seraientsusceptibles d’utiliser ces interfaces.On peut noter par exemple les téléviseurs à venir. Certains constructeurs travaillentdéjà à l’intégration de la reconnaissance gestuelle afin de naviguer dans les menus de sontéléviseur.6.2.3. Exemple d’interface gestuelleLe projet SixthSense est un projet actuellement en cours de développement dans leslocaux du MIT, au MIT Media Lab. Ce sont Steve Mann, Pranav Mistry et Pattie Maes quisont en charge de son développement.Ce projet a pour but de transformer les objets qui font partie de notre quotidien enéléments d’« ordinateur semi-dématérialisé ». Ces objets deviennent alors eux-mêmes dessupports d’échanges d’informations ou d’interactions avec l’homme. Le but étant de pouvoircréer une interface fluide et adaptée à tous, avec les objets physiques qui sont présentsdans notre vie de tous les jours.C’est donc un projet informatique ubiquitaire : le traitement de l’information estcomplètement intégré dans tous les objets.
  • 43. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  43        31Figure 39 : Projet SixthSense : journalUne caméra capte les gestes réalisés ainsi que le suivi des marqueurs de couleurpositionnés sur les doigts, ceux-ci sont ensuite restitués via un pico-projecteur sur différentstypes de supports. Ci-dessous, les explications du prototype en image :32Figure 40 : Pranav Mistry, projet SixthSense : compositionLes informations que perçoit la webcam sont transmises à un appareil de calculpouvant être le téléphone portable de l’utilisateur. La webcam peut être positionnée sur unecasquette ou autour du coup de l’utilisateur. L’appareil de calcul interprète les informations31http://web.lefigaro.fr/monde-numerique.html32http://www.fubiz.net/2010/02/01/sixthsense-interface/
  • 44. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  44        reçues et affiche le résultat via le projecteur. L’affichage peut ainsi se faire sur n’importequel support : mur, main, vitre, t-shirt…L’avantage de cette technologie est l’horizon immersif qu’elle ouvre aux utilisateursde par sa mobilité et son caractère multi-touch. De plus, son prix ne représente en aucuncas un quelconque frein puisqu’il pourrait avoisiner les 350 dollars.6.3. Tableau récapitulatifInformations à retenir Définitions/ExplicationsTechnologie capacitive La principale technologie utilisée actuellement sur les écranstactiles des Smartphones.ILight 3D touch Solution localisée contournant la contrainte de collision.Toucheo Solution semi-délocalisée composée d’un écran 2D tactilecapturant les interactions de l’utilisateur et d’une dalle semi-transparente représentant l’objet en 3D complété par latechnologie de Head-Tracking.CubTile Périphérique de capture de déplacement dans unenvironnement 3D.La Kinect Dispositif projetant un motif de points lumineux dans l’espaceet capable interpréter les déformations du motif afin dedéterminer la position dans l’espace d’un objet ou d’unepersonne.La playstation move Dispositif permettant de repérer une manette dans un espace3D à l’aide d’une simple caméra RGB. La captation enprofondeur se fait en observant la variation de la taille de la
  • 45. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  45        sphère lumineuse qui surmonte la manette.La Wii Le plus ancien des trois systèmes étudiés ici. La particularitéde ce système est que la captation n’est pas mutualiséecomme les précédents, mais est dédiée. Un capteur se trouvedans chaque manette de jeu et chacun d’entre eux observeune rampe de 4 leds infrarouge.
  • 46. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  46        7. Conclusion de l’état de l’artLes évolutions quotidiennes des nouvelles technologies forcent les individus à suivrele rythme et à évoluer en même temps. En effet, ce qui paraît nouveau et inhabituelaujourd’hui pour un individu sera monnaie courante des années plus tard.Prenons l’exemple de la télévision, lors de son apparition celle-ci changea lequotidien du monde entier et a été perçue comme « une révolution ». Actuellement, pour lanouvelle génération ayant grandi avec elle, celle-ci est quelque chose de normal et nesuscite plus l’enthousiasme d’antan.Prenons maintenant l’exemple des consoles de jeux telles que la Kinect ou la Wii,celles-ci ont bouleversés notre quotidien et nous paraissent comme étant quelque chose derévolutionnaire. Pour les générations futures, ces consoles de jeux seront tout simplementdépassées tout comme la technologie qu’elles utilisent.La capacité de l’Homme à s’adapter à ces nouvelles technologies, telle que larestitution 3D décrite dans ce mémoire, provient de la capacité d’adaptation du cerveau. Eneffet, si celui-ci est confronté à la vision relief artificielle, le mal-être qui a pu être ressentipar les personnes témoins de ces nouvelles technologies n’est plus d’actualité.Les médias et dispositifs communicants de demain utiliseront la diffusion de contenusstéréoscopiques. De plus, ces dispositifs seront interactifs, c’est à dire qu’un ou plusieursutilisateurs pourront accéder à des informations complémentaires, faire évoluer lescontenus ou encore personnaliser les interfaces…Nous pouvons ainsi nous demander comment nous interagirons avec du contenurelief. Deux pistes seront traitées. La première concernera l’association d’une surface multi-touch et d’une diffusion relief. La seconde quant à elle, traitera de l’association d’interfacesgestuelles avec un contenu relief.
  • 47. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  47        Thèse : Interfaces gestuelles8. Interaction avec des interfaces8.1. Interaction avec du contenu 2DActuellement il existe différents moyens d’interagir avec du contenu 2D. En effet,souris, télécommandes et écrans tactiles (ou encore la reconnaissance gestuelle),permettent d’interagir avec du contenu non relief et étaient, au départ, conçus uniquementque pour cela.8.1.1. Historique des périphériques de contrôleMême si ces périphériques ont été créés que pour interagir avec du contenu 2D, leurutilisation avec la manette de jeux vidéo par exemple, a beaucoup évolué depuis quelquesannées. Cette évolution apporte un avantage majeur à ces périphériques qui ne sont plusdestinés à un usage unique, mais à divers usages.Les manettes de jeux, les télécommandesPour les joueurs, l’utilisation des manettes est très simple, car peu importe le type deconsole de jeux, généralement, elles sont composées de boutons en croix. Ellespossèdent, en plus, d’autres boutons personnalisés selon la marque. La généralisation desboutons en croix permet aux utilisateurs d’être familiarisés aux modes de fonctionnementsde ces différentes manettes. A ce moment-là, la plupart des gens possèdent plusieursmanettes, une (au minimum) pour chaque console.Voici comment une journée banale se passe : vous rentrez chez vous et voulez jouerà un jeu vidéo. Pour ce faire, vous vous posez devant la télévision, vous l’allumez à l’aidela télécommande faite à cet effet, puis vous allumez la console de jeux et attrapez lamanette pour jouer.
  • 48. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  48        Ce scénario n’est pas pratique pour le public dans le sens où il faut souvent changerde manettes. C’est encore le cas actuellement, lorsque nous voulons jouer à des jeuxvidéo. Nous possédons tous des manettes adaptées à une console spécifique pour la oules télécommandes servant pour la télévision ou le magnétoscope et autres appareils. Aucours des années, l’idée fut d’éviter de posséder plusieurs objets pour une même utilisationet encore plus que ça, posséder un objet capable de réaliser plusieurs actions.Ce phénomène s’appelle le principe de « Hub numérique »33ou de « black box »comme le définissait Henry Jenkins34. Le hub numérique se défini de façon progressive, eneffet, prenons comme exemple la Freebox. Sa télécommande est constituée de multiplesboutons, certains pour un usage dit de « base » de télécommande de télévision et d’autrespermettant de jouer à des jeux inclus dans la Freebox. La télécommande a été créée pourrépondre à l’interface de la Freebox qui permet à la fois de regarder la télévision, de vérifierses mails ou encore de jouer aux différents jeux proposés. Cette dernière est de ce faitmulti-usages. Mais cet exemple n’est qu’un premier niveau de centralisation descommandes,Ici, le scénario est le suivant : vous rentrez chez vous et voulez jouer à un jeu vidéo.Pour ce faire, vous vous posez sur votre canapé, vous attrapez la télécommande de laFreebox et allumez la télévision. Puis à l’aide de cette même manette, vous allumez la33http://lexpansion.lexpress.fr/high-tech/l-idee-du-hub-numerique-devient-realite_104949.html34http://henryjenkins.org/2006/06/convergence_and_divergence_two.html
  • 49. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  49        console de jeux et jouer tout simplement à votre jeu, sans être obligé de changer detélécommande.Et inversement, les télécommandes de jeux vidéo servent également de plus en pluscomme télécommandes pour la télévision.Cette vision des choses est donc beaucoup plus adaptée à une utilisation deplusieurs appareils/consoles simplifiant l’utilisation de tous ces outils au quotidien.Prenons maintenant un autre exemple, celui du Smartphone. Le Smartphonereprésente avec plus de précisions ce qu’est le hub numérique, en effet, il permet detéléphoner, mais également de se connecter à internet, de vérifier ses mails, de passer descommandes directement sur le téléphone. Le fait de n’avoir qu’une seule manette pourplusieurs usages ne fait pas seulement partie du hub numérique, mais est associé àl’interface utilisateur qui nous permet à un centre d’informations, de médias.Après les télécommandes, passons à la souris, celle-ci n’est plus simplement utiliséesur des interfaces 2D, mais a évolué pour une interaction avec un contenu relief.
  • 50. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  50        Amélioration des souris35Figure 41 : Souris Logitech 2D36Figure 42 : Souris 3DL’évolution des souris suit l’évolution des télécommandes ou des manettes pourassurer une utilisation toujours plus poussée dans le but de répondre aux exigences desutilisateurs. Après les « simples » souris où seuls les clics sont possibles, place aux souristactiles, telles les souris Apple pour laisser place aux souris permettant d’interagir avec uncontenu en relief.L’interaction avec du contenu 2D s’étend également aux appareils tactiles.Les écrans tactilesOutre les téléphones portables, les consoles de jeux sont également tactiles, maisavec la généralisation de la dématérialisation, « une baisse des marchés des jeux vidéotraditionnels »37est constatée.La compagnie Nintendo a fait de cette généralisation un avantage en créant leprototype de la Wii U. La Wii U est une nouvelle manette de la Wii, tactile, qui peut devenirelle-même une console de jeux vidéo portable38. Elle est annoncée pour fin 2012 et a étéprésentée lors du séminaire des jeux vidéo, l’E3, qui s’est déroulé le 5 juin 201239à San35http://www.macgeneration.com/news/voir/136272/faire-fonctionner-votre-souris-logitech-sous-snow-leopard36http://www.3dconnexion.fr/products/what-is-a-3d-mouse.html37http://www.usinenouvelle.com/article/salon-e3-l-industrie-francaise-du-jeu-video-au-rendez-vous.N17587638http://www.actu-jeu.fr/details-nouvelle-nintendo-wiiu-prix-video-sortie.html39http://www.nintendo.fr/NOE/fr_FR/news/e3_2012_49753.html
  • 51. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  51        Francisco. La Wii U se base sur une technologie hybride. En effet, il y a une associationd’un écran tactile pour l’affichage d’informations multi-écrans et de capteurs dereconnaissance gestuelle.40Figure 43 : Wii U manette et console de jeux NintendoLe système de Nintendo est un bon compromis entre l’utilisation d’une manetteunique et spécifique aux jeux et le jeu lui-même déporter sur la console. Une bonne idéepour l’imiter le nombre de télécommandes, mais pas pour limiter le nombre de consoles. Le« Hub numérique » est donc de plus en plus présent dans le système actuel, mais n’a pasque des avantages.La manette Wii U est universelle, en effet, grâce à une diode infrarouge, elle peut êtreutilisée sur différents autres supports, tels que les télévisions ou encore des lecteurs DVD.A noter, même si la console n’est pas allumée, la télécommande pourra quand mêmes’utiliser.40http://lexpansion.lexpress.fr/high-tech/nintendo-degaine-la-wii-u-et-sa-manette-a-ecran-tactile_256767.html
  • 52. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  52        8.1.2. Recensement constats/inconvénientsConstatsAvec la dématérialisation des informations, un accès à ses informations est enpermanence possible, partout et avec le même appareil.Le fait de n’utiliser qu’un seul appareil pour de multiples fonctions fait que cesappareils sont simples d’utilisation puisqu’ils doivent s’adapter à toutes formes de supports,tout en assurant un usage massif auprès du public.Désormais se sont donc les outils qui s’adaptent un maximum au public et nonréellement l’inverse comme ce fut beaucoup le cas ces dernières années à chaquenouvelle technologie. Nous pouvons prendre en exemple la grande évolution des souris.Dans un même esprit d’assurer une utilisation de masse, les appareils, tels que lesmanettes Wii U, sont compatibles avec tous les accessoires de la Wii, mais également lestélévisions, lecteurs DVD et autres supports. Une adaptation des nouveaux outils avec lesanciens est ainsi réalisée, dans le même but de permettre aux consommateurs des’adapter.Avec toutes ces nouvelles technologies et ces nouveaux outils révolutionnaires, lesventes des anciens produits baissent et les entreprises se voient obligées de baisser leursprix pour écouler leurs stocks. De cette manière, un large panel de gens est dans lacapacité de s’offrir ces technologies. L’utilisation de ces produits se banalise alors.InconvénientsLe principal problème avec les appareils tactiles est qu’il est obligatoire de lestoucher, peu importe la situation. Parfois en permanence comme les Smartphones. Lesmains sont une partie du corps qui sont sales la plupart du temps. Elles transportent doncbeaucoup de bactéries.Exemple : lorsque les utilisateurs mangent dans des fast-foods, leurs mains sontgrasses, mais ils continuent de toucher leur écran pour diverses raisons, ce qui rendl’utilisation de l’appareil plus compliquée.
  • 53. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  53        En plus de la graisse, il y a aussi le problème de l’occlusion. Pour rappel, l’occlusionest le fait que les objets soient cachés lorsqu’on passe notre main au-dessus. Le fait dedevoir cliquer sur un écran cache donc une bonne partie de celui-ci. Ce qui implique quesur une interface 3D, l’objet serait caché. C’est donc uniquement compatible avec uneinterface en deux dimensions.Un autre inconvénient de ces appareils à multiple utilisation est la casse. En effet,lorsque l’appareil se casse, l’accès à ses informations devient assez difficile. De plus, vu leprix de ces nouveaux outils, les ménages ne possèdent pas énormément d’« appareils derechanges ».La multiple utilisation des outils est plus simple, mais une utilisation massive desappareils fait qu’il est nécessaire de les charger très fréquemment, voir tout le temps.Prenons, encore une fois en exemple les Smartphones : ils sont très pratiques, mais leurtenue de charge est assez limitée et poussent à une charge régulière, pour ne pas direjournalière. Ces outils sont donc plus adaptés à une courte utilisation qu’à une utilisationquasi permanente.8.1.3. Tableau synthétiqueLimites SolutionsUtilisation de plusieurs appareils sur unmême support.Hub numérique ou Black box : utilisationd’un même dispositif sur tous types desupports.Création de nouvelles consoles de jeuxpouvant utiliser plusieurs support.Interaction entre les souris et lesinterfaces 2D uniquement.Adaptation des souris pour interagir avec ducontenu 3D.
  • 54. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  54        Obligation de toucher l’écran pourinteragir avec du tactile, même avec lesmains sales.Occlusion de l’objet.Casse des appareils.Recharge fréquente.Utilisation les interfaces gestuelles.L’innovation pour interagir avec du contenu 2D continue donc d’avancer. Larecherche d’interaction avec du relief, quant à elle, est également en pleine expansion.8.2. Interaction avec du contenu 3DLes outils ne cessent en permanence de s’adapter aux besoins des utilisateurs etd’être, ainsi, « multimodaux ». Cette adaptation des outils se généralise donc de plus enplus. Elle ne touche pas seulement les télécommandes ou encore les souris, maiségalement tout ce qui concerne les contenus média (audio, jeux, fichiers..), pour unecompatibilité avec un écran relief par exemple, étant donné que leur utilisation seracomplètement différente.Il est certain que le futur sera constitué de ces écrans et qu’une adaptation auxdiverses tailles des écrans sera donc utile. Les tailles des écrans actuellement utiliséessont les suivantes :1. Mobile : Smartphone, tablette2. Portable : Ordinateur 15’ à 17’3. TélévisionOn constate que le relief passe par des écrans de très grandes tailles (écrans decinéma), et au contraire par des écrans de petites tailles (tablettes, Smartphones). Mais
  • 55. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  55        comment savoir quels systèmes seront les plus adaptés pour interagir avec ce contenu enrelief ?8.2.1. Les écrans tactilesCes différentes recherches ont mené à différents projets et les interfaces reliefs quien résultent sont plus intuitives et plus naturelles.Rappel des différentes interfaces tactiles vu précédemment :Solutions ExplicationsILight 3D touch Solution localisée contournant la contrainte de collision.Toucheo Solution semi-délocalisée composée d’un écran 2D tactilecapturant les interactions de l’utilisateur et d’une dalle semi-transparente représentant l’objet en 3D complété par latechnologie de Head-Tracking.CubTile Périphérique de capture de déplacement dans un environnement3D.Les écrans tactiles sollicitent les gestes du corps par le multi-touch ce qui évite lafatigue musculaire. Cependant cette technique possède des inconvénients, tel que lesproblèmes d’occlusions par exemple, et conviennent uniquement pour un usage 2D.
  • 56. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  56        8.2.2. Prototype Microsoft4142Figure 44 : Prototype de l’écran 3D transparentAprès l’invention du Kinect, Microsoft continue ses recherches dans ce sens et créeun prototype d’écran 3D transparent. Cet écran est un écran OLED (Diodeélectroluminescente organique), transparent, développé par la société Samsung. L’OLEDest un composant produisant de la lumière.43Figure 45 : OLED de test réalisée sur un support soupleLes caractéristiques de ce prototype sont :• Un clavier derrière un écran transparent. L’utilisateur peut donc quand mêmetaper sur celui-ci.• Une caméra placée derrière l’écran pour pouvoir « interagir avec le bureauvirtuel et bouger les éléments dans un environnement en trois dimensions ».41Voir interview avec M. Edmond BOYER en annexe, question treize42http://www.journaldugeek.com/2012/02/28/microsoft-invente-le-bureau-en-3d-transparent/43http://fr.wikipedia.org/wiki/Fichier:OLED_EarlyProduct.JPG
  • 57. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  57        Le head-tracking est également présent dans cette solution afin que l’affichage 3Dreste parfait, même en cas de mouvements de l’utilisateur.Avantages/ InconvénientsCe prototype permet une grande avancée dans la combinaison entre l’interactionavec contenu 3D et la captation gestuelle. En effet, les utilisateurs des ordinateurscontinuent de garder leurs habitudes en pouvant pianoter sur le clavier, mais peuvent, enplus, « attraper » le contenu afficher sur le bureau transparent.L’inconvénient de ce prototype reste le fait que le clavier se trouve derrière l’écran, cequi peu être perturbant puisqu’il faudrait en permanence regarder à travers l’écran. Unsentiment de mal-être pourrait être éprouvé chez les utilisateurs. Un autre inconvénientserait surement, en position assise, une position des bras non adaptée à long terme. Unefatigue musculaire pourrait se produire. Imaginez vous devant votre écran d’ordinateur avecvos main derrières ce même écran, à manipuler sens cesse du contenu relief. Ne pensez-vous pas qu’au bout d’un moment une lassitude s’installerait ?8.2.1. Recherche Microsoft : The Holodesk44Figure 46 : The Holodesk : interaction virtuelle avec de la 3DCette technologie de Microsoft pourrait s’annoncée comme l’évolution du prototypede l’écran 3D transparent étant donné qu’il est, également, composé d’un Head-tracking et44http://design.org/blog/holodesk-microsoft-researching-virtual-3d-interaction
  • 58. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  58        est basé sur la technologie du Kinect. Ce qui est différent sur ce futur prototype estl’interaction avec les objets qui est beaucoup plus performante et précise. Ce prototypesera donc plus réaliste que celui de l’écran transparent.Autre amélioration, le prototype ne détecte pas seulement les mains, mais égalementdes objets, comme une feuille de papier ou encore un bol. Leur volume est pris en compteet une interaction avec les objets virtuels projetés est possible. Malheureusement, ceprototype ne sera peut-être pas sur le marché de si tôt. Pour le moment ce n’est qu’unsimple projet de recherche et il ne sera pas seulement destiné à être sur nos écrans detélévisions, mais plutôt à être utilisé pour la création des films.De plus, le problème des mains derrière l’écran est toujours présent.8.2.2. Boitier usb de Leap Motion41Figure 47 : Fonctionnement du LEAP45Figure 48 : Boitier usb LEAPLe boitier usb crée par la société Leap Motion46et plus particulièrement par DavidHolz (un mathématicien et ancien chercheur de la NASA), est un boitier usb permettant decontrôler son ordinateur47par les gestes. Son principe est donc basé sur celui du Kinectmais capte uniquement la position des mains.45http://www.zone-numerique.com/news-12947-leap-motion-un-kinect-a-la-puissance-100.html46http://live.leapmotion.com/47http://korben.info/boitier-leapmotion.html
  • 59. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  59        Avantages/InconvénientsL’inconvénient de cette technologie est qu’elle se concentre uniquement sur lemouvement des mains et non pas sur celui du corps entier. Cependant, elle est beaucoupplus adaptée et puissante que le prototype de Microsoft. Aussi, en combinant ces deuxtechnologies (hors écran transparent), on pourrait aboutir à un système très performant,mais également plus adapté à l’homme et donc plus facile d’utilisation.ScénarioImaginons, de la même manière que dans la partie des interactions avec du contenu2D, le scénario suivant : une personne rentre du travail et désire allumer sa télévision, aulieu de devoir appuyer sur un bouton de télécommande, de téléphone ou autres, il luisuffirait de faire un geste spécifique pour que celle-ci s’allume ou s’éteigne toute seule.Pareil en ce qui concerne le changement de chaînes ou l’augmentation du volume.Ce qui pourrait être ajouté à cette association des deux technologies serait un claviervirtuel sur un écran plus petit en cas d’éventuelles informations à saisir, sur une tablettetactile par exemple. Nous avons vu précédemment qu’il existe différentes tailles d’écrans(Mobile, Portable et Télévision), l’association de ces différentes tailles d’écrans permettraità l’utilisateur d’être plus à l’aise avec la saisie de diverses informations ou pour d’autresusages. En effet, saisir de l’information sur un clavier est clairement plus simple à partird’une tablette tactile qu’à partir d’un grand écran de télévision. Cette façon d’interagir avec
  • 60. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  60        plusieurs écrans fait que la tablette n’est plus qu’une simple tablette, mais devient unclavier à par entière : l’affichage d’informations et l’interaction de l’utilisateur sont dédiéspour la télévision est non pour la tablette elle-même. De la même manière que la consoleWii U, où les informations affichées sur l’écran peuvent être transposées directement sur lamanette et où l’on passe de cette façon d’un grand écran de télévision à un petit écran deconsole de jeu de la taille d’une tablette tactile.8.2.3. Tableau synthétiqueLimites SolutionsOcclusion de l’objet, interaction avec ducontenu relief impossible.Utilisation des interfaces gestuelles reliefs.Clavier derrière l’écran. Utilisation d’un clavier virtuel ?Captation que d’une partie d’une corps. Utilisation d’un capteur du corps entier.Fatigue musculaire dû à de grandsgestes répétés.Utilisation d’un écran plus petit poureffectuer de plus petits gestes.Utilisation d’un dispositif tactile de petitetaille.Dans la partie suivante, nous allons parler de l’évolution des interactions avec ducontenu 3D, et ainsi, de l’évolution des différents dispositifs déjà existants.
  • 61. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  61        9. Evolution de l’interaction avec de la 3DDes évolutions sur le gestuel et les caméras ont été faites pour une adaptation augrand public, mais des problèmes pour un usage professionnel suscitent.9.1. Usage publicDepuis le film Minority report, la façon de concevoir le gestuel à changer, c’estpourquoi cette technologie se voit insérée dans tous types de matériels.9.1.1. Evolution des camérasCommander sa télévision par les gestesIl n’y a pas seulement PrimeSense ou Microsoft qui s’intéressent à ce genred’utilisation, mais également la société Hubstart Paris.48Le prototype Hubstart Live est un prototype de maquette présentant une interactionavec diverses informations, Il présente « les ressources, les équipements, lesinfrastructures, les projets » (avec animations) afin de rendre plus visible et plus lisible leterritoire de Paris Charles de Gaulle et Paris Le Bourget. Hubstart Live est également basésur la technologie du Kinect.Le dernier scénario de ce mémoire imagine une personne qui rentre chez elle et quiutilise sa télévision avec des gestes, et bien ceci n’est plus simplement un scénario, maisexiste à présent. Ce dernier scénario, rejoint ce que la société PrimeSense (société ayantmis au point le Kinect pour Microsoft) est entrain de réaliser, la CES PrimeSense TV49. Al’instar, cet outil utilise tous les mouvements du corps.48http://www.futur-en-seine.fr/prototype/hubstart-live/49http://www.lesnumeriques.com/tv-televiseur/ces-2012-prime-sense-autre-reconnaissance-mouvements-sur-tv-n23043.html
  • 62. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  62        Limites:  N’oublions pas que des mouvements répétés à long terme pourraient fatiguerl’utilisateur. Il pourrait revenir de lui-même à une ancienne utilisation avec un vrai clavier ouencore avec un vrai dispositif tactile, de la même manière que Microsoft qui combine à lafois un écran tactile et un vrai clavier. Cette façon d’interagir avec des écrans sera, peut-être, plus habituelle et plus normale pour eux.Commander son ordinateur par les gestes : Flutter50Figure 49 : Mise en pratique du logiciel Flutter, contrôler son mac avec les gestesLe logiciel Flutter permet de contrôler son ordinateur Mac avec les gestes, de lamême manière que Minority report.L’avantage de ce logiciel est qu’il est gratuit, mais malheureusement uniquementdisponible sur des Macintosh. Ce logiciel est un logiciel Play-Stop qui, pour le moment, faituniquement Play et Stop, aucune autre commande n’est possible.Il est donc très bien adapté à une personne qui regarderait un film et qui aurait besoinuniquement de mettre play ou pause, une à deux fois seulement.50http://www.nikopik.com/2012/03/controler-votre-mac-avec-des-gestes-grace-a-la-webcam-integree.html
  • 63. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  63        Minority report par John Underkoffler51Figure 50 : John Underkoffler, point sur les futures interfacesMinority report en vrai ! John Underkoffler est le dirigeant de l’interface g-SpeakSpatial Operating Environment, mais également un ancien du laboratoire du MIT travaillantsur l’holographie, l’animation et beaucoup d’autres thèmes. Sa société, Oblong, aspécialement été créée pour reproduire de façon réelle la scène mythique de Minorityreport. Cependant sa vision ne s’arrête pas seulement à reproduire ceci sur un écran, maiségalement sur un micro-onde ou tout autre support possible52.Inconvénient  :  L’inconvénient de cette solution, semblable au film, est de devoir mettre un gant pourque la captation des mouvements se fasse, ce qui forcerait les gens à mettre et à enleversans cesse ce gant lors de la manipulation du relief.9.1.1. Limite de ces dispositifsCertaines limites ont déjà été citées plus haut, telles que la fatigue des musculairesqui ne serait pas adaptée aux professionnels du fait de la répétition des mouvements. Cettefatigue pourrait également toucher les personnes âgées qui ne peuvent pas bouger trèslongtemps dans l’espace.51http://www.ted.com/talks/john_underkoffler_drive_3d_data_with_a_gesture.html52http://www.ted.com/speakers/john_underkoffler.html
  • 64. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  64        D’autres limites surviennent, notamment celle du prix. En effet, ces nouvellestechnologies ont un coût qui est souvent oublié par l’excitation que suscitent ces nouvellesfaçons de vivre, de voir les choses. Leurs coûts étant prohibitifs, ils ne permettent pastoujours au grand public d’en être propriétaire.Autre limite qui n’a pas encore été abordée, celle de l’apprentissage. Certainsprototypes sont simples d’utilisation, c’est ce qu’on appelle un idiome. C’est-à dire qu’unefois le logiciel pris en main, il n’est pas nécessaire d’avoir à nouveau des explications lorsdes prochaines utilisations. Cependant, d’autres logiciels nécessiteront plus de maitrise,donc plus d’apprentissage, ce qui risque de décourager certaines personnes, notammentles personnes âgées qui ont déjà du mal à utiliser un ordinateur actuellement. Cespersonnes perdent patience car ces outils les énervent et préfèrent les abandonner.De plus, certaines innovations risquent de manquer de précisions au niveau desgestes. En effet, ce genre de technologies nécessite beaucoup d’espace afin d’effectuer delarges mouvements. Nous avons pu le constater lors de l’arrivée de la Wii dans nosmaisons, beaucoup de gens n’avaient pas anticipé une place suffisante et des problèmessont apparus, comme des collisions avec des meubles et/ou avec d’autres personnes.Aussi, dans un espace plus petit et plus confiné, la précision de ces technologies estamoindrie.Le retour de force, quant à lui, est également un point qui n’a pas beaucoup étéabordé, nous verrons dans la partie suivante comment celui-ci est substitué.9.1.2. ConstatToutes ces imites risquent d’être un frein à l’usage courant du gestuel dans l’espace.Même si des limites sont constatées, toutes ces technologies ne cessent d’êtreaméliorées et sont en constance évolutions, toujours dans un même but, convenir aumaximum à un usage grand public.
  • 65. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  65        9.1.3. Tableau synthétiqueLimites SolutionsUtilisation d’un gant ou tout autre objetpermettant la captation des gestes.Utilisation d’un capteur Kinect.Prix des nouvelles technologiesDécouragement des utilisateurs du faitde la difficulté de manipulation destechnologies.Idiome : simplicité d’utilisation et doncd’apprentissage d’un dispositif.Espace et précision réduits. Utilisation d’appareils plus petits poureffectuer des gestes plus petits et obtenirune meilleure précision.Nous avons vu que, parfois, des limites intervenaient au niveau des usages publics,alors comment ces technologies s’adapte-t-elles à un usage professionnel ?
  • 66. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  66        9.2. Usage professionnel9.2.1. Evolution des sourisNous avons vu dans une partie précédente que les souris s’étaient adaptées àl’interaction relief sur les ordinateurs, permettant de passer d’une utilisation simple avecdes souris 2D à une utilisation plus évoluée et plus productive avec des souris 3D.Ainsi, il serait possible de combiner à la fois une interaction gestuelle avec uneutilisation des souris 3D. Microsoft a compris ce besoin de combiner à la fois despériphériques de pointages avec du gestuel lors de la création de son projet pour obtenirun écran transparent, combiner avec un clavier.Par la suite, on pourrait très bien imaginer combiner d’autres périphériques,probablement de nouveaux périphériques spécialement inventés pour ce genred’utilisation.9.2.2. Et demain ?Une grande question de ce mémoire est de savoir comment les professionnels vontpouvoir s’adapter à cette gestuelle dans l’espace, permanente et fatigante, si aucundispositif, tels que la souris ou le clavier, n’est ajouté.Prenons en exemple le domaine de l’architecture, les architectes ont besoin dedessiner des bâtiments et donc de créer des maquettes pour montrer le résultat qu’ilsenvisagent à leurs clients. Dans cet exemple, on pourrait très bien utiliser du contenu 3Dcombiner à une captation gestuelle pour créer et visualiser leurs futures constructions. Cecipourrait être étendu à dautres domaines dactivité, comme la construction de voitures,notamment pour l’ergonomie intérieure et/ou extérieure.Dans plusieurs domaines d’activités oui, mais également sur plusieurs appareils. Eneffet, ce projet pourrait être appliqué sur tous types de support ayant un dispositif decaptation gestuelle et une interface relief.
  • 67. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  67        Ces deux dispositifs étant en pleine expansion, il n’est pas exclu de les retrouverdans quelques années, combiner à des claviers virtuels. Ceci réglerait les problèmes liés àla fatigue musculaire du fait de la répétition du geste, mais également ceux liés à laprécision du mouvement, pour les professionnels ou encore pour les personnes âgées.Un étudiant en design d’interactivité à l’école de design de Nantes, Gabriel Martzloff,a émis une proposition de gestuelle53. Ci-dessous un extrait de cette proposition, nommé« Le SALUT » et correspondant au démarrage d’une interface gestuelle à reconnaissancegestuelle :Figure 51 : Extrait "Le code de la communication appliqué aux interfaces naturelles", par GabrielMartzloffCet extrait montre bien que les gestes les plus naturels de l’Homme, tel quel’inclination de tête, peuvent être utilisés pour activer un dispositif gestuel. Ce naturel dugestuel est visible quand nous parlons. En effet, nous avons tendance à utiliser nos mainspour parler.53Source: Le code de la communication corporelle appliqué aux interfaces naturelles
  • 68. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  68        La solution proposée par Gabriel Martzloff utilise parfois des mouvements que nousreproduisons sans nous en rendre compte. Le problème réside dans le fait que ces gestesnon contrôlés risqueraient d’être interprétés par le capteur alors que ce n’était pas le butrecherché par l’utilisateur.9.2.3. Une solution plus adaptée ?Une solution plus adaptée serait de n’utiliser que des gestes spécifiques basés surdes gestes naturels. Par exemple, au lieu de faire une simple inclinaison de tête de haut enbas, ce geste pourrait être doublé ou même combiné à une autre inclinaison de la tête,mais de droite à gauche cette fois-ci. De cette manière, il serait pratiquement impossibleque le dispositif confonde cette action avec un geste non voulu. Cette combinaison étantsimple à apprendre et à utilisée à un moment qui ne se produit pas forcémentconsécutivement, comme le démarrage ou l’arrêt d’une télévision par exemple.Reprenons notre exemple de l’architecte, celui-ci doit pouvoir interagir avecl’interface, pour pousser une porte, pour attraper et tourner la structure du bâtiment qu’ilvient de construire ou encore pour d’autres choses. Pour faire cela de façon simple, onpourrait utiliser les mouvements suivants :Pousser une porte Attraper la structure Tourner la structureMettre la main ouvertedoigts serrés, face aucapteur et à la portedésirée, tout en poussantvers l’avant.Mettre la main ouvertedoigts serrés, face aucapteur et à la structuredésirée, et sérer le point.Une fois la structureattrapée, faire tournoyer lepoignet ou l’avant bras.Ces mouvements restent simples et contrôlés. Ils peuvent être fait en étant assis, cequi contribue à la résolution de la fatigue gestuelle. Ces gestes ne risquent pas d’êtreconfondus avec des gestes non contrôlés grâce à la vitesse à laquelle ils sont effectués. Eneffet, lorsque nous parlons avec les mains, nous faisons des gestes rapides de une
  • 69. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  69        seconde voir moins, ici l’idée est de mettre deux secondes à faire le geste. Pour appuyer cegeste, il faut également associé un aspect visuel, c’est-à-dire qu’il faut que l’utilisateursache où il se situe sur l’interface et sur quelle partie il va interagir. Lors de l’usage d’unesouris sur un ordinateur, un curseur apparaît pour que l’utilisateur comprenne où sesmouvements se situent par rapport à l’interface. Ce principe se retrouve également surl’état des boutons sur un site web qui change au moment où on clique dessus. On pourraitimaginer ici que les objets voulus suivent l’utilisateur tout au long du mouvement, ou encoreque ces mouvements soient représentés par une main, c’est ce qu’on appel la« proprioception ». Ici cette proprioception est assistée, c’est-à-dire que c’est à traversl’interface que l’utilisateur reconnaisse sa posture, ses gestes.Le gestuel permet aux personnes handicapées des membres supérieurs (mains,bras) de communiquer avec le système malgré leur handicape, ce que ne permet pas letactile. En effet, si le démarrage d’un dispositif fonctionne avec un hochement de tête il peutdonc très bien fonctionner en tournant le buste de gauche à droite mais aussi en levant unejambe ou un pied par exemple.La captation gestuelle est bien plus adaptée que le tactile du fait que l’on se place àl’endroit où se trouve l’objet virtuel avec lequel on désire interagir. Que ce soit dans leprototype d’écran 3D transparent ou dans le projet de recherche, Holodesk, de Microsoft,un placement au niveau de l’objet même est effectué afin d’interagir avec lui et seulementlui. La captation gestuelle est également plus adaptée que le tactile. En effet, une multi-utilisation ne poserait pas de problèmes car les corps des utilisateurs sont tous reconnusséparément. Avec une tablette tactile, il faudrait un échange permanent entre lesutilisateurs ou plusieurs tablettes. C’est pourquoi, il est essentiel de représenter lesutilisateurs sur l’écran. Chacun doit savoir où il se situe et avec quels objets il interagit.Avec une reconnaissance gestuelle, un gain de temps considérable serait fait et unenavigation dans le futur bâtiment serait possible. Dans notre exemple, ceci ne serait doncpas utile uniquement pour l’architecte mais également pour ses clients qui pourraienttourner les maquettes dans tous les sens et ainsi ressentir une plus grande immersion. Eneffet, ils auraient l’impression d’être à l’intérieur du bâtiment et de pouvoir se balader toutnaturellement comme ils le faisaient en vrai. Des précisions sur la définition de l’immersionsont décrites dans la partie suivante.
  • 70. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  70        9.2.4. L’immersionL’immersion permet à un individu de se sentir présent dans un endroit qui esttotalement virtuel de sorte qu’il pense que ce mode virtuel est le monde réel54. Pour unemeilleure compréhension, reprenons l’exemple précédent de l’architecte. Grâce àl’immersion les clients auront l’impression d’être à l’intérieur de leur futur domicile, alorsqu’en réalité ce n’est pas le cas. Ils pourraient, de ce fait, voir en temps réel et de façonhabituelle si lagencement fait par l’architecte correspond bien à leurs attentes.L’immersion peut également se faire d’une autre façon, par le son. Prenons pourexemple le jeu Mario, pour faire comprendre à l’utilisateur que celui-ci ne dispose pas debeaucoup de temps pour finir sa partie, la musique est accélérée et un pic de stress estainsi éprouvé par l’utilisation. Dans les films, la musique s’adapte à la scène pour susciterla peur ou la tristesse. Les émotions peuvent donc être orientées de diverses façons.Pour une utilisation encore plus réaliste, une immersion serait assez plaisante, maisun retour de force serait essentiel, voir obligatoire.9.2.5. Substitution du retour de forceIl existe plusieurs façons de substituer le retour de force. En effet, il est possibled’ajouter des effets sur l’écran, cet usage est plus couramment utilisé sur les ordinateurs oules téléphones, où par exemple lorsqu’on clique ou appuie sur un bouton celui-ci s’enfoncedonnant l’impression qu’il a été réellement pressé. Ce qui n’est évidemment pas le cas.Des effets comme des sortes de vibrations sont également ajoutés dans les jeuxvidéo lors de dégâts qui sont causés. Le joueur comprend qu’il vient de se faire tirerdessus. Sur les Smartphones, ses vibrations ont également été mises directement sur lesupport afin que l’utilisateur comprenne qu’il vient d’appuyer sur l’écran. Il ne se demandepas si il a réellement appuyé ou non sur celui-ci.54Voir interview avec M. Edmond BOYER en annexe, questions trois et onze
  • 71. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  71        Imaginons les gants de Minority report émettant des vibrations pour combiner à la foisla partie sensorielle et la partie visuelle. Le retour de force peut être reproduit en utilisant unautre sens que celui naturellement éprouvé par l’homme, lors qu’un réel contact physiquepar exemple ou encore par d’autres éléments, vêtements.Une autre manière de substituer le retour de force est souvent utilisée dans les jeuxvidéo : ajouter de la couleur. Prenons pour exemple un jeu de guerre où le but principal estde tuer des gens. Pour faire comprendre à l’utilisateur qu’il a été touché la couleur rouge,pour simuler le sang, est ajoutée. Un sentiment de peur et de nervosité est éprouvé lorsquele joueur est touché et qu’il voit son sang à l‘écran. Le personnage virtuel de l’utilisateuraurait alors des difficultés pour se déplacer. Faire ressentir un stimulus physique par unsignal visuel, c’est ce qu’on appelle la substitution sensorielle.Toutes ces méthodes actuellement utilisées pour la 2D pourront également êtreutilisées pour la captation gestuelle avec de la 3D. Reprenons en exemple les écrans 3D :Lors d’une manipulation 3D, les seuls moyens de faire comprendre à l’utilisateur qu’il« clique » à tel ou tel endroit, est de passer par un enfoncement sur les zones voulues. Dela même manière que lorsqu’on joue à la Wii ou la Kinect.
  • 72. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  72        9.3. Futurs technologies9.3.1. Prototype Google : Project Glass55Figure 52 : Prototype des lunettes augmentant la réalitéIl n’y a pas uniquement Microsoft qui effectue des recherches. En effet, commel’INRIA56, tous les grands acteurs de l’économie numérique tente d’anticiper les futuresévolutions. Google, par exemple, a dévoilé son futur prototype, les lunettes augmentant laréalité, le Project Glass.Google cherche pour le moment à recenser les réactions des citoyens afin de savoirsi le concept sera approuvé ou non. Pour cela, il a effectué une « vidéo-concept » en cesens 55.Ces lunettes seraient placées sur le haut de la tête et composées d’un capteur photo,de plusieurs écouteurs, d’un microphone, d’une puce GPS, mais également d’uneconnexion au réseau au quotidien. L’innovation de ces lunettes réside principalement dansle fait qu’un affichage d’informations est prévu sur celles-ci, c’est ce que l’on appelle de la55http://www.macgeneration.com/news/voir/240022/project-glass-google-imagine-des-lunettes-augmentant-la-realite56Voir interview avec M. Edmond BOYER en annexe, question deux
  • 73. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  73        réalité augmentée. Ainsi, nous verrons en plus de notre chemin, les informationsdemandées.Ce prototype est constitué d’une reconnaissance vocale et gestuelle pour indiquer ausystème les différentes actions désirées. Afin d’afficher les informations, il se constitueégalement d’une interface utilisateur naturelle (NUI). Ces interfaces naturelles prennent encompte la constitution de l’Homme, c’est-à-dire qu’elles ne fonctionnent pas simplementavec des périphériques de sorties, mais avec la voix, le gestuel ou encore le toucher. La« nature » de l’Homme est donc prise en considération dans l’interaction avec l’interface.Le principe de ces lunettes est donc de vous faciliter la vie, notamment lorsque vousvous baladez dans la rue. Grâce à des indications de localisation, des affichages d’horairesou encore par le fait de répondre au téléphone par exemple, visibles dans la vidéo-concepteffectué par Google.Ce nouveau principe de lunette montre une association des différentes technologiesde ces dernières années :• Remplace le téléphone portable• Permet de tracer des itinéraires grâce à la géolocalisation• Possède la reconnaissance gestuelle combiné avec du Head Tracking• Traite les données en temps réel• Utile internet pour des échanges d’informations• …Ce prototype montre donc qu’une association des différentes technologies permettraitd’obtenir une solution innovante et adaptée à une utilisation quotidienne.
  • 74. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  74        11. Conclusion de la thèseLe gestuel est encore perçu comme nouveau, mais avec l’évolution des recherches,visible à travers les futurs télévisions 3D ou encore les lunettes de Microsoft, les politiquesde commercialisation se bases sur ces nouveautés technologiques. Dans quelques annéesle gestuel deviendra quelque chose d’habituel, de courant.La combinaison des différentes technologies vu précédemment, telles que lacaptation audio et vidéo ou encore l’analyse comportementale et l’intelligence artificielle,permettrait au gestuel de renforcer son utilisation et ainsi sa démocratisation au sein desprofessionnels et du public. Ceci ne serait possible qu’en associant à la fois les nouvellestechnologies et les périphériques existants.Ce mémoire démontre que cette multiple combinaison serait la plus adaptée sur nosécrans reliefs pour l’interaction gestuelle avec du contenu 3D, du fait de l’absenced’occultation, du multi-utilisateur et du fait qu’une interaction gestuelle est plus naturellepour interagir avec du contenu relief. Cependant, l’usage seul de la captation gestuelle neserait pas forcément la meilleure utilisation. En effet, combiner cette reconnaissancegestuelle avec une tablette tactile, comme un clavier par exemple, comme ce fut décritdans des exemples de ce mémoire, constituerait un avantage certain.Mais également sur d’autres domaines ou d’autres supports, tel que le prototype deGoogle avec ces lunettes, qui permettent au public d’être mobile, tout en interagissant avecleurs lunettes. Certes ces lunettes n’ont qu’une représentation 2D, mais pourquoi ne pasimaginer les transposer en vision relief. Actuellement ce sont les utilisateurs qui doiventapprendre à utiliser ces nouvelles interfaces, peut-être que dans les années futures seseront les interfaces qui s’adapteront aux gestes des utilisateurs.Bientôt, nous n’aurons même plus besoin de parler pour trouver notre chemin57,contrairement aux lunettes de Google, il nous suffira de le penser. En effet, des chercheurset professeurs, tel que le professeur Tan LE, inventent des supports permettant de lire les57http://lexpansion.lexpress.fr/high-tech/le-jeu-video-controle-par-la-pensee-devient-une-realite_157817.html
  • 75. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  75        ondes cérébrales58, les interfaces qui en découlent s’appelle les BCI (Brain ComputeurInterface) ou ICN (Interface Cerveau Machine) en français. Ces recherches sont trèsintéressantes et montrent que l’évolution des technologies est permanente.Les nouvelles technologies évoluent si rapidement qu’on pourrait se demander dequoi serait fait le monde de demain ? Un monde où l’on métriserait toutes les technologieset où l’on pourrait les combiner sans limites ?58http://www.ladepeche.fr/article/2008/07/07/463088-des-jeux-video-controles-mentalement-sont-desormais-une-realite.html
  • 76. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  76        12. Bibliographie• Benjamin Petit, Téléprésence, immersion et interaction pour la reconstruction 3Dtemps-réel, 21 Février 2011, 144 pages• Florent MICHEL, Vision et stéréoscopie, 2006, 18 pages• Florent MICHEL, Stéréoscopie, 2006, 18 pages• Fuchs, Moreau, Le traité de la réalité virtuelle T1, 380 pages• Fuchs, Moreau, Le traité de la réalité virtuelle T2, 552 pages• Gabriel Martzloff, Code de la communication corporelle appliqué aux interfacesnaturelles, 2012, 12 pages• Marc BOURHI, Olivier AMATO et Philippe GERARD, Le livre blanc du relief (3Ds),2011, 48 pages• Martin HACHET, Benoit BOSSAVIT, Aurélie COHÉ, Jean-Baptiste DE LA RIVIERE,Toucheo : Multitouch and Stereo Combined in a Seamless Workspace, UIST 2011, 28Octobre 2011, 6 pages• Olivier CAHEN, L’image en relief du film au numérique, Transvalor – Presses desMines, 2011, 28 pages• Satyanarayan, Weibel, Hollan, Multitouch Interaction Techniques for Large Displays,2010, 101 pages
  • 77. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  77        13. Webographie• 01net, « Visite dans l’antre des créateurs de Kinect », sur le site 01net, consultéle 05/12/2011http://www.01net.com/editorial/520070/visite-dans-l-antre-des-createurs-de-kinect/520070• 3DConnexion, « Qu’est ce qu’une souris 3D ? », sur le site de 3DConnexion,consulté le 06/04/2012 http://www.3dconnexion.fr/supported-software/anywhere.html?_s=8qutid3c545dqvmk99bm6d5st0• Actu Jeu, « Details Nouvelle Nintendo (Prix, Vidéo, Sortie), sur le site Actu Jeu,consulté le 13/06/2012 http://www.actu-jeu.fr/details-nouvelle-nintendo-wiiu-prix-video-sortie.html• Comme au cinéma, « Interview : Pina », sur le site CommeAuCinema, consulté le24/01/2012http://www.commeaucinema.com/interviews/pina,195115-note-85369• Creapharma, « Mal des transports », sur le site Creapharma, consulté le30/11/2011http://www.creapharma.fr/• Clubic, « Microsoft dévoile un prototype d’interface mêlant transparence et détectionde mouvements », sur le site Clubic, consulté le 06/04/2012http://www.clubic.com/interfaces-homme-machine/actualite-478952-microsoft-prototype-bureau-transparent-relief.html• Design, « The HoloDesk : Microsoft Researching Virtual 3D Interaction », sur le siteDesign, consulté le 06/04/2012 http://design.org/blog/holodesk-microsoft-researching-virtual-3d-interaction• Enfant-Ados, « Le mal des transports », sur le site Enfant-Ados, consulté le17/01/2012http://www.enfants-ados.com/sante/le-mal-des-transports.php• Fubiz, « SixthSense interface », sur le site Fubiz, consulté le 07/12/2011http://www.fubiz.net/2010/02/01/sixthsense-interface• INRIA, « Capture et analyse de formes en mouvement », sur le site de l’INRIA,consulté le 27/02/2012, http://www.inria.fr/equipes/morpheo• INRIA, « PapARt : Réalité augmentée pour le dessin », sur le site de team.inria,consulté le 27/02/2012
  • 78. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  78        http://team.inria.fr/potioc/fr/scientific-subjects/papart/• INRIA, « Toucheo », sur le site Youtube, consulté le 27/02/2012http://www.inria.fr/domaines/perception-cognition-interaction• INRIA, « Toucheo : Multitouch and Stereo Combined in a SeamlessWorkspace », sur le site de l’INRIA, consulté le 16/12/2011http://hal.inria.fr/docs/00/61/25/05/PDF/uistPreliminary.pdf• Institue de la Myopie, « Fonctionnement de l’œil », sur le site de l’institut de lamyopie, consulté le 13/11/2011http://www.institutdelamyopie.com/fonctionoeil.htm• Journal du geek, « Microsoft invente le bureau en 3d transparent », sur le sitejournaldugeek, consulté le 06/04/2012http://www.journaldugeek.com/2012/02/28/microsoft-invente-le-bureau-en-3d-transparent/L’Express, « Le jeu vidéo contrôlé par la pensé devient une réalité », sur le siteL’Expansion, consulté le 06/04/2012 http://lexpansion.lexpress.fr/high-tech/le-jeu-video-controle-par-la-pensee-devient-une-realite_157817.html• L’Express, «L’idée du Hub numérique devient réalité », sur le site L’Expansion,consulté le 11/06/2012 http://lexpansion.lexpress.fr/high-tech/l-idee-du-hub-numerique-devient-realite_104949.html• L’Usine Nouvelle, « Salon E3 : l’industrie française du jeu vidéo au rendez-vous »,sur le site Usine Nouvelle, consulté le 13/06/2012http://www.usinenouvelle.com/article/salon-e3-l-industrie-francaise-du-jeu-video-au-rendez-vous.N175876• La Dépèche, « Des jeux vidéos contrôlés mentalement sont désormais uneréalité », sur le site de La Dépèche, consulté le 06/04/2012http://www.ladepeche.fr/article/2008/07/07/463088-des-jeux-video-controles-mentalement-sont-desormais-une-realite.html• Laboratoire Bordelais de Recherche en Informatique (LaBRI), « VR for Music », surle site labri, consulté le 27/02/2012 http://www.labri.fr/perso/hachet/Music/• Le Figaro (27/11/2011), « La 3D se met en quatre », sur le site LeFigaro, consultéle 01/12/2011http://www.lefigaro.fr/hightech/2010/11/27/01007-20101127ARTFIG00005-la-3d-se-met-en-quatre.php• LEAP, « Say goodbye to your mouse and keybord », sur le site leapmotion,consulté le 17/06/2012 http://live.leapmotion.com/about.html
  • 79. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  79        • Ludovia, « Première mondiale : Immersion présente CubTile : l’innovation 3Dau bout des doigts ! », sur le site Ludovia.com, consulté le 02/12/2011http://www.ludovia.com/news/news_238_premiere-mondiale-immersion-presente-cubtile-l-inn.html• Mac génération, « Google imagine des lunettes augmentant la réalité », sur le sitede Macgeneration, consulté le 06/04/2012http://www.macgeneration.com/news/voir/240022/project-glass-google-imagine-des-lunettes-augmentant-la-realite• Musées des techniques, « Le rôle du cerveau dans la vision », sur le site Muséesdes techniques, consulté le 10/11/2011http://www.musees-des-techniques.org/UploadFile/GED/Ressources/Ficheenseignant/ZVCF-FICHE_ENSEIGNANT_3.pdf• Nikopik, « Contrôler votre Mac avec des gestes grâce à la Webcam intégrée », surle site de Nikopik, consulté le 06/04/2012 http://www.nikopik.com/2012/03/controler-votre-mac-avec-des-gestes-grace-a-la-webcam-integree.html• Polytech, « La vision stéréoscopique », sur le site Polytech, consulté le24/11/2011http://users.polytech.unice.fr/~buffa/cours/java/internetEssi96_97/PROJETS/cierniak/article.html• PrimeSense, « Our full 3D sensing solution », sur le site de PrimeSense, consulté le06/04/2012 http://www.primesense.com/en/technology/115-the-primesense-3d-sensing-solution• Production Film 3D, « Une vidéo de Panasonic – Les bases d’un tournage en 3Dstéréoscopique », sur le site Production Film 3D, consulté le 17/12/2012http://production-film-3d.com/une-video-de-panasonic-les-bases-dun-tournage-en-3d-stereoscopique/• Rahul ERAI, « Kinect, PointClouds and PCL », sur le site M Tech Computer Sc,IIT Kanpur, consulté le 06/12/2011http://www.cse.iitk.ac.in/users/rahule/thesis.html• Romain Thuret (03/02/2010), « SixthSense : la fusion des mondes physiques etnumériques », sur le site Les numériques, consulté le 07/12/2011http://www.lesnumeriques.com/sixthsense-fusion-mondes-physiques-numeriques-n12609.html
  • 80. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  80        • Semageek, « SixthSense l’intégration de l’information avec le monde », sur lesite de Semageek, consulté le 16/12/2011http://www.semageek.com/sixthense-lintegration-de-linformation-avec-le-monde-reel/• Ted2012, « John Underkoffler points to the future of UI », sur le site de TED,consulté le 06/04/2012http://www.ted.com/talks/john_underkoffler_drive_3d_data_with_a_gesture.html• Terific, « La Réalité Augmentée – Interrupteur », sur le site Terific, consulté le18/01/2012http://www.teferic.de/video/2/tag/%20artoolkit.html• Université MLV, « Les technologies tactiles », sur le site IGM.Univ-mlv, consultéle 07/12/2011http://igm.univ-mlv.fr/~dr/XPOSE2008/Les%20technologies%20tactiles/compo_pointage.html• Vetopsy, « Perception visuelle : champ visuel et différentes visions », sur le siteVetopsy, consulté le 18/11/2011http://www.vetopsy.fr/sens/visu/visu_gen.php• Wikipédia Foundation, INC. (29/11/2011), « Stéréoscopie », sur le site Wikipedia,consulté le 14/11/2011http://fr.wikipedia.org/wiki/St%C3%A9r%C3%A9oscopie• Wikipédia Foundation, INC. (01/09/2011), « Vision binoculaire », sur le siteWikipedia, consulté le 14/11/2011http://fr.wikipedia.org/wiki/Vision_binoculaire• Wikipédia Foundation, INC. (01/10/2011), « Accommodation », sur le siteWikipedia, consulté le 16/11/2011http://fr.wikipedia.org/wiki/Accommodation• Wikitionaire, « Saillie », sur le site Wikitionaire, consulté le 30/11/2011http://fr.wiktionary.org/wiki/saillie• Wikipédia Foundation, INC. (06/09/2011), « Perception de la profondeur », sur lesite Wikipedia, consulté le 30/11/2011http://fr.wikipedia.org/wiki/Perception_de_la_profondeur• Wikipédia Foundation, INC. (11/11/2011), « Appareil stéréoscopique », sur le siteWikipédia, consulté le 01/12/2011http://fr.wikipedia.org/wiki/Appareil_st%C3%A9r%C3%A9oscopique
  • 81. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  81        • Wikipedia Foundation, INC. (17/09/2011), « SixthSense », sur le site Wikipedia,consulté le 07/12/2011http://fr.wikipedia.org/wiki/SixthSense• Wikipedia Foundation INC, « How a lenticular lens works », sur le site Wikipedia,consulté le 17/01/2012http://fr.wikipedia.org/wiki/Fichier:How_a_lenticular_lens_works.png• Wikipedia Foundation INC (07/05/2011), « Virtools », sur le site Wikipedia, consultéle 18/01/2012http://fr.wikipedia.org/wiki/Virtools• Youtube, « 3D Mouse used with Internet Explorer and Word », sur le site deToutube, consulté le 06/06/2012 http://www.youtube.com/watch?v=hmasl5-X-ko&lr=1&feature=mhum• Youtube, « Introduced the Leap », sur le site Youtube, consulté le 17/06/2012http://www.youtube.com/watch?feature=player_embedded&v=_d6KuiuteIA• Youtube, « PrimeSense Demo at CES 2012 », sur le site de Youtube, consulté le06/04/2012 http://www.youtube.com/watch?v=_32XSdMafgU&feature=related
  • 82. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  82        Table des matières des annexes1.  ANNEXE  .......................................................................................................................................  83  1.1.  INTERVIEW  DU  08/03/2012  ..............................................................................................................  83  1.1.1.  Présentation  et  description  des  recherches  ..........................................................................  83  1.1.2.  Questions/Réponses  .............................................................................................................  84  
  • 83. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  83        1. Annexe1.1. Interview du 08/03/20121.1.1. Présentation et description des recherchesDes membres du centre de recherche de l’INRIA consacrent leur temps à larecherche de la captation gestuelle et à l’immersion des utilisateurs. Afin de mieuxcomprendre les recherches effectuées par le centre de recherche, une interview avec M.Edmond Boyer de l’INRIA de Grenoble a eu lieu le 8 Mars 2012.M. Edmond BOYERResponsable du projet « Capture et Analyses de Formes en Mouvement »Et dirigeant de l‘équipe « MORPHEO » traitant ce sujet
  • 84. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  84        A encadré M. Benjamin PETIT pour la rédaction de sa thèse :« Téléprésence, immersion et interaction pour la reconstruction 3D temps-réel »Possède un doctorat en informatique (1996)Diplômé de l’université de Cambridge (1998)A été professeur informatiqueL’équipe MORPHEO souhaite développer des approches nouvelles pour laperception et lanalyse de formes en mouvement. Les recherches associées sorganisentselon les axes principaux suivants :• lacquisition de formes à partir de caméras hétérogènes• lanalyse des formes• lanalyse du mouvement• les environnements immersifs et interactifs591.1.2. Questions/Réponses1) Comment procédez-vous pour capturer et traiter les formes en mouvements ?Quel matériel est utilisé ?Nous utilisons plusieurs caméras numériques pour récupérer des modèlesgéométriques (les formes des individus). Ces modèles géométriques sont reproduits surlordinateur grâce à différentes images capturées par les caméras (appelés modèlesvirtuels).Sur ces formes géométriques, des textures correspondant à lapparence physiqued’une personne y sont plaquées.59http://www.inria.fr/equipes/morpheo
  • 85. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  85        2) Quel est le but de vos recherches ?Nos recherches sont menées par une équipe qui sefforce de faire avancé lesconnaissances dans le domaine de la capture et de lanalyse de formes enmouvement. Ceci dans le but de résoudre les problèmes liés à la fois à la capture et àlanalyse du mouvement et ainsi pouvoir utiliser ces connaissances pour de nouvellesapplication, mais également pour faire évolué les applications existantes. Dans le domainedu médical par exemple ou encore pour les futurs applications en 4D. Si ces recherchespermettent de faire des captures de mouvements en temps réel, un aspect interactif estajouté.3) Avez-vous déjà fait des tests avec de vrais utilisateurs?Deux aspects sont utilisés pour les tests.Le premier est un aspect hors ligne. Etant hors ligne, il ny a pas de vraisutilisateurs.Le deuxième aspect, quant à lui, est un aspect temps réel et de ce fait nécessitelimplication de vrais utilisateurs.Ce deuxième aspect a été testé et fonctionne parfaitement, lutilisateur est immergédans un environnement virtuel, il se voit immerger et bouger en temps réel grâce à uncasque. Une modélisation fixe créée à partir de son apparence physique est égalementréalisée et retranscrite dans le monde virtuel (toujours daprès le principe énoncé au partavant.). Lutilisateur peut alors voir la retranscription en globalité qui est faite à partir de sonapparence.Le casque permet à l’utilisateur dêtre totalement immergé dans le monde virtuelpuisque celui-ci ne voit plus ce qui se passe dans le monde réel. Ce monde virtuel est doncretranscrit par les lunettes afin de mettre lutilisateur dans une totale immersion.
  • 86. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  86        4) Pourquoi avoir retranscrit une modélisation fixe de la personne ?Afin que celui-ci puisse interagir (jouer) avec lui-même. Cest grâce aux différentescaméras quun "instant" de lutilisateur est frisé (reconstruction des images prises pour unmoment donné) et quune modélisation fixe de la personne peut être obtenue.5) Quelles différences y a-t-il entre vos recherches et le Kinect ?Le Kinect est un système actif à cause de sa projection de points lumineux observépar une caméra. Une carte de profondeurs est alors récupérée à partir dune triangulation.Nos recherches, quant à elles, sont passives, seules les caméras filment, plusieursimages en ressortent, mais une seule image de la scène en est déduit à la fin.Le contexte nest donc pas le même. Aucun modèle virtuel de lobjet nest réalisé pourle Kinect, seul le mouvement est récupéré.6) Quels sont donc les avantages et les limites des méthodes que vous utilisez ?Lavantage est quun modèle virtuel complet est réalisé, une immersion totale estalors possible, ce qui na jamais encore été le cas au part avant.En général lorsquune immersion est faite, celle-ci ne lest quen partie, par laffichagedun avatar. Alors quici, il sagit dune personne réelle. Ceci est un avantage estterme dinteraction, la forme complète est donc récupérée et pas seulementdes mouvements de points particuliers avec des marqueurs.Linconvénient pour le moment est la précision du système qui est assezapproximatif. Au fur et à mesure des recherches, ceci saméliore, mais les modèles ne sontpas encore très précis, il ny a pas un niveau de détails assez précis. Des artefacts sont,pour le moment, encore visibles et les textures ne sont encore que semi-réalistes. Desprogrès sont donc encore à faire de ce côté là.Des progrès sont également à faire au niveau du mouvement, car, pour le moment,peu dinformations sont récupérées. Les recherches actuellement vont dans ce sens.
  • 87. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  87        7) Comment contrer ces limites ?Plus de recherches doivent être faites et obtenir ainsi de meilleurs modèles pourcapturer et retranscrire les mouvements parfaitement.8) Est-ce que des outils supplémentaires pourraient ou devraient être utilisés pouraider à contrer ces imperfections ?Non, les outils actuellement utilisés suffisent, ce sont plutôt les méthodes utilisées quine sont pas encore au point, qui sont encore à retravailler.9) Pouvons-nous faire un bref récapitulatif ?Pour faire court, nos méthodes sont assez proches des systèmes de Motion Capture,sauf quon ne sintéresse pas uniquement aux marqueurs, mais à la forme entière et quà lafois, la géométrie et lapparence sont récupérées. Cependant les concepts sont les mêmes.10) Jai vu que vous avez encadré M. Benjamin PETIT lors de ses recherches. Unethèse en découle et M. PETIT explique quil essaye de rendre les utilisateursomniprésents et même téléprésents.Cest M. PETIT qui a développé les outils actuels et à partir du moment où il estpossible de modéliser un objet en 3D en temps réel, il est possible de limmerger dans unmonde virtuel. Cette environnement nétant pas localisé, de la téléprésence est possible etdonc être ainsi immergé dans un environnement qui est distant du lieu où nous noustrouvons.11) Jai justement lu dans la thèse de M. PETIT que des problèmes de transfertdapparence, daccessibilité aux données et autres subsistaient.Le problème est la latence du système, cest à dire que si nous sommes immergédans un environnement distant avec dautres personnes et si le système à un temps deréaction, la latence du système différera. Et lorsque de limmersion est faite, le temps delatence doit être très court, sinon cela ne convient pas. Il y a des risques que cela mette
  • 88. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  88        plus dune seconde à modéliser dautres personnes et ce nest pas possible dattendre àchaque fois une seconde pour faire quelque chose.Il y a effectivement un problème de latence du système en général. Il faut faire ensorte que les bases temporelles soient les mêmes, donc il y a des problèmes desynchronisation.Cependant, ces autres problèmes qui subsistent ne sont pas de notre domaine derecherche. Nous, nous nous intéressons réellement à la partie perception et analyse.Il y a pleins dautres applications dont nous navons pas parler ici qui concernentlanalyse du mouvement, ici ce nest pas de lanalyse mais de la téléprésence, desenvironnements virtuels, plusieurs applications qui seraient non temps réels concerneraientlanalyse.12) Quel est votre ressenti personnel par rapport à vos recherches? Pensez-vousque vos recherches vont être menées à bout, êtes-vous proche? Est-ce que vosrecherches pourront être utilisées à grande échelle ? Actuellement avec toutes lesnouvelles consoles qui existent, ceci est déjà plus ou moins mis en place. Est-ce quececi peut évoluer ?Il y a plusieurs aspects, il y a laspect Kinect qui pour nous est très intéressant,puisque désormais nous sommes capable dexpliquer au gens ce que nous faisons, ce quiétait plus compliqué avant. Avant, je prenais une demi-heure pour expliquer aux gens ceque je faisais, maintenant je leur dis que je fais la Kinect. Ce qui répond très rapidement àleur question.Cependant la Kinect na pas répondu à lensemble du problème, ce nest quunesolution partielle, mais ceci ouvre la voie à tout ce qui sappel les interfaces gestuelles, quiest beaucoup plus vaste. La Kinect nest donc quune solution partielle, tandis que nous,nous regardons des capteurs, du type de la Kinect bien sur, mais notre domaine derecherche cest vraiment dutiliser un ensemble de capteurs et pas quun seul comme dansla Kinect. Ensuite il y a tout ce qui est analyse derrière qui nous intéresse également endehors des aspects temps réels.
  • 89. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  89        Nous, nous faisons une immersion complète, nous avons donc lobjet est entier ce quinest pas le cas de la Kinect qui ne récupère que le mouvement pour linstant.Pour faire court, ce qui nous intéresse cest daller plus loin que la Kinect, toujoursdans la même direction, mais beaucoup plus loin.Si je pense que ceci va marcher? Oui bien sur, je ne le pense pas, jen suis sur! Cenest pas moi qui le décide, cest le sens de lévolution. La Kinect ne va pas en resté là, ceciva aller beaucoup plus loin.13) Il y a justement Microsoft qui a créé un prototype qui permet dinteragir avec ducontenu 3D. Grâce à un écran transparent, lutilisateur place ses mains derrièrecelui-ci et peut interagir avec le contenu affiché.Il y a effectivement laspect interaction et laspect immersion qui sont deux chosesdifférentes, on peut effectivement jouer sur les deux.Si seule de linteraction est désirée, les outils type Kinect sont parfait pour linstant.En ce qui concerne limmersion, il faut effectivement aller plus dans cette direction. Doncceci dépend de si on veut juste déplacer les objets 3D, alors là, on utilise des caméras, desi on veut vraiment immerger les gens dans des environnements 3D.14) Qu’en est-t-il de tout ce qui est retour haptique (retour de force) ?L’aspect retour haptique est encore un autre problème, très complexe, qui nous nenous concerne pas, nous, nous nous intéressons qu’à la partie visuelle.Il y a également beaucoup de problèmes dans l’aspect interaction, mais nous savons queles interfaces gestuelles du type manipulation des objets fonctionnent assez bien depuis lefilm de Spielberg, « Minority Report », où les images sont manipulées. Cette technologien’était pas connue du grand public, mais fonctionnait pourtant déjà. Et cette appréhensiond’attraper un objet, nous ne savons pas faire.Nous ne savons pas comment faire pour faire ressentir le sentiment que l’objet estdans la main. C’est assez difficile, on peut mettre des gants par exemple, mais le simplefait de saisir un objet est déjà assez complexe. Actuellement pour saisir un objet dans cesinterfaces gestuelles, il faut « cliquer » pour attraper l’objet.
  • 90. Julie ZIMMER ITIN M2i Mémoire de rechercheBinôme : François-Xavier CORNECDirecteur de mémoire : Florent MICHEL  Page  90        Il y a des paradigmes d’interactions derrière tout ceci sur lesquels il faut réfléchir, parexemple est-ce que je peux saisir un objet sans cliquer, en l’attrapant d’une autre façon ?Et bien ceci, nous ne savons pas faire.Sur l’aspect interaction, il y a encore des choses sur lesquels on ne sait pas encore trèsbien où l’on va.15) Il y a actuellement des télévisions qui captent les gestes humain pour changerles chaines par exemple. Cette technologie est entrain de se développer à grandeéchelle. Mais ceci ne risque pas de déboussoler certaines personnes ou deprovoquer des malaises, étant donné que nous ne sommes pas habituer à utiliser cetype de fonctionnement ? Tel que les symptômes de la cinétose lorsque les gensregardent un film en 3D au cinéma ? Est-ce que vous pensez que ceci est possible ?Je pense effectivement que dans quelques années il y aura des interfacesgestuelles pour les télévisions de type Kinect.Pour ce qui est du problème des malaises avec les écrans 3D, je ne pense pas, carles écrans stéréoscopiques partent d’un modèle moyen pour faire la triangulation et cemodèle moyen correspond plus ou moins aux gens. S’il ne nous correspond pas, on voitdeux images plutôt qu’une scène 3D. Donc effectivement c’est perturbant, mais sur uneinterface gestuelle, tout ceci ne sera pas la cas, puisque ce ne sera pas le cerveau quiinterprètera les mouvements, mais le système, donc nous nous habitueront très vite à lamanière dont le système fonctionne. Ceci ne m’inquiète pas, les gens se sont bien habituerà la Kinect.16) Le projet SixthSense qui est développé par le MIT va mettre ses sources àdisposition du grand public, pensez-vous que le public en fera un bon usage ?Des projets openSource en recherche, il y a en beaucoup et dans notre domaine, cessources ne vont pas nous aider pour nos recherches. La Kinect fait déjà beaucoup plus quele projet SixthSense et les gens qui ont développés le capteur de la Kinect, la société« PrimeSense », ont mis en partie leurs sources à disposition. Donc on peut réutiliser uneKinect et développer nous-même nos projets.

×