Usage des modalités d’interaction sur   smartphones        t h
Jean ClaudeJean-Claude Tarby                    Xavier Le Pallec  jean-claude.tarby@univ-lille1.fr   xavier.le-pallec@univ...
Plan1. Quest-ce quune modalité ?     Système - Capteur - Modalité2. Tour dhorizon dun smartphone actuel     Les capteurs (...
Qu est ce qu uneQuest-ce quune  modalité ? Système interactif, capteur,  périphérique, modalité  périphérique modalité...
Modalité ?                  Système interactif"Un système interactif est un système dont le fonctionnement dépend dinforma...
Modalité ?                               Capteur"Organe qui élabore, à partir dune grandeur physique, une autre grandeur p...
Modalité ?                          Périphérique"Un objet composé dun ou plusieurs capteurs, agencé dune certaine manière ...
Modalité ?       Capteurs sur les androphonesLe nombre de capteurs na cessé daugmenter depuis le début dAndroid,mais ce no...
Modalité ?                Modalité        p : périphériqueModalitéM d li é = <p,r>|<modalité,r>                    d li ér...
Modalité ?Pour réserver un vol...           Quelle(s) modalité(s) ?           Sortez une feuille !
Modalité ?Pour réserver un vol...       Le classique clavier/souris       <Clavier , langage           naturel>           ...
Modalité ?Pour réserver un vol...         A la voix (Vocal)         "Je veux partir de Paris le 11 Mai         pour aller ...
Modalité ?Pour réserver un vol...          QRCode          QRC d          Des carrés blancs et noirs          dans un carr...
Modalité ?  Et la multi-modalité ?   Mono système - multi-modalVocal        Où trouver "ce" produit ?                     ...
Modalité ?           Et la multi-modalité ?           Multi système - multi-modal                                    Ordin...
Modalité ?        Et la multi-modalité ?Propriétés CARE   p    Complémentarité, Assignation, Redondance, EquivalenceAltern...
Plan1. Quest-ce quune modalité ?     Système - Capteur - Modalité2. Tour dhorizon dun smartphone actuel     Les capteurs (...
Tour dhorizon d un     d horizon dunAndrophone actuel        Les capteurset l modalités qui en dé t les d lité    i    déc...
AndrophoneAu préalable Durée des délais entre événements... é é   Info: 1 mS (USA) = 1 µs ! (FR)   Soit 1 millionième de s...
AndrophoneAu préalable Des variations... Suivant les fabricants :  • les capteurs disponibles ne sont pas forcément     le...
Androphone    Aperçu des unités de valeurs                 Dimension    Nom                           Unité               ...
Androphone                          ImportantSi vous ne voulez pas que vos clients aient de mauvaises surprises, vousdevez...
AndrophoneExemple de Manifest
AndrophoneC estCest parti !
Androphone  Capteurs etmodalités dentrée          d entrée
Androphone     1. Modeportrait/paysagep        p y g
Androphone               Mode portrait/paysageCapteur "intrinsèque" du téléphone, mais pas un capteur "réel"Utilise des ca...
Androphone              Mode portrait/paysageExemples dusages :•   passage obligatoire en mode paysage pour certains j    ...
Androphone2.2 Le tactile
Androphone                                    TactileUn des "capteurs" de base des smartphonesDistingue les "touch", "long...
Androphone                              Tactile                                              zoom en multi-touch, mais pou...
Androphone3.3 Capteur de lumière
Androphone                 Capteur de lumièreCe capteur permet de savoir quelle est lintensité lumineusedétectée par le té...
Androphone             Capteur de lumièreSur l’Acer Liquid, le capteur est en haut à droite de l’écran
Androphone            Capteur de lumièreDes valeurs prédéfinies dans Android : •   LIGHT_NO_MOON          _ _             ...
AndrophoneCapteur de lumière
Androphone                 Capteur de lumièreExemples dusage • Classique : Intensité automatique de lécran • Pourquoi pas ...
Androphone                    Capteur de lumièreAffichage de lheure silencieuxAffiche lheure quand on lillumineSmartphone ...
Androphone                  Capteur de lumièreDétection dintrusmodalité dinteraction "autrement"
Androphone              Capteur de lumièreLire dans son lit et tourner les pages au laser !                               ...
Androphone4.4 Capteur de proximité
Androphone              Capteur de proximitéSa sensibilité/réponse dépend du fabricant.   • valeur en mm cm m             ...
Androphone            Capteur de proximitéSur l’Acer Liquid, la led IR est à côté du capteur de lumière
Androphone                 Capteur de proximitéExemples dusage • Classique : écran éteint quand vous avez le téléphone sur...
Androphone           Capteur de proximitéQuand le téléphone sonne,si on le range alors on refuse lappel                   ...
Androphone          Capteur de proximitéQuand le téléphone sonne,on met la main dessus pour refuser lappel                ...
Androphone           Capteur de proximitéAvec un capteur de proximité non-binaire, en mode lecture,s approcher zoomer,sapp...
Androphone          Capteur de proximitéExemple
Androphone5.5 Caméra
Androphone                                  CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExem...
Androphone                                CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExempl...
Androphone                                CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExempl...
Androphone                                CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExempl...
Androphone                              CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples...
Androphone                              CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples...
Androphone6.6 Microphone
Androphone                           MicrophoneLe capteur le + répandu (sinon pas dappel téléphoniquepossible)Fortement co...
Androphone                           MicrophoneExemple dapplication : sonomètre
Androphone                           MicrophoneExemples dusages : reconnaissance vocale • recherche Google • traduction • ...
Androphone                           MicrophoneExemples dusages : reconnaissance vocale •   recherche Google • traduction ...
Androphone                           MicrophoneExemples dusages : reconnaissance vocale •   recherche Google • traduction ...
Androphone7.7 Accéléromètre
Androphone                   AccéléromètrePrincipe             Masse M                                         M          ...
Androphone                   AccéléromètrePrincipe             Masse M                                         M          ...
Androphone                         AccéléromètreAccéléromètre non asservi type capacitif(classique dans smartphone)   Plaq...
Androphone                 AccéléromètreAccéléromètre non asservi type capacitif
Androphone                      AccéléromètreLaccéléromètre dun smartphone est composé de 3 accéléromètres :un par axe (x,...
AndrophoneAccéléromètre
Androphone                      AccéléromètreÀ partir de ce capteur, on obtient deux autres "capteurs" :  p              p...
Androphone                AccéléromètreGGravités définies p Android :                  par • GRAVITY_EARTH • GRAVITY JUPIT...
AndrophoneAccéléromètre
Accéléromètre, Accéléromètre                 Androphone                linéaire et GravitéExemple                         ...
Accéléromètre, Accéléromètre    Androphone                      linéaire et GravitéExemple dapplication : le niveau à bull...
Accéléromètre, Accéléromètre                     Androphone                      linéaire et GravitéExemple dapplication: ...
Androphone8.8 Capteur magnétique
Androphone                   Capteur magnétiqueCe capteur permet de mesurer le champ magnétique terrestre.Valeurs (x,y,z) ...
Androphone                 Capteur magnétiqueBasé sur leffet Hall    Tension de Hall observé !   courant élé i           é...
Androphone          Capteur magnétiqueExemple
Androphone                 Capteur magnétiqueExemple                                                        Dans cet exemp...
Androphone           Capteur magnétiqueExemple classique : la boussole
Androphone            Capteur magnétiqueAutre exemple : détecteur de métaux
Androphone            Capteur magnétiqueExemple de modalité plus évoluée :sélecteur selon angle / Nord                    ...
Androphone9.9 Capteur dorientation          d orientation
Androphone                Capteur dorientation Capteur "virtuel" issu de 2 autres capteurs : • Accéléromètre • Capteur mag...
Androphone               Capteur dorientationDonne lorientation (le Nord pour faire simple)= la boussole du téléphone     ...
Androphone                Capteur dorientation Exemple (solution déconseillée par Google)Tablette à plat (horizontal)     ...
Androphone          Capteur dorientationAzimut                                      Z• Angle des Y par rapport au  Nord   ...
Androphone           Capteur dorientationPitch• Rotation autour de X• Négatif quand on oriente le téléphone vers soi• De -...
Androphone            Capteur dorientationRoll• Rotation autour de Y• Positif quand rotation vers x négatif(et vice-versa)...
Androphone               Capteur dorientationEn utilisant la méthode recommandée par Google, le pitch et le rollchangent d...
Androphone                Capteur dorientation Exemple (solution recommandée par Google)Tablette à plat (horizontal)      ...
Androphone              Capteur dorientationExemple : GravitometerUtilise la solution préconisée par Google
Androphone             Capteur dorientationExemple multi-modal combinant lorientation + la caméra
Androphone10.10 Gyroscope
Androphone                         GyroscopeCalcule la vitesse angulaire                                               La ...
Androphone                            Gyroscope  Principe précédent sur les 3 axes (x,y,z)  Plus précis sur les rotations ...
Androphone                                GyroscopeExemple (sur Galaxy Tab)                                       Rotation...
Androphone                             GyroscopeTouchWiz (S2) > Navigateur Internet (tactile + gyroscope)                 ...
Androphone                             GyroscopeTouchWiz (S2) > Choix dun bureau/écran (tactile + gyroscope)              ...
Androphone Autres "capteurs" auxquels         capteurson ne pense p forcément...      p     pas
Androphone11.11 Wifi
Androphone                                  WifiRécepteur Wifi :- Puissance de réception du Wifi,- Wifi on/off,- détection...
Androphone                          WifiExemple : Wifi Analyzer
Androphone12.12 GPS
Androphone                                            GPS                                                         Applicat...
Androphone                                            GPS                                                         Applicat...
Androphone                                      GPSExemples :- réalité augmentée (visualiser les baraque à frites les + pr...
Androphone                                      GPSExemples :- réalité augmentée (visualiser les baraque à frites les + pr...
Androphone    13. NFC(Near Field Communication)
Androphone                                        NFC  Lecture dun tag  Exemples :   • Paiement direct   • Information sur...
Androphone14.14 Bluetooth
Androphone                            BluetoothPeut se faire avec lautorisation de lutilisateur(conseillé) ou sans son aut...
Androphone   Capteurs et   C t       tmodalités d sortie  d l é de
AndrophoneCapteurs et modalités de sortieN oubliezNoubliez pas qu on peut les combiner              quonavec les capteurs ...
Androphone15.15 Le Son
Androphone                         Le SonSon diffusé par le(s) haut(s)-parleur(s)   o   mono   o   stéréo ==> information ...
Androphone16.16 Les LED
Androphone                     LEDCertains téléphones ont une LED qui p             p                  q peutsallumer/séte...
Androphone17.17 Le vibreur
Androphone                            VibreurUn des capteurs de base des smartphonesVibrations d d é variablesVib ti     d...
AndrophoneSans oublier     oublier...
Androphone                          Sans oublierEn entrée : • Capteur de pression • C   Capteur dh idi é           dhumidi...
Plan1. Quest-ce quune modalité ?     Système - Capteur - Modalité2. Tour dhorizon dun smartphone actuel     Les capteurs (...
Contraintes            Contraintes associées•   Les capteurs consomment de la batterie    o   Nactiver le GPS / Bluetooth ...
Contraintes               Contraintes associées•   Perte de lisibilité, par exemple avec linclinaison    o   changer la lu...
Contraintes             Contraintes associées•   Problème du vocal avec le vent, en milieu    bruité (centre commercial, m...
Contraintes                Contraintes associées•   Difficile dutiliser certaines modalités en    marchant          h t   ...
Conclusion
ConclusionLes smartphones proposent des capteurs qui offrent desservices de base qui ne demandent qu à être utilisés et   ...
Liens •   http://mathias-seguy.developpez.com/cours/android/android-capteurs •   http://www.touchqode.com/misc/20101025_js...
Questions...?           Merci pour votre attentionJean-Claude Tarby                    Xavier Le Pallec  jean-claude.tarby...
Upcoming SlideShare
Loading in …5
×

FLUPA UX-Day 2012 - Atelier Usage des modalités d'interaction sur smartphones - par J.C. Tarby & X. Le Pallec

5,233 views
5,076 views

Published on

Atelier présenté lors du FLUPA UX-Day 2012 à Paris "Usage des modalités d'interaction sur smartphones" par Jean-Claude Tarby & Xavier Le Pallec

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
5,233
On SlideShare
0
From Embeds
0
Number of Embeds
674
Actions
Shares
0
Downloads
0
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

FLUPA UX-Day 2012 - Atelier Usage des modalités d'interaction sur smartphones - par J.C. Tarby & X. Le Pallec

  1. 1. Usage des modalités d’interaction sur smartphones t h
  2. 2. Jean ClaudeJean-Claude Tarby Xavier Le Pallec jean-claude.tarby@univ-lille1.fr xavier.le-pallec@univ-lille1.fr www.lifl.fr/~tarby www.lifl.fr/~lepallex
  3. 3. Plan1. Quest-ce quune modalité ? Système - Capteur - Modalité2. Tour dhorizon dun smartphone actuel Les capteurs (sur Android) et les modalités qui en découlent Fini le temps d clavier+souris ! Fi i l t du l i i3. Contraintes
  4. 4. Qu est ce qu uneQuest-ce quune modalité ? Système interactif, capteur, périphérique, modalité périphérique modalité...
  5. 5. Modalité ? Système interactif"Un système interactif est un système dont le fonctionnement dépend dinformations fournies par un environnement externe quil ne contrôle pas" WEGNER P., « Why interaction is more powerful than algorithms» Communications of the ACM, P algorithms», ACM vol. 40, n°5, p. 80–91, 1997Smartphone Ordinateur de bureau Maison intelligente
  6. 6. Modalité ? Capteur"Organe qui élabore, à partir dune grandeur physique, une autre grandeur physique, souvent de nature électrique, utilisable à des fins de mesure ou de commande." d " Dictionnaire Larousse Capteur Capteurs de GyroscopeAccéléromètre CMOS contact dun clavier l i
  7. 7. Modalité ? Périphérique"Un objet composé dun ou plusieurs capteurs, agencé dune certaine manière et qui communique avec un système interactif" Nous : ) :-) Caméra Clavier Kinect Accéléromètre
  8. 8. Modalité ? Capteurs sur les androphonesLe nombre de capteurs na cessé daugmenter depuis le début dAndroid,mais ce nombre devrait vite stagner... Android 1.6 et 2.1 Android 2.3.3 Android 4.0
  9. 9. Modalité ? Modalité p : périphériqueModalitéM d li é = <p,r>|<modalité,r> d li ér : un système représentationnel, c’est-à-dire un y p ,système conventionnel structuré de signesassurant une fonction de communication langage pseudo-naturel (micro), squelette dune personne (kinect), QRCode (caméra), inclinaison (accéléromètre)
  10. 10. Modalité ?Pour réserver un vol... Quelle(s) modalité(s) ? Sortez une feuille !
  11. 11. Modalité ?Pour réserver un vol... Le classique clavier/souris <Clavier , langage naturel> + <Souris , formulaire graphique>
  12. 12. Modalité ?Pour réserver un vol... A la voix (Vocal) "Je veux partir de Paris le 11 Mai pour aller à New York" <Micro , langage naturel>
  13. 13. Modalité ?Pour réserver un vol... QRCode QRC d Des carrés blancs et noirs dans un carré <Caméra , QRCode>
  14. 14. Modalité ? Et la multi-modalité ? Mono système - multi-modalVocal Où trouver "ce" produit ? QRCode
  15. 15. Modalité ? Et la multi-modalité ? Multi système - multi-modal Ordinateur /Smartphone / touch padaccéléromètre ZoomRotation
  16. 16. Modalité ? Et la multi-modalité ?Propriétés CARE p Complémentarité, Assignation, Redondance, EquivalenceAlternée/Synergique… éComposition Spatiale/temporelle/syntaxique/sémantiqueNombreuses références bibliographiques Conférences : ICMI + HCI, CHI, UIST, …
  17. 17. Plan1. Quest-ce quune modalité ? Système - Capteur - Modalité2. Tour dhorizon dun smartphone actuel Les capteurs (sur Android) et les modalités qui en découlent Fini le temps d clavier+souris ! Fi i l t du l i i3. Contraintes
  18. 18. Tour dhorizon d un d horizon dunAndrophone actuel Les capteurset l modalités qui en dé t les d lité i découlent l t
  19. 19. AndrophoneAu préalable Durée des délais entre événements... é é Info: 1 mS (USA) = 1 µs ! (FR) Soit 1 millionième de seconde donc 20000 mS (USA)= 20 ms (FR)
  20. 20. AndrophoneAu préalable Des variations... Suivant les fabricants : • les capteurs disponibles ne sont pas forcément les mêmes. o par exemple, la Galaxy Tab possède en plus un gyroscope... • les capteurs nont pas les mêmes sensibilités / résolutions.
  21. 21. Androphone Aperçu des unités de valeurs Dimension Nom Unité Sémantique Values[] du vecteur [0] axe xAccelerometer 3 m/s2 Mesure de laccélération (gravité incluse) [1] axe y [2] axe z [0] vitesse angulaire autour de x Mesure la rotation en termes de vitesse autour de [1] vitesse angulaire Gyroscope 3 Radian/seconde chaque axe autour de y [2] vitesse angulaire autour de z Light 1 Lux Mesure de la luminosité [0]valeur [0] axe xMagnetic_FieldMagnetic Field 3 µTesla Tesla Mesure d Mes e du champ magnétique magnétiq e [1] a e y axe [2] axe z [0] Azimut entre laxe y et le nord [1] Rotation autour de Orientation 3 Mesure langle entre le nord magnétique l angle degrés laxe x (-180,180) [2] Rotation autour de laxe y (-90,90) Pressure 1 KPascal Mesure la pression [0] valeur Mesure la distance entre lappareil et un objet Proximity 1 mètre [0] valeur cible Temperature 1 Celsius Mesure la température [0] valeur
  22. 22. Androphone ImportantSi vous ne voulez pas que vos clients aient de mauvaises surprises, vousdevez déclarer le capteur dans votre AndroidManifest car lAndroid Marketanalyse votre manifeste et proposera votre application uniquement auxappareils possédant le capteur que vous avez déclaré.
  23. 23. AndrophoneExemple de Manifest
  24. 24. AndrophoneC estCest parti !
  25. 25. Androphone Capteurs etmodalités dentrée d entrée
  26. 26. Androphone 1. Modeportrait/paysagep p y g
  27. 27. Androphone Mode portrait/paysageCapteur "intrinsèque" du téléphone, mais pas un capteur "réel"Utilise des capteurs réels que nous verrons + loin4 orientations possibles • landscape, landscape inversé, portrait, portrait inversé. • utilisation t i tili ti typique d capteur orientation du t i t ti→ peut se combiner avec le capteur de lumière, de proximité… Application eMosaïc
  28. 28. Androphone Mode portrait/paysageExemples dusages :• passage obligatoire en mode paysage pour certains j bli t i d t i jeux (A (Angry Bi d ) Birds)• visionnage de photos + aisé en mode paysage
  29. 29. Androphone2.2 Le tactile
  30. 30. Androphone TactileUn des "capteurs" de base des smartphonesDistingue les "touch", "long touch", "multi-touch"... touch long touch → peut se combiner avec l’accéléromètre, le capteur de lumière…
  31. 31. Androphone Tactile zoom en multi-touch, mais pourquoi pas multi touch, zoom en touch + inclinaison du téléphone...→ peut se combiner avec l’accéléromètre, le capteur de lumière…
  32. 32. Androphone3.3 Capteur de lumière
  33. 33. Androphone Capteur de lumièreCe capteur permet de savoir quelle est lintensité lumineusedétectée par le téléphone (lunité est le Lux). (l unitéSa sensibilité dépend du fabricant.→ peut se combiner avec l’accéléromètre, p ,le capteur de lumière…
  34. 34. Androphone Capteur de lumièreSur l’Acer Liquid, le capteur est en haut à droite de l’écran
  35. 35. Androphone Capteur de lumièreDes valeurs prédéfinies dans Android : • LIGHT_NO_MOON _ _ 0.001 • LIGHT_FULLMOON 0.25 • LIGHT_CLOUDY 100 • LIGHT_SUNRISE G S RS 400.0 00 0 • LIGHT_OVERCAST 10 000.0 (cloudy) • LIGHT_SHADE LIGHT SHADE 20 000 0 000.0 • LIGHT_SUNLIGHT 110 000.0 • LIGHT_SUNLIGHT_MAX _ _ 120 000.0
  36. 36. AndrophoneCapteur de lumière
  37. 37. Androphone Capteur de lumièreExemples dusage • Classique : Intensité automatique de lécran • Pourquoi pas : o Cacher le capteur de lumière p p pour créer un nouveau type de clic ! yp o Détecteur de lumière localisée pour un éclairage personnalisé dans une maison intelligente o mais aussi ...
  38. 38. Androphone Capteur de lumièreAffichage de lheure silencieuxAffiche lheure quand on lillumineSmartphone pas tS t h trop près ( d ) et l è (ondes) t lampe d poche sous l ill de h loreillerPas de bruit/clic
  39. 39. Androphone Capteur de lumièreDétection dintrusmodalité dinteraction "autrement"
  40. 40. Androphone Capteur de lumièreLire dans son lit et tourner les pages au laser ! (bien) viser le capteur de lumière pour tourner une page !
  41. 41. Androphone4.4 Capteur de proximité
  42. 42. Androphone Capteur de proximitéSa sensibilité/réponse dépend du fabricant. • valeur en mm cm m mm, cm, • parfois 2 seules valeurs (proche ou non) dans ce cas « capteur qui détecte la présence du corps humain au niveau de lécouteur de lappareil »→ peut se combiner avec l’accéléromètre, le capteurde lumière…d l iè Il sagit souvent d un capteur de s agit dun proximité dit "actif" +
  43. 43. Androphone Capteur de proximitéSur l’Acer Liquid, la led IR est à côté du capteur de lumière
  44. 44. Androphone Capteur de proximitéExemples dusage • Classique : écran éteint quand vous avez le téléphone sur loreille, et allumé sinon. • Pourquoi p : q pas o Le clic du capteur de lumière ; o ronronthéraphie en se frottant avec son téléphone comme si on caressait un chat. o Utilise aussi des capteurs de « mouvement » (cf. + loin )
  45. 45. Androphone Capteur de proximitéQuand le téléphone sonne,si on le range alors on refuse lappel l appel.
  46. 46. Androphone Capteur de proximitéQuand le téléphone sonne,on met la main dessus pour refuser lappel l appel.
  47. 47. Androphone Capteur de proximitéAvec un capteur de proximité non-binaire, en mode lecture,s approcher zoomer,sapprocher = zoomer idem pour prendre une photo ! Normal Agrandir Réduire
  48. 48. Androphone Capteur de proximitéExemple
  49. 49. Androphone5.5 Caméra
  50. 50. Androphone CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples : • photographier et filmer • lecteur de QRCode • suivi de regard • reconnaissance faciale • traduction de textes (OCR) • mesure de distance • mesure de taille • ...→ peut se combiner avec l’ bi l’accéléromètre, l capteur d l iè élé è le de lumière…
  51. 51. Androphone CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples : • photographier et filmer • lecteur de QRCode • suivi de regard • reconnaissance faciale eco a ssa ce ac ale • traduction de textes (OCR) • mesure de distance • mesure de taille • ...→ peut se combiner avec l’accéléromètre, le capteur de lumière…
  52. 52. Androphone CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples : • photographier et filmer • lecteur de QRCode • suivi de regard • reconnaissance faciale • traduction de textes (OCR) • mesure de distance • mesure de taille • ...→ peut se combiner avec l’accéléromètre, lecapteur de lumière…
  53. 53. Androphone CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples : • photographier et filmer • lecteur de QRCode • suivi de regard • reconnaissance faciale • traduction de textes (OCR) • mesure de distance • mesure de taille • ...→ peut se combiner avec l’accéléromètre, lecapteur de lumière…
  54. 54. Androphone CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples : • photographier et filmer • lecteur de QRCode • suivi de regard • reconnaissance faciale • traduction de textes • mesure de distance • mesure de taille • ...→ peut se combiner avec l’accéléromètre, le capteur de lumière…
  55. 55. Androphone CaméraUne ou deux caméras par téléphone/tabletteCaméra frontale ou dorsaleExemples : • photographier et filmer • lecteur de QRCode • suivi de regard • reconnaissance faciale • traduction de textes • mesure de distance • mesure de taille • ...→ peut se combiner avec l’accéléromètre, le capteur de lumière…
  56. 56. Androphone6.6 Microphone
  57. 57. Androphone MicrophoneLe capteur le + répandu (sinon pas dappel téléphoniquepossible)Fortement couplé au vocal, mais peut très bien être utilisésans cette modalité. tt d lité→ peut se combiner avec l’accéléromètre, le capteur de lumière… sauf pour la reconnaissance vocale (a priori).
  58. 58. Androphone MicrophoneExemple dapplication : sonomètre
  59. 59. Androphone MicrophoneExemples dusages : reconnaissance vocale • recherche Google • traduction • ordre donné au téléphone p
  60. 60. Androphone MicrophoneExemples dusages : reconnaissance vocale • recherche Google • traduction • ordre donné au téléphone
  61. 61. Androphone MicrophoneExemples dusages : reconnaissance vocale • recherche Google • traduction • ordre donné au téléphone
  62. 62. Androphone7.7 Accéléromètre
  63. 63. Androphone AccéléromètrePrincipe Masse M M subit une au repos accélérationLa différence sur D est proportionnelle à laccélération subie
  64. 64. Androphone AccéléromètrePrincipe Masse M M subit une au repos accélérationLa différence sur D est proportionnelle à laccélération subie
  65. 65. Androphone AccéléromètreAccéléromètre non asservi type capacitif(classique dans smartphone) Plaque 1 Pl P1 isolant isolant Plaque 2 P2 au repos subit une accélération La capacité du condensateur varie en fonction de la é distance de ses 2 plaques
  66. 66. Androphone AccéléromètreAccéléromètre non asservi type capacitif
  67. 67. Androphone AccéléromètreLaccéléromètre dun smartphone est composé de 3 accéléromètres :un par axe (x,y,z)Laccéléromètre donne le vecteur de force (c’est-à-dire daccélération)tridimensionnel (x,y,z) qui sapplique sur l smartphonet idi i l( ) i li le t hAu repos laccélération vaut 9,81m/s2 l accélération 9 81m/s Ax Pour 2 axes Pour 3 axes A A= Ax2+Ay2+Az2Ay A= Ax2+Ay2
  68. 68. AndrophoneAccéléromètre
  69. 69. Androphone AccéléromètreÀ partir de ce capteur, on obtient deux autres "capteurs" : p p , p • l Accélération lAccélération Linéaire : fournit l’accélération l accélération (x,y,z) épurée de la gravité. Calcul pas si simple p p • la Gravité : fournit la composante gravitationnelle (x,y,z).→ peuvent se combiner avec le capteur de lumière, le capteur de distance...
  70. 70. Androphone AccéléromètreGGravités définies p Android : par • GRAVITY_EARTH • GRAVITY JUPITER GRAVITY_JUPITER • GRAVITY_MARS • GRAVITY MERCURY GRAVITY_MERCURY • GRAVITY_MOON • GRAVITY NEPTUNE GRAVITY_NEPTUNE
  71. 71. AndrophoneAccéléromètre
  72. 72. Accéléromètre, Accéléromètre Androphone linéaire et GravitéExemple = force appliquée : sa vitesse = la force appliquée : son accélération = la force appliquée Tester aussi avec la gravité seule, et l’accélération linéraire (toujours dans la même position, par exemple téléphone posé sur la table) Rappel : accéléromètre = accéléromètre linéaire + gravité
  73. 73. Accéléromètre, Accéléromètre Androphone linéaire et GravitéExemple dapplication : le niveau à bulletéléphone vertical téléphone posé à plat
  74. 74. Accéléromètre, Accéléromètre Androphone linéaire et GravitéExemple dapplication: "suivi" des activités d’une personne...(pourrait être couplé au microphone, etc.)
  75. 75. Androphone8.8 Capteur magnétique
  76. 76. Androphone Capteur magnétiqueCe capteur permet de mesurer le champ magnétique terrestre.Valeurs (x,y,z) en µ-Tesla µ TeslaSa sensibilité dépend du fabricant. → peut se combiner avec le capteur de distance, laccéléromètre... 1 cm
  77. 77. Androphone Capteur magnétiqueBasé sur leffet Hall Tension de Hall observé ! courant élé i éléctrique matériau semi-conducteur semi conducteur
  78. 78. Androphone Capteur magnétiqueExemple
  79. 79. Androphone Capteur magnétiqueExemple Dans cet exemple, nous avons ajouté une modalité de sortie... sortie Si vous pointez le Nord (1ère valeur autour de 0) le téléphone vibrera, utile pour un "guidage" guidage sans regarder lécran...Téléphone posé sur la table… puis tourné d’un quart de tour à droite
  80. 80. Androphone Capteur magnétiqueExemple classique : la boussole
  81. 81. Androphone Capteur magnétiqueAutre exemple : détecteur de métaux
  82. 82. Androphone Capteur magnétiqueExemple de modalité plus évoluée :sélecteur selon angle / Nord 3 2 4 1 5
  83. 83. Androphone9.9 Capteur dorientation d orientation
  84. 84. Androphone Capteur dorientation Capteur "virtuel" issu de 2 autres capteurs : • Accéléromètre • Capteur magnétique Ce capteur nest plus conseillé à partir de la version 2.2 Des fonctions sont fournies pour le calculer à partir des valeurs des 2 précédents capteurs.→ peut se combiner avec le capteur de distance, le capteur de lumière...
  85. 85. Androphone Capteur dorientationDonne lorientation (le Nord pour faire simple)= la boussole du téléphone téléphone. Z3 notions associées :• lazimut Y• le pitch• le roll X
  86. 86. Androphone Capteur dorientation Exemple (solution déconseillée par Google)Tablette à plat (horizontal) Vertical À plat, sur le côté gauche -180 < Pitch = -81 < 180 -90 < Roll = 84 < 90
  87. 87. Androphone Capteur dorientationAzimut Z• Angle des Y par rapport au Nord Nord o 0 pour le Nord• Rotation autour de Z• De 0 à 360
  88. 88. Androphone Capteur dorientationPitch• Rotation autour de X• Négatif quand on oriente le téléphone vers soi• De -180 à 180 zéro +90° -90° ° X -/+180°
  89. 89. Androphone Capteur dorientationRoll• Rotation autour de Y• Positif quand rotation vers x négatif(et vice-versa)• De -90 à +90 Y zéro° +90° -90°
  90. 90. Androphone Capteur dorientationEn utilisant la méthode recommandée par Google, le pitch et le rollchangent de valeurs :• le pitch varie entre -90 et +90: o 0 : le téléphone est parallèle au sol, face vers le ciel ou lappareil est parallèle au sol, f l il t llèl l face vers l sol ; le l o +90 : le téléphone est perpendiculaire au sol, tête vers le bas ; o -90 : le téléphone est perpendiculaire au sol, tête vers le haut.• le roll varie entre -180 et +180. Quand sa face est vers le haut : o 0 : le téléphone ne penche pas, il est face au ciel ; o +90 : le téléphone penche à gauche ; 90 o -90 : le téléphone penche à droite ; o 180 : le téléphone ne penche pas, il est face contre sol.
  91. 91. Androphone Capteur dorientation Exemple (solution recommandée par Google)Tablette à plat (horizontal) Vertical À plat, sur le côté gauche -90 < Pitch = -84 < 90 90 84 -180 < Roll = -84 < +180
  92. 92. Androphone Capteur dorientationExemple : GravitometerUtilise la solution préconisée par Google
  93. 93. Androphone Capteur dorientationExemple multi-modal combinant lorientation + la caméra
  94. 94. Androphone10.10 Gyroscope
  95. 95. Androphone GyroscopeCalcule la vitesse angulaire La rotation va entraîner un changement de la capacité du "transistor"... transistor ... source : http://www.electroiq.com/
  96. 96. Androphone Gyroscope Principe précédent sur les 3 axes (x,y,z) Plus précis sur les rotations que laccéléromètre Non disponible avant Android 2.3 Seuls quelques téléphones le proposent→ peut se combiner avec le capteur de proximité, le capteur de lumière…
  97. 97. Androphone GyroscopeExemple (sur Galaxy Tab) Rotation autour de laxe X Tablette posée à p p plat vers lutilisateur l utilisateur
  98. 98. Androphone GyroscopeTouchWiz (S2) > Navigateur Internet (tactile + gyroscope) Agrandir Réduire
  99. 99. Androphone GyroscopeTouchWiz (S2) > Choix dun bureau/écran (tactile + gyroscope) Changement
  100. 100. Androphone Autres "capteurs" auxquels capteurson ne pense p forcément... p pas
  101. 101. Androphone11.11 Wifi
  102. 102. Androphone WifiRécepteur Wifi :- Puissance de réception du Wifi,- Wifi on/off,- détection d un nouveau réseau, etc. dun→ peut se combiner avec l’accéléromètre le capteur de lumière l accéléromètre, lumière… Fonctionne aussi pour le Wifi directExemple dusage avec deux téléphones : en Android 4 • Téléphone 1 = hotspot wifi • Téléphone 2 capte la puissance de réception du wifi du téléphone 1 ➔ coopération pour interaction (ex: délimiter une zone, changer le zone contenu/débit des infos envoyées…)
  103. 103. Androphone WifiExemple : Wifi Analyzer
  104. 104. Androphone12.12 GPS
  105. 105. Androphone GPS Application JogTracker De + en + présent sur les smartphones Connaître sa position (géolocalisation) Suivre un parcours S i Mesurer o d surfaces rectangulaires ou rondes des f l d avec deux points o des surfaces d autres types par dautres relevé de plusieurs points→ requiert l activation par l utilisateur lactivation lutilisateur→ peut se combiner avec l’accéléromètre, le capteur de lumière…
  106. 106. Androphone GPS Application JogTracker De + en + présent sur les smartphones Connaître sa position (géolocalisation) Suivre un parcours S i Mesurer o d surfaces rectangulaires ou rondes des f l d avec deux points o des surfaces d autres types par dautres relevé de plusieurs points→ requiert l activation par l utilisateur lactivation lutilisateur→ peut se combiner avec l’accéléromètre, le capteur de lumière…
  107. 107. Androphone GPSExemples :- réalité augmentée (visualiser les baraque à frites les + proches avec Barakafrit)- localiser un arbre remarquable (BucoLille)- trouver un itinéraire pour une baraque à frites (Barakafrit) Application Barakafrit Application BucoLille
  108. 108. Androphone GPSExemples :- réalité augmentée (visualiser les baraque à frites les + proches avec Barakafrit)- localiser un arbre remarquable (BucoLille)- trouver un itinéraire pour une baraque à frites (Barakafrit) Application Barakafrit Application BucoLille
  109. 109. Androphone 13. NFC(Near Field Communication)
  110. 110. Androphone NFC Lecture dun tag Exemples : • Paiement direct • Information sur un tableau dans un musée→ requiert lautorisation de lutilisateur→ peut se combiner avec l’accéléromètre, le capteur de lumière…
  111. 111. Androphone14.14 Bluetooth
  112. 112. Androphone BluetoothPeut se faire avec lautorisation de lutilisateur(conseillé) ou sans son autorisationDécouverte de nouveaux périphériques é é éConnexion/DéconnexionRéception de donnéesNécessite la permission associée dans le Manifest : p<uses-permission android:name="android.permission.BLUETOOTH" />
  113. 113. Androphone Capteurs et C t tmodalités d sortie d l é de
  114. 114. AndrophoneCapteurs et modalités de sortieN oubliezNoubliez pas qu on peut les combiner quonavec les capteurs et modalités dentrée
  115. 115. Androphone15.15 Le Son
  116. 116. Androphone Le SonSon diffusé par le(s) haut(s)-parleur(s) o mono o stéréo ==> information perçue différemmentmais aussi Synthèse Vocale o simple lecture à haute voix, o traduction, o conversion multilingue...
  117. 117. Androphone16.16 Les LED
  118. 118. Androphone LEDCertains téléphones ont une LED qui p p q peutsallumer/séteindre/clignoter, mais aussic a gechanger de couleur couleu
  119. 119. Androphone17.17 Le vibreur
  120. 120. Androphone VibreurUn des capteurs de base des smartphonesVibrations d d é variablesVib ti de durées i blExcellent moyen de fournir du feedbackNécessite la permission associée dans le Manifest : p <uses-permission android:name="android.permission.VIBRATE"/>→ peut se combiner avec l’accéléromètre, le capteur de lumière… Exemple : vibrer quand on pointe le Nord
  121. 121. AndrophoneSans oublier oublier...
  122. 122. Androphone Sans oublierEn entrée : • Capteur de pression • C Capteur dh idi é dhumidité • Capteur de températureEn sortie : • lécran l écran soit 21 capteurs déjà disponibles !!!...et ceux encore à venir ! • écran sensitif (déjà en cours avec perception du relief sous les doigts) • écran transparent (donc double face sensitive ?) • tablette braille ? • sens olfactif ? etc., etc., etc...
  123. 123. Plan1. Quest-ce quune modalité ? Système - Capteur - Modalité2. Tour dhorizon dun smartphone actuel Les capteurs (sur Android) et les modalités qui en découlent Fini le temps d clavier+souris ! Fi i l t du l i i3. Contraintes
  124. 124. Contraintes Contraintes associées• Les capteurs consomment de la batterie o Nactiver le GPS / Bluetooth / Wifi dans une application que lorsque cest nécessaire• Problèmes liés au soleil o adapter la luminosité, o adapter des layouts différents entre usage dedans et usage dehors ?
  125. 125. Contraintes Contraintes associées• Perte de lisibilité, par exemple avec linclinaison o changer la luminosité ? la police ?• Problème du tactile avec la pluie, le froid, les gants... gants• Le multitouch implique souvent lusage des deux mains (sauf si on dispose d un support) dun
  126. 126. Contraintes Contraintes associées• Problème du vocal avec le vent, en milieu bruité (centre commercial, maison...) b ité ( t i l i ) o oblige souvent à regarder lécran o prévoir une modalité équivalente
  127. 127. Contraintes Contraintes associées• Difficile dutiliser certaines modalités en marchant h t o tactile : prévoir des zones réactives assez grosses o accéléromètre/gyroscope : compenser les mouvements o adapter automatiquement le layout, la police...?
  128. 128. Conclusion
  129. 129. ConclusionLes smartphones proposent des capteurs qui offrent desservices de base qui ne demandent qu à être utilisés et quàcombinés pour de nouvelles interactions soyons inventifs !!!! yAttention aux problèmes dergonomie d ergonomieLeL smartphone : h o un nouveau couteau suisse ? o notre nouveau compagnon inséparable ? é o Attention à la « nomophobie » !
  130. 130. Liens • http://mathias-seguy.developpez.com/cours/android/android-capteurs • http://www.touchqode.com/misc/20101025_jsug/20101025_touchqode_sen sors.pdfet bien sûr... • http://developer.android.com
  131. 131. Questions...? Merci pour votre attentionJean-Claude Tarby Xavier Le Pallec jean-claude.tarby@univ-lille1.fr xavier.le-pallec@univ-lille1.fr www.lifl.fr/~tarby www.lifl.fr/~lepallex

×