Your SlideShare is downloading. ×
Les tests utilisateurs pour les petits budgets
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Les tests utilisateurs pour les petits budgets

268
views

Published on

Intervention de 20 min réalisée aux Rencontres Interactives de novembre 2012

Intervention de 20 min réalisée aux Rencontres Interactives de novembre 2012

Published in: Technology

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
268
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
9
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Les tests utilisateurs pour les petits budgets Assistance à la Maîtrise d’ouvrage (AMOA) Ergonomie Design
  • 2. Sondage 1) Qui a déjà organisé des tests utilisateurs ? 2) Qui compte le faire ?
  • 3. Plan Méthodes d'amélioration ergonomiques Les évaluation expertes Les expérimentations Les tests utilisateurs
  • 4. Les évaluations expertes ● Se basent sur l’avis d’un ou plusieurs experts. ● ● Ne nécessitent pas la présence d’utilisateurs. Nielsen conseille 3 évaluateurs car c’est meilleur rapport entre le nombre de défauts trouvés et le coût. L’expérience des évaluateurs influe sur la qualité des résultats. ➔ Évaluation heuristique. ➔ ● Inspection cognitive. ➔ L’analyse de conformité aux recommandations.
  • 5. Les évaluations expertes Évaluations heuristiques Principe : Technique réalisée par des experts évaluateurs qui inspectent une interface et jugent sa conformité avec un ensemble de principes d'utilisation. L'objectif est de détecter les aspects positifs et négatifs du point de vue de l’utilisabilité et à en déduire des recommandations d’amélioration adaptées. Avantages : ● Pas d’utilisateur. ● Inconvénients : Organisation rapide et feedback rapide ● ● Les évaluateurs (formés à la méthode) ne sont pas nécessairement des experts en ergonomie. ● ● Coût réduit ● Il n’y a pas vraiment de liens avec l’activité réelle. L’évaluateur n’est pas un utilisateur, il peut donc passer à côté de certains défauts, par exemple en ce qui concerne la compréhension des libellés. Cette méthode à tendance à produire des faux-positifs c’est-à-dire des défauts d’ergonomie qui n’en sont pas réellement.
  • 6. Les évaluations expertes Évaluation heuristique Références : ● Les critères ergonomiques de Bastien & Scapin chez ErgoLab ● Les critères ergonomiques de Bastien & Scapin chez Ergoweb.ca ● Les heuristiques de Nielsen ● Exemple d'évaluation Heuristique sur un jeu Ipad
  • 7. Les évaluations expertes Inspection cognitive Principe : Les évaluateurs passent en revues l’ensemble des écrans se posant quatre questions et relèvent les défauts d’ergonomie. Le but étant que l’évaluateur se mette dans la position d’un utilisateur : ● Les utilisateurs vont-ils tenter d’exécuter les actions appropriées ? ● Les utilisateurs sauront-ils que les actions appropriées sont permises ou disponibles ? ● Les utilisateurs vont-ils associer aux effets souhaités les actions appropriées ? ● Lorsque les actions seront effectuées l’utilisateur pourra-t-il se rendre compte des traitements en cours ? Avantages : ● ● ● La méthode ne nécessite pas d’utilisateur. Elle peut être mise œuvre facilement et rapidement. Le coût est réduit Inconvénients : ● ● Il n’y a pas vraiment de liens avec l’activité réelle. L’évaluateur n'est pas forcement compétent pour comprendre le contexte métier (lexique, enjeux, motivation, etc...) des « vrais » utilisateurs. Références : L'inspection cognitive (Cognitive walkthrough) sur wikipédia
  • 8. Les évaluations expertes L’analyse de la conformité aux recommandations Principe : On évalue la conformité des éléments de l’interface aux recommandations publiées dans des guides de conception. Exemples : ● Web Style Guide Online de Patrick J. Lynch & Sarah Horton ● User interface guideline Android ● User interface guidelines Iphone ● Windows User Experience Interaction Guidelines ● Guidelines for Designing User Interface Software de Smith & Mosier (SAM) Avantages : ● ● L’analyse est peu dépendante de l’expertise de l’évaluateur. Elle est exhaustive et précise. Inconvénients : ● Le contexte d’utilisation et l’utilisateur ne sont pas pris en compte.
  • 9. Les expérimentations ● Les expérimentations se basent sur une démarche scientifique expérimentale. Cette démarche consiste à formuler des hypothèses qui sont validées ou non par un protocole de tests. Eyetracking ➔ ● ➔ A/B testing et tests multivariés ➔ Expérimentations scientifiques ➔ ● Le protocole de tests compare différentes conditions en mesurant certaines variables. Outils d'évaluation automatiques
  • 10. Les expérimentations L’eye tracking Principe : L’eye tracking consiste à enregistrer les déplacements oculaires de l’utilisateur sur l’écran. On peut tirer de ces enregistrements différentes données, notamment une représentation graphique avec les zones les plus regardées et le parcours « moyen » du regard. Attention, ce sont les déplacements oculaires que l’on enregistre et non l’activité du cerveau ! On peut regarder, sans voir, voir sans comprendre, comprendre sans en tenir compte. C’est une technique adaptée pour réaliser des expérimentations et non des tests utilisateurs. Avantages : ● ● On obtient des données précises sur le parcours oculaire de l’utilisateur. il est possible d’obtenir des réponses précises et valides à certaines hypothèses complexes. Inconvénients : ● ● ● Souvent utilisé à mauvais escient, par exemple, pour trouver des défauts d’ergonomie. Nécessite du matériel spécifique et un labo aménagé > Processus coûteux. Il faut faire passer un nombre important d’utilisateurs. Références : Définition de l'eyetracking sur Wikipédia (eng)
  • 11. Les expérimentations A/B testing et tests multivariés Principe : Généralement utilisée sur les sites d’e-commerce, cette technique, issue du marketing, consiste à mettre en ligne plusieurs versions d'un gabarit en modifiant des éléments, comme le libellé, la taille et la couleur d’un bouton, l’organisation d’une fiche produit, etc… On mesure alors certaines variables comme le taux de transformation, le panier moyen, etc… Avantages : ● ● La situation est réelle et non une situation de laboratoire. Les résultats obtenus sont facilement généralisables à la population cible (nombre important d’utilisateur et public réel), voir c’est la population cible qui est testée. Inconvénients : ● ● Nécessite des modifications techniques sur le site en production afin de générer les différentes pages et le suivi. Il faut faire varier les bons facteurs et donc faire des hypothèses en amont. Références : Définition de l'A/B testing sur Wikipédia
  • 12. Les expérimentations Expérimentations scientifiques Principe : Les expérimentations scientifiques sont des protocoles de tests qui ont pour but de valider ou non des hypothèses. La forme de ces expérimentations peut être très variable suivant les cas, mais le but est de répondre à une question précise. Pour cela, on fixe l’environnement, on compare différents dispositifs et on mesure différentes variables. Avantages : ● La validité des réponses obtenues. Inconvénients : ● ● La mise en place nécessite une métrologie précise et donc une expertise certaine. Le coût est assez élevé car l’ensemble du processus est relativement long.
  • 13. Les expérimentations Exemple : quel dispositif pour la saisie du texte sur la TV ? Protocole : Tests avec 3 dispositifs : ● Mode SMS simple ● Mode SMS avec une représentation à l’écran. ● Clavier virtuel 36 utilisateurs : ● des experts du mode SMS (multi-press). ● des non-experts. Temps de réalisation des tâches. 2 tâches : ● Tâche 1 : saisie d’une adresse mail : «pippo@libero.com ». ● Tâche 2 : la saisie d’un texte court : «Le soleil et la neige». Tous les utilisateurs passaient sur tous les dispositifs et toutes les tâches. Pourcentages de tâches incomplètes.
  • 14. Les expérimentations Outils d'évaluation automatiques ● ERGOVAL ● KRI/AG ● CHIMES ● SYNOP ● Mahajan et Shneiderman
  • 15. Les tests utilisateurs ● ● ● Nécessitent la présence des utilisateurs-testeurs. ➔ Les testeurs passent chacun leur tour. Les testeurs doivent suivre des scénarios déterminés à l'avance en fonction de ce que l'on cherche à tester. ➔ ➔ Les tests utilisateurs «classiques» en laboratoire. Les tests avec l'entourage. Les tests utilisateurs à distance. Objectif : Identifier les problèmes d'utilisabilité ● Attention, les tests ne sont pas des focus groups ! Les testeurs ne sont pas là pour proposer des améliorations. ●
  • 16. Les tests utilisateurs Tester quoi ? ● Wireframes ● A quel moment ? Compos graphiques ● Des prototypes HTML/ serveur de test ● Un site existant en production ● Une application ● Un système embarqué ● Un logiciel ● ... ● ● ● En avant vente, comme argumentaire commercial En conception En production / Comme outil d'amélioration du site dans son cycle de vie.
  • 17. Les tests utilisateurs : Tuer le mythe « Avec 5 testeurs, on décèle 85 % des problèmes d'utilisabilité » 0/20 Modèle de Nielsen : Permet d'identifier le nb minimum de testeurs afin de permettre de déceler un nombre suffisant de problèmes. i P(i) = N(1-(1-L) ) Nb de problèmes trouvés ● Nb d'utilisateurs Nb total de problèmes Proportion de problèmes du site rencontrés par un utilisateur « N» est prédictible grâce à un modèle mathématique, mais uniquement sur la base d'un pré-test et il reste théorique ● « L » est une variable spécifique à chaque site, chaque type de test et chaque équipe de test Référence : Un calculateur en ligne
  • 18. Les tests utilisateurs : Tuer le mythe Questions fréquentes : Combien de testeurs sont nécessaires pour trouver le plus de problèmes critiques ? ● Il est possible de le définir grâce au modèle mathématique de Nielsen, sur la base d'un pré-test. Peut-on trouver tous les problèmes ? ● ● Non, car plus on teste, plus on trouve de problèmes. Par contre, la probabilité d'identifier les problèmes critiques augmente. Plus il y a de testeurs, plus vous identifier de problèmes. Quelle méthodes choisir ? En fonction de son contexte. Toutes les méthodes ont des objectifs, des résultats et des applications différentes. ● Plus vous utilisez de types de tests, plus vous améliorer les résultats. ●
  • 19. Les tests utilisateurs Cycle de l'amélioration continue 1 ● ● ● ● ● ● 3 4 5 Phase préparatoire ● 2 Récolte des données Analyse des données Implément. des solutions Analyse des résultats Identification des pts clefs à tester Scénarios Recrutement des utilisateurs Mode de rémunération Matériel Lieu Logiciels ● ● ● ● ● ● Accords de participation et de confidentialité. Pilotage des cessions par un facilitateur Questionnaire Test scénarisé Enregistrement de cession Debriefing ● Analyses d'experts ● ● ● ● A/B testing Modifications Évolutions Mise en place de marqueurs de contrôle. ● ● Analyses d'experts Ça a fonctionné ou pas ?
  • 20. Les tests utilisateurs Test utilisateurs « classiques » en laboratoire Principe : Les tests utilisateurs se passent dans un environnement dédié, généralement constitué d’une « régie »séparée de la salle de test par une vitre sans teints et Piloté par un facilitateur. Les sessions de tests sont filmées (écran, utilisateurs,… ). Ces enregistrements sont, par la suite, étudiés en détails. Avantages : ● ● Tous types de service, sur différents supports peuvent être testés (Téléphone, tablette, TV) voir avec des interactions croisées entre les supports. La qualité des résultats obtenus. Inconvénients : ● ● C’est relativement long à mettre en place (recrutement, préparation de l’environnement de test, dépouillement). Le rapport coût/résultat n’est pas toujours celui attendu notamment si les hypothèses initiales ont mal été posées.
  • 21. Les tests utilisateurs Test de proximité avec l'entourage Principe : Réaliser soi-même les tests afin d’en réduire le coût. Les tests peuvent être réalisés dans les locaux de l’entreprise avec les moyens existant (salle de réunion, ordinateur portable, etc…). Le recrutement se fait au mieux, à la cantine, chez les étudiants, les collègues. Le but est de détecter des défauts d’ergonomie à corriger et pas nécessairement tous les défauts. Avantages : ● ● La mise en place est relativement simple et légère. Le coût est très réduit, quelques dizaines d’euros par utilisateur et éventuellement un logiciel de capture d’écrans (50 € maximum). Inconvénients : ● ● ● Les utilisateurs vont avoir tendance à faire plaisir et donc à avoir un avis majoritairement favorable. Les résultats observés se limitent à l’échantillon. Ils ne sont pas généralisables.
  • 22. Quelques logiciels de capture vidéo EXPRESSION ENCODER Gratuit Gratuit CAMTASIA STUDIO SILVERBACK 282,00€ $69.95 Gratuit
  • 23. Les tests utilisateurs Rôle du facilitateur ● Pilote la session de tests ● Pas forcement un ergonome. ● Se présenter en tant qu'observateur indépendant (pas en tant que personne impliquée dans le projet) ● Aider l'utilisateur à rester dans le scénario prévu. ● Résoudre les problèmes d'ordre technique (plantage du navigateur, etc..). ● Inciter l'utilisateur à penser à haute voix. ● Donner la compensation au testeur en début de test pour que les testeurs ne cherchent pas à faire plaisir pendant le test pour mériter la compensation. ● Réinitialiser le test, notamment l'historique du navigateur: liens visités, autocomplétion... ● Surveiller le temps des actions et limiter la session à 20 minutes.
  • 24. Les tests utilisateurs Quelques astuces ● Pour les tests avec de « faux » utilisateurs : N'hésitez pas à créer des personas pour que les testeurs se glissent mieux dans la peau des utilisateurs finaux. ● Les testeurs proches (famille, amis...) : attention aux avis positifs pour faire plaisir ● Les testeurs chez le client : attention aux avis métier ● ● ● ● Les testeurs qui ont participer à la conception : attention aux avis qui minimisent les problèmes. Précisez que l'objet de l'étude c'est la qualité de l'interface et pas leur compétences. Si vous avez déjà un site en production n'hésitez pas à solliciter vos « vrais » utilisateurs pour tester vos version futures. Ils sont en général assez partants pour participer aux tests. Rémunérer les utilisateurs ne bons d'achat, bon de réduction.
  • 25. Les tests utilisateurs Questions génériques avant de commencer le test ● L'objectif du site est-il clair ? ● L'audience du site peut-elle clairement s'identifier ? ● Le site est-il utile et pertinent pour ce public ? ● Le site est-il intéressant et attirant ? ● Le site permet-il aux visiteurs de réaliser toutes les tâches qu'ils veulent accomplir ? ● Les visiteurs peuvent-ils accomplir facilement ces tâches ? ● Le contenu et l'organisation des informations sont-ils cohérents avec l'objectif du site ? ● L'information importante est-elle facile à trouver ? ● Toutes les informations sont-elles claires, faciles à comprendre et à lire ? ● Le visiteur sait-il toujours où il est et comment faire pour aller où il veut ? ● Le graphisme est-il agréable ? ● Les pages se chargent-elles suffisamment vite ?
  • 26. Les tests utilisateurs Test utilisateur à distance Principe : Les utilisateurs réalisent les tests à partir de leur ordinateur chez eux. Les parcours sont enregistrés sous la forme généralement d’une capture de l’écran et de la webcam de l’utilisateur. Avantages : ● ● ● Des services notamment anglophones proposent des outils complets pour faire l’ensemble des tests. Le coût par utilisateur est relativement bas (30/50€). Il varie en fonction de la spécificité du public recherché. Les résultats sont obtenus généralement rapidement (sous une semaine). Inconvénients : ● ● ● ● ● Il faut avoir un service fonctionnel et accessible à partir d’internet. Le mode de recrutement des testeurs pose question La motivation des testeurs pose questions. Pas de facilitateur / contrôle aléatoire du respect des scénarios. Certains publics ne sont pas accessibles par ce canal (personnes âgées, enfants, etc…).
  • 27. Quelques services de tests online Services anglophones : – usertesting.com – trymyui.com – gweezy.com – userlytics.com – intuitionhq.com Service francophones : – evalyzer.com, le service de testing à distance de Christian Bastien – appili.com et supergonomie.com ou les utilisateurs semblent moins impliqués, moins réactifs – usabilla.com Divers : • possibilité un peu différente: testapic.com: ce ne semble pas vraiment être un test utilisateur, plutôt un test marketing. • youeye.com permettrait de réaliser une carte de chaleur du site analysé; ce n'est pas encore disponible mais ça semble intéressant. • userzoom.com • loop11.com • utetool.com
  • 28. Conclusion Faites des tests !

×