Tester vos sites, mythes et réalités, Parisweb 2011

592 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
592
On SlideShare
0
From Embeds
0
Number of Embeds
36
Actions
Shares
0
Downloads
8
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Tester vos sites, mythes et réalités, Parisweb 2011

  1. 1. Tester vos services, mythes et réalités ! Raphaël Yharrassarry iErgo
  2. 2. iErgo r tb ox Jare dS poo CU l E3 CU E4 Ale Insp Tes ectio Aujourd’hui ISO t U. n Heu rist 202 i qu 82e 3 CU E8 2009 2000 2001 2003 2004 E2 1998 CU 1993 Niels en
  3. 3. 5 utilisateurs suffisent pour trouver 85 % des problèmes d’ergonomie. Jakob Nielsen 2000 : http://www.useit.com/alertbox/20000319.html 1993 : A Mathematical Model of the Finding of Usability Problems iErgo
  4. 4. iErgo UE 3 CU E4 l rtb Jare ox dS poo C Ale Insp Tes ectio Aujourd’hui ISO t U. n Heu rist 202 i qu 82e 3 CU E8 2009 2000 2001 2003 2004 2 Nie lsen 1998 CU E 1993
  5. 5. P  (i)  =    N(1-­‐(1-­‐L)+) Nombre de problèmes trouvés Nombre d’utilisateurs Nombre total de problèmes Proportion de problèmes rencontrés par un utilisateur iErgo
  6. 6. 16,87  =    20(1-­‐(1-­‐0,31)⁵) 85  % 16,87 problèmes trouvés 20 problèmes au total un utilisateur rencontre en moyenne 31% des problèmes. 5 utilisateurs iErgo
  7. 7. { L  =  0,31  ?   Proportion de problèmes rencontrés par un utilisateur 5 tests utilisateurs : L de 0,12 à 0,32 6 évaluations heuristiques : L de 0,21 à 0,58 A Mathematical Model of the Finding of Usability Problems, Jakob Nielsen and Thomas K. Landauer, InterCHI 1993 iErgo
  8. 8. N  ? Comment connaître le nombre N total de problèmes ? iErgo
  9. 9. iErgo Spo ol Insp Tes ectio Aujourd’hui ISO t U. n Heu rist 202 i qu 82e 3 CU E8 2009 4 2000 Alertb ox 2001 Ja red 2003 CUE 3 2004 CUE E2 1998 CU 1993 Niels en
  10. 10. En pratique, 5 utilisateurs, ça ne suffit pas ! Testing Web sites : Five user is nowhere near enough, Jared Spool, Will Schroeder. CHI 2001 iErgo
  11. 11. L est spécifique à chaque site. P  (i)  =    N(1-­‐(1-­‐L)i) L : Proportion de problèmes rencontrés par un utilisateur iErgo
  12. 12. Que sait on des méthodes d’évaluations ? iErgo
  13. 13. CUE Comparative Usability Evaluation http://www.dialogdesign.dk/CUE.html iErgo
  14. 14. 8 études scientifiques de 1998 à aujourd’hui, comparant divers méthodes d’évaluations. iErgo
  15. 15. Peut-on trouver tous les problèmes ? iErgo
  16. 16. iErgo E4 CU r tb ox Jare dS poo CU l E3 Ale Insp Tes ectio Aujourd’hui ISO t U. n Heu rist 202 i qu 82e 3 CU E8 2009 2000 2001 2003 2004 E2 1998 CU 1993 Niels en
  17. 17. CUE 4 : 17 équipes ; Des méthodes différentes. iErgo
  18. 18. Nombre de problèmes 250 205 200 150 100 51 50 0 31 0 2 1 3 16 ; 17 14 ; 15 12 ; 13 10 ; 11 3 6 5 5 9 8 7 6 11 5 17 4 3 2 1 Problèmes trouvés par x équipes sur 17. CUE 4 : 17 équipes ; Des méthodes différentes ; 340 problèmes ; 61 problèmes critiques trouver par une seule équipe. iErgo
  19. 19. Plus on test, plus on trouve ! N  reste théorique.   P  (i)  =    N(1-­‐(1-­‐L)i) N : Nombre total de problèmes iErgo
  20. 20. Que faire pour trouver les problèmes critiques ? iErgo
  21. 21. iErgo E2 CU Insp Tes ectio Aujourd’hui ISO t U. n Heu rist 202 i qu 82e 3 CU E8 2009 E4 CU 2000 Alertb ox 2001 Jared Spo ol 2003 C UE 2004 3 1998 1993 Niels en
  22. 22. Mineur Sérieux Critique Un problème critique peut engendrer une catastrophe ; Une situation où le site Web met en échec l’utilisateur. iErgo
  23. 23. 400 340 320 310 240 220 160 80 61 29 0 CUE-2 24 CUE-3 CUE-4 Nombre total de problèmes. Problèmes critiques ou sérieux trouvés par une seule équipe. iErgo
  24. 24. iErgo Insp Tes ectio Aujourd’hui ISO t U. n Heu rist 202 i qu 82e 3 E8 r tb ox Jare dS poo CU l E3 CU E4 Ale CU 2009 2000 2001 2003 2004 E2 1998 CU 1993 Niels en
  25. 25. CUE 8 : Un même site, Une même consigne, Trois mesures imposées : temps, succès et satisfaction, 15 équipes. http://www.dialogdesign.dk/CUE.html iErgo
  26. 26. 60 secondes, Accroche marketing ou réalité ? iErgo
  27. 27. De 60s à 1244 s pour la réalisation des tâches. iErgo
  28. 28. Rent a car in just 60 secondes ? 2 équipes : Reformuler 3 équipes : Plus de recherches 4 équipes : Ok 5 équipes : 90, 120, 180,180,240s iErgo
  29. 29. Définir strictement les procédures de mesures. iErgo
  30. 30. Toujours mesurer : le temps de réalisation des tâches, le taux de succès, la satisfaction. iErgo
  31. 31. Exclure les temps des échecs du calcul des moyennes. iErgo
  32. 32. Recruter des utilisateurs strictement représentatif de la population cible. iErgo
  33. 33. A retenir des études CUE iErgo
  34. 34. Les analyses d’experts sont aussi efficaces que les tests utilisateurs. iErgo
  35. 35. Même avec des moyens faibles, il est possible d’alimenter le processus de conception. iErgo
  36. 36. P  (i)  =    N(1-­‐(1-­‐L)+) N  et  L  doivent  être  dé@inis  sur  la   base  d’un  pré-­‐test.   iErgo
  37. 37. « 5 utilisateurs permettent de conduire un processus de conception itératif. » iErgo
  38. 38. ISO Tes t rist heu 202 823 U. ion ect Insp 8 1993 Niels en 1998 CUE 2 2000 Alert box 2001 Jared Spo 2003 CUE ol 3 2004 CUE 4 2009 CUE Aujourd’hui iErgo iqu e
  39. 39. Quelle méthode à quel moment du projet ? iErgo
  40. 40. ISO 202 823 Insp ect heu ion rist iqu Tes e tU . 8 1993 Niels en 1998 CUE 2 2000 Alert box 2001 Jared Spo 2003 CUE ol 3 2004 CUE 4 2009 CUE Aujourd’hui iErgo
  41. 41. Une méthode d’inspection heuristique «à ma façon». iErgo
  42. 42. Méthodologie, Préparation > passation > synthèse Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo
  43. 43. Préparation 1 à 3 inspecteurs. 4 tâches en fonction des usages. La 5éme tâche est un parcours libre. Déterminer plus ou moins précisément le parcours suivant le résultat attendu. la grille d’évaluations. Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo
  44. 44. Description de la tâche Critères Compatibilité Sur Google Mail, à partir de l’adresse http://mail.google.com/, avec un compte existant, Envoyer un email avec une pièce jointe à xx@gmail.com Ecran et description du problème Occurren E-mail/boite de réception E-mail/nouveau message ces 0 Guidage - Incitation - Groupement/distinction 0 0 1 - Feedback Immédiat - Lisibilité 0 0 Les critères de Bastien et Scapin, par ordre d’usage. (Bach, Scapin, 2003) La barre d’outils de gauche présente un contenu hétérogène : des contacts, des messages, des tâches mais aussi des dossiers et des actions. Le nombre de problème par critères un problème par case, sur plusieurs colonnes si besoin. Rappel de la tâche et iErgo étapes (écrans).
  45. 45. Passation Passez en revue les 5 tâches décrites, sur la base de la méthode de l’inspection cognitive, en se plaçant dans la position de l’utilisateur. Inscrire dans la case correspondante dans la grille en prenant en compte l’aspect le plus important du défaut. Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo
  46. 46. Un exemple avec Gmail, sur une tâche simple «Envoyer un email». iErgo
  47. 47. Description de la tâche Critères Compatibilité Sur Google Mail, à partir de l’adresse http://mail.google.com/, avec un compte existant, Envoyer un email avec une pièce jointe à xx@gmail.com Ecran et description du problème Occurrences E-mail/boite de réception E-mail/nouveau message 0 Guidage - Incitation - Groupement/distinction 0 0 1 - Feedback Immédiat - Lisibilité 0 0 Contrôle explicite - Actions Explicites - Contrôle Utilisateur 0 0 0 Signifiance des codes et dénominations Charge de travail - Brièveté + Concision + Actions minimales - Densité informationnelle 0 0 0 0 0 0 1 Adaptabilité - Flexibilité - Prise en compte de l'expérience utilisateur 0 0 1 Homogénéité/cohérence 0 Gestion des erreurs - Protection contre les erreurs - Qualité des messages d'erreur - Correction des erreurs 0 0 0 0 Total pour la tâche 3 La barre d’outils de gauche présente un contenu hétérogène : des contacts, des messages, des tâches mais aussi des dossiers et des actions. Le bandeau «Publicité» présente des informations sans liens avec le contenu. Aucun raccourcis clavier Une fois le problème détecter, il est classé suivant le critères principale. iErgo
  48. 48. Suite de la tâche : «Envoyer un email» iErgo
  49. 49. Description de la tâche Critères Compatibilité Sur Google Mail, à partir de l’adresse http://mail.google.com/, avec un compte existant, Envoyer un email avec une pièce jointe à xx@gmail.com Ecran et description du problème Occurrences E-mail/boite de réception E-mail/nouveau message 0 Guidage - Incitation - Groupement/distinction 0 0 1 - Feedback Immédiat - Lisibilité 0 0 Contrôle explicite - Actions Explicites - Contrôle Utilisateur 0 0 0 Signifiance des codes et dénominations Charge de travail - Brièveté + Concision + Actions minimales - Densité informationnelle 0 0 0 0 0 0 1 Adaptabilité - Flexibilité - Prise en compte de l'expérience utilisateur 0 0 1 Homogénéité/cohérence 1 Gestion des erreurs - Protection contre les erreurs - Qualité des messages d'erreur - Correction des erreurs 0 0 0 0 Total pour la tâche 4 La barre d’outils de gauche présente un contenu hétérogène : des contacts, des messages, des tâches mais aussi des dossiers et des actions. Le bandeau «actualité» présente des informations sans liens avec le contenu. Aucun raccourcis clavier Les actions «Ajouter», «Joindre» sont présentées comme des liens et non des actions comme «Envoyer». iErgo
  50. 50. Synthèse La grille permet de réaliser facilement une synthèse entre inspecteurs. Comparer deux versions d’une même service. Comptabiliser les défauts par critère ? Défauts ponctuels, d’autres transverses. Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo
  51. 51. Quand ? Au début, sur les maquettes ; Lors de la recette, dans un processus de qualité. iErgo
  52. 52. ISO U. rist heu 202 823 Tes t ion ect Insp 8 1993 Niels en 1998 CUE 2 2000 Alert box 2001 Jared Spo 2003 CUE ol 3 2004 CUE 4 2009 CUE Aujourd’hui iErgo iqu e
  53. 53. Les tests U. iErgo
  54. 54. Test U. Utilisateur ou Utilisabilité ? iErgo
  55. 55. Quand ? En cours de projet. iErgo
  56. 56. Comment ? Avec les ressources dont vous disposez ! Des «Test kitchen», des cobayes recrutés dans le couloir, à la cantine, dans la famille,... Des tests à distances. iErgo
  57. 57. Adapter la volumétrie des tests à vos capacités de correction. iErgo
  58. 58. Comment optimiser le nombre d’utilisateur ? iErgo
  59. 59. http://www.measuringusability.com/ problem_discovery.php iErgo
  60. 60. Saisir les résultats du pré-test. http://www.measuringusability.com/problem_discovery.php iErgo
  61. 61. Saisir, par utilisateur, les problèmes et calculer ! http://www.measuringusability.com/problem_discovery.php iErgo
  62. 62. Contempler le résultat ! http://www.measuringusability.com/problem_discovery.php iErgo
  63. 63. U. ISO Tes t rist heu e 3 iqu 202 82- ion ect Insp 8 1993 Niels en 1998 CUE 2 2000 Alert box 2001 Jared Spo 2003 CUE ol 3 2004 CUE 4 2009 CUE Aujourd’hui iErgo
  64. 64. ISO 20282-3 Disponible sur le site de l’AFNOR iErgo
  65. 65. Facilité d'emploi des produits quotidiens Partie 3: Méthode d'essai pour produits de consommation courante iErgo
  66. 66. Efficacité Efficience Satisfaction iErgo
  67. 67. Exemple, accéder à une info. (TV connectée LG, par Orange) iErgo
  68. 68. Effectif de l'échantillon : 48 Nombre de succès : 45 Taux de succès de l'échantillon : 93,75 % Le taux de succès minimal inféré à la population mère est de : 90,06 % avec une confiance de : 80 % Efficacité, exemple de résultats obtenu pour un scénario. iErgo
  69. 69. La durée moyenne de réalisation inférée à la population mère est comprise entre : 15,59 et 20,07 secondes avec une confiance de : 80% Efficience, exemple de résultats obtenu pour un scénario. iErgo
  70. 70. -2 -1 0 1 2 Le taux de satisfaction sur l'objectif est : 1,54 Satisfaction, exemple de résultats obtenu pour un scénario. iErgo
  71. 71. a)  Identifier le produit à soumettre à essai, b)  Identifier le contexte d’utilisation prévu (utilisateurs, tâches et environnement), c)  Vérifier que le produit est compatible avec les caractéristiques des utilisateurs cibles, d)  Décider d’essayer un ou plusieurs groupes, e)  Identifier les mesures requises et si des valeurs sont requises pour ces mesures, ou bien s’il s’agit de comparer deux résultats, f)  Sélectionner un groupe d’utilisateurs représentatif du groupe d’utilisateurs cible du produit, g)  Établir un mode opératoire d’essai comprenant un groupe représentatif d’utilisateurs pour utiliser le produit afin d’atteindre les objectifs principaux d’utilisation, h)  Mesurer le taux de succès et, éventuellement, le temps de réalisation de la tâche et la satisfaction (par l’intermédiaire d’un questionnaire), i)  Calculer l’efficacité d’emploi (taux de succès en pourcentage) et, éventuellement, l’efficience d’emploi (temps médian de réalisation de la tâche) et la satisfaction lors de l’emploi (moyenne des notes du questionnaire), j)  Élaborer un rapport complet et/ou un court résumé, Mode opératoire d’essai, étapes devant être suivies iErgo
  72. 72. Quand ? En fin de projet, pour «certifier» un service avant la mise en production. iErgo
  73. 73. Une norme internationale. iErgo
  74. 74. Reproductibles Généralisables à la population cible Comparables Les avantages d’une norme iErgo
  75. 75. 20 à 50 utilisateurs Mais ça va plus vite qu’un test U ! Autres avantages et inconvénients iErgo
  76. 76. Le dépouillement est plus simple, plus rapide ! Par scénario : réussite ou échec, temps et satisfaction. Autres avantages et inconvénients iErgo
  77. 77. Un fichier Excel peut simplifier la vie ! source : Daniel Bailleul http://www.measuringusability.com/products/ iErgo
  78. 78. ISO Tes t rist heu 202 823 U. ion ect Insp 8 1993 Niels en 1998 CUE 2 2000 Alert box 2001 Jared Spo 2003 CUE ol 3 2004 CUE 4 2009 CUE Aujourd’hui iErgo iqu e
  79. 79. Questions ? Retrouvez cette présentation : http://wp.me/pKaTq-Gx iErgo
  80. 80. Raphaël Yharrassarry www.iergo.fr raphael@iergo.fr iergo Retrouvez cette présentation : http://wp.me/pKaTq-Gx iErgo

×