Conceptualisation du construit d'utilisabilité - HEC Montréal - Février 2008

Slide 1: Conceptualisation du construit d’utilisabilité: application au cas des sites intranets Projet de recherche de MSc, HEC Montréal Camille Grange Étudiante au Doctorat, UBC 22 Février 2008

Slide 2: 0. Plan 0 1 2 3 4 5 6 1. Origine et objectifs 3. Revue de littérature 5. Modèle de recherche 7. Méthodologie 9. Analyses et résultats 11. Contributions Utilisabilité des intranets - 22 Février 2008 - C.Grange 2

Slide 3: 1. Origine du projet 0 1 2 3 4 5 6 • Utilisabilité dans l’industrie  Besoins d’un cadre de réflexion, d’un outil de mesure • Utilisabilité dans la recherche (IHM, SI) Beaucoup de listes ad hoc Dans l’ensemble confus – “… a hodgepodge collection of do-it-yourself categories and various collections of rules-of-thumbs.” Gray et Salzman 1998 – ‘… a fuzzy concept…difficult to evaluate and impossible to measure”. Bevan et MacLeod 1994 – “… a multidimensional creature that changes its nature according to prevailing circumstances.” McClelland (dans Olson et Moran 1998) Utilisabilité des intranets - 22 Février 2008 - C.Grange 3

Slide 4: 1. Objectifs de recherche 0 1 2 3 4 5 6 • …et pourtant l’utilisabilité est considéré comme un facteur clé de succès des SI Landauer (1996) McQueen (2005) Nielsen (2000 et 2006) • Objectifs de cette recherche: – Approfondir la compréhension du concept d’utilisabilité – Déveloper une conceptualisation “utile”: critères de conception contrôlables, c'est-à-dire évaluables et corrigeables – Appliquer et tester ce cadre dans un contexte ‘Intranet’ Utilisabilité des intranets - 22 Février 2008 - C.Grange 4

Slide 5: 2. Utilisabilité: différentes perspectives 0 1 2 3 4 5 6 Intrinsèque Performance Mixe •Shahizan (2005) •ISO 9241-11 (1998) •Seffah Donyaee Kline •Keenan et al. (1999) •Bevan (1994-1995) Padda (2006) •Keevil (1998) •Nielsen (1993) •Agarwal et Venkatesh •Bastien & Scapin (1995) •Shackel (1991) (2002) •Palmer (2002) Qualité des messages Efficacité Facilité d’utilsation -Seffah et al.: d’erreur perçue par ex. Navigabilité et Efficience Taille des menus lisibilité versus Satisfaction Utilité d’utilisation efficacité et Temps de perçue satisfaction Facilité téléchargement d’apprentissage -Agarwal et Venkatesh: Qualité du contenu Contenu et Flexibilité Effort mental Davis (1986, 1989) Flexibilité de l’interface versus Facilité Rétention d’utilisation et Émotion Densité (…) informationnelle (…) Utilisabilité des intranets - 22 Février 2008 - C.Grange 5

Slide 6: 2. Utilisabilité: différentes perspectives 0 1 2 3 4 5 6 Mesures Intrinsèques Initial access Mesures de Download delay Display rate Performance Organization Sequence Navigation User satisfaction Arrangement Layout Product information Web site Frequency of use Content success Variety of products Customization Interactivity Likelihood of return Interactivity Feedback Responsiveness FAQ Palmer (2002) Utilisabilité des intranets - 22 Février 2008 - C.Grange 6

Slide 7: 2. Revue de littérature: récapitulatif 0 1 2 3 4 5 6 • Perspective « Performance » – A + : Décisions ‘Go/No go’ sur la base d’un critère de score – A - : On ne sait pas quel élément TI cause une bonne / mauvaise performance • Perspective « Intrinsèque » – A + : Inspection d’éléments contrôlables – A + : Les scores de ces indicateurs permettent d’identifier les progrès à apporter • Perspective « Mixte » – A - : On n’aime pas ça comparer des pommes et des oranges! – A + : Le modèle de Palmer (2002) sépare causes (indicateurs intrinsèques) et effets (indicateurs de performance)  Conceptualisation intrinsèque  Construit formatif plutôt que réflexif (les 7 critères de Jarvis et al., 2003)  Besoin d’un cadre théorique  Inclusion des indicateurs de performance dans un réseau nomologique Utilisabilité des intranets - 22 Février 2008 - C.Grange 7

Slide 8: 3. Choix et adaptation du cadre théorique 0 1 2 3 4 5 6 - Structure du modèle - Garrett (2004)  Le cas d’un type de SI: les intranets - Spécification des indicateurs et classification - Agarwal et Venkatesh (2002) - Palmer (2002) - Shahizan (2005) - Bastien et Scapin (1995) - Entrevues avec 5 experts de l’utilisabilité  Validation  Spécification  Complétude Utilisabilité des intranets - 22 Février 2008 - C.Grange 8

Slide 9: 3. Modèle de recherche 0 1 2 3 4 5 6 Utilisabilité des intranets - 22 Février 2008 - C.Grange 9

Slide 13: 4. Méthodologie 0 1 2 3 4 5 6 • Diamantopoulos et Winkhlofer (2001) : MIMICs Indicateurs Indicateurs réflexifs ε 1 ε 2 réflexifs ζ1 ζ2 Y1 Y2 Y1 ε1 λ1 λ2 λ1 β ζ η1 η2 λ2 η Y2 ε2 γ1 γ2 γ3 γ1 γ2 γ3 X1 X2 X3 r 12 r 23 X1 X2 X3 r 12 r 23 Indicateurs formatifs r 13 Indicateurs formatifs r 13 • Variables dépendantes – Facilité d’utilisation perçue (PEOU) – Utilité perçue (PU) • Développement des items • Échelles de type Likert : (1 à 5 – de ’fortement en désaccord’ à ‘fortement en accord’) Utilisabilité des intranets - 22 Février 2008 - C.Grange 13

Slide 14: 4. Méthodologie 0 1 2 3 4 5 6 • Enquête électronique • Pré-tests – Clarté des questions (N=12) – Tests technologiques • Échantillonnage de convenance: 3 entreprises Québécoises • Collecte: de Septembre à Novembre 2006 • Taille finale de l’échantillon: N=159 (27 – 89 – 48) Utilisabilité des intranets - 22 Février 2008 - C.Grange 14

Slide 15: 5. Analyses et Résultats 0 1 2 3 4 5 6 • Analyses LISREL  modèles MIMICs de premier ordre – Analyses de la convergence du modèle (“fit”) – Paramètres lambdas – Validité nomologique (beta et R2)  Exemples pour la dimension “Contenu informationnel” • Analyses PLS  modèles de second ordre – Weights / loadings analysis – Validité externe (betas et R2)  Exemples pour le modèle global avec PEOU • Synthèse et comparaison des résultats Utilisabilité des intranets - 22 Février 2008 - C.Grange 15

Slide 16: 5. Analyses et Résultats 0 1 2 3 4 5 6 MIMIC 1 – Contenu informationel MIMIC 1 – Contenu Informationnel X1= (Solution standardisée ) CONT_MAJ N=139 X2= γ 1 = 0.23** CONT_PER ζ1 = 0.41*** X3= γ 2 = 0.23 ** Y 1= ε1 = 0.41*** CONT_COM CONT1 γ 3 = 0.26*** X4= λ 1=0 .77*** CONT_VOC γ 4 = 0.04 Contenu Informationnel γ 5 = 0.02 X5= R2 = 59% λ 2=0 .79*** CONT_ADA γ6 = 0.20** ε 2 = 0.38*** Y 2= X6= CONT2 CONT_RED γ 7 = 0.08 X7= CONT_FOR γ8 = 0.15** Indices de convergence X8= X2 (df, p-value) 11.93 (7, 0.10302) RMSEA 0.07 CONT_REC ECVI 0.75 ECVI (modèle saturé) 0.76 ECVI (modèle indépendant 5.00 ) SRMR 0.021 TLI 0.95 Paramètre fixé à 1 ** p < 0.05 *** p < 0.01 CFI 0.99 Back GFI 0.98 Utilisabilité des intranets - 22 Février 2008 - C.Grange 16

Slide 17: 5. Analyses et Résultats 0 1 2 3 4 5 6 MIMIC nomologique 1.1 – Contenu informationel et PEOU MIMIC Nomologique 1.1 – Contenu informationnel -PEOU (Solution standardisée ) N=138 X1= CONT_MAJ γ1 =0.24*** X2= CONT_PER γ2 =0.22** X3= ζ 1 = 0.40*** CONT_COM ζ 2 =0.59*** γ3 =0.23** Y4= ε4=0.39*** X4= PEOU2 γ4 =0.10 CONT CONT_VOC β1 =0.64*** PEOU λ 4= 0.78*** 2 R = 60% R2 = 41% λ 5= 0.72*** X5= γ5 =0.01 Y5= ε5=0.48*** CONT_ADA PEOU3 γ6 =0.21** λ 1= 0.72*** λ 2= 0.84*** X6= CONT_RED Y1=CONT1 Y2=CONT2 γ7 =0.07 X7= ε1 =0.48*** ε 2=0.29*** γ8 =0.14 CONT_FOR X8= CONT_REC Indices de convergence 2 X (df, p-value) 35.70 (25, 0.0763) SRMR 0.038 RMSEA 0.056 TLI 0.96 ECVI 1.03 CFI 0.99 Paramètre fixé à 1 ** p < 0.05 *** p < 0.01 ECVI (modèle saturé) ) 1.14 ECVI (modèle indépendant 6.90 GFI 0.96 Back Utilisabilité des intranets - 22 Février 2008 - C.Grange 17

Slide 18: 9.1 Modèle formatif de deuxième ordre -PEOU CONT_RIC CONT _FOR CONT_VOC Indice global d’utilisabilité – tous les 48 indicateurs 0.499*** CONT _ADA Nombre d’échantillons générés par le Bootstrap 200 : 0 .566*** 0.648*** [0 .034] [0.94] [0.245 ] N=159 5. Analyses et Résultats CONT_MAJ 0.114 0 1 2 3 4 5 6 0.759*** [0.279] [-0 .06] CONT_REC 0.199 [0.14] CONT_RED 0.753*** CONT [0 .335] 0.727*** CONT_PER [0.274] CONT_COM 0.599*** [0.152] Modèle global : l’utilisabilité en tant TEC_FIAB 0.238 [0 .064] TEC_ADAP 0 .649*** que construit [0.455] TEC _TEMP 0.325** 1. Contenu [0.034] TEC informationnel 0.543*** β =0.302*** formatif de second 1 TEC _INTE [0.323] 0.671*** TEC_LIEN [0.564] ordre 0.555*** [0.315] TEC_RECH β =0 .123** 2. Performance 2 AI_RAPI 0.329** [0 .104] technologique AI_INTUI 0.661*** USAB1 [0.420] 0.757*** AI AI_PERTI [0 .521] β3=0.144** 0.917*** 0.659*** [0.567 ] AI_COUV [0 .454] 3. Architecture 0 .908*** [0.613] PEOU 2 Util1 d’information USAB β9 =0.704*** PEOU NAV_FORM Indicateur réflexif 0.308** [0.231] R2 = 66.8% R2 = 53.4% NAV _CLAR 0 .865*** [0.314] de PEOU No1 0.742*** β4 =0.098 [0.411] 0.905*** PEOU 3 NAV _PREV 0.74 *** [0.381] 4. Design [0.531 ] NAV _LIEN 0.586*** d’interaction Indicateur réflexif NAV_COHE [0.46] 0.295** NAV β5=0.188** Utilisabilité USAB2 PEOU de PEOU No2 [-0.189] 0.22 NAV_DIST [-0.148] 0.343*** β 6=0.11 [- 0.248 ] NAV_EMPL 0.532*** 5. Design Indicateur réflexif [0.226] NAV_LOCA 0.592*** d’interface β =-0 .098 7 de PEOU No3 [0.21] NAV_DEPL β8 =0 .194 *** Util2 ITF_PREV 0.642*** [0 .183] 6. Design de ITF_ADAP 0.849*** [0 .537] ITF navigation 0.855*** ITF_DISP [0.488] 0.537*** ITF_RAPI [0 .027] 7. Design ITR_INTU 0.713*** [0 .329] d’information s 0.841*** ITR_HOMO [0.507] ITR 0.743*** ITR_NBRE [0.454] 0.329** [0 .041] ITR_CONT 8. Design visuel INF_FORM 0.854*** INF [0.521] 0.43*** VIS INF_EQUI [0 .258] 0.731*** [0.350] 0.703*** 0.478*** INF_INTU 0.621 *** [0.141] Back [0.282] [0.179] 0.617*** 0.18 0.604*** [0.05 ] [-0.006] [0 .2] VIS_SURC INF_BARR VIS_CONT 0.745*** 0.741*** 0.56*** [0.156] [0 .457] [0 .367] INF_GAB1 VIS_EXPE VIS_DIST Indicateur non significatif INF_GAB2 VIS_IMAG VIS_POLI Utilisabilité des intranetsweight22 Février 2008 - C.Grange ** p < 0.05 *** p < 0.01 0.XXX : loading En rouge : paramètre non significatif [0 .XXX ] : - 18

Slide 19: 5. Analyses et résultats 0 1 2 3 4 5 6 Pour la dimension contenu informationnel Autres comparaisons Utilisabilité des intranets - 22 Février 2008 - C.Grange 19

Slide 20: 6. Contributions 0 1 2 3 4 5 6 Utilisabilité des intranets - 22 Février 2008 - C.Grange 20

Slide 21: Questions et Discussions Merci pour votre attention! Camille Grange Chargée du projet de recherche camille.grange@hec.ca Henri Barki Professeur superviseur Titulaire de la chaire de recherche du Canada en implantation et gestion des technologies de l’information Henri.barki@hec.ca Utilisabilité des intranets - 22 Février 2008 - C.Grange 21

Slide 22: References • Agarwal, R., et Venkatesh, V. \"Assessing a firm's web presence: a heuristic evaluation procedure for the measurement of usability,\" Information Systems Research (13:2) 2002, pp 168-186. • Bastien, J., et Scapin, D. \"Evaluating a user interface with ergonomic criteria,\" International Journal of Human- Computer Interaction (7) 1995, pp 105-121. • Diamantopoulos, A., et Winklhofer, H. \"Index construction with formative indicators: An alternative to scale development,\" Journal of Marketing Research (38:2) 2001. • Garrett, J. J. The Elements of User Experience: User-Centered Design for the Web Riders Publishing in conjunction with the American Institute of Graphic Arts New York, NY, 2003. • Gray, W., et Salzman, M. \"Damaged merchandise? A review of experiments that compare usability evaluation methods,\" Human Computer Interaction (13) 1998, pp 203-261. • Jarvis, C. B., MacKenzie, S. B., et Podsakoff, P. M. \"A critical review of construct indicators and measurement model misspecification in marketing and consumer research,\" Journal of Consumer Research (30:2) 2003, pp 199- 218. • McQueen, H. \"Développer un projet de portail gagnant : Étude de la gouvernance opérationnelle chez US Foods&Drugs Administration,\" Sixième conférence internationale sur les intranets et les technologies de l'information (Intracom), Québec, Canada, 2005. • Nielsen , J. Designing Web Usability New Riders Publishing, 2000, p. 432. • Palmer \"Web site usability, design, and performance metrics,\" Information Systems Research (13:2) 2002, pp 151- 167. • Shahizan, H. \"Evaluating the Usability and Content Usefulness of Web Sites: A Benchmarking approach,\" Journal of Electronic Commerce in Organization (3::2) 2005. Utilisabilité des intranets - 22 Février 2008 - C.Grange 22

Slide 23: Agarwal and venkatesh (2002) Categories Variables Items 1. Content 1.1 Relevance -The extent to which a Web site offers content tha -The extent to which a Web site 1.2 Media use -The extent to which a Web site uses media appro offers informational and 1.3 Depth and breadth -The extent to which a Web site provides the appr transactionai capability. 1.4 Current and timely information -The extent to which a Web site provides current a [close to PU] 2. Ease of Use 2.1 Goals -The extent to which a Web site offers clear and u 2.2 Structure -The extent to which a Web site is well structured -The extent to which using a Web site is free of effort. [cognitive 2.3 Feedback -The extent to which a Web site provides clear and effort ] 3. Promotion -The extent to which a Web site is well promoted on the Web and - other media. 4. Made for the medium 4.1 Community -The extent to which a Web site offers you the opp -The extent to which a Web site 4.2 Personnalization -The extent to which a Web site can treat you as a can be tailored to fit your specific 4.3 Refinement -The extent to which a Web site refiects the most c needs. 5. Emotion 5.1 Challenge -The extent to which a Web site offers you an elem 5.2 Plot -The extent to which a Web site provides an intere -The extent to which a Web site 5.3 Character strength -The extent to which a Web site ties to individuals, evokes emotional reactions from you. 5.4 Pace -The extent to which a Web site aiiows you to cont Back Utilisabilité des intranets - 22 Février 2008 - C.Grange 23

Slide 24: Palmer (2002) Initial access Download delay Display rate Organization Sequence Navigation User satisfaction Arrangement Layout Product information Web site Frequency of use Content success Variety of products Customization Interactivity Likelihood of return Interactivity Feedback Responsiveness FAQ Back Utilisabilité des intranets - 22 Février 2008 - C.Grange 24

Slide 25: Bastien and Scapin (1995) Critère principal Sous critère 1. Guidage 1.1 Incitation 1.2 Groupement/Distinction entre items 1.2.1 Par la localisation 1.2.2 Par le format 1.3 Feedback immédiat 1.4 Lisibilité 2. Charge de travail 2.1Brièveté 2.1.1 Concision 2.1.2 Actions minimales 2.2 Densité informationnelle 3. Contrôle explicite 3.1 Actions explicites 3.2 Contrôle utilisateur 4. Adaptabilité 4.1 Flexibilité 4.2 Prise en compte de l’expérience utilisateur 5. Gestion des erreurs 5.1 Protection contre les erreurs 5.2 Qualité des messages d’erreurs 5.3 Correction des erreurs 6. Homogénéité / cohérence - 7.Signifiance des codes et - dénominations 8. Compatibilité - Back Utilisabilité des intranets - 22 Février 2008 - C.Grange 25

Slide 26: Jesse James Garrett: “The elements of user experience” (2004) + Contenu informationnel Back + Fonctionnement du système Utilisabilité des intranets - 22 Février 2008 - C.Grange 26

Slide 27: Jarvis and al. criteria for choosing formative conceptualisation 1. The indicators are viewed as defining characteristics of the construct 3. Changes in the indicators are expected to cause changes in the construct 5. Changes in the construct are not expected to cause changes in the indicators 7. The indicators do not necessarily share a common theme 9. Eliminating an indicator may alter the conceptual domain of the construct, 11. A change in the value of one of the indicators is not necessarily expected to be associated with a change in all of the other indicators, and 13. The indicators are not expected to have the same antecedents and consequences.” (Jarvis et al. 2003, p. 203) Back Utilisabilité des intranets - 22 Février 2008 - C.Grange 27

Slide 28: Comparaison des modèles Pour la dimension Performance technologique Retour Utilisabilité des intranets - 22 Février 2008 - C.Grange 28

Slide 29: Comparaison des modèles Pour la dimension Design d’interface Utilisabilité des intranets - 22 Février 2008 - C.Grange 29

Slide 30: Comparaison des modèles Pour la dimension Design d’interaction Utilisabilité des intranets - 22 Février 2008 - C.Grange 30

Slide 31: Comparaison des modèles Pour la dimension design d’information Utilisabilité des intranets - 22 Février 2008 - C.Grange 31

Slide 32: Comparaison des modèles Pour la dimension design de navigation Utilisabilité des intranets - 22 Février 2008 - C.Grange 32

Slide 33: Comparaison des modèles Pour la dimension design visuel Utilisabilité des intranets - 22 Février 2008 - C.Grange 33

Slideshare.net (beta)