Conceptualisation du construit d’utilisabilité: application au cas des sites intranets Projet de recherche de MSc, HEC Montréal Camille Grange Étudiante au Doctorat, UBC 22 Février 2008

0. Plan Origine et objectifs Revue de littérature Modèle de recherche Méthodologie Analyses et résultats Contributions 0 2 3 4 1 5 6

Origine et objectifs

Revue de littérature

Modèle de recherche

Méthodologie

Analyses et résultats

Contributions

1. Origine du projet Utilisabilité dans l’industrie  Besoins d’un cadre de réflexion, d’un outil de mesure Utilisabilité dans la recherche (IHM, SI) Beaucoup de listes ad hoc Dans l’ensemble confus “… a hodgepodge collection of do-it-yourself categories and various collections of rules-of-thumbs.” Gray et Salzman 1998 ‘… a fuzzy concept …difficult to evaluate and impossible to measure”. Bevan et MacLeod 1994 “… a multidimensional creature that changes its nature according to prevailing circumstances.” McClelland (dans Olson et Moran 1998 ) 0 2 3 4 1 5 6

Utilisabilité dans l’industrie

 Besoins d’un cadre de réflexion, d’un outil de mesure

Utilisabilité dans la recherche (IHM, SI)

Beaucoup de listes ad hoc

Dans l’ensemble confus

“… a hodgepodge collection of do-it-yourself categories and various collections of rules-of-thumbs.” Gray et Salzman 1998

‘… a fuzzy concept …difficult to evaluate and impossible to measure”. Bevan et MacLeod 1994

“… a multidimensional creature that changes its nature according to prevailing circumstances.” McClelland (dans Olson et Moran 1998 )

1. Objectifs de recherche … et pourtant l’utilisabilité est considéré comme un facteur clé de succès des SI Landauer (1996) McQueen (2005) Nielsen (2000 et 2006) Objectifs de cette recherche: Approfondir la compréhension du concept d’utilisabilité Déveloper une conceptualisation “utile”: critères de conception contrôlables, c'est-à-dire évaluables et corrigeables Appliquer et tester ce cadre dans un contexte ‘Intranet’ 0 2 3 4 1 5 6

… et pourtant l’utilisabilité est considéré comme un facteur clé de succès des SI Landauer (1996) McQueen (2005) Nielsen (2000 et 2006)

Objectifs de cette recherche:

Approfondir la compréhension du concept d’utilisabilité

Déveloper une conceptualisation “utile”: critères de conception contrôlables, c'est-à-dire évaluables et corrigeables

Appliquer et tester ce cadre dans un contexte ‘Intranet’

2. Utilisabilité: différentes perspectives 0 2 3 4 1 5 6 Intrinsèque Shahizan (2005) Keenan et al. (1999) Keevil (1998) Bastien & Scapin (1995) Performance ISO 9241-11 (1998) Bevan (1994-1995) Nielsen (1993) Shackel (1991 ) Mixe Seffah Donyaee Kline Padda (2006) Agarwal et Venkatesh (2002) Palmer (2002) Qualité des messages d’erreur Taille des menus Temps de téléchargement Qualité du contenu Flexibilité de l’interface Densité informationnelle (…) Efficacité Efficience Satisfaction Facilité d’apprentissage Effort mental Rétention (…) - Seffah et al .: par ex. Navigabilité et lisibilité versus efficacité et satisfaction - Agarwal et Venkatesh : Contenu et Flexibilité versus Facilité d’utilisation et Émotion Facilité d’utilsation perçue Utilité d’utilisation perçue Davis (1986, 1989)

Intrinsèque

Shahizan (2005)

Keenan et al. (1999)

Keevil (1998)

Bastien & Scapin (1995)

Performance

ISO 9241-11 (1998)

Bevan (1994-1995)

Nielsen (1993)

Shackel (1991 )

Mixe

Seffah Donyaee Kline Padda (2006)

Agarwal et Venkatesh (2002)

Palmer (2002)

2. Utilisabilité: différentes perspectives Mesures Intrinsèques Mesures de Performance 0 2 3 4 1 5 6 Palmer (2002)

2. Revue de littérature: récapitulatif Perspective « Performance » A + : Décisions ‘Go/No go’ sur la base d’un critère de score A - : On ne sait pas quel élément TI cause une bonne / mauvaise performance Perspective « Intrinsèque » A + : Inspection d’éléments contrôlables A + : Les scores de ces indicateurs permettent d’identifier les progrès à apporter Perspective « Mixte » A - : On n’aime pas ça comparer des pommes et des oranges! A + : Le modèle de Palmer (2002) sépare causes (indicateurs intrinsèques) et effets (indicateurs de performance) Conceptualisation intrinsèque  Construit formatif plutôt que réflexif ( les 7 critères de Jarvis et al., 2003 )  Besoin d’un cadre théorique  Inclusion des indicateurs de performance dans un réseau nomologique 0 2 3 4 1 5 6

Perspective « Performance »

A + : Décisions ‘Go/No go’ sur la base d’un critère de score

A - : On ne sait pas quel élément TI cause une bonne / mauvaise performance

Perspective « Intrinsèque »

A + : Inspection d’éléments contrôlables

A + : Les scores de ces indicateurs permettent d’identifier les progrès à apporter

Perspective « Mixte »

A - : On n’aime pas ça comparer des pommes et des oranges!

A + : Le modèle de Palmer (2002) sépare causes (indicateurs intrinsèques) et effets (indicateurs de performance)

Conceptualisation intrinsèque

 Construit formatif plutôt que réflexif ( les 7 critères de Jarvis et al., 2003 )

 Besoin d’un cadre théorique

 Inclusion des indicateurs de performance dans un réseau nomologique

3. Choix et adaptation du cadre théorique Structure du modèle Garrett (2004 )  Le cas d’un type de SI: les intranets Spécification des indicateurs et classification Agarwal et Venkatesh (2002) Palmer (2002) Shahizan (2005) Bastien et Scapin (1995) Entrevues avec 5 experts de l’utilisabilité Validation Spécification Complétude 0 2 3 4 1 5 6

Structure du modèle

Garrett (2004 )

 Le cas d’un type de SI: les intranets

Spécification des indicateurs et classification

Agarwal et Venkatesh (2002)

Palmer (2002)

Shahizan (2005)

Bastien et Scapin (1995)

Entrevues avec 5 experts de l’utilisabilité

Validation

Spécification

Complétude

3. Modèle de recherche 0 2 3 4 1 5 6

3. Modèle de recherche 0 2 3 4 1 5 6

3. Modèle de recherche 0 2 3 4 1 5 6

3. Modèle de recherche 0 2 3 4 1 5 6

4. Méthodologie Diamantopoulos et Winkhlofer (2001) : MIMICs Variables dépendantes Facilité d’utilisation perçue (PEOU) Utilité perçue (PU) Développement des items Échelles de type Likert : (1 à 5 – de ’fortement en désaccord’ à ‘fortement en accord’) 0 2 3 4 1 5 6 Indicateurs formatifs Indicateurs réflexifs Indicateurs réflexifs Indicateurs formatifs

Diamantopoulos et Winkhlofer (2001) : MIMICs

Variables dépendantes

Facilité d’utilisation perçue (PEOU)

Utilité perçue (PU)

Développement des items

Échelles de type Likert : (1 à 5 – de ’fortement en désaccord’ à ‘fortement en accord’)

4. Méthodologie Enquête électronique Pré-tests Clarté des questions (N=12) Tests technologiques Échantillonnage de convenance: 3 entreprises Québécoises Collecte: de Septembre à Novembre 2006 Taille finale de l’échantillon: N=159 (27 – 89 – 48) 0 2 3 4 1 5 6

Enquête électronique

Pré-tests

Clarté des questions (N=12)

Tests technologiques

Échantillonnage de convenance: 3 entreprises Québécoises

Collecte: de Septembre à Novembre 2006

Taille finale de l’échantillon: N=159 (27 – 89 – 48)

5. Analyses et Résultats Analyses LISREL  modèles MIMICs de premier ordre Analyses de la convergence du modèle (“fit”) Paramètres lambdas Validité nomologique (beta et R 2 )  Exemples pour la dimension “Contenu informationnel” Analyses PLS  modèles de second ordre Weights / loadings analysis Validité externe (betas et R 2 ) Exemples pour le modèle global avec PEOU Synthèse et comparaison des résultats 0 2 3 4 1 5 6

Analyses LISREL  modèles MIMICs de premier ordre

Analyses de la convergence du modèle (“fit”)

Paramètres lambdas

Validité nomologique (beta et R 2 )

 Exemples pour la dimension “Contenu informationnel”

Analyses PLS  modèles de second ordre

Weights / loadings analysis

Validité externe (betas et R 2 )

Exemples pour le modèle global avec PEOU

Synthèse et comparaison des résultats

5. Analyses et Résultats MIMIC 1 – Contenu informationel Back 0 2 3 4 1 5 6

5. Analyses et Résultats MIMIC nomologique 1.1 – Contenu informationel et PEOU Back 0 2 3 4 1 5 6

5. Analyses et Résultats Modèle global : l’utilisabilité en tant que construit formatif de second ordre Back 0 2 3 4 1 5 6

5. Analyses et résultats 0 2 3 4 1 5 6 Pour la dimension contenu informationnel Autres comparaisons

6. Contributions 0 2 3 4 1 5 6

Questions et Discussions Merci pour votre attention! Camille Grange Chargée du projet de recherche [email_address] Henri Barki Professeur superviseur Titulaire de la chaire de recherche du Canada en implantation et gestion des technologies de l’information [email_address]

Merci pour votre attention!

Camille Grange

Chargée du projet de recherche

[email_address]

Henri Barki

Professeur superviseur

Titulaire de la chaire de recherche du Canada en implantation et gestion des technologies de l’information

[email_address]

References Agarwal, R., et Venkatesh, V. "Assessing a firm's web presence: a heuristic evaluation procedure for the measurement of usability," Information Systems Research (13:2) 2002, pp 168-186. Bastien, J., et Scapin, D. "Evaluating a user interface with ergonomic criteria," International Journal of Human-Computer Interaction (7) 1995, pp 105-121. Diamantopoulos, A., et Winklhofer, H. "Index construction with formative indicators: An alternative to scale development," Journal of Marketing Research (38:2) 2001. Garrett, J. J. The Elements of User Experience: User-Centered Design for the Web Riders Publishing in conjunction with the American Institute of Graphic Arts New York, NY, 2003. Gray, W., et Salzman, M. "Damaged merchandise? A review of experiments that compare usability evaluation methods," Human Computer Interaction (13) 1998, pp 203-261. Jarvis, C. B., MacKenzie, S. B., et Podsakoff, P. M. "A critical review of construct indicators and measurement model misspecification in marketing and consumer research," Journal of Consumer Research (30:2) 2003, pp 199-218. McQueen, H. "Développer un projet de portail gagnant : Étude de la gouvernance opérationnelle chez US Foods&Drugs Administration," Sixième conférence internationale sur les intranets et les technologies de l'information (Intracom), Québec, Canada, 2005. Nielsen , J. Designing Web Usability New Riders Publishing, 2000, p. 432. Palmer "Web site usability, design, and performance metrics," Information Systems Research (13:2) 2002, pp 151-167. Shahizan, H. "Evaluating the Usability and Content Usefulness of Web Sites: A Benchmarking approach," Journal of Electronic Commerce in Organization (3::2) 2005.

Agarwal, R., et Venkatesh, V. "Assessing a firm's web presence: a heuristic evaluation procedure for the measurement of usability," Information Systems Research (13:2) 2002, pp 168-186.

Bastien, J., et Scapin, D. "Evaluating a user interface with ergonomic criteria," International Journal of Human-Computer Interaction (7) 1995, pp 105-121.

Diamantopoulos, A., et Winklhofer, H. "Index construction with formative indicators: An alternative to scale development," Journal of Marketing Research (38:2) 2001.

Garrett, J. J. The Elements of User Experience: User-Centered Design for the Web Riders Publishing in conjunction with the American Institute of Graphic Arts New York, NY, 2003.

Gray, W., et Salzman, M. "Damaged merchandise? A review of experiments that compare usability evaluation methods," Human Computer Interaction (13) 1998, pp 203-261.

Jarvis, C. B., MacKenzie, S. B., et Podsakoff, P. M. "A critical review of construct indicators and measurement model misspecification in marketing and consumer research," Journal of Consumer Research (30:2) 2003, pp 199-218.

McQueen, H. "Développer un projet de portail gagnant : Étude de la gouvernance opérationnelle chez US Foods&Drugs Administration," Sixième conférence internationale sur les intranets et les technologies de l'information (Intracom), Québec, Canada, 2005.

Nielsen , J. Designing Web Usability New Riders Publishing, 2000, p. 432.

Palmer "Web site usability, design, and performance metrics," Information Systems Research (13:2) 2002, pp 151-167.

Shahizan, H. "Evaluating the Usability and Content Usefulness of Web Sites: A Benchmarking approach," Journal of Electronic Commerce in Organization (3::2) 2005.

Agarwal and venkatesh (2002) Back

Palmer (2002) Back

Bastien and Scapin (1995) Back - 8. Compatibilité - 7.Signifiance des codes et dénominations - 6. Homogénéité / cohérence 5.1 Protection contre les erreurs 5.2 Qualité des messages d’erreurs 5.3 Correction des erreurs 5. Gestion des erreurs 4.1 Flexibilité 4.2 Prise en compte de l’expérience utilisateur 4. Adaptabilité 3.1 Actions explicites 3.2 Contrôle utilisateur 3. Contrôle explicite 2.1Brièveté 2.1.1 Concision 2.1.2 Actions minimales 2.2 Densité informationnelle 2. Charge de travail 1.1 Incitation 1.2 Groupement/Distinction entre items 1.2.1 Par la localisation 1.2.2 Par le format 1.3 Feedback immédiat 1.4 Lisibilité 1. Guidage Sous critère Critère principal

Jesse James Garrett: “The elements of user experience” (2004) Back + Contenu informationnel + Fonctionnement du système

Jarvis and al. criteria for choosing formative conceptualisation The indicators are viewed as defining characteristics of the construct Changes in the indicators are expected to cause changes in the construct Changes in the construct are not expected to cause changes in the indicators The indicators do not necessarily share a common theme Eliminating an indicator may alter the conceptual domain of the construct, A change in the value of one of the indicators is not necessarily expected to be associated with a change in all of the other indicators, and The indicators are not expected to have the same antecedents and consequences.” (Jarvis et al. 2003, p. 203) Back

The indicators are viewed as defining characteristics of the construct

Changes in the indicators are expected to cause changes in the construct

Changes in the construct are not expected to cause changes in the indicators

The indicators do not necessarily share a common theme

Eliminating an indicator may alter the conceptual domain of the construct,

A change in the value of one of the indicators is not necessarily expected to be associated with a change in all of the other indicators, and

The indicators are not expected to have the same antecedents and consequences.”

(Jarvis et al. 2003, p. 203)

Comparaison des modèles Pour la dimension Performance technologique Retour

Comparaison des modèles Pour la dimension Design d’interface

Comparaison des modèles Pour la dimension Design d’interaction

Comparaison des modèles Pour la dimension design d’information

Comparaison des modèles Pour la dimension design de navigation

Comparaison des modèles Pour la dimension design visuel