Sandrine Prom Tep   Ph.D. Candidate – Marketing, HEC Montréal RBC Financial Group E-commerce Chair Partnerships co-Directo...
<ul><li>Research areas and intersections </li></ul><ul><li>How critical is usability to online services? </li></ul><ul><li...
Research areas intersections <ul><li>e-Commerce Online  </li></ul><ul><li>Consumer Behavior  </li></ul>e-Service Quality <...
Research Question « Usability is a  critical   metric for assessing the quality of a firm’s Web presence »   (Agarwal & Ve...
Research global context <ul><li>Internet  (internetworldstats.com) </li></ul><ul><ul><li>2010 US internet penetration rate...
e-Service quality <ul><li>Definition and attitudinal measures </li></ul><ul><ul><li>Quality of the user’s interaction with...
Satisfaction and task completion <ul><li>Attitudinal measure </li></ul><ul><ul><li>Satisfaction scale  (Chen et al., 2002)...
Research model Legend: EoU: ease of use; IQ: information quality; VD: visual design;  IS: information security; IP: intera...
Hypotheses <ul><li>Predicting value of quality in CB studies </li></ul><ul><ul><li>e-Service quality    Web site performa...
Methodology (1) <ul><li>Data collection </li></ul><ul><ul><ul><li>Data collected by the RBC financial group ecommerce chai...
Methodology (2) <ul><li>Subjects sample </li></ul><ul><ul><ul><li>Total N= 4144 participants  </li></ul></ul></ul><ul><ul>...
Data analysis and results (1)  <ul><li>E-service quality predicts web site performance </li></ul><ul><ul><ul><li>Web site ...
Data analysis and results (1)  <ul><li>E-service quality predicts web site performance </li></ul>Very strong correlation b...
Data analysis and results (2) <ul><li>E-service quality contributes greatly to consumer satisfaction </li></ul><ul><ul><ul...
Conclusions and implications <ul><li>Study confirms that e-service quality perception definitely impacts: </li></ul><ul><u...
Strengths, limits and future research <ul><li>Future research   </li></ul>Strengths Limits <ul><li>Very large non-student ...
Many thanks to… <ul><li>RBC Financial Group Ecommerce chair  </li></ul><ul><li>Jaques Nantel, Guy Champagne & Abdelouhab M...
Annex <ul><li>Netqu@l Scale  (Bressoles, 2004) </li></ul><ul><li>Web site satisfaction scale  (Chen et Wells, 1999) </li><...
Netqu@l scale  (Bressoles, 2004) retour
Web site satisfaction scale  (Chen et Wells, 1999) retour
Discriminant analysis (1) Classification table results Group prediction based on cross validation method
Discriminant analysis (2) Discriminant function structure Matrix
F test for e-Service quality scores (task success vs failure) retour EOU Information Qual/Quant Visual Design Information ...
Web sites by business sectors retour
Sample socio-demos retour
Upcoming SlideShare
Loading in …5
×

Beyond Usability: Ordering e-service quality factors

804 views
702 views

Published on

Applied Human Factors and Ergonomics- AHFE 2010
Miami, Florida - July 17-20, 2010

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
804
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Commentaires JEF: TAM (ease of use &amp; usefulness) dév dans une perspective très entreprise avec usefulness dominante car dans un contexte de travail. Acceptance. QQ auteurs ont montré, que sur Internet, c’est l’inverse, usefulness est moins importante que ease of use. Article Hue, etc.
  • Research question Research context Concepts, variables and measures
  • /navigabilité Résultat et technique visant ce résultat (Système d’Information) Concept au cœur des études en Interaction Homme-Machine (croisement entre sciences informatiques et cognitives)
  • Question que je me pose: jusqu’à quel point critique? Prépondérance FU à déterminer efficacité site Web vs concept qualité global = apport Vs Prendre pour acquis la qualité de service électronique globale (construit multidimensionnel) comme prémisse évidente de performance des sites de commerce électronique et de satisfaction des consommateurs Préciser : selon point de vue usager et dans une perspective expréientielle)
  • US retail market has remained steady due mostly to the lower prices, selection and convenience offered via online shopping Retail E-Commerce Forecast, emarketer june 2009 online shoppers—they browse, research and compare products on the Internet, but do not necessarily buy online &amp;quot;E-commerce gained share of consumers` wallets in most product categories best performing categories in2009 were jewelry and watches, consumer electronics, computer software, event tickets and book and magazines. Main obstacle: Security and privacy concerns Social media, especially product reviews, emerged as an influence on consumer buying Internet « Nouveau » medium informationnel et transactionnel à qualité encore très variable Particularité unique de cette expérience de service pour le consommateur Se fait en interaction avec un « système » vs «  man-to-man  » Médiation technologique (Hoffman et Novak, 1996)
  • Starting point: predicting value of quality
  • Tâches: Recherche du taux annuel de prêt hypothécaire à taux fixe pour un an (Inst. financières) Une paire de billets pour Cancun entre le 1 er et le 8 mai 2005 (voyage) Scie sauteuse la moins chère (réno) Collecte de données 4 secteurs d’activités Institutions financières, Rénovation, Électronique et Voyage De sept. 2004 à janvier 2005 (env.un secteur/mois) Test du site Web à domicile = remote testing Exemple: Appareil photo de 4 Megapixels le moins cher (électronique) Questionnaire post tâche en ligne pour évaluer la qualité du site testé, la satisfaction globale et quelques questions socio-démographiques Compilation automatique des données dans une BD divisée par secteur Succès ou échec de la tâche déterminé à partir des réponses des testeurs
  • Tâches: Recherche du taux annuel de prêt hypothécaire à taux fixe pour un an (Inst. financières) Une paire de billets pour Cancun entre le 1 er et le 8 mai 2005 (voyage) Scie sauteuse la moins chère (réno) Collecte de données 4 secteurs d’activités Institutions financières, Rénovation, Électronique et Voyage De sept. 2004 à janvier 2005 (env.un secteur/mois) Test du site Web à domicile = remote testing Exemple: Appareil photo de 4 Megapixels le moins cher (électronique) Questionnaire post tâche en ligne pour évaluer la qualité du site testé, la satisfaction globale et quelques questions socio-démographiques Compilation automatique des données dans une BD divisée par secteur Succès ou échec de la tâche déterminé à partir des réponses des testeurs
  • Pour s’assurer de la représentativité de chacun des scores, ils ont été calculés en effectuant la moyenne des réponses aux questions qui concernaient chacun des concepts, en remplaçant les valeurs manquantes par la moyenne des réponses du répondant lorsque le sujet avait au moins répondu aux trois-quarts des questions composant le score d’un concept. Dans tout autre cas, les scores devenaient des valeurs manquantes pour les sujets pour lesquels on ne pouvait les calculer. Les scores des cinq dimensions en fonction du succès ou de l’échec de la tâche est placé en annexe 3. 74,6% des cas correctement classés par validation croisée  rule of thumb autour de 80% = bon Validation croisée = chque cas est classé par les fonctions obtenues de tous les cas autres que celui classé = mode de calcul plus conservateur que celui par défaut ..nom …? &gt; 70% du proportional chance criterion et assez proche de 80%, ce qui est bon Corrélation de la FU avec la fonction = 0,898 dans la matrice de structure de la fonction discriminante = la plus forte de toutes les dimensions dans la matrice de structure de la fonction discriminante = bon car proche de 1 Corrélation de la FU avec la fonction de 0,898 = la plus forte de toutes les dimensions dans la matrice de structure de la fonction discriminante Mais suivie de proche par QI à 0,838 et le reste est loin derrière Qualité de site Web explique de façon intéressante la satisfaction des consommateurs R2 ajusté = 76,4% Qualité explique ¾ variance de la satisfaction FU seule explique 62% variance de la satisfaction
  • Pour s’assurer de la représentativité de chacun des scores, ils ont été calculés en effectuant la moyenne des réponses aux questions qui concernaient chacun des concepts, en remplaçant les valeurs manquantes par la moyenne des réponses du répondant lorsque le sujet avait au moins répondu aux trois-quarts des questions composant le score d’un concept. Dans tout autre cas, les scores devenaient des valeurs manquantes pour les sujets pour lesquels on ne pouvait les calculer. Les scores des cinq dimensions en fonction du succès ou de l’échec de la tâche est placé en annexe 3. 74,6% des cas correctement classés par validation croisée  rule of thumb autour de 80% = bon Validation croisée = chque cas est classé par les fonctions obtenues de tous les cas autres que celui classé = mode de calcul plus conservateur que celui par défaut ..nom …? &gt; 70% du proportional chance criterion et assez proche de 80%, ce qui est bon Corrélation de la FU avec la fonction = 0,898 dans la matrice de structure de la fonction discriminante = la plus forte de toutes les dimensions dans la matrice de structure de la fonction discriminante = bon car proche de 1 Corrélation de la FU avec la fonction de 0,898 = la plus forte de toutes les dimensions dans la matrice de structure de la fonction discriminante Mais suivie de proche par QI à 0,838 et le reste est loin derrière Qualité de site Web explique de façon intéressante la satisfaction des consommateurs R2 ajusté = 76,4% Qualité explique ¾ variance de la satisfaction FU seule explique 62% variance de la satisfaction
  • Pour s’assurer de la représentativité de chacun des scores, ils ont été calculés en effectuant la moyenne des réponses aux questions qui concernaient chacun des concepts, en remplaçant les valeurs manquantes par la moyenne des réponses du répondant lorsque le sujet avait au moins répondu aux trois-quarts des questions composant le score d’un concept. Dans tout autre cas, les scores devenaient des valeurs manquantes pour les sujets pour lesquels on ne pouvait les calculer. Les scores des cinq dimensions en fonction du succès ou de l’échec de la tâche est placé en annexe 3. 74,6% des cas correctement classés par validation croisée  rule of thumb autour de 80% = bon Validation croisée = chque cas est classé par les fonctions obtenues de tous les cas autres que celui classé = mode de calcul plus conservateur que celui par défaut ..nom …? &gt; 70% du proportional chance criterion et assez proche de 80%, ce qui est bon Corrélation de la FU avec la fonction = 0,898 dans la matrice de structure de la fonction discriminante = la plus forte de toutes les dimensions dans la matrice de structure de la fonction discriminante = bon car proche de 1 Corrélation de la FU avec la fonction de 0,898 = la plus forte de toutes les dimensions dans la matrice de structure de la fonction discriminante Mais suivie de proche par QI à 0,838 et le reste est loin derrière Qualité de site Web explique de façon intéressante la satisfaction des consommateurs R2 ajusté = 76,4% Qualité explique ¾ variance de la satisfaction FU seule explique 62% variance de la satisfaction
  • Current best practices call for spending about 10% of a design project&apos;s budget on usability. On average, this will more than double a website&apos;s desired quality metrics and slightly less than double an intranet&apos;s quality metrics (in Jakob Nielsen&apos;s Alertbox, August 25, 2003: Usability 101: Introduction to Usability )
  • Forces 4 secteurs d’activité = variés (limite le biais sectoriel) Échantillon large et bien représentatif (vs de convenance) Implications managériales claires (vs discours dominant sur le ROI de l’utilisabilité difficile à mesurer) Limites Contexte expérimental quoique non en laboratoire Questionnaire d’appréciation post test  Score de satisfaction à l’égard du site peut avoir été influencé par le succès ou l’échec de la réalisation de la tâche Tâche de recherche d’info. est orientée vers un but non ludique
  • The paper will be available through the digital library
  • Beyond Usability: Ordering e-service quality factors

    1. 1. Sandrine Prom Tep Ph.D. Candidate – Marketing, HEC Montréal RBC Financial Group E-commerce Chair Partnerships co-Director http://wwww.chairerbc.com Aude Dufresne Full Professor - Communications, University of Montreal LRCM Director , http://lrcm.com.umontreal.ca/dufresne/ AHFE 2010: July 20th, Miami (FA) Beyond Usability: Ordering e-Service Quality Factors
    2. 2. <ul><li>Research areas and intersections </li></ul><ul><li>How critical is usability to online services? </li></ul><ul><li>e-commerce growing importance </li></ul><ul><li>e-Service quality </li></ul><ul><li>Satisfaction and task </li></ul><ul><li>completion </li></ul><ul><li>Research model </li></ul>Presentation overview <ul><li>Hypotheses </li></ul><ul><li>Methodology </li></ul><ul><li>Data analysis and results </li></ul><ul><li>Conclusions and managerial implications </li></ul><ul><li>Strengths, limits and future research </li></ul><ul><li>Annex </li></ul>
    3. 3. Research areas intersections <ul><li>e-Commerce Online </li></ul><ul><li>Consumer Behavior </li></ul>e-Service Quality <ul><ul><li>Web site Usability </li></ul></ul><ul><ul><li>= ease of use </li></ul></ul>
    4. 4. Research Question « Usability is a critical metric for assessing the quality of a firm’s Web presence » (Agarwal & Venkatesh, 2002) <ul><li>As far as web site performance and consumer satisfaction are concerned, how critical is usability compared to other dimensions of e-service quality? </li></ul><ul><ul><ul><ul><li>Among the five components of e-Service quality examined, usability ranks 1st in predicting task success and close 2 nd in explaining consumer satisfaction </li></ul></ul></ul></ul>Q A
    5. 5. Research global context <ul><li>Internet (internetworldstats.com) </li></ul><ul><ul><li>2010 US internet penetration rate: 76,9% </li></ul></ul><ul><li>e-Commerce (Global digital economy report from BuddeComm, Oct. 2009 </li></ul><ul><ul><li>2010 US retail e-Commerce sales approx. $152 (billions) excluding travel </li></ul></ul><ul><ul><li>Steady growth (+12,7%) </li></ul></ul><ul><ul><ul><li>2010: online advertising accounts for around 13% of overall ad spending worldwide </li></ul></ul></ul><ul><ul><ul><li>2010: China’s m-Commerce market forecast: $953 million </li></ul></ul></ul><ul><li>Online consumer behavior: shoppers vs buyers (eMarketer) </li></ul><ul><ul><li>2009: 86% of Internet users are online shoppers </li></ul></ul><ul><ul><li>2010: 51% of US internet users complete their purchase online </li></ul></ul><ul><ul><ul><li>Often ignored, store sales influenced by online research are 3x higher than e-commerce sales </li></ul></ul></ul>
    6. 6. e-Service quality <ul><li>Definition and attitudinal measures </li></ul><ul><ul><li>Quality of the user’s interaction with the web site providing the online service (Hoffman and Novak, 1996) </li></ul></ul><ul><ul><li>Online service quality measured directly by consumers (i.e.; corresponds to the website users’ perception of its quality) </li></ul></ul><ul><ul><li>[email_address] : e-Service quality scale (Bressoles, 2004) </li></ul></ul><ul><ul><ul><li>19 items covering 5 factors </li></ul></ul></ul><ul><ul><ul><ul><li>Ease of Use ( Perceived usability ) </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Information Quality/Quantity </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Visual Design </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Information Security </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Interaction Personnalisation </li></ul></ul></ul></ul>
    7. 7. Satisfaction and task completion <ul><li>Attitudinal measure </li></ul><ul><ul><li>Satisfaction scale (Chen et al., 2002) </li></ul></ul><ul><ul><ul><ul><li>Web site satisfaction reported by the study participants </li></ul></ul></ul></ul><ul><li>Behavioral measure </li></ul><ul><ul><li>Task completion </li></ul></ul><ul><ul><ul><ul><li>Success or Failure to complete the assigned task </li></ul></ul></ul></ul><ul><li>Subjective and objective angles of web site performance </li></ul>
    8. 8. Research model Legend: EoU: ease of use; IQ: information quality; VD: visual design; IS: information security; IP: interaction personalization.
    9. 9. Hypotheses <ul><li>Predicting value of quality in CB studies </li></ul><ul><ul><li>e-Service quality  Web site performance  Consumer satisfaction </li></ul></ul><ul><li>Specific hypothesis related to usability </li></ul><ul><ul><li>Critical nature of usability for person-system interaction/web site performance </li></ul></ul><ul><ul><ul><li> e-Service quality factor contributing the most in Web task success or failure discrimination (supported) </li></ul></ul></ul><ul><ul><ul><li> e-Service quality factor contributing the most to consumer satisfaction with Web site (not supported: usability ranks 2 nd behind Interaction personalization) </li></ul></ul></ul>
    10. 10. Methodology (1) <ul><li>Data collection </li></ul><ul><ul><ul><li>Data collected by the RBC financial group ecommerce chair for a previous study interested in comparing online shopping in various business sectors </li></ul></ul></ul><ul><ul><ul><li>From sept. 2004 through Jan. 2005 </li></ul></ul></ul><ul><ul><ul><li>Accross 21 sites which belong to 4 business sectors </li></ul></ul></ul><ul><ul><ul><li>Participants were randomly assigned to one of the sites and had to complete a research task (ex. to find the least expensive saw in the renovation sector) </li></ul></ul></ul><ul><ul><ul><li>Each participant filled out an online questionnaires after completing the task (search task answer, e-service quality dimensions, satisfaction and socio-demos) </li></ul></ul></ul><ul><ul><ul><li>Task success and failure was determined from the answers provided to the information research task </li></ul></ul></ul>
    11. 11. Methodology (2) <ul><li>Subjects sample </li></ul><ul><ul><ul><li>Total N= 4144 participants </li></ul></ul></ul><ul><ul><ul><li>Equally distributed among the 4 business sectors (financial institutions, home renovation, electronics, travel) </li></ul></ul></ul><ul><ul><ul><li>Recruited with various degrees of Internet expertise to be representative of general population through Léger Marketing Web panel </li></ul></ul></ul><ul><ul><ul><li>Not a convenience sample of students!! </li></ul></ul></ul><ul><ul><ul><li>50$ CAD monetary compensation for each test participant </li></ul></ul></ul>
    12. 12. Data analysis and results (1) <ul><li>E-service quality predicts web site performance </li></ul><ul><ul><ul><li>Web site performance: Task success and task failure (15%) </li></ul></ul></ul><ul><ul><ul><li>E-service quality factors Scores (individual and global scores) </li></ul></ul></ul><ul><ul><ul><li>Discriminant analysis: 5 e-service quality factors discriminant function is very significant (p= 0,000) </li></ul></ul></ul><ul><ul><ul><li>Results : 76,3% of the cases are correctly classified </li></ul></ul></ul><ul><ul><ul><li>74.6% successful classification by cross-validation (the most conservative computational method and greater than the chance ratio of 50% or the proportional chance criterion of 70%) </li></ul></ul></ul>
    13. 13. Data analysis and results (1) <ul><li>E-service quality predicts web site performance </li></ul>Very strong correlation between PEOU and the discriminant function : 0,898 (highest correlation among the factors)
    14. 14. Data analysis and results (2) <ul><li>E-service quality contributes greatly to consumer satisfaction </li></ul><ul><ul><ul><ul><li>Regressions: global model adjusted R2 = 76,4% </li></ul></ul></ul></ul>With PEOU explaining itself approx. 62% of the total variance, very close behind Interaction personalization (63%)
    15. 15. Conclusions and implications <ul><li>Study confirms that e-service quality perception definitely impacts: </li></ul><ul><ul><li>Web site efficiency </li></ul></ul><ul><ul><li>Consumers global satisfaction </li></ul></ul><ul><li>Study allows to order the factors of e-service quality confirming usability forefront importance </li></ul><ul><ul><li>Ranking based on contribution importance in predicting the web site performance and to consumer satisfaction </li></ul></ul><ul><li>Clear managerial implications </li></ul><ul><ul><li>All Internet storefronts should prioritize ease of use, information quality and personalization </li></ul></ul>« Current best practices call for spending about 10% of a design project's budget on usability. On average, this will more than double a website's desired quality metrics and slightly less than double an intranet's quality metrics » (in Jakob Nielsen's Alertbox, August 25, 2003: Usability 101: Introduction to Usability)
    16. 16. Strengths, limits and future research <ul><li>Future research </li></ul>Strengths Limits <ul><li>Very large non-student sample </li></ul><ul><li>4 business sectors </li></ul><ul><li>Clear managerial implications </li></ul><ul><li>Web’s fast aging data </li></ul><ul><li>Post test survey reported measures </li></ul><ul><li>Goal oriented task only </li></ul><ul><li>Experiential factor (Holbrook et Hirschman, 1982) </li></ul><ul><li>Browsing Task (hedonic vs utilitarian perspective) </li></ul><ul><li>Incorporate emotional response through physiological measures </li></ul>
    17. 17. Many thanks to… <ul><li>RBC Financial Group Ecommerce chair </li></ul><ul><li>Jaques Nantel, Guy Champagne & Abdelouhab Mekki-Berrada for granting us access to the data collected for their online shopping study </li></ul><ul><li>… you for your attention!  </li></ul>To folllow up on the discussion: [email_address] http://ca.linkedin.com/in/sandrinepromtep http://Twitter.com/SandrinePromTep
    18. 18. Annex <ul><li>Netqu@l Scale (Bressoles, 2004) </li></ul><ul><li>Web site satisfaction scale (Chen et Wells, 1999) </li></ul><ul><li>Discriminant analysis </li></ul><ul><ul><ul><ul><li>Classification table </li></ul></ul></ul></ul><ul><ul><ul><ul><li>Discriminant function structure Matrix </li></ul></ul></ul></ul><ul><li>E-Service quality factors scores </li></ul><ul><li>List of Web sites </li></ul><ul><li>Sample Population Socio-demos </li></ul>
    19. 19. Netqu@l scale (Bressoles, 2004) retour
    20. 20. Web site satisfaction scale (Chen et Wells, 1999) retour
    21. 21. Discriminant analysis (1) Classification table results Group prediction based on cross validation method
    22. 22. Discriminant analysis (2) Discriminant function structure Matrix
    23. 23. F test for e-Service quality scores (task success vs failure) retour EOU Information Qual/Quant Visual Design Information security Interact. personalization
    24. 24. Web sites by business sectors retour
    25. 25. Sample socio-demos retour

    ×