1Converteo e-business Consulting / Tout savoir sur le testing
Tout savoir sur le testing
Méthodes, bonnes pratiques, piège...
2Converteo e-business Consulting / Tout savoir sur le testing
Converteo – Le conseil expert du digital
 Converteo est un ...
3Converteo e-business Consulting / Tout savoir sur le testing
Notre expertise testing
 Une douzaine de clients « testing ...
4Converteo e-business Consulting / Tout savoir sur le testing
 Testing A/B « split » sur la page d’accueil téléphonie
mob...
5Converteo e-business Consulting / Tout savoir sur le testing
Qu’est-ce que le testing ?
Test A/B
Taux de
conversion
7%
Or...
6Converteo e-business Consulting / Tout savoir sur le testing
Le testing comme culture
1 : http://blog.hubspot.com/blog/ta...
7Converteo e-business Consulting / Tout savoir sur le testing
Quels éléments peut-on tester ?
 Texte de rassurance
 Mess...
8Converteo e-business Consulting / Tout savoir sur le testing
Le testing au cœur de la démarche d’amélioration au continue...
9Converteo e-business Consulting / Tout savoir sur le testing
Les différentes étapes du processus de testing
Mise en place...
10Converteo e-business Consulting / Tout savoir sur le testing
Comment identifier les zones d’amélioration de la performan...
11Converteo e-business Consulting / Tout savoir sur le testing
Une démarche itérative, mais aussi expérimentale…
Source : ...
12Converteo e-business Consulting / Tout savoir sur le testing
La période de test doit être choisie de manière à être la p...
13Converteo e-business Consulting / Tout savoir sur le testing
Indispensable : un temps suffisant pour atteindre la représ...
14Converteo e-business Consulting / Tout savoir sur le testing
Lançons-nous : les différentes étapes de la mise en place d...
15Converteo e-business Consulting / Tout savoir sur le testing
Les différents types de tests : le split test
Exemple de te...
16Converteo e-business Consulting / Tout savoir sur le testing
Les différents types de tests : le test A/B
JE DECOUVRE
Exe...
17Converteo e-business Consulting / Tout savoir sur le testing
Les différents types de tests : le test multivarié
Source :...
18Converteo e-business Consulting / Tout savoir sur le testing
Le test a été mené : comment interpréter les résultats ?
1....
19Converteo e-business Consulting / Tout savoir sur le testing
Erreur à éviter N°1 : ne regarder QUE le taux de conversion...
20Converteo e-business Consulting / Tout savoir sur le testing
Erreur à éviter N°2 : impact local vs. impact global
Panier...
21Converteo e-business Consulting / Tout savoir sur le testing
Les différentes issues d’un test : l’échec nous en apprend ...
22Converteo e-business Consulting / Tout savoir sur le testing
Aller plus loin : affiner et segmenter l’analyse pour compr...
23Converteo e-business Consulting / Tout savoir sur le testing
Le futur du testing : du testing au targeting
 Sur la base...
24Converteo e-business Consulting / Tout savoir sur le testing
Les principaux pièges à éviter
PLANIFICATION
 Le testing n...
25Converteo e-business Consulting / Tout savoir sur le testing
Rentabilité d’un accompagnement : un point mort atteint dès...
26Converteo e-business Consulting / Tout savoir sur le testing
Merci pour votre attention : questions ?
Thomas FAIVRE-DUBO...
Upcoming SlideShare
Loading in...5
×

Optimiser son site grâce au testing A/B ou multivarié et au ciblage

2,705

Published on

Pratique encore peu répandue en France, le testing reste l'apanage malheureusement des acteurs les plus matures - il devient indispensable à partir d'1 million d'euros de CA - alors que son coût le met à la portée de tous !

Plus que d’autres méthodes d’optimisations, le testing requiert une méthodologie stricte et rigoureuse pour pouvoir être utilisée efficacement.

Cette conférence a pour objectif de :
- Introduire le concept de testing ainsi que les différents types de tests : A/B, multivarié, ciblage
- Fournir les bases et la méthodologie pour se lancer sereinement dans une démarche de testing (choix des variantes, outils, méthodes statistiques, liens avec les solutions de webanalytics, organisation générale, ...)
- Présenter les best-practices ainsi que les principaux pièges à éviter

Published in: Business

Optimiser son site grâce au testing A/B ou multivarié et au ciblage

  1. 1. 1Converteo e-business Consulting / Tout savoir sur le testing Tout savoir sur le testing Méthodes, bonnes pratiques, pièges à éviter Thomas Faivre-Duboz, Directeur Associé Converteo, e-Business Consulting E-commerce Paris, 26 septembre 2013
  2. 2. 2Converteo e-business Consulting / Tout savoir sur le testing Converteo – Le conseil expert du digital  Converteo est un cabinet de conseil spécialisé dans l’amélioration de la performance e-business de ses clients. Notre équipe est constituée uniquement de consultants de haut niveau agissant en complément de vos prestataires opérationnels existants (agence web ou full service, spécialiste référencement, …).  Nous aidons nos clients à cadrer, implémenter et optimiser leur stratégie digitale  Quelques exemples de mission – Audit et optimisation de la performance d’un site e-Commerce leader français – Audit et optimisation du plan média online (attribution / multitouch / cross-canal) – Mise en place d’une démarche de mesure online analytics groupe (KPIs, implémentation, définition de reportings) – Assistance à maîtrise d’ouvrage sur un projet de refonte pour un grand voyagiste français – Définition d’un business plan et des projets cross-canal à 5 ans – Accompagnement annuel performance (reporting, suivi, recommandations, AMOA) pour un e-Commerce B2C  Nous travaillons avec plus d’une centaine de clients B2C, B2B, marques, médias  Deux livres : – WEB CONVERSION, Stratégies pour convertir vos visiteurs en clients Publié en mai 2009, Editions Dunod – LE WEBMARKETING, Définir sa stratégie web, Construire sa visibilité, Générer du business à l’aide d’Internet Publié en octobre 2011, Editions Dunod
  3. 3. 3Converteo e-business Consulting / Tout savoir sur le testing Notre expertise testing  Une douzaine de clients « testing » variés (e-commerçants, télécoms, VADistes, média)  Plus d’une centaine de tests menés  Une méthodologie éprouvée Les solutions que nous recommandons et que nous utilisons  Choix de l’outil de testing  Identification du périmètre de test  Définition des KPIs  Définition d’une durée pertinente de test et d’une période adaptée  Proposition de maquettes fonctionnelles optimisées  Accompagnement des équipes  Paramétrage de l’outil et validation de la correcte exécution du test  Validation statistique des résultats  Mesure des gains potentiels du test  Identification de la variante à implémenter 1. PLANIFICATION 2. REALISATION 3. ANALYSE
  4. 4. 4Converteo e-business Consulting / Tout savoir sur le testing  Testing A/B « split » sur la page d’accueil téléphonie mobile, page à très fort trafic (été 2012)  Résultats obtenus : – Taux de conversion final acquisition clients mobile + 6% Exemple de tests réalisés par Converteo pour ses clients : SFR, aLittleMarket.com  Mise en place d’une démarche d’optimisation continue  Tests réalisés : – Entonnoir de conversion : +14% pour le taux de conversion – Pages boutique : +19% de CA / visite – Pages création : +27% de CA / visite – Page création fonctionnalité « Mettre de coté » : +70% de mise de coté
  5. 5. 5Converteo e-business Consulting / Tout savoir sur le testing Qu’est-ce que le testing ? Test A/B Taux de conversion 7% Originale Variante 1 Variante 2 Redirection aléatoire Taux de conversion 5% Taux de conversion 13%
  6. 6. 6Converteo e-business Consulting / Tout savoir sur le testing Le testing comme culture 1 : http://blog.hubspot.com/blog/tabid/6307/bid/17695/Why-Internet-Marketers-Must-Always-Be-Testing.aspx ” Beaucoup de gens ne le savent pas, mais il y a, en permanence, environ 200 tests actifs sur le site”1 ” Google a mené près de 12 000 tests en 2009. Seulement 10% de ces tests ont eu un impact sur l’activité de Google.” 2 2 : http://www.growthgiant.com/blog/lean-website-optimization-we-dont-know-anything/
  7. 7. 7Converteo e-business Consulting / Tout savoir sur le testing Quels éléments peut-on tester ?  Texte de rassurance  Message de call-to-action  Elasticité prix  Nouvelle fonctionnalité LE FOND LA FORME  Ergonomie  Structure de page  Processus – Nombre d’étapes – Ordre des étapes  Graphisme – Couleur de boutons – Images / créations Potentiellement, tout peut être testé…mais tout n’est cependant pas à tester :  On ne peut tester que ce que l’on peut mesurer  Il faut savoir arbitrer entre gain potentiel et coût de mise en place du test QUELQUES EXEMPLES D’ELEMENTS A TESTER
  8. 8. 8Converteo e-business Consulting / Tout savoir sur le testing Le testing au cœur de la démarche d’amélioration au continue Collecte des données 1 Décider5 Testing des alternatives proposées Outils : test A/B, split test, test multivarié Proposer3 Tester4 Analyser2 Recueil de données sur le comportement et la perception des visiteurs Outils : web-analyse, CRM, questionnaires, focus group, etc. Mise en place fonctionnelle des recommandations Outils : storyboards, maquettes, développements Analyse et croisement des données collectées de manière à identifier des zones d’action et formuler des recommandations Outils : reportings, tableaux de bord, analyses ad hoc Analyse des résultats du test et implémentation de la version gagnante Outils : web-analyse, click-track, étude de l’expérience utilisateur
  9. 9. 9Converteo e-business Consulting / Tout savoir sur le testing Les différentes étapes du processus de testing Mise en place Configuration du test dans l’outil de testing Analyse des résultats Identification de la variante gagnante Implémentation Développement et passage en production de la version gagnante Définition du test Définition des variables du test (fiche de test) Identification et planification des tests Définition de la roadmap des tests (plan de test)
  10. 10. 10Converteo e-business Consulting / Tout savoir sur le testing Comment identifier les zones d’amélioration de la performance ? Mauvaise performance intrinsèque de la page - Mauvaise user experience - Faible taux de clic sur les boutons d’action - Faible taux de passage - Fort taux de rebond - Fort taux de sortie Page avec un fort trafic X Equation Converteo du potentiel d’amélioration de la performance d’une page X Proximité avec la fin du tunnel de conversion Données de webanalyse Outils de click-tracking Etude de l’expérience utilisateur Moyens d’identification ?
  11. 11. 11Converteo e-business Consulting / Tout savoir sur le testing Une démarche itérative, mais aussi expérimentale… Source : http://insideintercom.io/criticism-and-two-way-streets/
  12. 12. 12Converteo e-business Consulting / Tout savoir sur le testing La période de test doit être choisie de manière à être la plus représentative d’une période « normale » du site A NE PAS FAIRE - Choisir une période avec une trop faible quantité de trafic - Lancer un test pendant une période où d’autres tests actifs peuvent en impacter les résultats - Faire durer un test moins d’une semaine : les effets semaine/week-end peuvent souvent inverser les résultats A FAIRE - Choisir une période avec une quantité de trafic suffisamment importante pour atteindre la représentativité statistique rapidement - Prévoir ses tests suffisamment à l’avance pour que toutes les parties prenantes du test soient disponibles (IT, webdesign, intégration, prestataires) A FAIRE AVEC PRECAUTION - Choisir une période « anormale » (période de Noël, de soldes par exemple) - Choisir une période avec l’activation d’une fonctionnalité « temporaire » du site (période avec un habillage particulier par exemple)
  13. 13. 13Converteo e-business Consulting / Tout savoir sur le testing Indispensable : un temps suffisant pour atteindre la représentativité statistique Visiteurs uniques sur site / semaine Tx de conv. +5% Tx de conv. +10% Tx de conv. +15% Tx de conv. +20% 10 000 30 semaines 8 semaines 4 semaines 2 semaines 100 000 3 semaines 6 jours 3 jours 2 jours 500 000 5 jours 2 jours < 1 jour < 1 jour 1 000 000 3 jours < 1 jour < 1 jour < 1 jour Durées indicatives pour atteindre une représentativité statistique de 95% avec un taux de conversion constaté de la page actuelle de 1,5% et pour 1 seule variante testée face à l’originale Total des visiteurs du site depuis sa création Echantillon testé Lors d’un test, on essaie de prévoir le comportement hypothétique de la totalité des visiteurs du site à partir d’un échantillon de visiteurs
  14. 14. 14Converteo e-business Consulting / Tout savoir sur le testing Lançons-nous : les différentes étapes de la mise en place d’un test Création de maquettes des évolutions attendues sur la base de recommandations issues de la phase d’analyse. VS. 1. Maquettage fonctionnel 2. Maquettes graphiques et intégration Configuration des variables du test : type de test, ciblage, échantillonnage, redirections, nombre de variantes, lien avec un outil de web-analyse, etc. 3. Paramétrage de l’outil de testing Habillage des maquettes fonctionnelles et intégration des maquettes graphiques 4. Lancement du test Lancement du test et validation de sa bonne exécution
  15. 15. 15Converteo e-business Consulting / Tout savoir sur le testing Les différents types de tests : le split test Exemple de test Test d’une version alternative de page produit Version originale Page variante Split Test : pour tester une page contre une autre page très différente, hébergée de manière indépendante
  16. 16. 16Converteo e-business Consulting / Tout savoir sur le testing Les différents types de tests : le test A/B JE DECOUVRE Exemple de test Changement de wording sur un bouton d’action JE COMMANDE Version originale Version variante Test A/B: pour tester un élément au sein d’une seule et même page
  17. 17. 17Converteo e-business Consulting / Tout savoir sur le testing Les différents types de tests : le test multivarié Source : editionsatlas.fr Je découvre Je découvre Je commande Je commande Nos coups de cœur Nos meilleures ventes Nos coups de cœur Nos meilleures ventes Variable 1 Variable 2 Combinaison 1 Combinaison 2 Combinaison 3 Combinaison 4 Exemple de test Combinaison de formulations différentes pour des boutons d’action de la homepage Test multivarié: pour tester plusieurs éléments simultanément au sein d’une seule et même page
  18. 18. 18Converteo e-business Consulting / Tout savoir sur le testing Le test a été mené : comment interpréter les résultats ? 1. Au sein de la solution de testing (Kameleoon, AB Tasty, Adobe Target, Visual Website Optimizer, …) 2. Au sein de l’outil de webanalytics (Google Analytics, Adobe Analytics, AT Internet, …
  19. 19. 19Converteo e-business Consulting / Tout savoir sur le testing Erreur à éviter N°1 : ne regarder QUE le taux de conversion Source : alittlemarket.fr Page produit originale Variante Taux de conversion : 1% Taux de conversion : 1,3% Il est impossible d’établir un vainqueur si on ne regarde pas l’évolution du panier moyen ! Une diminution de ce dernier peut fausser le jugement fondé sur le seul taux de conversion. Représentativité statistique des résultats : 98% Quelle est la version gagnante ?
  20. 20. 20Converteo e-business Consulting / Tout savoir sur le testing Erreur à éviter N°2 : impact local vs. impact global Panier Témoin : 100 Test : 100 Infos Témoin : 80 Test : 85 Livraison Témoin : 40 Test : 43 Paiement Témoin : 38 Test : 32 Confirmation Témoin : 15 Test : 12 +5% 0% 0%-20% -3% Le choix des indicateurs de performance doit permettre d’évaluer l’impact d’une variante sur la performance globale du site Exemple : on supprime des informations de frais de port sur la page panier Le taux de conversion local de la page panier s’accroît, mais la performance de la page livraison en souffre beaucoup plus fortement
  21. 21. 21Converteo e-business Consulting / Tout savoir sur le testing Les différentes issues d’un test : l’échec nous en apprend autant que la réussite Issue du test Conditions Une des variantes gagne • Conversion et/ou CA Variante > Conversion et/ou CA Témoin • Représentativité statistique > 95% L’originale gagne • Conversion et/ou CA Variante < Conversion et/ou CA Témoin • Représentativité statistique > 95% Résultat neutre • Conversion et/ou CA Variante = Conversion et/ou CA Témoin • Représentativité statistique non atteinte malgré de forts volumes =
  22. 22. 22Converteo e-business Consulting / Tout savoir sur le testing Aller plus loin : affiner et segmenter l’analyse pour comprendre le comportement des visiteurs sur les variantes Témoin Variante Taux de conversion témoin : 1,30% Taux de conversion variante : 1,30% Tx de conv. témoin : 1,32% Tx de conv. variante : 1,29% Tx de conv. témoin : 1,10% Tx de conv. variante : 1,27% Segmentation par device
  23. 23. 23Converteo e-business Consulting / Tout savoir sur le testing Le futur du testing : du testing au targeting  Sur la base de segments créés à partir de données disponibles sur les visiteurs (source, statut, device, langue, etc.), on peut tester des expériences personnalisées à chaque segment de visiteurs et ainsi maximiser les chances de conversion pour les différents profils de visiteurs  Ces tests « ciblés » nécessitent cependant d’avoir un trafic suffisant sur chacun des segments de visiteurs testés Utilisateur 1 + + Utilisateur 2 Source : SEO Source : Direct + + Statut : déjà acheteur Statut : prospect = = Version B Version A
  24. 24. 24Converteo e-business Consulting / Tout savoir sur le testing Les principaux pièges à éviter PLANIFICATION  Le testing n’est pas une fin en soi mais doit valider une hypothèse d’optimisation : il peut être contreproductif de « tester pour tester » uniquement pour trancher un débat de design  Le choix des objectifs d’un test doit être assez global pour prendre en compte les impacts d’une variante sur la performance globale du site, et non uniquement sur une page / étape en particulier REALISATION  Pendant la période de test, il est primordial d’offrir la même expérience à toutes les visites d’un même visiteur (dans la limite du ciblage des visiteurs par cookie)  La tentation est forte de considérer le testing comme une technique sans risque : notamment pour les sites à fort trafic, dévier 50% de son trafic sur une variante sensiblement moins performante peut engager des pertes importantes ANALYSE  Toujours regarder la significativité statistique des résultats avant de tirer des conclusions  Un des écueils que peut provoquer le testing est de négliger pourquoi une variante est gagnante / perdante
  25. 25. 25Converteo e-business Consulting / Tout savoir sur le testing Rentabilité d’un accompagnement : un point mort atteint dès le premier mois pour un gain de conversion de +15% Hypothèses de P&L de l’accompagnement Testing Revenus  Visites annuelles : 20 000 000  Transactions : 200 000  Taux de conversion : 1%  Panier moyen : 100 €  CA annuel : 20 M€  Marge nette : 15% Résultat net du projet d’accompagnement Testing en € Gain potentiel de conversion Duréeduprojet(enmois) Gain de conversion cible 5% 10% 15% 20% 25% 30% 1 47 500 €- 35 000 €- 22 500 €- 10 000 €- 2 500 € 15 000 € 2 35 000 €- 10 000 €- 15 000 € 40 000 € 65 000 € 90 000 € 3 22 500 €- 15 000 € 52 500 € 90 000 € 127 500 € 165 000 € 4 10 000 €- 40 000 € 90 000 € 140 000 € 190 000 € 240 000 € 5 2 500 € 65 000 € 127 500 € 190 000 € 252 500 € 315 000 € 6 15 000 € 90 000 € 165 000 € 240 000 € 315 000 € 390 000 € 7 27 500 € 115 000 € 202 500 € 290 000 € 377 500 € 465 000 € 8 40 000 € 140 000 € 240 000 € 340 000 € 440 000 € 540 000 € 9 52 500 € 165 000 € 277 500 € 390 000 € 502 500 € 615 000 € 10 65 000 € 190 000 € 315 000 € 440 000 € 565 000 € 690 000 € 11 77 500 € 215 000 € 352 500 € 490 000 € 627 500 € 765 000 € 12 90 000 € 240 000 € 390 000 € 540 000 € 690 000 € 840 000 € Exemple de prestation  Coûts d’accompagnement de type « full service » (licence + gestion de projet) : 60 000 €
  26. 26. 26Converteo e-business Consulting / Tout savoir sur le testing Merci pour votre attention : questions ? Thomas FAIVRE-DUBOZ – Directeur Associé Mail : thomas@converteo.com Tél : +33 6 33 68 34 85 http://www.converteo.com

×