• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Optimiser la performance business de votre site avec l'A/B Testing
 

Optimiser la performance business de votre site avec l'A/B Testing

on

  • 905 views

Support de la session sur l'A/B testing présentée au PHP Tour 2011

Support de la session sur l'A/B testing présentée au PHP Tour 2011

Statistics

Views

Total Views
905
Views on SlideShare
876
Embed Views
29

Actions

Likes
0
Downloads
10
Comments
0

3 Embeds 29

http://lanyrd.com 23
https://twitter.com 4
http://a0.twimg.com 2

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Optimiser la performance business de votre site avec l'A/B Testing Optimiser la performance business de votre site avec l'A/B Testing Presentation Transcript

    • Optimiser la performance business de votre site avec lA/B TestingGilles LaborderieDirecteur Technique Web & MobileTwitter : @g_laborderie
    • Twenga  La plateforme de shopping ouverte qui offre le plus grand choix du web.  Plus de 450 millions d’offres venant de plus de 230 000 boutiques en ligne.  Déployé dans 15 pays : France, Royaume- Uni, Espagne, Italie, Allemag ne, Pays- Bas, Belgique, Suisse, Polog ne, Brésil, Russie, Etats- Unis, Australie, Chine et Japon
    • Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
    • Qu’est-ce-que l’A/B Testing ? Une technique marketing pour tester et optimiser la performance d’une proposition commerciale. Initialement utilisé pour les campagnes marketing par courrier Aujourd’hui, utilisé par les acteurs du Web pour optimiser la performance des bannières publicitaires, des campagnes d’e-mailing et des sites Web. Autres techniques similaires :  Test A/B/N  Test multivarié
    • A/B Testing en image Version A 50 visiteurs 2 clics 8% Conversion 4% Version B100 visiteurs A B 50 visiteurs 4 clics
    • Pourquoi tester ? Parce que l’on améliore que ce que l’on mesure Parce qu’il n’existe pas de recommandations universelles Parce que c’est moins cher que d’acheter plus de trafic Parce qu’ils le font ! Amazon, Google, Microsoft, etc.
    • Que peut-on tester ? Bannière publicitaire Email (titre – message) Landing page Pages Web
    • Un exemple de test A/B sur une landing page +60% Version de contrôle VariationCopyright Abtests.com
    • Un exemple de test A/B/C sur une page d’accueil Version de contrôle +67,8% +23% Version A Version BCopyright Anne Holland Ventures, Inc. http://whichtestwon.com/
    • Un exemple de test A/B sur un élément de design Version de contrôle +28% VariationCopyright Wingify
    • Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
    • Bénéfices de l’A/B testing Expérience en conditions réelles Technique peu onéreuse Peut détecter de petites variations de performance
    • Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
    • Processus d’A/B Testing Définition de l’expérience Analyse Implémentation Expérience
    • 1. Définition de l’expérience Définir l’indicateur / métrique à optimiser et le champs de contraintes Définir la(les) version(s)  Forme : mise en page, couleurs, positions, etc.  Contenu : titres, textes, images, formulaires, etc.  Concept : tarification, promotions, etc. Définir les paramètres de l’expérience  Segmentation des utilisateurs  Répartition du trafic entre les différentes versions  Durée (utiliser un outil pour calculer la durée)
    • 2. Implémentation Développement des versions Création et configuration du test  Frameworks PHP  Outils commerciaux  phpA/B  Google Website Optimizer  phpScenario  Visual Web Optimizer  Optimizely  Omnitures Test & Target  Webtrends Optimize  Etc. Déploiement des versions  Recetter toutes les versions comme une version de production !
    • 2. Implémentation – les frameworks Configuration du test  Déclaratif dans le code PHP / fichiers de configuration  OU Stocké en BD / Cache Implémentation des versions <?php if (MyFramework::IsControl(my_test)) { // control version } else { // alternate version } ?>
    • 2. Implémentation – Les solutions commerciales GET /2345/test.js 1. Configure un test A/B EasyTesting.com Chef de produit MyShop.com GET / 2. Insère le script JSInternaute MyShop.com
    • 3. Expérience Mise en ligne de l’expérience Expérience  Utiliser un outil statistique pour définir la durée de l’expérience Source Mise hors ligne à la fin de l’expérience  Automatiquement ou manuellement
    • 4. Analyse Compilation des résultats  Récupération des métriques - Métrique à optimiser ET champs de contrainte  Agrégation des métriques Analyse des résultats  Analyse, mise en forme, etc.  Analyse de la fiabilité des résultats Conclusion de l’expérience Source  Synthèse de l’expérience et des résultats  Recommandation
    • 4. Analyse – Un peu de statistiques Il est nécessaire de calculer la fiabilité statistique des résultats observés avant de conclure Test Khi2 1. Calculer la valeur Khi2 2. La valeur Khi2 donne le niveau de confiance que les résultats soient significatifs Confiance 95% 99% 99,9% Khi2 > 3,8 6,6 10,8 La test Khi2 dépend en particulier du nombre d’observations  Plus le site a de trafic, moins longtemps il faudra pour conclure sur la fiabilité des observations
    • Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
    • A/B Testing chez Twenga Un test à la fois Généralement sur un pays Optimisation d’indicateur business sous contraintes de KPI  Pages vues par visite  Taux de rebond  Taux de conversion  Revenu par visite  Temps passé sur le site Utilisation d’un framework PHP maison  Essentiellement pour des raisons de performance
    • Framework d’A/B Testing (1/2) Créer unnouveau testTest en cours Historique des tests
    • Framework d’A/B Testing (2/2) Versionset répartition Identifiant du test Version par défaut
    • Premier exemple : bannière animée vs. Image fixe (1/2) Objectif du test : déterminer quel format génère le plus de clicsVersion A Version B
    • Premier exemple : bannière animée vs. Image fixe (2/2) Tableau récapitulatif des Pages vues / Clics Pages vues Clics Taux de clics FLASH 3 361 008 1 014 0,030% PNG 3 370 304 2 870 0,085% Significativité Test du Khi² Khi² de notre série (FLASH vs. PNG) 881,28 Khi² à dépasser avec 99,9% de confiance 10,83  Le résultat est hautement significatif avec 99% de confiance. Conclusion  La version PNG performe plus que la version FLASH
    • Deuxième exemple : filtre de prix (1/2) Objectif du test : déterminer comment les internautes préfèrent filtrer par prix Version A  Version B  Tranches de prix pré-déterminés  Slider de prix
    • Deuxième exemple : filtre de prix (2/2) Le taux dutilisation du filtre PRIX est impacté par la forme de ce filtre.  La version A (tranches de prix) a un taux dutilisation 1,33 x plus important que la version B (slider de prix).  Cette différence est hautement significative. Taux dutilisation du filtre 2.5% 2.0% 1.5% 1.0% 0.5% 0.0% Price Range Price Slider
    • A/B Testing chez Twenga Ces résultats sont contextuels et ne sont pas généralisable Nous complétons les tests A/B par des tests utilisateurs  Permet de tester des prototypes (voire des prototypes papier)  Permet d’avoir une approche plus orientée utilisateur
    • Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
    • Comprendre les limites de l’A/B Testing Nécessite de développer, recetter et déployer toutes les versions N’évalue que les versions testées Ne favorise pas la compréhension profonde du comportement des utilisateurs Ne fonctionne que pour ce qui est mesurable par une session HTTP Orienté court-terme Peut conduire à un maximum local
    • Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
    • Bien se lancer Commencer par :  Les pages les plus visitées  Les pages avec le plus grand taux de rebond  Les tunnels business - Inscription - Achat A ne pas faire  A faire  Tester les versions  Vérifier la fiabilité de vos tests séquentiellement  Montrer la même variation aux  Faire plusieurs tests à la fois utilisateurs  Perturber vos utilisateurs  Vérifier la cohérence générale  Partager les résultats en interne
    • Ressources utiles ABtests.com Which Test Won? Free A/B Split Testing Tools
    • Q&A Twenga recrute !http://recrute.twenga.fr/