Converteo et Kameleoon ont le plaisir d’annoncer la parution de leur 3ème baromètre sur les pratiques de l'A/B testing et de la personnalisation web en France. Cette étude menée auprès de 250 acteurs du digital se divise en 3 grands axes d’analyse : - Pratiques de l’A/B testing et la personnalisation web - Modalités d’utilisation de l’A/B testing - Parties prenantes de l’A/B testing et de la personnalisation

1. BAROMÈTRE
Les pratiques de l’A/B testing et la
personnalisation web en France
Second semestre 2016
Pour : En partenariat avec :

2. Converteo – 3ème enquête annuelle testing et personnalisation
Dresser un panorama
de l’évolution des tendances
d’A/B testing et
personnalisation web en France
Méthodologie de l’enquête
Une étude réalisée en partenariat par Converteo et Kameleoon
2
250 répondants
tous secteurs d’activité
confondus
ECHANTILLON
Du 1er au 18 juillet 2016
DATES
OBJECTIF
Questionnaire
adressé
par téléphone
MODALITES

3. Converteo – 3ème enquête annuelle testing et personnalisation
Principaux enseignements
3
L’A/B testing et la personnalisation web continuent à se propager de manière
pérenne. Leur utilité est désormais reconnue dans l’amélioration de la
conversion et de l’expérience utilisateur
Web Analyse, A/B Testing et personnalisation sont complémentaires: elles
font toutes trois partie de la boîte à outils des marketeurs pour optimiser leur
conversion
Les retours d’expérience des entreprises avec le plus de recul sur l’A/B Testing
et la personnalisation illustrent une plus grande appropriation des outils et
des approches, ainsi que des équipes Marketing de plus en plus
autonomes. L’apport dans la conversion de ces deux pratiques y est désormais
établi
Bien que les équipes Marketing et IT soient au cœur du pilotage des projets d’A/B
Testing et de personnalisation, une intégration croissante des équipes BI & CRM
est à noter cette année. Celle-ci met en évidence l’importance croissante de la
data dans la conduite des projets d’optimisation de la conversion

4. Etat des lieux des pratiques
1

5. Converteo – 3ème enquête annuelle testing et personnalisation
60%
40%
Oui Non
35%
46%
19%
Oui
Non ce n'est pas prévu à court terme
Non mais c'est prévu dans les 12 prochains mois
La personnalisation
devient un enjeu de plus en
plus important, dans le
sillage de l’A/B testing.
Cependant, nous
constatons un besoin
d’objectivation et de
dissociation des deux
pratiques : quand et où faire
du testing ? De la
personnalisation ? Comment
articuler les deux pratiques
en interne ?
Thomas Faibre-Duboz
Converteo
Associé - Fondateur
• Trois entreprises sur cinq font maintenant de l’A/B testing, en augmentation de 20% par rapport à 2015.
La croissance la plus impressionnante reste celle de la personnalisation, avec +42% d’entreprises
qui créent des expériences sur-mesure pour leurs visiteurs par rapport à 2015.
L’A/B testing et la personnalisation web : des pratiques qui continuent
à se propager de manière pérenne
5
1
Réalisez-vous des campagnes de personnalisation web ?
Faites-vous de l’A/B testing ?
250 répondants
1
2
1
Les chiffres clés
+ 10 pts
54 %
utilisent l’A/B testing
(vs. 2015)
utilisent ou ont un
projet à court terme de
personnalisation
2

6. Converteo – 3ème enquête annuelle testing et personnalisation
L'optimisation de
l'expérience utilisateur n'est
plus une option et s'inscrit
dans une démarche globale.
Les équipes marketing ont
aujourd'hui des outils
complémentaires pour créer
des expériences sur-mesure
pour leurs visiteurs, avec
l'A/B testing pour valider les
hypothèses d'optimisation
ergonomique, et la
personnalisation pour
adapter ses contenus à
leurs besoins et attentes.
• Un consensus très large autour de l’utilité de l’A/B testing et de la personnalisation est à noter cette
année. Auprès même des répondants qui n’y ont pas encore recours dans leurs organisations
(principalement pour des raisons de ressources ou de moyens. voir plus loin dans l’enquête)
• Pour tester des idées, présenter le bon contenu au bon client/prospect, améliorer son expérience, les
acteurs du marché semblent désormais convaincus de l’intérêt de ces deux pratiques. Pour autant,
beaucoup reste à faire pour la démocratiser et la rendre accessible au plus grand nombre
L’utilité de l’A/B testing et de la personnalisation est désormais reconnue
dans l’amélioration de la conversion et de l’expérience utilisateur
6
1
Pour vous, l’A/B testing / personnalisation web est ?
250 répondants
28%
32% 33%
7%
0%
5%
10%
15%
20%
25%
30%
35%
Indispensable Très utile Utile Inutile
Les chiffres clés
93% sont convaincus de l’utilité de
l’A/B testing et la
personnalisation
Une tendance à la hausse
de manière constante
depuis notre première
enquête en 2014
Thomas Sauzedde
Routard.com
Directeur Général

7. Converteo – 3ème enquête annuelle testing et personnalisation
Les chiffres clés
Les répondants trouvent l’A/B testing
ou la personnalisation (vs. 2015)
+ 3 pts simples ou très simples
Le succès d’une
approche d’A/B testing
dépend avant tout de
l’appropriation de l’outil par
les équipes. En complément
de l’implication des
collaborateurs dans les
formations, ces derniers
doivent prendre l’habitude
de l’utiliser pour
développer une véritable
expertise sur le sujet et la
valoriser auprès des
directions auxiliaires
• Les acteurs continuent à se familiariser petit à petit avec les pratiques de l’A/B testing et de la
personnalisation; sans être résolument démocratisées, elles sont néanmoins de mieux en mieux
appréhendées
• Une plus large diffusion de la pratique et de ses outils est à noter, accompagnant aussi la diffusion d’une
culture de la data dans un plus grand nombre d’organisations et la data-ification des décisions liées au
marketing
L’A/B testing et la personnalisation sont mieux appréhendés
7
1
250 répondants
Considérez-vous, l’A/B testing / la personnalisation web comme
une pratique
5%
43%
48%
4%
0%
10%
20%
30%
40%
50%
60%
Très simple Simple Complexe Très complexe
Mohamed Ferras
ENGIE
Responsable du pôle vente de
l'équipe site

8. Converteo – 3ème enquête annuelle testing et personnalisation
44% 44%
78%
55%
Pure Player Non Pure Player
2015
2016
Les chiffres clés
L’utilisation de l’A/B testing
(vs. 2015)
+ 34 pts
+ 11 pts
Chez les pure players
Chez les non pure
players
Nous sommes dans une
logique d’optimisation
continue de l’expérience
utilisateur on site. La
solution nous permet d’A/B
tester très facilement nos
innovations, de mieux cibler
nos utilisateurs et de
contextualiser notre
discours pour qu’il soit plus
pertinent. La souplesse de
cette solution nous a permis
d’aller plus loin que ce qu’on
était capable de faire avant
et optimiser ainsi nos
actions d’upselling et de
rétention de nos utilisateurs.
• Une nette hausse du recours à l’A/B Testing parmi les Pure Players, chez qui la conversion reste
évidemment un enjeu vital
• Agiles et très réactives, les organisations des Pure Players ont depuis longtemps adopté la logique des
tests concrets avec des résultats visibles; logique qu’ils renforcent désormais par la robustesse et la
pertinence d’un outil d’A/B Testing dédié
La pratique de l’A/B testing est désormais plus répandue chez les Pure Players
8
1
250 répondants
Faites vous de l’A/B testing?
(Part de OUI en fonction de la nature des acteurs)
Cynthia Ramirez
Meetic
Web & Mobile CRM Manager

9. Converteo – 3ème enquête annuelle testing et personnalisation
Les chiffres clés
> 50 % Font de l’A/B testing
sur 6/7 des secteurs
Chaque secteur à des
enjeux particuliers. Nous
accompagnons +300 clients
et nous observons que
l’optimisation de
l’expérience utilisateur ne
se limite pas à la
conversion d’un visiteur
en client. Les secteurs
comme les médias, banques
et petites annonces doivent
également travailler, entre
autres, l’engagement et la
fidélisation de leurs visiteurs.
• Les secteurs qui ont une part importante de leur activité ou une part croissante et à potentiel sur
internet, via un site de e-commerce, sont aussi ceux où la pratique de l’A/B Testing est de plus en plus
répandue
Retail, Telecom, Banque et Media … les secteurs les plus chahutés par la
transformation digitale sont aussi ceux qui recourent le plus à l’A/B Testing
9
1
250 répondants
71%
67%
65%
57%
57%
55%
33%
Retail, distribution, généraliste, alimentaire
Internet, télécoms
Banque, assurance, conseil
Média, culture, divertissement
Petites annonces, location
Construction, bricolage, jardinage, immobilier
Mode, beauté, santé
Faites vous de l’A/B testing?
(Part de OUI en fonction de la nature des acteurs)
Grégoire Thomas
Kameleoon
Head of Marketing

10. Converteo – 3ème enquête annuelle testing et personnalisation
72%
13%
15%
< 1 million Entre 1 et 5 millions Plus de 5 millions
Nous pratiquons l’A/B
Testing depuis déjà 5 ans.
Notre site a un double
objectif, la communication
sur les actions de
l’association des
consommateurs et la vente
d’abonnements à notre
magazine. Nos tests
reposent sur la réflexion
naturelle de chacun autour
de l’optimisation d’une page
et de l’amélioration de
l’expérience utilisateur.
• Plus le trafic d’un site est important, plus les changements effectués et les initiatives testées ont un
impact direct sur celui-ci
• Les entreprises faisant face à un trafic fort voire très important, recourent indiscutablement à l’A/B Testing
(75% dès 1 à 5 millions de visite par mois)
Sur les sites à fort trafic, l’A/B testing est même devenu une pratique standard
10
1
250 répondants
Faites-vous de l’A/B testing ?
Quel est le nombre de visiteurs uniques sur l’ensemble de vos
sites (par mois) ?
1
2
Les chiffres clés
+ 4 pts
+ 19 pts
d’A/B tests chez les
sites très fortement
fréquentés ( > 5
millions par mois)
d’A/B tests chez les
sites < 1 million par
mois1 2
Jean-Philippe
Machanovitch
UFC Que Choisir
Directeur Marketing Web

11. Les modalités d’utilisation
de l’A/B testing
2

12. Converteo – 3ème enquête annuelle testing et personnalisation
Pour choisir nos tests, nous
remontons toujours en sens
inverse, de la conversion vers la
page vue.
L’un des objectifs d’une
initiative de personnalisation, au-
delà de la recherche de
performance, c’ est la meilleure
connaissance du parcours client.
La Web analyse et la
personnalisation sont toutes
deux complémentaires.
• La Web analyse s’est largement démocratisée et fait désormais partie intégrante de la routine des
marketeurs
• La personnalisation web, émerge de plus en plus comme outils d’optimisation, même si beaucoup reste à
faire pour que cette pratique se démocratise
87%
83%
58%
31% 30%
19%
5%
Webanalytics Analyse de la
donnée utilisateur
Benchmark de la
concurrence
Personnalisation
web
Recommendation
produit
Test d'usabilité
(UX/ergonomie)
Autres
Bien que la Webanalyse reste prédominante pour l’optimisation de la
conversion, la personnalisation s’impose graduellement dans la boîte à
outil des marketeurs
12
2
250 répondants
Quelle est votre pratique favorite d’optimisation de la conversion de vos
sites ? (Plusieurs réponses possibles)
Les chiffres clés
Pour identifier des pistes
d’optimisations, les marketeurs
utilisent :
87 %
31 %
la webanalyse
la personnalisation web
Jean-Philippe
Machanovitch
UFC Que Choisir
Directeur Marketing Web
Mohamed Ferras
ENGIE
Responsable du pôle vente de
l'équipe site

13. Converteo – 3ème enquête annuelle testing et personnalisation
Le temps de
s’approprier le sujet et les
outils, nous avons plutôt
fait des tests simples
(positionnement de CTA,
wording, …), faciles à
réaliser et que l’on pouvait
interpréter.
Désormais nous essayons
d’aller plus loin, avec une
vraie roadmap, et une
stratégie de tests
Les chiffres clés
> 10
tests
Sont lancés par an
pour près de la moitié
des organisations
• Le nombre de tests faits par an dépend largement du trafic du site. Les sites ayant un nombre de
visiteurs excédant les 5 millions font plus de 20 tests par an (65%). A contrario, ceux avec moins d’1
million de visiteurs en font moins de 5 à hauteur de 36%
L’augmentation du recours à l’A/B Testing et à la personnalisation,
s’accompagne également d’un plus grand volume annuel de test
13
2
250 répondants
Combien de tests réalisez-vous par an ?
Mohamed Ferras
ENGIE
Responsable du pôle vente de
l'équipe site

14. Converteo – 3ème enquête annuelle testing et personnalisation
54%
20% 19%
6%
51%
24%
17%
9%
Optimiser l'ergonomie de
vos pages
Vérifier l'apport de
nouvelles fonctionnalités
Evaluer l'impact réel de vos
offres
Autres
2015
2016
• Les entreprises passent de l’optimisation de l’ergonomie des pages vers des problématiques plus
complexes comme la vérification de l’apport incrémental de leurs nouvelles fonctionnalités
Pour augmenter leurs taux de conversion, les entreprises testent
prioritairement l’ergonomie des pages et l’apport de nouvelles fonctionnalités
14
2
ERGONOMIE / UX FONCTIONNALITES OFFRES
149 répondants (Ceux qui font de l’A/B testing)
Pourquoi utilisez-vous prioritairement l’A/B testing ?
Les chiffres clés
- 4 pts
+ 3 pts
A/B testing
d’optimisation de
l’ergonomie des pages
vs 2015
A/B testing vérification
de l’apport de nouvelles
fonctionnalités vs 2015
Raphaël Fétique
Converteo
Associé - Fondateur
L'optimisation de la
conversion est trop souvent
réduite au sujet de
l'ergonomie car c'est le seul
levier facilement activable
par les équipes en charge
de l'A/B testing. Il convient
pour faire des vrais sauts de
performance de s'intéresser
au mix marketing même si
cela pose de vrais sujets
organisationnels et de faire
exploser les silos : l'A/B
testing est une démarche
et une méthodologie qui
ne doit pas se limiter au
sujet ergonomique.

15. Converteo – 3ème enquête annuelle testing et personnalisation
Avec 5 ans de recul sur
l’A/B Testing, nous sommes
souvent sur les rails pour les
cadrages et la réalisation
des tests. C’est désormais
l’interprétation qui est
critique pour nous. L’A/B
Testing fournit la version la
plus performante d’une page
mais pas l’origine de cette
performance, or c’est le
plus important. Il s’agit alors
de trouver les hypothèses
les plus plausibles pour les
généraliser.
• Les marketeurs se sont plus appropriés les outils et leur paramétrage; de même l’utilisation fonctionnelle
de ces outils n’est plus vraiment un enjeu pour les répondants.
• Même si l’A/B Testing est jugé comme une pratique incontournable, il ne résume pas à lui seul une
stratégie de conversion ni une stratégie marketing. Il valide une hypothèse mais ne la crée pas (d’où
l’importance de la phase de cadrage). Le test donne le résultat mais ne dit pas pourquoi, l’interprétation
des tests et de la provenance de la performance reste clef pour la réussite ou non d’un A/B Test.
Même si mieux appréhendées, les entreprises ont particulièrement besoin
d’être accompagnées pendant les phases de cadrage de l’A/B testing
Etapes d’un projet d’A/B
testing
1
3
2
Interprétation = 24%Réalisation = 16%Cadrage = 57%
30%
Définition des
objectifs
27%
Identification
des pistes
d’améliorations
16%
Paramétrage
du test
24%
Analyse
des résultats
1 2 3
15
149 répondants (Ceux qui font de l’A/B testing)
Quelle est, selon vous, l'étape la plus critique d'un projet d'A/B testing ?
Les chiffres clés
+ 9 pts
+ 3 pts
cadrage et
identification des tests
de besoin de
réalisation des A/B
tests vs 2015
Jean-Philippe
Machanovitch
UFC Que Choisir
Directeur Marketing Web

16. Converteo – 3ème enquête annuelle testing et personnalisation
Manque de temps et
compétences internes
restent les principaux freins
au lancement de projet
d’optimisation. Le
développement d’une
stratégie d’optimisation de
la conversion implique une
phase de cadrage, de
réalisation et
d’interprétation des
résultats. On observe
cependant que certaines
entreprises pallient à cette
contrainte en externalisant
toute ou partie de leur
projet d’optimisation.
• Le manque de ressources (compétences internes, temps et budget) reste le principal frein pour lancer
des campagnes d’A/B Testing, bien que les répondants n’implémentant pas d’A/B Testing sont de plus
en plus convaincus de l’intérêt de celui-ci (pas de tests par manque d’intérêt ou de connaissance  moins
– 12 points par rapport à 2015).
Le manque de ressources et de temps est le principal frein au lancement
d’A/B tests
16
2
A quel horizon avez-vous l’intention de lancer un projet d’A/B testing ?
Quelles sont les raisons pour lesquelles vous n’avez pas démarré de
projet ? (Plusieurs réponses possibles)
1
2
Les chiffres clés
32 %
41 %
ont un projet d’A/B
testing
n’ont pas de projet par
manque de ressources
1 2
Grégoire Thomas
Kameleoon
Head of Marketing
101 répondants (Ceux qui ne font pas d’A/B testing)

17. Converteo – 3ème enquête annuelle testing et personnalisation
L’enjeu principal pour
Meetic est de convertir les
membres inscrits (gratuits)
en membres payants. Pour
y parvenir, nous avons
d’A/Bord besoin de
connaître et comprendre
les parcours de nos
visiteurs pour leur proposer
une expérience sur mesure.
Le facteur clé de la réussite
de nos campagnes de
personnalisation réside
donc dans la
contextualisation de nos
messages par rapport à
leur activité sur nos
services.
Les données CRM, sources et comportementales sont jugées les plus utiles
pour une personnalisation web efficace
17
2
Selon vous, quelle est l’importance des données suivantes pour pouvoir
mener des campagnes de personnalisation web efficace ?
64 répondants (Ceux qui font de l’A/B testing et des campagnes de personnalisation web)
• Pour personnaliser l’expérience de son client/prospect, il faut pouvoir l’adresser avec le bon message au
bon moment. Il y a donc nécessité de bien le connaître et l’identifier
• Une approche gagnante de personnalisation repose probablement sur un mix pertinent et de qualité
entre des données CRM, comportementales et de sources
Les chiffres clés
+ 10 pts
+ 12 pts
les données CRM sont
indispensables
les données
comportementales
indispensables
+ 10 pts les données Sources
utiles ou indispensables
Cynthia Ramirez
Meetic
Web & Mobile CRM Manager

18. Qui sont les parties prenantes de
l’A/B testing et de la
personnalisation web ?
3

19. Converteo – 3ème enquête annuelle testing et personnalisation
• Les équipes BI et CRM sont aujourd’hui plus présentes, ce qui met en évidence l’importance croissante
de la data dans la conduite des projets d’optimisation de la conversion…
Les équipes marketing et IT sont au cœur du pilotage, avec une intégration
croissante des équipes BI & CRM pour l’A/B testing
19
3
1 - 149 répondants (Ceux qui font de l’A/B testing) / 2- 20 répondants (Ceux qui ne font pas d’A/B testing mais qui réalisent des campanes de personnalisation web)
Qui selon vous, doit piloter votre projet de personnalisation ?
Qui selon vous, doit piloter votre projet d’A/B testing ?1
2
Les chiffres clés
+ 11 pts
+ 16 pts
estiment que l’A/B test
doit être piloté par le BI
& CRM
de personnalisation
pilotée par le marketing1
2
Les équipes marketing
sont aujourd’hui plus
autonomes sur les
solutions d’optimisation de
l’expérience utilisateur et
reposent moins sur les
équipes IT
Grégoire Thomas
Kameleoon
Head of Marketing

20. Converteo – 3ème enquête annuelle testing et personnalisation
• Les organisations dédient de plus en plus au moins une compétence interne à l’A/B testing et à la
personnalisation
• L’internalisation du processus peut être avantageuse: coût faible, connaissance intime de l’activité et
interaction régulière avec toutes les parties prenantes.
C’est le directeur
marketing web qui gère la
conversion, nous avons
également engagé un web
analyst dédié.
Dans la majorité des cas, l’A/B testing et la personnalisation web ne sont
pas dédiés à une personne à temps plein
20
37%
63%
Oui Non
79%
21%
2015
3
1- 250 répondants / 2- 63 répondants (Ceux qui font de l’A/B testing et des campagnes de personnalisation web)
La personne en charge de la personnalisation web est-elle la même
que celle en charge de l'A/B testing ?
Avez-vous une personne plein temps dédiée à l'optimisation
de la conversion dans votre entreprise ?
1
2
Les chiffres clés
+ 4 pts
+ 24 pts
ont une personne
dédiée à la conversion
ont une personne en
commun en charge de
l’A/B testing et de la
personnalisation
1 2
Jean-Philippe
Machanovitch
UFC Que Choisir
Directeur Marketing Web
2015

21. Converteo – 3ème enquête annuelle testing et personnalisation
 Je réalise seul mes projets
 J’externalise la réalisation de mes projets
 J’externalise l’identification des pistes
 J’externalise toute la gestion de mes projets
Les répondants réalisent seuls leurs A/B tests pour les trois quart d’entre
eux, même si l’externalisation de la gestion des projets augmente
21
3
2015 2015
1- 149 répondants (Ceux qui font de l’A/B testing) / 63 répondants (Ceux qui réalisent des campagnes de personnalisation web)
Qui réalise vos A/B test?
Qui réalise vos personnalisation - web?
Les chiffres clés
Les entreprises externalisent plus
la personnalisation web
+ 6 pts
+ 4 pts
l’identification des pistes
l’analyse des résultats
• Les entreprises se structurent de plus en plus: 4 entreprises sur 5 sont maintenant autonomes dans la réalisation de leur projet
d’optimisation de la conversion, mais elles externalisent plus qu’en 2015 les phases d’analyse et identification des pistes d’optimisation.
1
2
1 2

22. Converteo – 3ème enquête annuelle testing et personnalisation
Les contributeurs :
Dounia Zouine, Converteo, Manager
Sabrina Bouakkadia, Converteo, Consultante
Grégoire Thomas, Kameleoon, Head of Marketing
Clément René, Kameleoon, Content Marketeur
Nous remercions vivement :
Mohamed Ferras, Engie, Responsable du pôle vente de l’équipe web
Jean-Philippe Machanovitch, UFC Que Choisir, Directeur Marketing Web
Cynthia Ramirez, Meetic, Web & Mobile CRM Manager
Thomas Sauzedde, Routard.com, Directeur Général
contact@converteo.com
+33 1 84 16 06 60
15 Place de la Nation, 75011 Paris
www.converteo.com
Pour le compte de :
info@kameleoon.com
+33 (0) 1 83 62 20 50
12 rue de la Chaussée d’Antin, 75009 Paris
www.kameleoon.com