1. Auteurs:
Choisir et implanter un outil de test
Club Qualité Logicielle – 10/04/2014
Safi Virginius (svirginius@henix.fr)

2. SOMMAIRE
2Choisir et implanter un outil de de test 10/04/2014
• Etat des lieux du marché
• La démarche de choix et d’implantation
• La matrice d’évaluation
• Le dossier de choix d’outillage
• L’étude d’implantation

3. ETAT DES LIEUX DU MARCHÉ
• L’offre d’outillage de gestion des patrimoines de test est en pleine expansion et
propose de plus en plus de solutions : propriétaire ou open source, client lourd ou
léger, en mode client-serveur ou SaaS, avec un bugtracker natif ou interfacé, etc..
3
• Face à cette multiplication de l’offre, comment s’assurer que l’outil choisi permet une
gestion des exigences, des cas et pas de test, des exécutions et des anomalies et
répond à ses besoins spécifiques ?
Choisir et implanter un outil de de test

4. LA DÉMARCHE DE CHOIX ET D’IMPLANTATION
• OBJECTIFS :
– Présenter une méthodologie de choix et d’implantation d’outillage structurée,
factuelle, transposable.
• DÉMARCHE
– Identifier les besoins
– Choisir l’outillage adapté au moyen du dossier de choix
– Cadrer l’implantation de l’outil cible en réalisant une étude préalable
• LIVRABLES
– Matrice d’évaluation
– Dossier de choix d’outillage
– Check-list de l’étude d’implantation
410/04/2014
Identification
des besoins
Etude de
choix
d’outillage
Etude
d’implantation
d’outillage
POC POCPas de POC
Choisir et implanter un outil de de test

5. LES LIVRABLES EN MARQUE BLANCHE
• Trois livrables principaux sont donc proposés en marque blanche : une matrice
d’évaluation, un dossier de choix d’outillage et une check-list d’implantation.
5Choisir et implanter un outil de de test
Matrice
d’évaluation
Dossier de
choix
d’outillage
Etude
d’implantation
CHOIXDEL’OUTIL
IMPLEMENTATION
DUCHOIXDEL’OUTIL
La version 2014-1 de ces livrables sera
disponible en téléchargement libre sur le site
du Club Qualité Logicielle et à terme sur le
site du projet Squash au format .xls pour la
matrice d’évaluation et .ppt pour le dossier de
choix et la check-list d’implantation.

6. LA MATRICE D’ÉVALUATION
610/04/2014Choisir et implanter un outil de de test

7. LES AXES D’ÉVALUATION
L’évaluation réalisée pour chaque outil se base sur cinq axes répondant aux besoins
identifiés pour un gestionnaire de patrimoine de test:
I. Adéquation fonctionnelle :
– 10 critères :
II. Ergonomie et prise en main :
– L’outil est-il facile à utiliser ? A appréhender ?
– Le workflow de travail est-il efficace ? Favorise-t-il la productivité ?
III. Qualité technique :
– L’outil est-il facile à déployer ? A exploiter ?
– Est-il performant ? Stable ?
– Est-il facilement interfaçable avec des systèmes tiers ?
IV. Pérennité :
– La communauté des développeurs ou l’éditeur est-il actif ? Réactif ?
– L’outil est-il populaire ? La communauté des utilisateurs est-elle importante ? Active ?
– Quel est le mode gouvernance ?
V. Coûts :
– Quel coût de licence ? De support/maintenance ?
– Quelle stratégies d’accès aux versions majeures ?
7
1.Exigences 2.Cas de test 3.Pas de Test 4.Scénarios 5.Campagnes
6.Exécutions 7.Anomalies 8.Transverse 9.Administration 10.Automatisat°
10/04/2014Choisir et implanter un outil de de test

8. FOCUS : LA MATRICE D’ÉVALUATION
8
Fonctionnalité / Exigence Poids
Note
SquashTM
1.4.0
Note
TestLink
1.9.3
Note
Zephyr4.0
Note
Refertest
1.0.9.g
01 - Adéquation fonctionnelle 3.49 2.94 3.02 3.71
01 - Exigence 3.85 3.11 3.08 3.67
Les attributs de base d'une Exigence sont-ils bien disponibles : Référence, Nom, Description,
Auteur
64 4 4 4 3
Existe-t-il un attribut 'Criticité' sur l'objet Exigence ? 16 4 1 3 4
Existe-t-il un attribut 'Statut' (workflow) sur l'objet Exigence ? (eg : en cours, à valider, validée,
obsolète)
16 4 4 2 4
06- Exécution 3.86 3.27 3.39 4.00
Le statut et l'horodatage sont-ils bien enregistrés pour chaque étape de l'exécution ? 16 4 0 4 4
Les attributs de base sont-ils bien disponibles : Résultat constaté, Statut (à exécuter, obsolète…),
Date, Utilisateur
64 4 4 4 4
Existe-t-il des champs (timestamp de début et de fin) permettant de tracer le temps passé par les
testeurs à l'exécution des tests ?
1 1 0 0 4
02 - Ergonomie et Prise en main 3.80 2.48 2.52 3.53
01- Facilité d'utilisation 3.73 2.76 2.80 3.73
L'outil propose t-il une ergonomie efficace (copier/coller, glisser/déposer, limitation du nombre de
clics, écrans facilement lisibles) ?
64 4 2 4 3
L'outil dispose t-il d'un éditeur de texte riche permettant la mise en forme avancée des textes saisis
(puces, liens hypertexte, polices, couleurs, images…) ?
4 4 4 1 4
02- Facilité d'appropriation 3.96 1.83 1.87 3.06
La réalisation des actions de base est-elle suffisamment intuitive pour qu'un nouvel utilisateur puisse
se débrouiller seul ? (les actions de base sont : créer /consulter une exigence, créer/consulter un cas
de test / Exécuter des tests)
64 4 2 2 3
Un guide utilisateur complet est-il disponible en français ? 16 4 0 0 4
03 - Qualité technique 3.77 3.64 2.87 1.97
01- Implantation et portabilité 3.81 3.63 2.45 1.02
La configuration minimum pour le poste serveur est-elle faible ? 4 4 4 3 2
Les systèmes d'exploitations sur lesquels tournent le logiciel sont-il compatibles avec les prérequis
du client ? (préciser en commentaires les OS et leurs version)
16 4 3 3 1
Quel degré de compatibilité l'outil a-t-il avec les bases de données ? 16 4 1 1 1
La configuration minimum pour le poste client est-elle faible ? 16 4 4 3 3
L'outil supporte t-il les navigateurs les plus courants (IE, Firefox, Chrome). Si non, préciser les
restrictions
64 4 4 4 0
Pondération des questions
Notes des différents outils
Moyenne pondérée par sous-critère
Moyenne pondérée par critère
10/04/2014Choisir et implanter un outil de de test

9. LE MÉCANISME DE CONTRIBUTION
910/04/2014
• BÉNÉFICES :
– Mise à disposition de grilles vierges d’évaluation
– Accès à l’ensemble des évaluations réalisées (panels d’outils, versions d’outils)
– Accès aux résultats intermédiaires consolidés
Ouverture d’un
compte Google
Docs
Evaluation Soumission Relecture
Consolidation
Choisir et implanter un outil de de test

10. LA NOTATION ET LES PONDÉRATIONS
• Chaque question est évaluée selon une note de 0 à 4 :
–   la fonctionnalité / l’exigence n’est pas du tout satisfaite
Exemple : pas de fonctionnalité d’export
–   la fonctionnalité proposée fait le « minimum »
Exemple : l’intégralité des champs « critiques » ne sont pas disponibles dans l’export.
–   la fonctionnalité répond partiellement au besoin
Exemple : tous les champs n’apparaissent pas dans l’export.
–   la fonctionnalité répond au besoin mais pourrait-être améliorée
Exemple : export possible et complet, mais l’export prend beaucoup de temps (1 à 2 minutes).
–   la fonctionnalité est pleinement satisfaite, de façon optimale
Exemple : fonctionnalité d’export de tout ou partie de la bibliothèque, avec l’exhaustivité des champs et dans différents formats
cibles.
• Chaque question est pondérée :
– Pondération en base 4 :
● 64  Exigences critiques/bloquantes
● 16  Exigences importantes
● 4  Exigences mineures, de confort
● 1  Exigences mineures
– Pondération discriminante = notes globales plus
éclatées et mieux représentatives des exigences.
– Pondérations à faire varier en fonction de ses besoins.
1010/04/2014Choisir et implanter un outil de de test

11. DOSSIER DE CHOIX
D’OUTILLAGE
1110/04/2014Choisir et implanter un outil de de test

12. PRÉSENTATION DU DOSSIER DE CHOIX
1210/04/2014
• OBJECTIFS :
– Rappeler les besoins
– Evaluer de manière objective les outils short-listés par rapport aux besoins
– Le cas échéant, cadre le POC pour vérifier l’adéquation de l’outil
– Identifier l’outil de test répondant aux besoins
– Arriver à un GO/ NO GO pour l’étude d’implantation
• OUTILS:
– Matrice des évaluations du CQL(et jeux de pondération associés)
• DÉMARCHE
– Adapter la grille d’évaluation aux besoins identifiés via le jeu des pondérations
– Ajuster, valider l’évaluation des outils des tests.
– Synthétiser et restituer les résultats adaptés à votre contexte
Choisir et implanter un outil de de test

13. LES ÉVALUATIONS D’HENIX
• DOCUMENTS DE RÉFÉRENCE :
– Matrice de synthèse des résultats des outils évalués par Henix pour le Club
Qualité Logicielle.
– Résultats bruts des évaluations (disponibles sur le Google Docs)
• OUTILS ÉVALUÉS
1310/04/2014
Outils open source
LA référence
open source
Outils propriétaires
ENTERPRISE EDITION (*)Outil utilisé
par l’un de nos
clients
Outil cité sur
notre forum
Leader marché
Choisir et implanter un outil de de test

14. ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
1410/04/2014
1989 (Mercury Interactive)
Propriétaire
ALM 11 (HP ALM 12 sortie en mars 2014)
HP
On-Premise ou SaaS
8k€ par an par utilisateur
18 à 20% du coût d’achat
Client semi-léger (Active X)
Pas de visibilité publique
FICHE D’OUTIL : HP ALM 11
De nombreuses extensions vers (produits HP (PPM, Sprinter), SAP..)
QTP / UFT





 
Une majorité de Grands Comptes (Banque, Assurances…)
Jusqu’à 2000 utilisateurs simultanés en Europe, 20 000 nommés
Choisir et implanter un outil de de test

15. LES RÉSULTATS : HP ALM 11
1510/04/2014
Un outil complet et
modulable
Un outil stable et performant
mais au déploiement
contraignant
Un outil intuitif mais
demandant un effort
initial à la prise en main
Un outil populaire,
mature et pérenne
Choisir et implanter un outil de de test

16. LES RÉSULTATS : HP ALM 11
POINTS FORTS :
 Richesse fonctionnelle, outil le plus complet
 Leader historique
 Reporting riche et personnalisable
LIMITES :
 Pas de gestion inter projets
 Gestion multi projets non native
 Coûts importants (licences et maintenance)
 « Faux » client léger (ActiveX)
 Socle technique vieillissant
 Faible qualité de service du support
POINTS DE VIGILANCE :
 Outil complexe avec un coût d’administration
1610/04/2014Choisir et implanter un outil de de test

17. ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
1710/04/2014
?
Propriétaire
1.0.9.g
Referty
On-Premise
17 430 € pour 10 utilisateurs (avec plugins)
20% du coût d’achat
Client lourd
Pas de visibilité publique
FICHE D’OUTIL : REFERTEST 1.0.G
Plugins vers des BBD commerciales
TestComplete, QTP, Sélénium…
JIRA, Mantis, Bugzilla





 
SSII
?
Choisir et implanter un outil de de test

18. LES RÉSULTATS : REFERTEST 1.0.G
1810/04/2014
Un outil complet et
avancé
Un outil de type ‘client lourd’,
contraignant dans son
déploiement
Un outil ergonomique
et intuitif
Un outil peu connu,
opaque et dont la
pérennité est sujette à
caution
Choisir et implanter un outil de de test

19. LES RÉSULTATS : REFERTEST 1.0.G
POINTS FORTS :
 Fonctionnel riche
 Bonne ergonomie
LIMITES :
 Technologie client lourd
 Pas de communauté utilisateur (pas de forum)
 Coûts élevés
POINTS DE VIGILANCE :
 Pérennité (développé par une petite structure (2p)
1910/04/2014Choisir et implanter un outil de de test

20. ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
2010/04/2014
2007
Propriétaire
4.0 (version 4.5 sortie en juillet 2013)
Zephyr
On-Premise (SaaS annoncé)
960 $/an/utilisateur
Inclus
Client léger
Pas de visibilité
FICHE D’OUTIL : ZÉPHYR 4.0
QTP, Jenkins, Sélénium…
JIRA, Bugzilla





 
AOL, Barnes & Nobles, Dell
?
Choisir et implanter un outil de de test

21. LES RÉSULTATS : ZÉPHYR 4.0
2110/04/2014
Un outil incomplet sur
les fonctionnalités
critiques
Un outil full web, facilement
déployable et stable
Un outil demandant un
effort d’appropriation
conséquent (workflow
de travail peu intuitif)
Un outil mature, actif
mais encore peu connu
Choisir et implanter un outil de de test

22. LES RÉSULTATS : ZÉPHYR 4.0
POINTS FORTS :
 Module de reporting très riche
 Adapté aux méthodes agiles (gestion des sprints)
 Intégration native avec JIRA
LIMITES :
 IHM trop riche et confuse
 Technologie Flash©
POINTS DE VIGILANCE :
 Contrainte d’organisation du patrimoine de test autour de la
notion de version applicative
2210/04/2014Choisir et implanter un outil de de test

23. ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
2310/04/2014
2005
Open Source
1.9.6 (version 1.9.9 sortie en novembre 2013)
Communauté
On-Premise
Gratuit
Pas de support / maintenance professionnel
Client léger
Pas de visibilité publique
FICHE D’OUTIL: TESTLINK 1.9.6
Jenkins (réalisé pour Testlink)
JIRA, Mantis, Bugzilla, Trac





 
Grands Comptes (Ministères, Banque, Assurance)
Quelques dizaines d’utilisateurs concurrents
Choisir et implanter un outil de de test

24. LES RÉSULTATS : TESTLINK 1.9.6
24
Des manques sur la
gestion transverse, des
exigences, des anomalies
et de l’automatisation
Un outil full web, facilement
déployable mais incertain sur
les perfs
Un outil peu intuitif,
avec quelques principes
ergonomiques mais peu
de doc.
Un outil populaire,
mature mais au mode
de gouvernance opaque
10/04/2014Choisir et implanter un outil de de test

25. LES RÉSULTATS : TESTLINK 1.9.6
POINTS FORTS :
 Communauté d’utilisateur importante (la plus active des
outils open source)
 Technologie full web
LIMITES :
 Workflow de travail déroutant, peu intuitif
 Projet peu actif (une release majeure tous les ~18 mois)
 Pas de support professionnel
POINTS DE VIGILANCE :
 Performance ? (modèle de données concentré sur une
table principale, mélange de code objet et non objet)
 Commiters sont peu nombreux et peu ouverts à
l’intégration de développements issus de sociétés tierces.
2510/04/2014Choisir et implanter un outil de de test

26. ANNÉE DE CRÉATION
MODÈLE
VERSION
EDITEUR
COMMERCIALISATION
COÛTS D’ACHAT
SUPPORT / MAINTENANCE
DÉPLOIEMENT
ROADMAP
RÉFÉRENCES
PLATEFORMES EN PRODUCTION
Informations
GESTION DU PATRIMOINE Exigences Cas de test Campagnes
GESTION DES ANOMALIES Intégré Interfacé
GESTION DE L’AUTOMATISATION Intégré Interfacé
PLUGINS / EXTENSIONS
Périmètre
2610/04/2014
2011
Open source
1.9.0
Henix
On-Premise (version open source ou commerciale) ou SaaS
Gratuit sur open source ou 6 000 €/an (licence) ou 15 000€/an (SaaS)
Inclus avec licence et SaaS
Client léger
Visibilité jusqu’à fin 2014
FICHE D’OUTIL : SQUASH TM 1.9.0
Reporting (et LDAP, Wizard avec licence commerciale)
Natif avec Squash TA
JIRA, Mantis





 
Grands Comptes (Ministères, Banque, Assurances, Aviation…)
Une centaine d’utilisateurs concurrents
Choisir et implanter un outil de de test

27. LES RÉSULTATS : SQUASH TM 1.9.0
2710/04/2014
Des fonctionnalités
complètes et matures à
améliorer sur la gestion
transverse
Un outil full web, facilement
déployable et stable
Un outil intuitif, facile à
prendre en main et bien
documenté
Un outil actif, mature,
transparent mais plus
récent et moins
populaire
Choisir et implanter un outil de de test

28. LES RÉSULTATS : SQUASH TM 1.9.0
POINTS FORTS :
 Bonne couverture fonctionnelle
 Nativement multi et inter projets
 Technologie full web
 Ergonomique et intuitif
LIMITES :
 Peu d’API à ce jour
 Options basiques de reporting
POINTS DE VIGILANCE :
 Outil relativement récent (depuis septembre 2011)
2810/04/2014Choisir et implanter un outil de de test

29. LA SYNTHÈSE
2910/04/2014
Avoir des fonctionnalités riches,
matures, et complètes...
Permettre un déploiement facile, rapide
et sans contraintes, notamment à des
utilisateurs externes à l’organisation...
Faciliter l’appropriation par les
futurs utilisateurs...
Réduire mes coûts, avec une
garantie de support/maintenance...
Pouvoir faire évoluer l’outil pour
couvrir mes besoins spécifiques...
Choisir et implanter un outil de de test

30. LA CHECK-LIST
D’IMPLANTATION
3010/04/2014Choisir et implanter un outil de de test

31. LA DÉMARCHE
• OBJECTIFS :
– Cadrer les modalités de la mise en œuvre : Quelle architecture technique cible?
Quelle stratégie de migration ? Quel accompagnement du changement
• OUTILS:
– Check-lists d’implantation du choix d’outil
• DÉMARCHE
– Identifier, valider la faisabilité technique et (faire) chiffrer des éventuelles
évolutions fonctionnelles.
– Définir la stratégie de migration.
– Cadrer et chiffrer la phase d’accompagnement au déploiement.
3110/04/2014Choisir et implanter un outil de de test

32. LA CHECK-LIST D’IMPLANTATION
1/ STRATÉGIE DE DÉPLOIEMENT
– Quelle est l’architecture cible ?
– Quels sont les outils à intégrer dans la plateforme de recette (?
 Quels sont les flux entre les différents outils ? (référentiel de tests, de jeux de données, d’anomalies)
 Un lien avec la plateforme d’intégration continue doit-il être implémenté ? Un lien avec le gestionnaire
de configuration ?
– Quel dimensionnement des machines pour quelle utilisation cible ?
– Quelle architecture de déploiement ?
– Quelle procédures d’exploitation ? (monitoring, backup, reprise sur incident)
– Quel positionnement de l’outil par rapport aux projets ?
2/ STRATÉGIE DE MIGRATION
– Quelles sont les données à reprendre ? (exigences, cas de test, campagnes,
anomalies, utilisateurs, projets, paramétrages, etc...).
– Quel est le patrimoine existant ? (homogénéité, structuration, volumétrie)
– Quelles sont les contraintes? (planning, volumétrie, risques techniques)
– Quelles sont les modalités de récupération des données ? (migrateurs, import)
– Un support/maintenance a-t-il été mis à la disposition des utilisateurs ?
3210/04/2014Choisir et implanter un outil de de test

33. LA CHECK-LIST D’IMPLANTATION (SUITE)
3/ ACCOMPAGNEMENT DU CHANGEMENT
– Quelles sont les conventions d’utilisation de l’outil ?
– Quels sont les process cibles ?
– Quelles sont les normes et bonnes pratiques ?
– Des formations pour les utilisateurs ont-elles été planifiées ?
– Une assistance d’expertise fonctionnelle a-t-elle été mise à disposition des
utilisateurs ?
– Un accompagnement à la prise en main de l’outil a-t-il été mis en place ?
– Une cellule d’administration technique a-t-elle été mise à disposition ? Un
support (gestion des rôles et des droits) ?
– Quel process de mise à disposition de l’outil pour les projets ?
3310/04/2014Choisir et implanter un outil de de test