Automatisation des tests: le mythe du ROI

Automatisation des tests Le mythe du ROI
Gilles Mantel
Agile France 2011

Notion de base: types de tests
Tests unitaires
Tests d’intégration
Tests fonctionnels
Bout en bout
GUI
Exploratoires
Tests de charge, performance, etc
Tests d’ergonomie, utilisabilité, etc

De quoi parle-t-on ?
Tests unitaires
Tests fonctionnels
Bout en bout
GUI
Exploratoires
Forcément automatisés Forcément automatisés Forcément automatisés Non automatisable Non automatisable

De quoi parle-t-on ?
Tests unitaires
Tests fonctionnels
Bout en bout
GUI
Exploratoires
Automatisable avec des robots

Formules de ROI
ROI = Coût manuel – coût auto
Coût manuel: exécution des tests
Coût automatisé: license robots de test, fabrication des scripts, exécution et analyse des résultats, maintenance des scripts

ROI calculators

Courbes de coûts cumulés 2 1 3

En résumé
Complexes / Fastidieuses
Beaucoup d’inconnues
Prendre des décisions arbitraires
Résultats peu enthousiasmants
Que manque-t-il ?

Coût d’une anomalie 1/3

Comment réintégrer la notion de coût d’une anomalie ?
Probabilité ?
Coût moyen ?

Option d’achat (call)
Droit d’acheter un actif (sous-jacent) à un prix donné (strike) à une date donnée (maturité)
Paiement d’une prime pour acquérir ce droit
Je paye 10€ le droit d’acheter une action Google en Juillet 2011 au prix de 530$

Modèle de gain Out of Money In the Money

Valeur d’une option

Coût d’une anomalie

Modèle de gain ROI

Modèle de gain ROI Coût des anomalies découvertes

Modèle de gain ROI Coût des anomalies découvertes Investissement consenti Coût des anomalies à ce jour

Investissement à consentir ?
Dans une banque de finance: une anomalie en production coûte en moyenne 300 000 €
Chez un voyagiste: une indisponibilité de 1mn du site web coûte 20 000€
 Mesurez-vous !

Et chez vous, combien coûte:
un retard de livraison / mise en marché ? Voir le marketing
Coût des équipes de maintenance ? Voir le DSI
Perte opérationnelle sèche ? Voir le contrôleur de gestion
Impact négatif sur l’image ? Voir les commerciaux
www.xebia.fr / blog.xebia.fr

Pyramide de tests (Mike Cohn)

Quel ROI pour une équipe agile ?

Où investir ? D’abord ici Puis là Et enfin un peu là

Pyramide waterfall

Quel ROI pour un legacy ?

Où investir ? D’abord ici Puis là Et enfin là

Conclusions
Le ROI n’est pas une fonction directe du temps
Le ROI est fonction du coût de la non-qualité
Les pratiques agiles de tests tendent à réduire l’investissement nécessaire
Mesurez votre investissement par rapport à la non-qualité

Pour aller plus loin
Auteurs:
F. Dubois
S. Le Mesle
http://blog.xebia.fr/wp-content/uploads/2010/12/Livre-blanc-qualit%C3%A9-logicielle.pdf

MERCI
Twitter: @gmantel
E-mail: gmantel@xebia.com
This work is licensed under the Creative Commons Attribution-NonCommercial-ShareAlike 2.0 France License. To view a copy of this license, visit http://creativecommons.org/licenses/by-nc-sa/2.0/fr/

Automatisation des tests: le mythe du ROI

by Gilles Mantel

Accessibility

Categories

Upload Details

Usage Rights

2 Embeds 2

Statistics

Automatisation des tests: le mythe du ROI Presentation Transcript

https://twitter.com	1
http://paper.li	1