1. Réduire les coûts des tests de performance ?
La validation continue de la performance !
Hervé SERVY, spécialiste du test de performance
Test et monitoring de perf.

2. Test de performance des applications et monitoring en production
Les composantes du coût
Coût de l’outillage et
environnement
Coût du test : coût
d’exploitation de la
plateforme de tests.
Coûts de correction :
coût des actions
correctrices sur le
logiciel ou le hardware
suite aux tests.

3. Test de performance des applications et monitoring en production
Détecter un problème tôt = Réduire les coûts de correction
Discovery Design Development Testing Production
Coûtdelacorrection
Temps
Trop tard pour
découvrir un
problème de perf
majeur

4. Test de performance des applications et monitoring en production
Validez la performance en continu pour
identifier un problème tôt
Développement Pré-production/QA Production
Test de composants et
intégration continue
Test d’une app
assemblée
Monitoring
proactif

5. Test de performance des applications et monitoring en production
En Dev : commencez à tester pour détecter les
problèmes plus tôt
o Tester les composants/micro-services pour
voir s’ils passent les SLAs
o N’attendez pas d’avoir une interface avant de
tester la perf. Testez des API
o Détectez les problèmes de perf plus tôt
o Utilisez les informations de la QA et de la Prod
pour corriger les problèmes identifiés
DATA
SERVICES
UI
1

6. Test de performance des applications et monitoring en production
Associer le test de perf à l’ intégration continue
L’automatisation des tests est une tendance de fond …
Mais les tests de perf automatisés restent à la pointe
Comment procéder ?

7. Test de performance des applications et monitoring en production
Intégrez la perf dans les
spécifications
o Quantifiez les SLAs
o Définissez des SLAs pour le cas
général (une page doit se charger
en moins d’une seconde) et pour
des cas d’usages spécifiques (les
résultats de la recherche doivent
s’afficher en moins de 2 secondes)

8. Test de performance des applications et monitoring en production
Travaillez avec les
développeurs pour
anticiper les changements
o Communiquez avec les Dev.
o Tenez vous au courant des
modifications dans le code

9. Test de performance des applications et monitoring en production
Intégrez les tests de perf
avec votre serveur de build
o Intégrez la perf comme les autres
tests
o Définissez des tests pour chaque
phase : smoke tests, unit test, test
de régression, test d’intégration

10. Test de performance des applications et monitoring en production
Intégration continue +
build de nuit + test en
charge en fin de cycle
o La nature/complexité des tests
évolue
o Commencez avec des tests
simples automatisés. En fin de
cycle réalisez des tests de charge
complets

11. Test de performance des applications et monitoring en production
Architecture : Performance tests et Intégration Continue
Le process de build déclenche un test
Build et résultats des tests
Pass / Fail
Commit Changes
Démarrage automatique
de votre build
Développeur
Testeur
SVN
Serveur
D’intégration
continue
Outil de test

12. Test de performance des applications et monitoring en production
En phase de Pré-production/QA
o Pourquoi ne pas réutiliser les designs de test de composants
réalisés en phase de Dev ?
o L’application va changer plus fréquemment que promis :
organisez-vous pour être en mesure de créer facilement et
rapidement des scénarios de tests réalistes
o Vous allez découvrir des bugs : comment en rendre compte de
manière efficace ? Donnez des information vraiment
opérationnelles à vos équipes de Dev.
o Considérez le test en production comme une option « pas si
terrifiante » en deuxième étape
APP
2

13. Test de performance des applications et monitoring en production
Validez la perf en production
o Maintenir des profils de monitoring à un coût : récupérez les
scénarios créés par les équipes de QA.
o Bâtissez une approche durable pour résoudre les problèmes
de perf : donnez au Dev et à la QA des informations
opérationnelles sur les mesures réalisées en prod.
o Définissez un processus clair pour gérer les problèmes de perf
détectés : qui a reçu l’email ?
o Chaque mesure réalisée peu vous épargner un retour de
flamme très coûteux.
3

14. Test de performance des applications et monitoring en production
Valider la performance
en continu n’est-ce
pas plus de tests et
plus de coûts ?

15. Test de performance des applications et monitoring en production
Le type et la complexité des tests évolue
Certains tests sont automatisés/automatisables
Automatisation des test
Productivité des outils de test

16. Test de performance des applications et monitoring en production
La bataille des coûts
se gagne sur la
productivités des
ressources
56%
34%
coût du test de performance
ressources logiciel

17. Test de performance des applications et monitoring en production
Pour gagner cette bataille il faut …
• Pour designer les scénarios rapidement
• Pour maintenir les scénarios de test rapidement
• Pour analyser les résultats rapidement
Des outils
rapides
• Qui opèrent nativement avec les serveurs
d’intégration continue
• Qui automatisent aux maximum les tâches du
design des tests
Des outils
agile et
automatisés

18. Test de performance des applications et monitoring en production
TCO Métrologie
Sur une organisation qui teste 20
applications/releases par an
Un logiciel pro et productif
permet un TCO plus bas qu’un
outil open source
Coût du software
(licence +maintenance)

19. Réduire les coûts des tests de performance ?
Q & A
Hervé SERVY, spécialiste du test de performance
Test et monitoring de perf.