Julien Behr
Comment réconcilier l’approche des tests structurés et les démarches Agile.
http://soft-shake.ch/2011/en/conference/sessions.html?key=agiliteettesting
soft-shake.ch - Transition agile & Accompagnement au changement
soft-shake.ch - Agilité et Testing: de l'intérêt d'une démarche structurée
1. cocktail d’expérience informatiques
Genève 3 & 4 octobre 2011
Seconde édition
Auteur Julien BEHR
Track Agile
Session AGILITÉ ET TESTING
De l’intérêt d’une
démarche structurée
2.
3. AGILITÉ ET TESTING
DE L’INTÉRÊT D’UNE DÉMARCHE STRUCTURÉE
1
mercredi, 12 octobre 2011
4. PRÉSENTATIONS
Julien BEHR
Consultant
En efficacité des organisations informatiques
En politique et stratégie de test
Scrum Master
Formateur
Responsable Technique
j.behr@free.fr
2
mercredi, 12 octobre 2011
5. LA DÉMARCHE AGILE EN BREF
Plan
Act
Check Do
3
mercredi, 12 octobre 2011
6. Peut-on être Agile sans «Agiliser»
ses tests ?
Peut-on «Agiliser» les tests sans
changer le développement ?
4
mercredi, 12 octobre 2011
7. DANS LA PRATIQUE LE TEST
EST AGILE
Objectif Développement Test MEP
Variante 1 Développement Test MEP
Variante 2 Développement MEP
Test
Variante 3 Développement
Test MEP
5
mercredi, 12 octobre 2011
9. LE TEST NE DOIT PAS RETARDER
LA MISE À DISPOSITION
Mise à
Idée réduire le délai
disposition
2 sem 1 sem 1j 1j 2 sem
Idée Planification Conception Développement Tests Déploiement
2 jours 1 mois 3 mois 1 mois 2 sem
7
mercredi, 12 octobre 2011
10. LE TEST NE DOIT PAS RETARDER
LA MISE À DISPOSITION
Mise à
Idée réduire le délai
disposition
2 sem 1 sem 1j 1j 2 sem
Idée Planification Sprint Scrum
Conception Développement Tests Déploiement
2 jours 1 mois 3 mois 1 mois 2 sem
3 sem
7
mercredi, 12 octobre 2011
11. LE TEST NE DOIT PAS RETARDER
LA MISE À DISPOSITION
Mise à
Idée réduire le délai
disposition
2 sem 1 sem 1j 1j 2 sem
Idée Planification Sprint Scrum
Conception Scrum
Sprint Développement Tests Déploiement
2 jours 1 mois 3 mois 1 mois 2 sem
3 sem ou 4 sem
7
mercredi, 12 octobre 2011
12. ALORS POURQUOI CONTINUER
À FAIRE DES TESTS ?
Système d'informations de plus
Maturité de l'informatique
en plus stratégique pour
l'entreprise
Pré-fabriqués éprouvés
(Frameworks - Templates)
Risques pour le métier
Outils de développement
Concurrence
assistés
Assurance Qualité – Normes
Tests unitaires du développeur
Prévention insuffisante
8
mercredi, 12 octobre 2011
13. LES POSTURES FACE AU TEST
Le Joueur Le Méthodique
Serre les fesses Défini un parcours
Brûle un cierge immuable
Consulte les astres S'y tient coûte que
Compte sur les autres coûte
L'Empirique
Le Pragmatique
Fait ce qu'il peut
Questionne préalablement
Du mieux possible
Adapte le dispositif aux
S'attache aux cas très
risques et au délai
particuliers et complexes
9
mercredi, 12 octobre 2011
14. PUISQU’IL EST NÉCESSAIRE DE FAIRE DES TESTS,
QUELLES ADAPTATIONS POUR UN MODE AGILE ?
10
mercredi, 12 octobre 2011
15. L’APPROCHE «CLASSIQUE» NE
FONCTIONNE PAS CAR
• Les spécifications sont limitées, voire inexistantes
• Il faut éviter de consacrer du temps à l’écriture de documentation (plan de tests,
cahiers de tests, revues, ...)
• Il n'y a pas d'équipe de test
• Il n'y a pas de responsable des tests
• La revue de documentation ne peut pas avoir lieu
•A chaque sprint est livré un produit pouvant (théoriquement) être mis en production
• On ne peut pas attendre que le produit soit fini
11
mercredi, 12 octobre 2011
16. LES OBJECTIFS
Manifesto Agile
« Working software is the primary measure of
progress »
« Continuous attention to technical
excellence and good design enhances agility »
12
mercredi, 12 octobre 2011
17. LE COROLLAIRE
Organisation
Toute l'équipe teste
La qualité est au coeur des préoccupations
Le Métier (PO) participe à la validation à chaque sprint
Faciliter le re-factoring
Centrer la démarche de test sur la non-régression
Contrôler le respect des standards (analyse de code)
Maitriser la couverture des risques
13
mercredi, 12 octobre 2011
18. DÉFINITION DU PRODUIT
Qu’est-ce que le produit livré ?
Le logiciel applicatif
Le paramétrage
L'implémentation
Les données
Les outils (ex: migration)
Les procédures
Les environnements
Les logiciels systèmes
Le matériel
Les outils d'exploitation (backup, supervision, …)
Le paramétrage d'exploitation
La documentation (spécifications, manuels, ...)
La formation
Le support
14
mercredi, 12 octobre 2011
20. LA STRATÉGIE DE TEST
Quelles
caractéristiques de
qualité ?
Stratégie Quelle répartition
générale par équipe ?
Sur quels
environnements ?
Comment contrôle-t- Quelle gestion
on le processus de pour les
test ? anomalies ?
16
mercredi, 12 octobre 2011
21. LES CARACTÉRISTIQUES DE
QUALITÉ
Qu’est-ce que
c’est lent ! C’est pas beau !
Pourquoi je vois le
portefeuille de machin ? Le calcul est
faux !
Je fais quoi ici ?
17
mercredi, 12 octobre 2011
22. LES CARACTÉRISTIQUES DE
QUALITÉ
Qu’est-ce que
c’est lent ! C’est pas beau !
Productivité en baisse Image de marque
Rejet Limitation des ventes
Pourquoi je vois le
portefeuille de machin ? Le calcul est
faux !
Fuite de clients
Perte d’avantages Je fais quoi ici ? Chiffre d’affaires
concurrentiels erronés
Productivité en baisse Perte de clients
Erreurs de saisie
17
mercredi, 12 octobre 2011
23. L’HEURE DU CHOIX
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie
Exploitabilité, Facilité d'appréhension, Facilité de compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
18
mercredi, 12 octobre 2011
24. L’HEURE DU CHOIX
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie
Exploitabilité, Facilité d'appréhension, Facilité de compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
18
mercredi, 12 octobre 2011
25. L’HEURE DU CHOIX
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie
Exploitabilité, Facilité d'appréhension, Facilité de compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
18
mercredi, 12 octobre 2011
26. L’HEURE DU CHOIX
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie
Exploitabilité, Facilité d'appréhension, Facilité de compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
18
mercredi, 12 octobre 2011
27. L’HEURE DU CHOIX
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie
Exploitabilité, Facilité d'appréhension, Facilité de compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
18
mercredi, 12 octobre 2011
28. L’HEURE DU CHOIX
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie
Exploitabilité, Facilité d'appréhension, Facilité de compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
18
mercredi, 12 octobre 2011
29. L’HEURE DU CHOIX
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie
Exploitabilité, Facilité d'appréhension, Facilité de compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
18
mercredi, 12 octobre 2011
30. LA RÉPARTITION
Product Owner
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie Team
Exploitabilité, Facilité d'appréhension, Facilité de
compréhension
Efficience
En termes de temps, de ressources
Maintenabilité
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Adaptabilité, Installabilité, Conformité, Interchangeabilité
External Expert
19
mercredi, 12 octobre 2011
31. LA RÉPARTITION
Product Owner
Aptitude
Fonctionnalité
Aptitude, Exactitude, Interopératibilité, Conformité, Sécurité
Fiabilité Facilité d’appréhension
Maturité, Tolérance aux pannes, Récupérabilité
Ergonomie Team
Exploitabilité, Facilité d'appréhension, Facilité de
Aptitude
compréhension
Efficience
Exactitude
En termes de temps, de ressources
Maintenabilité
Tolérance aux pannes
Analysabilité, Flexibilité, Stabilité, Testabilité
Portabilité
Efficience en temps
Adaptabilité, Installabilité, Conformité, Interchangeabilité
External Expert
Sécurité
19
mercredi, 12 octobre 2011
32. STRATÉGIE DE TEST GÉNÉRALE
Wiki Projet Sunshine
Stratégie de test générale
Répartition des caractéristiques de qualité
Product Owner : Aptitude (new), Facilité d’appréhension
Team : Aptitude (non régression), Exactitude,
External Expert : Sécurité
Environnements utilisés
à remplir
Gestion des anomalies
à remplir
Contrôle du processus de test
à remplir
20
mercredi, 12 octobre 2011
33. Story
Story
Story
PLANNING Conception
Conception
MEETING
Dévelpmt
Dévelpmt
Evaluation des histoires Dévelpmt
Choix des histoires pour le sprint Concepti
backlog Test
Test
Test
on
Re-test
Environne
Découpage en tâches ment
Bilan
Exécution
21
mercredi, 12 octobre 2011
34. ILLUSTRATION
Exactitude
Story Vérifier que les montants affichés
correspondent aux calculs souhaités
En tant que gestionnaire commercial je Aptitude
voudrais pouvoir saisir une facture sur la
Vérifier que je peux sélectionner les
base d’articles du catalogue. Je précise articles et rajouter des quantités pour
les quantités pour chaque article et les chacun
montants par article, totaux et la TVA Efficience
sont calculés automatiquement. Contrôler avec une facture de plus de
100 articles que le calcul ne prend
Condition d’acceptation : pas plus de 0,5s
le re-calcul de la facture à chaque Massifier la base Article et vérifier que
c’est toujours le cas
changement ne doit pas prendre plus Massifier la base Facture et idem
de 0,5s.
22
mercredi, 12 octobre 2011
35. LA STRATÉGIE DE TEST (2)
Quelles fonctions -
domaines -
services ?
Stratégie Quels types de
détaillée test ?
Quelle réutilisation
des tests ?
Quelles options de
re-test ?
23
mercredi, 12 octobre 2011
36. STRATÉGIE DU SPRINT
Fréquence Classe de
Module / fonction Dommage Complexité Evolution Total %
d'utilisation risque
3- De temps en
Gestion état civil 3- Moyen 4- Simple 3- Impacté 11 4 % C
temps
Gestion des salaires et rentes 2- Elevé 1- Très souvent 3- Moyen 1- Nouveau 22 8 % B
Gestion des dépenses 4- Bas 1- Très souvent 3- Moyen 1- Nouveau 17 6 % C
Gestion des biens immobiliers 2- Elevé 2- Souvent 2- Complexe 1- Nouveau 22 8 % B
Gestion des emprunts 2- Elevé 2- Souvent 2- Complexe 4- Peu impacté 17 6 % C
Gestion des plans 2- Elevé 2- Souvent 2- Complexe 4- Peu impacté 17 6 % C
d'investissement
Gestion des assurances de 2- Elevé 3- De temps en 2- Complexe 1- Nouveau 21 8 % B
capitaux temps
Gestion de la LPP 2- Elevé 2- Souvent 2- Complexe 1- Nouveau 22 8 % B
1- Très
Gestion des produits financiers 1- Très élevé
Gestion des produits financiers 1- Très souvent
1- Très souvent 2- Complexe
2- Complexe 2- Très impacté
2- Très impacté 27 10 % A
élevé
Calcul de la fiscalité
Calcul de la fiscalité 2- Elevé 1- Très souvent
1- Très souvent 1- Très complexe
1- Très complexe 1- Nouveau
1- Nouveau 26 10 % A
1- Très
Calcul de l'analyse
Calcul de l'analyse 1- Très élevé 1- Très souvent
1- Très souvent 1- Très complexe
1- Très complexe 1- Nouveau
1- Nouveau 30 11 % A
élevé
Rapports 1- Très élevé 1- Très souvent 2- Complexe 5- Non modifié 21 8 % B
Comparaison de variantes 4- Bas 3- De temps en 2- Complexe 4- Peu impacté 11 4 % C
temps
24
mercredi, 12 octobre 2011
37. LA MISE EN OEUVRE
25
mercredi, 12 octobre 2011
38. ORGANISATION : DANS LE
TEAM OU EN DEHORS ?
• Au sein du Building Team • Dans un Testing Team
✓ Les testeurs font partie de l'équipe et donc ✓ Application des principes Agiles
participent au sprint planning
✓ Donner de la visibilité tout le temps, s'adapter
✓ On utilise l'analyse de risques pour identifier les aux changements dans les exigences, travailler
tâches en continu avec le métier, privilégier les
rapports directs, s'améliorer continuellement,
✓ Les testeurs estiment les tâches de test prioriser en fonction de la valeur métier, …
✓ L'effort de test dans un sprint est fini (W=Max)
✓ Lesinteractions avec la Building Team sont
régulières
✓ Les développeurs réalisent et exécutent les
tests unitaires
✓ Lesrapports avec la périphérie (exploitant,
✓ Les testeurs représentent la conscience de la fournisseurs, …) doivent être réguliers
qualité pour l'équipe
✓ Les intégrer aux meetings si possible
✓ Priorité entre toutes
Approche composite avec un centre de compétences mutualisé
26
mercredi, 12 octobre 2011
39. ENVIRONNEMENTS
• L’applicationd’une démarche Agile nécessite plus
d’environnements car le besoin de tests est plus
important
• Ilfaut pouvoir tester plus vite donc les
environnements doivent être disponibles rapidement
• Les solutions de virtualisation et/ou de cloud sont
très adaptées
• La production de données de test doit être rapide -
process automatisés + anonymisation
27
mercredi, 12 octobre 2011
40. TESTS EXPLORATOIRES VS.
TESTS SCÉNARISÉS
• Alors qu'on envisage ou conçoit le test, pourquoi ne pas
l'exécuter dans la foulée ?
• Application en expansion
• Facteurs
• Productivité mythe ou réalité
• Rapidité
• Efficacité
• Ne pas se limiter au test « du singe »
• Contexte d'application
• A éviter quand on recherche Objectivité, Reproductibilité, Auditabilité
• Capacités individuelles ou intelligence globale
28
mercredi, 12 octobre 2011
41. LES PRATIQUES DE TEST
Tester au plus tôt
Test Driven Development
Business Driven Testing
Behaviour Driven Tester plus vite
Development Automatisation des tests
Automatisation des
environnements
Tester plus souvent
Intégration continue
Tester plus efficace
Risk Based Testing
29
mercredi, 12 octobre 2011
42. LES DANGERS DE
L’AUTOMATISATION À OUTRANCE
• Temps d’exécution économisé
30
mercredi, 12 octobre 2011
43. LES DANGERS DE
L’AUTOMATISATION À OUTRANCE
• Temps d’exécution économisé
• Coût et temps d’automatisation
• Coût de maintenance élevé des
tests
• Pérennité
30
mercredi, 12 octobre 2011
44. LES DANGERS DE
L’AUTOMATISATION À OUTRANCE
Gain en
• Temps d’exécution économisé temps
Durée
Nbre de règles de économisée
• Coût et temps d’automatisation gestion critiques
testées
Couverture
• Coût de maintenance élevé des Pérennité
tests Nbre réutilisations
possibles avant
maintenance
Gain
• Pérennité financier
Coût de passage
manuel / Coût de
l’automatisation
30
mercredi, 12 octobre 2011
45. LES DANGERS DE
L’AUTOMATISATION À OUTRANCE
Gain en
• Temps d’exécution économisé temps
Durée
Nbre de règles de économisée
• Coût et temps d’automatisation gestion critiques
testées
Couverture
• Coût de maintenance élevé des Pérennité
tests Nbre réutilisations
possibles avant
maintenance
Gain
• Pérennité financier
Coût de passage
manuel / Coût de
Automatisation l’automatisation
avisée
30
mercredi, 12 octobre 2011
46. Temps consacré aux tests
Nombre d’exécutions
Cas de test traités vs cas non-
traités
Bugs détectés / bugs oubliés =
Efficacité
Bugs détectés / temps consacré
= Efficience
ON NE PEUT CONTRÔLER QUE CE QU’ON
MESURE
31
mercredi, 12 octobre 2011
47. LE TEST : UNE CULTURE A ACQUERIR
n Un rôle à part
✓ A l'écoute - Posant des questions
✓ Formé (certifications, méthodes structurées, outils ...)
✓ Donnant de la visibilité sur la qualité
✓ Nécessitant du crédit auprès des équipes
n Des compétences spécifiques
✓ Développement
✓ SGBD
✓ Fonctionnelles
✓ Outils spécifiques
✓ Culture générale informatique
32
mercredi, 12 octobre 2011
48. Vos questions ?
Puis les miennes ...
33
mercredi, 12 octobre 2011