1. Model-Based Testing aujourd’hui
Fabrice Bouquet
Club Qualité Logiciel
Paris, 24 Janvier 2012

2. Plan
• Test
• Attendu
• Organisation
• Model-Based Testing (MBT)
• Où
• Quoi
• Organisation
• Agilité et MBT
F. Bouquet - Club QL 2

3. Où en sont les organisations ?

4. Tester dans les organisations IT
• Top 4 des points d’intérêt (Europe de l’Ouest)
1. Choisir une méthodologie de test s’intégrant dans la
démarche agile utilisée dans le développement
2. Permettre une couverture automatisée des tests pour
construire les tests de façon agile
3. Plus se concentrer sur les aspects non-fonctionnels comme
la performance, la disponibilité, sécurité…
4. Avoir une stratégie de test qui optimise l’usage des
services de tests (traditionnel ou cloud).
F. Bouquet - Club QL 4
Source IDC - European Services, Enterprise Application Testing Survey, March 2011
Maturité fonction QA/Test :
passer d’une approche ad hoc vers une approche réfléchie et cohérente

5. Séparation entre développement et test logiciel
F. Bouquet - Club QL 5
Source IDC -
European Services,
Enterprise
Application Testing
Survey, March 2011

6. Le Model-Based Testing (MBT) ?

7. Processus du test à partir de modèles
F. Bouquet - Club QL 7
Spécifications
Techniques
de Besoins
Modèle formel
StateCharts,B,UML,… #
Cas de test #
générés#
Implémentation#
Modélisation#
Validation#Scripts de tests#
exécutables#
Génération de scripts#
Génération de Test# Développement#

8. Niveaux de test
F. Bouquet - Club QL 8
Besoins client
Exigences
Conception
Code
T. Acceptation
T.
Système
Intégration
T. Intégration
Tests Unitaires
Model-Based Testing

9. 9
Applicatif
Test de Bout-en-
bout
au cœur du
processus métier
Test d’acceptation
de multi applications
Test Fonctionnel
d’une seule application
Niveau
Système
d’Informations
Niveau
Système
Niveau
Applicatif
Nombre de tests
petit, valeur
métier grande
Nombre de tests
moyen,
Test orienté
utilisateur final
Beaucoup de tests,
Validation
presque exhaustive

10. Comment l’utiliser ?

11. Méthodologie de tests
• RRBT – Risk & Requirements Based Testing
• Lien entre risques et exigences :
- Quoi modéliser / Priorité
• Effort de tests piloté par analyse de risque :
- Quel Test => Modèle
- Couverture
• Plusieurs méthodologies ou pratiques :
- Sogeti Tmap®
- Logica RRBT
- ISTQB
F. Bouquet - Club QL 11

12. Autour du test
F. Bouquet - Club QL 12
Exigences
Outils de
gestion
d’exigences
Modèle de processus
métier
Référentiel
de tests
Modèle de domaine
et comportemental
Outil de génération
de test MBT
Outils
d’exécution des
tests
Système de gestion
des processus métier
Outil de modélisation
Outil de gestion de tests
Import des artéfacts
Intégration entre outils
Aris, Tibco, Mega
HP et IBM
RSA, TopCased, !
Papyrus, Ad’hoc!
Tableur, Doors,
HP ALM, IBM Rat.
Requier. Composer
HP, IBM, salomeFTM
Squash TM, Testlink
Conformiq, Smartesting,
Test optimal, BenderRBT
IBM RFT, Selenium,
HP QuickTestPro, Sahi

13. Gestionnaire d’exigences Gestionnaire de tests
13
Processus de tests
Analyste
Métier
Conception de tests
Analyste de
Test
Tests générés
Exigences
Processus métiers
Couche d’adaptation
Automaticien
de Test
Scripts Exécutable
Tests Manuels
Traçabilité: Ex. Tests
Modèles
Testeurs Manuel
itérations
Courtes
Agilité

14. 14
Modèle pour la génération automatique de tests
Modèle'de'processus'mé/er'
!!
Modèle'de'domaine'ou'
données'de'tests'
Modèle'comportemental'

15. Génération de tests piloté par les modèles et la
stratégie de test
F. Bouquet - Club QL 15
Strétégie'de'test'
" 'Couverture'de'modèle'
" 'Configura/on'
" 'Etat'Ini/al
• Comportement attendu
• Point d’observation
• Processus et déroulement
• Règles métier
• Documentation Mots d’actions
Génération de test
automatique
Qu’est-ce que l’on veut tester ? Comment le tester ?
Analyst
ede test

16. Les personnes dans l’organisation

17. 17
Rôles: Séparation des tâches
Eléments
Test
Eléments
modèle
Analyste
métier
Automaticien
Analyste
de tests
Business
Models &
Flows
Défini
Mots-actions
pour les tests
automatiques
Comportement
attendu
& Données
BPMN
UML stereotype
réalisé
Testeur

18. Rôle de l’analyste métier et profil
F. Bouquet - Club QL 18
Role Actions Skills (existing / new)
Analyste Métier
(BA)
! Ecrire et concevoir les besoins
métiers
! Piloter les tests par les risques
" Capacité de documentation
fonctionnelle
# Notation processus (BPMN)
# Stratégie de Test
Profil ! Connaître les processus métiers et les règles fonctionnelles
! Connaître comment trouver l’information (perdu) dans
l’entreprise
! Orienté exigences
! Orienté risques
! Orienté tests
! Capacité d’abstraction (e.g. BPMN)
! Orienté utilisateurs

19. Rôle de l’analyste de test et profile
F. Bouquet - Club QL 19
Role Actions Skills (existing / new)
Analyste de tests
(TA)
! Appliquer la stratégie de test
! Modéliser les comportements
de l’application et valider le
cahier des charges
! Générer les plans de tests
! Piloter l’exécution des tests
" Professionnel du Test
# Modélisation et génération
de tests
Profil ! Bonne connaissance des méthodes de tests fonctionnels
! Connaitre les méthodes Orientés Objets (ou expérience en dev.)
! Expérience en modélisation est un plus
! Connaitre les outils de tests de l’entreprise
! Connaitre l’organisation du projet, le cycle de vie et les besoins
de tests
! Connaissance élémentaire en automatisation de tests

20. Other roles in the Smartesting project
F. Bouquet - Club QL 20
Role Actions Skills (existing / new)
Gestionnaire de
projet
(PM)
! Gérer l’équipe de test
! Gérer le test par le risque
" Capacité en gestion de
projet
" Capacité en documentation
fonctionnelle
# Notation de processus
(BPMN)
# Stratégie de test
Testeurs Execute les cas de tests à la
main
" Connaissance légère de
l’application est un +
Expert
d’automatisation
Developper la bibliothèque de
mots d’actions
" Connaissances requises
dans les robots
# Gestion des éléments
téchniques
Equipe de
développemnet
! Développe / customize
l’application pour les utilisateurs
" Développement
" Customisation
" Écriture de spécification
technique
" Tests Unitaires

21. Personne et Rôle
F. Bouquet - Club QL 21
Experts métier
Visualise
la base de
test et la
couverture
associée
Analyste
de test
Produit le
référentiel
de tests
Développeur
Accède au
suivi des
anomalies et
informations
reliées
Chef de projet
Suit l'évolution
du projet de
test et des
anomalies
Automaticien
de test
Implémente
la couche
d'automatisation
Testeur
Met en œuvre
les tests
manuellement
ou
automatiquement
Référentiel
de
tests

22. Un exemple

23. Contexte
• Application web ServiDirect
• Souscription de contrat d’assurance maladie
• Développée par CLIO SA pour GMA
• Validation du contenu fonctionnel, des règles de
calcul des contrats et de la navigation.
http://www.servidirect.com
F. Bouquet - Club QL 23

24. Spécifica/ons'
Itérations
Analyste'de'test!
Modèles'
Test!
Designer!
Cibles'
Scénarios'
Plan'et''
cas'de'test'
Couverture'
exigences'
Publica2on!
vers!TestLink/!
Selenium!
Mots@clés'
implémentés'
Ingénieur'
d’automa/sa/on'
Ingénieur'
'mé/er'
Mots@clés'
Scripts'de'test''
executable
Plan'et''
cas'de'test'
'
Référen/el'de'
tests'
'
'
'
'
Test!Designer!3.4!
IBM!Ra2onal!SoAware!
Architect!
Selenium!1.0!
Test!Link!1.8!
F. Bouquet - Club QL 24

25. F. Bouquet - Club QL 25
Modèle statique
En2tés!et!ac2ons!mé2ers!
Classes!
d’équivalence!

26. F. Bouquet - Club QL 26
Modèle dynamique
Naviga2on!IHM!
Règles!mé2ers!

27. Métriques
40 exigences fonctionnelles
7 classes UML
9 suites de tests
37 mots-clés gérés dans l’automatisation
Génération de tests
F. Bouquet - Club QL 27

28. Publication TestLink
F. Bouquet - Club QL 28

29. Infrastructure d’exécutions
F. Bouquet - Club QL 29
scripts de tests
beanshell (bsh)
cas de testid cas de test
publication exécution
lanceur.php
fichiers (bsh)
application
fichiers (bsh)
écrit
résultats
API XMLRPC
PHP
Java
serveur
Métriques
86 cas de tests / 162 tests physiques
19 tests liés à une table de données
1078 pas de tests au total

30. Bilan
• Couverture: (150 cas testés et automatisés)
• 5 numéros postaux
• 10 valeurs d’âge différentes
• 1 valeur pour le genre
• 1 composition de famille différente
• 1 valeur pour la couverture accident
• 3 valeurs pour le modèle d’assurance
• 1 valeur pour la franchise
• 7 bugs fonctionnels détectés et corrigés
• Intégration forte TestLink/Selenium
F. Bouquet - Club QL 30

31. Métriques de production
• Ratios
• 7,8 cas de tests logiques conçus, documentés et tracés/exigences par j.h
• 8,1 scripts de tests concrets automatisés par j.h
F. Bouquet - Club QL 31
Taches Temps en j.h
Production du référentiel de tests :
Modélisation et génération des tests
11 j.h
Automatisation des mots d’actions ServiDirect 18 j.h
Mise en place et gestion des données externes
ServiDirect
2 j.h
TOTAL 35 j.h

32. ‘Specialized Tools Fill In The Gaps (…) Test modeling tools
leverage UML modeling to create paths of application behavior.
This can save countless hours for team members (…)’
automated testing into the PQM life cycle.‘
‘ The Testing Tools Landscape: 2010 ‘ Forrester Research, Inc.,
April, 2010
‘Although the traditional software testing market has seen consolidation, a
growing number of vendors continues to enter the market. This includes
new script-free and model-driven testing environments (…).’
‘ Magic Quadrant for Integrated Sw Quality Suite ‘ Gartner,
July, 2009
Gartner
Conclusion – MBT & Analyse du marché
32
‘Model-driven testing. In agility-driven development, quality
automation tends to lag development by roughly one or two
cycles. (…), some vendors have introduced model-driven
automated testing into the PQM life cycle.‘
‘ ISVs: Solving the " Innovation Impact" on Product Quality
Management ‘ IDC, March, 2011
Points Clés :
• Organisation
• Compétences
• Professionnel du test
• MBT $ MDT
• Alignement Spécification
et Développement

33. Merci de votre attention
F. Bouquet - Club QL 33
DUNOD
2nd Edition
Nov. 2011
? ?
?
? ?
? ?
? ?
?