Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20120124 05 - Le Model-based Testing aujourd'hui (Inria)

212 views

Published on

Le Model-based Testing aujourd'hui (Inria)

Published in: Software
  • Be the first to comment

  • Be the first to like this

20120124 05 - Le Model-based Testing aujourd'hui (Inria)

  1. 1. Model-Based Testing aujourd’hui Fabrice Bouquet Club Qualité Logiciel Paris, 24 Janvier 2012
  2. 2. Plan •  Test •  Attendu •  Organisation •  Model-Based Testing (MBT) •  Où •  Quoi •  Organisation •  Agilité et MBT F. Bouquet - Club QL 2
  3. 3. Où en sont les organisations ?
  4. 4. Tester dans les organisations IT •  Top 4 des points d’intérêt (Europe de l’Ouest) 1.  Choisir une méthodologie de test s’intégrant dans la démarche agile utilisée dans le développement 2.  Permettre une couverture automatisée des tests pour construire les tests de façon agile 3.  Plus se concentrer sur les aspects non-fonctionnels comme la performance, la disponibilité, sécurité… 4.  Avoir une stratégie de test qui optimise l’usage des services de tests (traditionnel ou cloud). F. Bouquet - Club QL 4 Source IDC - European Services, Enterprise Application Testing Survey, March 2011 Maturité fonction QA/Test : passer d’une approche ad hoc vers une approche réfléchie et cohérente
  5. 5. Séparation entre développement et test logiciel F. Bouquet - Club QL 5 Source IDC - European Services, Enterprise Application Testing Survey, March 2011
  6. 6. Le Model-Based Testing (MBT) ?
  7. 7. Processus du test à partir de modèles F. Bouquet - Club QL 7 Spécifications Techniques de Besoins Modèle formel
 StateCharts,B,UML,… # Cas de test # générés# Implémentation# Modélisation# Validation#Scripts de tests# exécutables# Génération de scripts# Génération de Test# Développement#
  8. 8. Niveaux de test F. Bouquet - Club QL 8 Besoins client Exigences Conception Code T. Acceptation T. Système Intégration T. Intégration Tests Unitaires Model-Based Testing
  9. 9. 9 Applicatif Test de Bout-en- bout au cœur du processus métier Test d’acceptation de multi applications Test Fonctionnel d’une seule application Niveau Système d’Informations Niveau Système Niveau Applicatif Nombre de tests petit, valeur métier grande Nombre de tests moyen, Test orienté utilisateur final Beaucoup de tests, Validation presque exhaustive
  10. 10. Comment l’utiliser ?
  11. 11. Méthodologie de tests •  RRBT – Risk & Requirements Based Testing •  Lien entre risques et exigences : -  Quoi modéliser / Priorité •  Effort de tests piloté par analyse de risque : -  Quel Test => Modèle -  Couverture •  Plusieurs méthodologies ou pratiques : -  Sogeti Tmap® -  Logica RRBT -  ISTQB F. Bouquet - Club QL 11
  12. 12. Autour du test F. Bouquet - Club QL 12 Exigences Outils de gestion d’exigences Modèle de processus métier Référentiel de tests Modèle de domaine et comportemental Outil de génération de test MBT Outils d’exécution des tests Système de gestion des processus métier Outil de modélisation Outil de gestion de tests Import des artéfacts Intégration entre outils Aris, Tibco, Mega HP et IBM RSA, TopCased, ! Papyrus, Ad’hoc! Tableur, Doors, HP ALM, IBM Rat. Requier. Composer HP, IBM, salomeFTM Squash TM, Testlink Conformiq, Smartesting, Test optimal, BenderRBT IBM RFT, Selenium, HP QuickTestPro, Sahi
  13. 13. Gestionnaire d’exigences Gestionnaire de tests 13 Processus de tests Analyste Métier Conception de tests Analyste de Test Tests générés Exigences Processus métiers Couche d’adaptation Automaticien de Test Scripts Exécutable Tests Manuels Traçabilité: Ex. Tests Modèles Testeurs Manuel itérations Courtes Agilité
  14. 14. 14 Modèle pour la génération automatique de tests Modèle'de'processus'mé/er' !! Modèle'de'domaine'ou' données'de'tests' Modèle'comportemental'
  15. 15. Génération de tests piloté par les modèles et la stratégie de test F. Bouquet - Club QL 15 Strétégie'de'test' " 'Couverture'de'modèle' " 'Configura/on' " 'Etat'Ini/al • Comportement attendu • Point d’observation • Processus et déroulement • Règles métier • Documentation Mots d’actions Génération de test automatique Qu’est-ce que l’on veut tester ? Comment le tester ? Analyst ede test
  16. 16. Les personnes dans l’organisation
  17. 17. 17 Rôles: Séparation des tâches Eléments Test Eléments modèle Analyste métier Automaticien Analyste de tests Business Models & Flows Défini Mots-actions pour les tests automatiques Comportement attendu & Données BPMN UML stereotype réalisé Testeur
  18. 18. Rôle de l’analyste métier et profil F. Bouquet - Club QL 18 Role Actions Skills (existing / new) Analyste Métier (BA) ! Ecrire et concevoir les besoins métiers ! Piloter les tests par les risques "  Capacité de documentation fonctionnelle # Notation processus (BPMN) # Stratégie de Test Profil ! Connaître les processus métiers et les règles fonctionnelles ! Connaître comment trouver l’information (perdu) dans l’entreprise ! Orienté exigences ! Orienté risques ! Orienté tests ! Capacité d’abstraction (e.g. BPMN) ! Orienté utilisateurs
  19. 19. Rôle de l’analyste de test et profile F. Bouquet - Club QL 19 Role Actions Skills (existing / new) Analyste de tests (TA) ! Appliquer la stratégie de test ! Modéliser les comportements de l’application et valider le cahier des charges ! Générer les plans de tests ! Piloter l’exécution des tests " Professionnel du Test # Modélisation et génération de tests Profil ! Bonne connaissance des méthodes de tests fonctionnels ! Connaitre les méthodes Orientés Objets (ou expérience en dev.) ! Expérience en modélisation est un plus ! Connaitre les outils de tests de l’entreprise ! Connaitre l’organisation du projet, le cycle de vie et les besoins de tests ! Connaissance élémentaire en automatisation de tests
  20. 20. Other roles in the Smartesting project F. Bouquet - Club QL 20 Role Actions Skills (existing / new) Gestionnaire de projet (PM) ! Gérer l’équipe de test ! Gérer le test par le risque "  Capacité en gestion de projet "  Capacité en documentation fonctionnelle # Notation de processus (BPMN) # Stratégie de test Testeurs Execute les cas de tests à la main " Connaissance légère de l’application est un + Expert d’automatisation Developper la bibliothèque de mots d’actions " Connaissances requises dans les robots # Gestion des éléments téchniques Equipe de développemnet ! Développe / customize l’application pour les utilisateurs " Développement " Customisation " Écriture de spécification technique " Tests Unitaires
  21. 21. Personne et Rôle F. Bouquet - Club QL 21 Experts métier Visualise la base de test et la couverture associée Analyste de test Produit le référentiel de tests Développeur Accède au suivi des anomalies et informations reliées Chef de projet Suit l'évolution du projet de test et des anomalies Automaticien de test Implémente la couche d'automatisation Testeur Met en œuvre les tests manuellement ou automatiquement Référentiel de tests
  22. 22. Un exemple
  23. 23. Contexte •  Application web ServiDirect •  Souscription de contrat d’assurance maladie •  Développée par CLIO SA pour GMA •  Validation du contenu fonctionnel, des règles de calcul des contrats et de la navigation. http://www.servidirect.com F. Bouquet - Club QL 23
  24. 24. Spécifica/ons' Itérations Analyste'de'test! Modèles' Test! Designer! Cibles' Scénarios' Plan'et'' cas'de'test' Couverture' exigences' Publica2on! vers!TestLink/! Selenium! Mots@clés' implémentés' Ingénieur' d’automa/sa/on' Ingénieur' 'mé/er' Mots@clés' Scripts'de'test'' executable Plan'et'' cas'de'test' ' Référen/el'de' tests' ' ' ' ' Test!Designer!3.4! IBM!Ra2onal!SoAware! Architect! Selenium!1.0! Test!Link!1.8! F. Bouquet - Club QL 24
  25. 25. F. Bouquet - Club QL 25 Modèle statique En2tés!et!ac2ons!mé2ers! Classes! d’équivalence!
  26. 26. F. Bouquet - Club QL 26 Modèle dynamique Naviga2on!IHM! Règles!mé2ers!
  27. 27. Métriques 40 exigences fonctionnelles 7 classes UML 9 suites de tests 37 mots-clés gérés dans l’automatisation Génération de tests F. Bouquet - Club QL 27
  28. 28. Publication TestLink F. Bouquet - Club QL 28
  29. 29. Infrastructure d’exécutions F. Bouquet - Club QL 29 scripts de tests beanshell (bsh) cas de testid cas de test publication exécution lanceur.php fichiers (bsh) application fichiers (bsh) écrit résultats API XMLRPC PHP Java serveur Métriques 86 cas de tests / 162 tests physiques 19 tests liés à une table de données 1078 pas de tests au total
  30. 30. Bilan •  Couverture: (150 cas testés et automatisés) •  5 numéros postaux •  10 valeurs d’âge différentes •  1 valeur pour le genre •  1 composition de famille différente •  1 valeur pour la couverture accident •  3 valeurs pour le modèle d’assurance •  1 valeur pour la franchise •  7 bugs fonctionnels détectés et corrigés •  Intégration forte TestLink/Selenium F. Bouquet - Club QL 30
  31. 31. Métriques de production •  Ratios •  7,8 cas de tests logiques conçus, documentés et tracés/exigences par j.h •  8,1 scripts de tests concrets automatisés par j.h F. Bouquet - Club QL 31 Taches Temps en j.h Production du référentiel de tests : Modélisation et génération des tests 11 j.h Automatisation des mots d’actions ServiDirect 18 j.h Mise en place et gestion des données externes ServiDirect 2 j.h TOTAL 35 j.h
  32. 32. ‘Specialized Tools Fill In The Gaps (…) Test modeling tools leverage UML modeling to create paths of application behavior. This can save countless hours for team members (…)’ automated testing into the PQM life cycle.‘ ‘ The Testing Tools Landscape: 2010 ‘ Forrester Research, Inc., April, 2010 ‘Although the traditional software testing market has seen consolidation, a growing number of vendors continues to enter the market. This includes new script-free and model-driven testing environments (…).’ ‘ Magic Quadrant for Integrated Sw Quality Suite ‘ Gartner, July, 2009 Gartner Conclusion – MBT & Analyse du marché 32 ‘Model-driven testing. In agility-driven development, quality automation tends to lag development by roughly one or two cycles. (…), some vendors have introduced model-driven automated testing into the PQM life cycle.‘ ‘ ISVs: Solving the " Innovation Impact" on Product Quality Management ‘ IDC, March, 2011 Points Clés : • Organisation • Compétences • Professionnel du test • MBT $ MDT • Alignement Spécification et Développement
  33. 33. Merci de votre attention F. Bouquet - Club QL 33 DUNOD 2nd Edition Nov. 2011 ? ? ? ? ? ? ? ? ? ?

×