Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20120612 05 - Etude de maturité d'une organisation de tests avec TPI Next

626 views

Published on

Etude de maturité d'une organisation de tests avec TPI Next

Published in: Software
  • Be the first to comment

  • Be the first to like this

20120612 05 - Etude de maturité d'une organisation de tests avec TPI Next

  1. 1. Étude de maturité d’une organisation de tests avec TPI® Next 12 / 06 /2012Michaël Belkasmi (mbelkasmi@henix.fr) 01.42.31.02.05
  2. 2. Étude de maturité avec TPI Next Étude de maturité d’une organisation de tests avec TPI® Next • Présentation du modèle TPI Next® • REX de mise en œuvre d’une étude de maturité 12/06/2012 2
  3. 3. Préambule : enjeux et objectifs d’une étude de maturité • ENJEUX : Améliorer la qualité des pratiques et des livrables des activités de test • OBJECTIFS :  Dresser un bilan objectif des pratiques de test  Identifier les axes d’amélioration : Quicks wins & Préconisations 3Étude de maturité avec TPI Next 12/06/2012
  4. 4. Le modèle TPI Next® 12/06/2012 4Étude de maturité avec TPI Next
  5. 5. Qu’est-ce que TPI Next® ? • TPI = Test Process Improvement • Modèle d'évaluation du niveau de maturité des processus de test :  permet de dresser un état des lieux,  propose des axes d’amélioration. • Historique : – Créé par Sogeti NL en 1998 – Next = nouvelle version de TPI® (2009) • Cadre de référence de TPI® Next : TMAP® Next • Le modèle est décliné sous la forme d’une matrice de questions à poser dans le cadre d’interview (téléchargeable sur http://www.tmap.net/en/tpi-next/downloads) 512/06/2012Étude de maturité avec TPI Next
  6. 6. Les principes 6Étude de maturité avec TPI Next 12/06/2012 16 secteurs clés Ils couvrent les activités du test selon plusieurs axes : ~150 points de contrôle Permettent de mesurer de façon objective l’atteinte des exigences de chaque niveau. Suggestions d’amélioration Préconisations pour permettre l’atteinte d’un certain niveau de maturité. 3 niveaux de maturité Contrôlé  « Doing the right things » Efficient  « Doing things the right way » Optimisé  « Continuously adapting to ever-changing circumstances »  Organisation  Outils et méthodologie  Mise en œuvre  RH = questions à poser en entretien
  7. 7. Les 16 secteurs clés 7Étude de maturité avec TPI Next 12/06/2012 Catégorie # Secteur clé Mise en œuvre 3 Stratégie de test 5 Communication 6 Reporting 7 Gestion du processus de test 8 Estimations et planification 9 Métriques 10 Gestion des anomalies 11 Gestion du patrimoine de test 14 Conception des cas de test Outils et méthodo 12 Méthodologie 15 Outils de test 16 Environnement de test Organisation 1 Implication des acteurs projet dans les processus de test 2 Degré de participation de l'équipe de test dans la gestion globale du projet 4 Fonctionnement des activités de tests (équipes et procédures) RH 13 Compétence de l'équipe de test
  8. 8. La matrice : extrait du secteur 3 (Stratégie de test) 8Étude de maturité avec TPI Next 12/06/2012 Contrôlé 3.c.1 Le Commanditaire est d'accord avec la stratégie de test établie. 3.c.2 La stratégie de test se base sur une analyse des risques liés au système testé. 3.c.3 Les risques identifiés sont pris en compte pour déterminer : - les types de test (tests unitaires, recette usine...), - la couverture de test et - la profondeur de test à mettre en œuvre. 3.c.4 La stratégie de test définit un plan de test spécifique pour chaque itération et pour les tests de non régression. Efficient 3.e.1 Tous les acteurs projets prennent connaissance et sont d'accord avec la stratégie de test établie. 3.e.2 Une attention particulière est portée sur les recouvrements ou les manques entre les différents types de test. 3.e.3 La stratégie de test prend en compte l'ensemble des techniques de conception de tests couvertes par la méthodologie. Optimisé 3.o.1 Le processus de création de la stratégie de test est régulièrement évalué et, si nécessaire, adapté pour de futures utilisations. 3.o.2 La stratégie de test est revue en fonction des incidents rencontrés en production. Réponse par OUI, Non ou NSP
  9. 9. Exemple de restitution TPI® Next 9Étude de maturité avec TPI Next 12/06/2012 #Secteur clé Init. Contrôlé Efficient Optimisé 1 Implication des acteurs projet dans les processus de test N/A N/A N/A N/A N/A N/A N/A N/A N/A N/A 2 Degré de participation de l'équipe de test dans la gestion globale du projet O O N N N N N N/S N/A 3 Stratégie de test N/A O O N O N N/A N/A N/A 4 Fonctionnement des activités de tests (équipes et procédures) O O O N/A N N/A N/A N N/A N/A N/A 5 Communication O O O O O O N/A N/A N/A 6 Reporting O O O N/S O O N/A N/A 7 Gestion du processus de test O N/A N O O O N/A N/A N/A 8 Estimations et planification O O N N/A N N/S N/S N/A N/A N/A N/A 9 Métriques O O O O O N N/S N/A N/A 10 Gestion des anomalies O O O O NSP N O O N N/A N/A 11 Gestion du patrimoine de test O O O N N O N N/A N/A N/A 12 Sommaire N N/S N/S N/S N/S N/S N/S N/A N/A 13 Synthèse des résultats O N/S O N/S N N/S N/A N/A N/A N/A N/A 14 Conception des cas de test O O O O O N N/A N/A N/A N/A 15 Outils de test O O N N/S N/S N/S N/S N/A N/A N/A 16 Environnement de test O O N N N O N N N/A N/A N/A Oui Non / Non significatif / Non applicable Ne sait pas
  10. 10. 10Étude de maturité avec TPI Next 12/06/2012 REX de mise en œuvre d’une étude de maturité
  11. 11. Enjeux et objectifs de l’étude de maturité 11Étude de maturité avec TPI Next 12/06/2012 • La direction YYY d’un grand groupe de l’assurance engage une réflexion sur la professionnalisation du métier de l’homologation. • Organisation de la qualification dans le service : o une équipe dédiée sur une partie du SI (réf. produit)  ~4 p. o pour les autres domaines, prise en charge de la qualification par l’AMO  ~15 p. • ENJEUX DE L’ÉTUDE DE MATURITÉ :  Sécuriser les phases d’homologation du SI  Harmoniser les pratiques : – au sein de la direction YYY, – avec un CS de qualification existant dans une autre direction • OBJECTIFS :  Dresser un état des lieux factuel des activités de qualification  Identifier les axes d’amélioration  Proposer un plan de mise en œuvre
  12. 12. • Périmètre de l’étude = 3 équipes différentes : • Calendrier : • Personnes interviewées ou rencontrées : – AMO : 9 personnes – MOE : 4 personnes – Centre de service de qualification : 1 personne – Utilisateurs : 2 personnes Déroulement de l’étude 12Étude de maturité avec TPI Next 12/06/2012 SI Historique Qualif. produitInternet Contrats & Prestations Réglementaire / Transverses Projet de refonte P 1 P 2 P 3 Cadrage & Préparation 5 jours 12 jours 10 jours Analyse & Diagnostic Restitution Déc. 2011 Jan. 2012 Fév. 2012
  13. 13. La démarche mise en œuvre à base de Squash + TPI® 13Étude de maturité avec TPI Next 12/06/2012 Prise de connaissance :  le contexte organisationnel et fonctionnel,  le cadre de référence méthodologique Préparation des interviews en constituant un questionnaire et une trame d’entretien adaptés au contexte du client Définition des objectifs et du périmètre de l’audit Analyse des livrables produits (stratégie de test, référentiel des tests, tableaux de bords…) Analyse des processus de qualification (Rencontre des équipes chargées des tests lors d’interviews avec le questionnaire TPI Next®) Phase 3 Restitution Présentation des conclusions de l’étude et des axes d’amélioration préconisés : Rapport de l’étude : - Constats - Cartographie du niveau de maturité - Préconisations et recommandations Plan de mise en œuvre Phase 2 Analyse & Diagnostic Phase 1 Cadrage & Préparation RH Organisation Méthodologie & Outillage Mise en œuvre Maturité des process  Conformité  respect des modèles de livrables en termes d’existence et de formalisme (CH).  Pertinence  vérification de l'atteinte des objectifs définis dans la méthodologie.  Lisibilité  évaluation de la clarté du livrable, de sa facilité d'appropriation et de compréhension.  Cycle de vie  respect du cycle de validation du livrable et de la traçabilité des modifications qui lui sont apportées.  Profil des équipes de test  Méthodologie  Motivation  Implication des acteurs projets  Pilotage opérationnel  Respect de la méthodologie  Mise en œuvre des outils  Capitalisation… Qualité des livrables 4 axes d’analyse : Adressé par TPI®
  14. 14. Présentation du rapport de l’étude de maturité 14Étude de maturité avec TPI Next 12/06/2012  Démarche  Déroulement de l’étude ÉTAT DES LIEUX  Synthèse des constats  Bilan : cartographie du niveau de maturité  Bilan : qualité des livrables RECOMMANDATIONS  Préconisations détaillés PLAN DE MISE EN ŒUVRE  Proposition de plan de mise en œuvre  Plan d’action court terme  Risques Couvert par TPI®
  15. 15. Exemple : bilan de la maturité des process 15Étude de maturité avec TPI Next 12/06/2012
  16. 16. Exemple : le plan de mise en œuvre 1612/06/2012Étude de maturité avec TPI Next Périmètre applicatif SI Histo Projet refonte Qualif. produit Méthodologie et outillageActivitésliéesautest Stratégie Rédaction cahier de recette Exécution Pilotage recette & PV Equipe B A Equipe C Equipe C Equipe C Equipe D Equipe D Equipe D Equipe D Description de l’existant AAA A AAA A AAA … … … B C
  17. 17. Exemple : le plan de mise en œuvre 1712/06/2012Étude de maturité avec TPI Next Périmètre applicatif SI Histo Projet refonte Qualif. produit Méthodologie et outillageActivitésliéesautest Stratégie Rédaction cahier de recette Exécution Pilotage recette & PV Equipe B A Equipe C Equipe C Equipe C Equipe D Equipe D Equipe D Equipe D AAA A AAA A AAA … … … B C Groupe de travail + Expert Étape 1/5 Février 2012 Étape 1 Février 2012 Les échelles ne sont pas proportionnelles Étape 2 Mars 2012 Étape 3 Juillet 2012 Étape 4 Novembre 2012 Étape 5 Fin 2012 Expert Equipe A Equipe B Renforts Expert  CQO …Equipe C Equipe D …Renforts Expert  CQO Equipe C …Equip. D …CQO
  18. 18. Exemple : le plan de mise en œuvre 1812/06/2012Étude de maturité avec TPI Next Périmètre applicatif SI Histo Projet refonte Qualif. produit Méthodologie et outillageActivitésliéesautest Stratégie Rédaction cahier de recette Exécution Pilotage recette & PV CQO CQO CQO Equipe C C Equipe CCQO Equipe D Equipe D Equipe D Equipe D AA … C CQO Equipe B Groupe de travail + Expert  CQO B Étape 2/5 Mai 2012  Étape 1 Février 2012 Les échelles ne sont pas proportionnelles Étape 2 Mars 2012 Étape 3 Juillet 2012 Étape 4 Novembre 2012 Étape 5 Fin 2012 Expert Equipe A Equipe B Renforts Expert  CQO …Equipe C Equipe D …Renforts Expert  CQO Equipe C …Equip. D …CQO
  19. 19. Exemple : le plan de mise en œuvre 1912/06/2012Étude de maturité avec TPI Next Périmètre applicatif SI Histo Projet refonte Qualif. produit Méthodologie et outillageActivitésliéesautest Stratégie Rédaction cahier de recette Exécution Pilotage recette & PV Equipe CCQO D CQO CQO Equipe D Equipe D Equipe DCCQO CCQO CQO CQO Groupe de travail + Expert   Étape 3/5 Juillet 2012 Equipe B Renforts IBM Equipe D Étape 1 Février 2012 Les échelles ne sont pas proportionnelles Étape 2 Mars 2012 Étape 3 Juillet 2012 Étape 4 Novembre 2012 Étape 5 Fin 2012 Expert Equipe A Equipe B Renforts Expert  CQO …Equipe C Equipe D …Renforts Expert  CQO Equipe C …Equip. D …CQO
  20. 20. Exemple : le plan de mise en œuvre 2012/06/2012Étude de maturité avec TPI Next Périmètre applicatif SI Histo Projet refonte Qualif. produit Méthodologie et outillageActivitésliéesautest Stratégie Rédaction cahier de recette Exécution Pilotage recette & PV Equipe CCQO CQO CQO CCQO CCQO CQO CQO CQO CQO CQO   Étape 4/5 Octobre 2012 Equipe B Renforts C Étape 1 Février 2012 Les échelles ne sont pas proportionnelles Étape 2 Mars 2012 Étape 3 Juillet 2012 Étape 4 Novembre 2012 Étape 5 Fin 2012 Expert Equipe A Equipe B Renforts Expert  CQO …Equipe C Equipe D …Renforts Expert  CQO Equipe C …Equip. D …CQO
  21. 21. Exemple : le plan de mise en œuvre 2112/06/2012Étude de maturité avec TPI Next Périmètre applicatif SI Histo Projet refonte Qualif. produit Méthodologie et outillageActivitésliéesautest Stratégie Rédaction cahier de recette Exécution Pilotage recette & PV CQO CQO CQO CQO CQO Étape 5/5 Fin 2012 Étape 1 Février 2012 Les échelles ne sont pas proportionnelles Étape 2 Mars 2012 Étape 3 Juillet 2012 Étape 4 Novembre 2012 Étape 5 Fin 2012 Expert CP MOA Gestionnaire Renforts Expert  CQO …IBM Qualif. prod. …Renforts Expert  CQO IBM …Qualif. prod. …CQO Renforts éventuels
  22. 22. REX : points forts et limites de TPI® Next • POINTS FORTS : Une couverture exhaustive des process de qualification (selon TMAP) Un cadre d’interview structuré Des questions pouvant s’adapter à un large panel de profils Un questionnaire aux vertus didactiques • LIMITES & POINTS DE VIGILANCE : Modèle très riche, orienté TMAP  Adapter le questionnaire au contexte (ex: terminologie, profils) et au cadre de référence Questionnaire pénible (~150 questions)  Alléger le questionnaire ou réaliser l’interview en plusieurs fois Un côté intrusif  Expliquer la démarche / rassurer Non adapté aux projets agiles Ne couvre pas la qualité des livrables / la mise en œuvre 22Étude de maturité avec TPI Next 12/06/2012
  23. 23. Conclusion : TPI® Next • TPI® Next adresse la problématique de maturité sous l’angle process. • Approche nécessaire à long terme, mais : – Études de maturité assez lourdes – Mise en œuvre des préconisations longue, parfois complexe (gest° du changement) ROI potentiellement long • Nécessité de compléter TPI® Next avec la vision ‘livrables’ :  QUALITÉ DES LIVRABLES Préconisations court terme / quick wins  Bénéfices rapides  QUALITÉ DES PROCESS Préconisations moyen / long terme  Bénéfices sur la durée 23Étude de maturité avec TPI Next 12/06/2012
  24. 24. Conclusion : TPI® + Squash • Enrichir et compléter TPI® dans le cadre de Squash :  Proposer une démarche complète pour la conduite d’étude de maturité  Prendre en compte la qualité des livrables  Adresser la phase de mise en œuvre  Étendre le principe aux spécificités des méthodes agiles 24Étude de maturité avec TPI Next 12/06/2012

×