Table of Contents                  xiii



Table of Contents




Foreword by Stephan Goericke                             ...
xiv       Table of Contents



      3        Testing in the Software Life Cycle                                          ...
Table of Contents                xv



      5.2.8        Suspension Criteria and Resumption Requirements . . . . . . . . ...
xvi       Table of Contents



      7       Assessing and Improving the Development
              and Test Processes     ...
Table of Contents                  xvii



9        Risk Management
         and Risk-Oriented Testing                    ...
xviii        Table of Contents



        11       Test Metrics                                                           ...
Table of Contents                xix



13.5 Generally Applicable Standards . . . . . . . . . . . . . . . . . . . . . . . ...
Upcoming SlideShare
Loading in...5
×

Software Testing Practice: Test Management

781

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
781
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
28
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Software Testing Practice: Test Management

  1. 1. Table of Contents xiii Table of Contents Foreword by Stephan Goericke v Foreword by Tim Koomen vii Foreword by Hans Schaefer ix Foreword xi 1 Introduction 1 1.1 Software Testing Foundations – Condensed . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 Software Testing Practice: Test Management – Overview . . . . . . . . . . . . . . 8 2 Test Process and Test Tools 11 2.1 Test Process Fundamentals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1.1 Test Planning and Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1.2 Test Analysis and Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.1.3 Test Implementation and Execution . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.1.4 Test Evaluation and Test Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 2.1.5 Completing the Test Activities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2 Test Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.2.1 Tools for Management and Test Control . . . . . . . . . . . . . . . . . . . . . 17 2.2.2 Tools for Test Data and Test Script Specification . . . . . . . . . . . . . . 18 2.2.3 Tools for Static Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.2.4 Tools for Dynamic Testing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.2.5 Constraints to be Considered . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 2.3 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
  2. 2. xiv Table of Contents 3 Testing in the Software Life Cycle 23 3.1 Test and Development Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2 Classification of Development Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.3 The General V- Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.4 The W-Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.5 Rational Unified Process (RUP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.6 V-Model XT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.7 Extreme Programming (XP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.8 Rapid Application Development (RAD) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.9 Dynamic Systems Development Method (DSDM) . . . . . . . . . . . . . . . . . . . . 37 3.10 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4 Test Policy and Test Handbook 41 4.1 Quality Policy and Test Policy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2 Bring the Test Policy to Life . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 4.3 Test Policy and Test Handbook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5 The Test Plan 49 5.1 General Test Plan Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.1.1 From Strategy to Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 5.1.2 Strategic Parts of the Test Plan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 5.1.3 The Test Schedule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 5.1.4 The Level Test Plan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 5.1.5 IEEE 829 – Standard for Test Documentation . . . . . . . . . . . . . . . . . 55 5.2 Test Plan Contents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.2.1 Test Plan Identifier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.2.2 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.2.3 Test Items . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.2.4 Features to Be Tested . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.2.5 Features Not to Be Tested . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.2.6 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 5.2.7 Item Pass/Fail Criteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
  3. 3. Table of Contents xv 5.2.8 Suspension Criteria and Resumption Requirements . . . . . . . . . . 61 5.2.9 Test Deliverables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.2.10 Testing Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.2.11 Environmental Needs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62 5.2.12 Responsibilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 5.2.13 Staffing and Training Needs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.2.14 Schedule . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.2.15 Risks and Contingencies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.2.16 Approvals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.3 Defining a Test Strategy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 5.4 Test Effort Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 5.4.1 Flat Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 5.4.2 Detailed Models Based on Test Activities . . . . . . . . . . . . . . . . . . . . . 73 5.4.3 Models Based on Functional Volume . . . . . . . . . . . . . . . . . . . . . . . . 76 5.5 Organization of Test Teams and Test Levels . . . . . . . . . . . . . . . . . . . . . . . . . 80 5.6 Test Planning as an Iterative Process Accompanying Development . . . 85 5.6.1 Begin Test Activities Early and Refine Them Step-by-Step . . . . . 85 5.6.2 “Plan-Do-Check-Act”-Cycles in Testing . . . . . . . . . . . . . . . . . . . . . . . 86 5.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 6 Test Control 89 6.1 Initiating the Test Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 6.2 Monitoring the Test Progress . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 6.3 Reacting to Test Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 6.4 Reacting to Changed Circumstances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 6.5 Evaluating Test Completion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 6.6 Test Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 6.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
  4. 4. xvi Table of Contents 7 Assessing and Improving the Development and Test Processes 111 7.1 General Techniques and Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112 7.1.1 Total Quality Management (TQM) . . . . . . . . . . . . . . . . . . . . . . . . . . 112 7.1.2 Kaizen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 7.1.3 Six Sigma . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 7.2 Improving the Software Development Process . . . . . . . . . . . . . . . . . . . . . 118 7.2.1 Capability Maturity Model Integration (CMMI) . . . . . . . . . . . . . . . 119 7.2.2 ISO/IEC 15504 (SPICE) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 7.2.3 Comparing CMMI with SPICE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 7.3 Evaluation of Test Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 7.3.1 Testing Maturity Model (TMM)™ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128 7.3.2 Test Process Improvement® (TPI) . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 7.3.3 Comparing TMM with TPI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140 7.4 Audits and Assessments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 7.4.1 Performing an Internal Audit or Assessment . . . . . . . . . . . . . . . . 143 7.4.2 Preparing an External Audit or Assessment . . . . . . . . . . . . . . . . . 146 7.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 8 Deviation Management 151 8.1 Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 8.2 Documenting Incidents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 8.3 Incident Handling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 8.3.1 Roles and Balance of Interests in Deviation Management . . . . 155 8.3.2 Generic Deviation Management Process . . . . . . . . . . . . . . . . . . . 157 8.3.3 Using Deviation Management Tools . . . . . . . . . . . . . . . . . . . . . . . . 159 8.4 Standardized Classification for Software Anomalies According to the IEEE 1044/1044.1 Standard . . . . . . . . . . . . 163 8.4.1 Overview of the Classifications Process . . . . . . . . . . . . . . . . . . . . . 163 8.4.2 Data Model: Categories, Classifications, and Supporting Data Items . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164 8.4.3 Classification Steps in Detail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 8.4.4 Tailoring of Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 8.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
  5. 5. Table of Contents xvii 9 Risk Management and Risk-Oriented Testing 171 9.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 9.2 Context Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 9.3 Risk Identification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 9.3.1 Risk Categories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 9.3.2 Techniques and Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 9.4 Risk Analysis and Risk Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 9.4.1 Analysis Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181 9.4.2 Risk Occurrence Indicators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 9.4.3 Risk Inventory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184 9.5 Risk Control and Treatment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 9.6 Risk Review and Risk Monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 9.7 Risk-Oriented Test Plan Creation and Test Prioritization . . . . . . . . . . . . . 188 9.8 Further Possibilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192 9.8.1 Failure Modes and Effect Analysis (FMEA) . . . . . . . . . . . . . . . . . . . 192 9.8.2 Risk-Based Test Effort Optimization . . . . . . . . . . . . . . . . . . . . . . . . . 194 9.9 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196 10 Staff Qualification and Skills 199 10.1 Individual Skills . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199 10.2 Functional Team Roles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202 10.3 Social Team Roles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 10.4 The Communication Factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 10.5 The Motivation Factor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 10.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
  6. 6. xviii Table of Contents 11 Test Metrics 213 11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 11.2 Some Measure Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 11.3 Metrics Definition and Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216 11.4 Presenting Measurement Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 11.5 Several Test Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 11.5.1 Test-Case-Based Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 11.5.2 Test-Basis- and Test-Object-Based Metrics . . . . . . . . . . . . . . . . . . 226 11.5.3 Defect-Based Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228 11.5.4 Cost- and Effort-Based Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235 11.5.5 Evaluating Test Effectiveness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 11.6 Residual Defect Estimations and Reliability . . . . . . . . . . . . . . . . . . . . . . . . . 237 11.6.1 Residual Defect Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238 11.6.2 Reliability Growth Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 11.7 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 12 Selecting and Implementing Test Tools 243 12.1 Why Test Tools? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 12.2 Evaluating and Selecting Test Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244 12.2.1 Principal Decision Whether to Use a Tool . . . . . . . . . . . . . . . . . . . 244 12.2.2 Identifying the Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 12.2.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 12.2.4 Selecting the Tool to Be Procured . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 12.3 Introduction of Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258 12.3.1 Pilot Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 12.3.2 Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 12.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 13 Standards 263 13.1 Objectives and Positioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 13.2 Corporate Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 13.3 Best Practices and Technical Specifications . . . . . . . . . . . . . . . . . . . . . . . . . 266 13.4 Domain-Specific Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
  7. 7. Table of Contents xix 13.5 Generally Applicable Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270 13.5.1 Terminology and Contractual Standards . . . . . . . . . . . . . . . . . . . . 273 13.5.2 Process Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274 13.5.3 Product and Documentation Standards . . . . . . . . . . . . . . . . . . . . . 275 13.5.4 Methods and Engineering Standards . . . . . . . . . . . . . . . . . . . . . . . 277 13.5.5 Application of Standards . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 13.6 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 Glossary 281 Literature 291 Standards 297 WWW pages 305 Index 313

×