More Related Content
Similar to 9783642290435 t1
Similar to 9783642290435 t1 (20)
9783642290435 t1
- 1. Contents
Part I
Background
1
Introduction .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.1
Software Engineering Context . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.2
Science and Software Engineering .. . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
1.3
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3
3
5
8
2
Empirical Strategies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.1
Overview of Empirical Strategies . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2
Surveys . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.1
Survey Characteristics . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.2
Survey Purposes . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.2.3
Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3
Case Studies .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3.1
Case Study Arrangements . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.3.2
Confounding Factors and Other Aspects . . . . . . . . . . . . . . .
2.4
Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.4.1
Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.4.2
Experiment Process . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.5
Empirical Strategies Comparison . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.6
Replications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.7
Theory in Software Engineering . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.8
Aggregating Evidence from Empirical Studies .. . . . . . . . . . . . . . . . . . .
2.9
Empiricism in a Software Engineering Context .. . . . . . . . . . . . . . . . . .
2.9.1
Empirical Evaluation of Process Changes .. . . . . . . . . . . . .
2.9.2
Quality Improvement Paradigm .. . . .. . . . . . . . . . . . . . . . . . . .
2.9.3
Experience Factory . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.9.4
Goal/Question/Metric Method . . . . . .. . . . . . . . . . . . . . . . . . . .
2.10 Empirically-Based Technology Transfer . . . . . .. . . . . . . . . . . . . . . . . . . .
2.11 Ethics in Experimentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
2.12 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9
10
12
12
13
13
14
15
15
16
17
18
18
19
21
22
24
24
26
27
29
30
33
36
xix
- 2. xx
Contents
3
Measurement .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1
Basic Concepts .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1.1
Scale Types . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.1.2
Objective and Subjective Measures .. . . . . . . . . . . . . . . . . . . .
3.1.3
Direct or Indirect Measures . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.2
Measurements in Software Engineering . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.3
Measurements in Practice . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
3.4
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
37
38
39
40
41
41
42
43
4
Systematic Literature Reviews . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.1
Planning the Review . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.2
Conducting the Review . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.3
Reporting the Review .. . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.4
Mapping Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.5
Example Reviews . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
4.6
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
45
45
46
51
52
52
54
5
Case Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.1
Case Studies in Its Context . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.1.1
Why Case Studies in Software Engineering? .. . . . . . . . . .
5.1.2
Case Study Research Process . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2
Design and Planning .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2.1
Case Study Planning .. . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.2.2
Case Study Protocol . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3
Preparation and Collection of Data . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.1
Interviews . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.2
Observations . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.3
Archival Data . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.3.4
Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4
Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.1
Quantitative Data Analysis . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.2
Qualitative Data Analysis . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.4.3
Validity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5
Reporting .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5.1
Characteristics . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.5.2
Structure .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
5.6
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
55
56
57
58
58
58
60
61
62
64
65
65
65
65
66
68
69
69
71
72
6
Experiment Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.1
Variables, Treatments, Objects and Subjects . .. . . . . . . . . . . . . . . . . . . .
6.2
Process.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.3
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
6.4
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
73
74
76
81
81
- 3. Contents
Part II
xxi
Steps in the Experiment Process
7
Scoping.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.1
Scope Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.2
Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
7.3
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
85
85
87
88
8
Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.1
Context Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.2
Hypothesis Formulation . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.3
Variables Selection .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.4
Selection of Subjects. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5
Experiment Design.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.1
Choice of Experiment Design .. . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.2
General Design Principles . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.5.3
Standard Design Types . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.6
Instrumentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.7
Validity Evaluation.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8
Detailed Description of Validity Threats. . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.1
Conclusion Validity .. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.2
Internal Validity .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.3
Construct Validity .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.8.4
External Validity . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.9
Priority Among Types of Validity Threats .. . . .. . . . . . . . . . . . . . . . . . . .
8.10 Example Experiment.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
8.11 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
89
89
91
92
92
93
93
94
95
101
102
104
104
106
108
110
111
112
116
9
Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1
Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1.1
Commit Participants . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.1.2
Instrumentation Concerns . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2
Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2.1
Data Collection . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.2.2
Experimental Environment .. . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.3
Data Validation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.4
Example Operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
9.5
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
117
117
118
119
120
120
120
121
121
122
10 Analysis and Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1 Descriptive Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.1 Measures of Central Tendency . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.2 Measures of Dispersion.. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.3 Measures of Dependency .. . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.1.4 Graphical Visualization .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.2 Data Set Reduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
123
123
124
126
127
128
131
- 4. xxii
Contents
10.3
10.4
10.5
Hypothesis Testing .. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.1 Basic Concept .. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.2 Parametric and Non-parametric Tests . . . . . . . . . . . . . . . . . . .
10.3.3 Overview of Tests . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.4 t-Test .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.5 Mann-Whitney . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.6 F-Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.7 Paired t-Test . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.8 Wilcoxon . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.9 Sign Test. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.10 ANOVA (ANalysis Of VAriance) .. .. . . . . . . . . . . . . . . . . . . .
10.3.11 Kruskal-Wallis . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.12 Chi-2.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.13 Model Adequacy Checking . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
10.3.14 Drawing Conclusions .. . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
Example Analysis .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
132
132
135
136
138
139
140
140
141
142
143
144
145
148
149
150
151
11 Presentation and Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153
11.1 Experiment Report Structure . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 153
11.2 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 157
Part III
Example Experiments
12 Experiment Process Illustration . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1 Scoping .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1.1 Goal Definition.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.1.2 Summary of Scoping . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2 Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.1 Context Selection . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.2 Hypothesis Formulation . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.3 Variables Selection. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.4 Selection of Subjects. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.5 Experiment Design . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.6 Instrumentation . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.2.7 Validity Evaluation . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3 Operation .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.1 Preparation . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.2 Execution .. . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.3.3 Data Validation.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4 Analysis and Interpretation .. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.1 Descriptive Statistics. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.2 Data Reduction.. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.4.3 Hypothesis Testing . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.5 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
12.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
161
161
161
163
163
163
163
165
165
165
166
166
167
167
168
168
169
169
172
172
173
174
- 5. Contents
xxiii
13 Are the Perspectives Really Different? Further
Experimentation on Scenario-Based Reading of Requirements.. . . . . .
13.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.2 Related Work .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.3 Research Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4 Experiment Planning.. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.1 Variables.. . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.2 Hypotheses . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.3 Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.4.4 Threats to Validity . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.5 Experiment Operation . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.6 Data Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.6.1 Individual Performance for Different Perspectives.. . . .
13.6.2 Defects Found by Different Perspectives . . . . . . . . . . . . . . .
13.6.3 Is the Sample Size Large Enough? .. . . . . . . . . . . . . . . . . . . . .
13.6.4 Experience of Subjects . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.7 Interpretations of Results . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.8 Summary and Conclusions . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.9 Data on Individual Performance . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10 Data on Defects Found by Perspectives. . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10.1 PG document .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
13.10.2 ATM document . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
175
176
177
181
182
182
182
184
184
186
187
187
189
192
194
194
195
197
198
198
199
Appendices
A
Exercises .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1
Training.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.1
Normally Distributed Data . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.2
Experience . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.3
Programming .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.4
Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.1.5
Inspections . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.2
Reviewing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3
Assignments .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.1
Unit Test and Code Reviews . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.2
Inspection Methods . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
A.3.3
Requirements Notation . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . .
203
203
204
204
205
209
212
212
213
214
214
215
B
Statistical Tables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 217
References .. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 223
Index . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . 233