The Impact of Test Case Summaries on Bug Fixing Performance: An Empirical Inv...Sebastiano Panichella
Automated test generation tools have been widely investigated
with the goal of reducing the cost of testing activities.
However, generated tests have been shown not to help developers in detecting and finding more bugs even though
they reach higher structural coverage compared to manual
testing. The main reason is that generated tests are di-
cult to understand and maintain. Our paper proposes an
approach, coined TestDescriber, which automatically generates
test case summaries of the portion of code exercised by
each individual test, thereby improving understandability.
We argue that this approach can complement the current
techniques around automated unit test generation or search based techniques designed to generate a possibly minimal set
of test cases. In evaluating our approach we found that (1)
developers find twice as many bugs, and (2) test case summaries
signi ficantly improve the comprehensibility of test
cases, which is considered particularly useful by developers.
1. ก กก F กF ก
F F
ก F F ก ก F ก F ก ก
ก ก F ก ก
F F กก ก F ก ก
ก ก F ก ก F ก F ก
ก F F
ก
ก ก F 2 F ก ก กF
F F ก ก ก กF กF F F ก Fก ก ก ก ʽ ก
กF F F ก ก F ก F ก FF F ก F F
กก
กก ก กF F F ก ก
F F ก F ก ก F กF. ก ก Fก ʽ
ก กF F F F F F F F F ก ก F F ก
F F F ก F ก Fก F ˆ F ...!
2. ก ก F F F F ʾ 2
ก F ก F ก F F
กก F F 17 . . 2555
.....................................................
ก ก ก F กF
F
1. ก ก ก F
2. ก ก ก ก F
3. ก ก ก F
4. ก กก ก ก F
ก F
1. F
ก (กก F F)
2. ก F
2.1 ก ก F ก
2.2 ก F ก F ก F
2.3 ก ก F ก ก ก F ก F
2.4 ก Fก F F ก ˆ
2.5 ก F
2.6 ก F
2.7 ก F F กF
2.8 ก ก ก ก F F F
3. ก กก
1. ก F ก ก ก ก F F ก กF F F
ก ก F ก F F ก F ก F ก
F ก F
2. F ก ก F F ก F ก ก F
ก ก F ก ( F F ) F F F ก F
ก ก 4 ก F ก F
3. ˁ ก Fก ˁ F ก ก ก ˁ ˁ ก ก ˁ ก
F ก ก ก
กก
1. ก F ก F ก ก F F
2. F กF F ก ʽ ก กF F กF F ก F F
ก กF F ก กก ʽ ก กF F F ก ก F ก ก กF F
F
3. F ก F ก ก กก F ก F ก F กF F ( F F ก
F F) Fก ʽ ก กF F ( ก ʽ ก กF ) F ก ก F
ก กF F F กF F F กF F F ก ก กF F ก
F ก กF F F F F ก ก กF F กF กกก F
กF F ก Fก F ก Fก ʽ ก กF ก ʾก F ก
ก F ( ก F ก F ก กก F F ก F
ก )
4. F ก F ก F กF F F F F F F ก F กF
F F F F F ก ก
F F กF ก ก F F กก F ก F ˈ F ( F
F 5 )
5. ก ก F 1 F กก F F 30 กก
F กก F
1. ก F ก ก ก ก ก กF ก ก
ก ʽ ก กF F ก กF F กกก F กF F F
ก ก ก ก F F F กF
2. ก ก กก F F ก ก ก ก
4. ก Fก
1. F ก F
2. กF ก
3. ก ก
4. ก
5. ก
6.
7.
F F
F
ก
1. ก
1.1 ก ก ก
1.2 ก ก ก กก F F
1.3 ก ก ก
1.4 ก ก FF กก ก
2.
กก ก
3. ก F ก กก F F F
3 ก F ก F
2 ก F ก
1 ก F ก FF
5. ก ก Fก ก F F F ʾ 1 2
ก ก
ก
ก ก
ก
- ก F FF
ก
ก
ก
ก
ก
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
ก Fก ก Fก F F
2.51 - 3.00 2.00 - 2.50 ก 1.00 - 1.99
ก F F F F 2.00
6. ก กก ก F
ก กก
..........................................................................................................................................................................
..........................................................................................................................................................................
..........................................................................................................................................................................
ก ............
................. ˈ F .........................
ก ................. ˈ F .........................
................. ˈ F .........................
ก F ก F F
..........................................................................................................................................................................
..........................................................................................................................................................................
ˆ
..........................................................................................................................................................................
..........................................................................................................................................................................
F กF ˆ
..........................................................................................................................................................................
..........................................................................................................................................................................
................................................
( F F)
F ก ก
/ F F F F
..........................................................................................................................................................................
.........................................................................................................................................................................
................................................
( ก ˆ ก)
F F ก ก
