Test case prioritization

1. นายชารีฟ เด่ นสุ มิตร
นาย ซู ฟัรวี สะมะแอ
การนําเสนอนีเพือเป็ นส่วนหนึงของการศึกษาในรายวิชาสัมนา
สาขาวิชาวิศวกรรมซอฟต์แวร์ คณะเทคโนโลยีและสิงแวดล้อม
มหาวิทยาลัยสงขลานครินทร์ วิทยาเขตภูเก็ต

2. Outline
 บทคัดย่อ
 Introduction
 Customer Requirement-Based Techniques
 Coverage-Based Techniques
 Cost Effective-Based Techniques
 Chronographic History-Based Techniques
 Research Challenges
 Ignore Practical Weight Prioritization Factors
 Inefficient Ranking Algorithm for Test Case Prioritization
 Ignore Size of Test Case
 Proposed Method
 Test Case Prioritization Process
 Practical Weight Factors
 Multi Prioritization Method
 Evaluation
 Experiments Design
 Measurement Metrics
 Percentage of High Priority Reserve Effectiveness
 Size of Acceptable Test Cases
 Total Prioritization Time
 Result and Discussion
 Discussion
 Conclusion and Future Work

3. บทคัดย่ อ
แต่เดิมการทดสอบในอดีต มีการใช้ งบประมาณถึง ร้ อยละ 50 ของงบประมาณทังหมด
ดังนันจึงได้ มีการเสนอวิธีทีจะช่วยลดทังเวลา ค่าใช้ จาย และ ขันตอนในการทําให้ น้อยลง โดยจัด
่
ได้ 4 วิธี คือ
 จัดลาดับความสาคัญโดยยึดตามความต้องการของลูกค้า(Customer requirement
base technique)
 จัดลาดับความสาคัญโดยยึดตามความครอบคลุมในการทาการทดสอบ(Coverage-base
technique)
 จั ด ลาดั บ ความสาคั ญ โดยยึ ด ตามงบประมาณที มี ( Cost effective-base
technique)
 จัด ลาดับความสาคัญโดยยึด ข้อ มูล จากอดีต (Chronographic history-base
technique)

4. Outline
 บทคัดย่อ
 Introduction
 Customer Requirement-Based Techniques
 Coverage-Based Techniques
 Cost Effective-Based Techniques
 Chronographic History-Based Techniques
 Research Challenges
 Ignore Practical Weight Prioritization Factors
 Inefficient Ranking Algorithm for Test Case Prioritization
 Ignore Size of Test Case
 Proposed Method
 Test Case Prioritization Process
 Practical Weight Factors
 Multi Prioritization Method
 Evaluation
 Experiments Design
 Measurement Metrics
 Percentage of High Priority Reserve Effectiveness
 Size of Acceptable Test Cases
 Total Prioritization Time
 Result and Discussion
 Discussion
 Conclusion and Future Work

5. Introduction
ในการทดสอบระบบนันมีค วามจําเป็ นอย่างยิง เนื องจาก จํานวนผิดพลาดที
เกิดขึนนันจะก่อให้เกิดผลกระทบต่อองค์กรทีใช้งานระบบนัน ดังนันจึงจําเป็ นทีจะต้อง
ตรวจสอบระบบก่อนทีจะนํ าไปใช้จริง โดยสมควรทีจะต้องใช้เวลาในการทําประมาณ
40-70% ของระยะเวลาในการพัฒนา โดยการทําแบบนีจะช่วยให้ขอผิดพลาดลด ้
น้อยลงยิงขึน แต่ยงไงก็ตาม หากระบบนัน ๆ เป็ นระบบใหญ่ การทีจะทดสอบทังหมดก็
ั
เป็ น เรืองทียากมาก และต้อ งใช้เ วลาในการทํ า สูง จึงต้อ งมีก ารคิด วิธีทีช่ ว ยให้ก าร
ทดสอบนัน ไม่จาเป็ นต้องทดสอบทังหมด แต่ทดสอบจากบางส่วน ซึงผลทีได้จะต้องไม่
ํ
ต่างจากการทดสอบระบบทังหมด

6. Customer Requirement-Based
Technique
วิธการนีจะเป็ นวิธการทีจะจัดลาดับความสาคัญโดยยึดอยู่บนความต้องการของ
ี ี
ลู ก ค้ า ที ได้ ร ะบุ ใ ว้ ใ นเอกสาร โดยจะมี ก ารตังค่ า weight เพื อที จะดู ว่ า
requirement ตัวใดทีสมควรจะทดสอบ อาทิเช่น customer-assigned
priority(CP),Requirement Complexity (RC) และ
Requirement Volatility(RV)

7. Customer Requirement-Based
Technique (Con.)
 จะถูกแทนด้วยค่า weight prioritization ทีจะถูกนามาพิจารณาความ
สาคัญของ requirement
 จะถูกแทนทีด้วยค่าของแต่ละ factor เช่น CP,RC,RV
 จะถูกแทนทีด้วยค่า weight ของแต่ละ factor เช่น CP,RC,RV
**** โดยค่า WP จะมีคาตังแต่ 1-10 โดยค่าตัวใหนทีคํานวนได้คามากก็จะมี
่ ่
ความสําคัญสูง

8. ข้ อดี - เสีย
 ข้อดี
 ทําให้ระบบตรงตามความต้องการกรณีท ี requirement คงที
 ข้อเสีย
 วิธนีจะไม่เหมาะกับระบบทีมี requirement เปลียนแปลงตลอด
ี

9. Coverage-Based Techniques
วิธการนีจะเป็ นวิธการทีจะจัดลําดับความสําคัญของ test case โดยเน้นถึง
ิ ี
ความครอบคลุ ม ในการทดสอบในด้ า นต่ า ง ๆ อาทิ เ ช่ น requirement
coverage, total requirement coverage, additional
requirement coverage และ statement coverage ซึงวิธทจะใช้ ี ี
เทคนิคนี จะอยู่ในลักษณะของ White Box Testing โดยการทํ าความ
ครอบคลุ ม นี จะมีวิธีการทํ า อยู่ม ากมาย เช่น clustering , statement
coverage , branch covering ฯลฯ โดยเทคนิคส่วนมากทีได้มาจากการ
วิจยจากผูทวิจยนีมีวตถุประสงค์เพือทีจะหาวิธการลดชุดทดสอบ (โดยบางทีจะเรียกว่า
ั ้ ี ั ั ี
test suit minimization)

10. Coverage-Based Techniques(Con.)
Jeffrey และ Gupta(2006) ได้อธิบายถึงวิธใหม่ทจะใช้ในการจัดลาดับความสาคัญ
ี ี
โดยจะไม่อ าศัย แต่ ก ารทา statement coverage (หรือรู้จ ัก กัน ในชือว่ า branch
coverage) โดยมีจุดประสงค์เพือทีจะลดจํานวนโดยหาตัว test case weight โดยที
weight นันจะเอาใว้ใช้สําหรับทาการทดสอบซึงหาได้ดงนี
ั
โดยที
 จะแทนค่า weight ทีใช้ในการจัดลาดับความสาคัญทีถูกกาหนดมาจากแต่ละ test case
 จะแทนจํานวนของ requirement ทีแสดงถึงชินส่วนทีมีความพันธ์กบผลลัพธ์ทได้
ั ี
ในแต่ละ test case
 จะแทนค่าจานวนของ requirement ทีจะถูกดาเนินการโดน test case

11. ข้ อดี-ข้ อเสีย
 ข้อดี
 ทําให้ระบบทีตรวจสอบครอบคลุมมากขึน
 ทําให้จานวนของตัว test case ทีใช้ในการทดสอบลดน้อยลง แต่ผลลัพธ์ยงคงเดิม
ํ ั
 ข้อเสีย
 จําเป็ นต้องเข้าใจในระบบเป็ นอย่างดีเพราะเป็ นการทดสอบในระดับ White Box
 ใช้ระยะเวลาพอสมควรเมือเทียบกับวิธการอืน เพือทีจะลดจํานวนของ test case ให้
ี
อยู่ในระดับทีเหมาะสมไม่มากจนเกินไป

12. Cost Effective-Based Prioritization
Techniques
วิธีการนี จะเป็ น กระบวนการทีจัด ลําดับความสําคัญ ของ test case โดยใช้
หลักเกณฑ์ของราคาเป็ นหลัก เช่น การวิเคราะห์ราคา . การจัดความสําคัญของราคา
Leung และ White (1991) ได้เสนอ cost model สาหรับการทาการ
เลือ กการทดสอบการถดถอย รวมทังค่ าใช้จ่ายในการดาเนิ น การและการตรวจสอบกรณี
ทดสอบและค่าใช้จ่ายของการวิเคราะห์เพือสนับสนุ นการเลือก
อย่างไรก็ตามรูปแบบของ Lueng จะไม่พจารณาค่าใช้จ่ายของความผิดพลาดที
ิ
มองเห็นเนืองจากการละทิงตัวทดสอบ ซึง Alexey G Malishevsky, Gregg
Rothermel และ Sebastian Elbaum (2002) ได้เสนอ cost medel สา
หรับการจัดลาดับความสาคัญทีจะนาราคาเหล่านันเข้าไปในบัญชี โดยพวกเข้าได้กาหนดตัว
แปรในการจัดลาดับความสาคัญดังนี: cost of analysis[Ca(T)] และ cost of
the prioritization algorithm [Cp(T)]

13. Cost Effective-Based Prioritization
Techniques (Con.)
 โดยที
 จะแทนค่าความสาคัญของ weight สาหรับแต่ละ test case
 จะแทนค่าการวิเคราะห์ราคาของ source code , การวิเคราะความ
เปลียนแปลงระหว่างระบบทีมี version เก่ากับ version ตัวใหม่ทีได้รบการ ั
ปรับปรุง
 จะแทนค่าราคาทีแท้จริงในการจัดลาดับโดยใช้เครืองมือ และ ราคานีจะขึนอยู่
กับอัลกอริทมทีถูกใช้ โดยมันสามารถดาเนินการในช่วงระยะเบืองต้นหรืออย่างใดอย่าง
ึ
หนึงทีสาคัญ

14. Chronographic History-Based
Prioritization Techniques
Chronographic History-Based Prioritization
Techniques เป็ นวิธการจัดลาดับความสาคัญ test case โดยยึดอยู่บนประวัติ
ี
การประมวลผลของชุดทดสอบในอดีต
Kim และ Porter (2002) ได้เสนอให้ใช้ข้อมูลเกียวกับแต่ละกรณี
ั ั
ทดสอบก่อนทีจะทาการเพิมหรือลดโอกาสทีมันจะถูกใช้ในช่วงการทดสอบปจจุบน ซึง
วิธีก ารของพวกเขาจะขึนอยู่ก ับ ความคิด ทีได้ม าจากการควบคุม คุณ ภาพทางสถิติ
exponential weight ทีเปลียนแปลงตามค่าเฉลีย) และการพยากรณ์ทางสถิติ
(exponential ทีมีคาคงที)
่

15. Chronographic History-Based
Prioritization Techniques
Kin and Porter(2002) ได้กาหนดการเลือกความน่ าจะเป็ นของแต่ละ
test case(โดยแทนที TC), ในเวลาหนึง(แทนที t) เพือทีจะเป็ น โดยที เป็ น
set ของ t, เวลาทีใช้ในการสังเกตุ(จะแทนที {h1,h2,...hn} ) โดยจะมาจากการ
นา TC มารัน และ จะเป็ นค่าคงทีทีจะใช้ในการตังตัวถ่วงน้ าหนักของการสังเกตุ
ประวัติก ารทางาน โดยค่า ทีสูง จะบ่ ง บอกถึง ตัว ทีค่อ นข้า งจะใหม่ ในขณะเดีย วกัน
ค่าทีต่ากว่าก็จะแสดงถึงตัวทีมีอายุมากกว่านันเอง ซึงค่าเหล่านีปกติแล้วจะเป็ นค่าทีเอา
ใว้ใช้ในการกาหนดความน่าจะเป็ น

16. Outline
 บทคัดย่อ
 Introduction
 Customer Requirement-Based Techniques
 Coverage-Based Techniques
 Cost Effective-Based Techniques
 Chronographic History-Based Techniques
 Research Challenges
 Ignore Practical Weight Prioritization Factors
 Inefficient Ranking Algorithm for Test Case Prioritization
 Ignore Size of Test Case
 Proposed Method
 Test Case Prioritization Process
 Practical Weight Factors
 Multi Prioritization Method
 Evaluation
 Experiments Design
 Measurement Metrics
 Percentage of High Priority Reserve Effectiveness
 Size of Acceptable Test Cases
 Total Prioritization Time
 Result and Discussion
 Discussion
 Conclusion and Future Work

18. Outline
 บทคัดย่อ
 Introduction
 Customer Requirement-Based Techniques
 Coverage-Based Techniques
 Cost Effective-Based Techniques
 Chronographic History-Based Techniques
 Research Challenges
 Ignore Practical Weight Prioritization Factors
 Inefficient Ranking Algorithm for Test Case Prioritization
 Ignore Size of Test Case
 Proposed Method
 Test Case Prioritization Process
 Practical Weight Factors
 Multi Prioritization Method
 Evaluation
 Experiments Design
 Measurement Metrics
 Percentage of High Priority Reserve Effectiveness
 Size of Acceptable Test Cases
 Total Prioritization Time
 Result and Discussion
 Discussion
 Conclusion and Future Work

20. Result and Discussion
ผลการประเมินของการทดสอบดังกล่าวข้างต้น จะนําเสนอกราฟทีเปรียบเทียบ ซึงจะแสดงวิธทนําเสนอ
ี ี
ไปแล้วข้างต้น เพือให้เป็ นกรณีทดสอบของ Test case ต่างๆ ซึงมีดวยกันสามเทคนิคในการจัดลําดับความสําคัญ
้
คือ
(a) วิธการสุ่ม (b) วิธการ Hema และ (c) วิธการ Alexey
ี ี ี
ทีมีอยู่บนพืนฐานของการวัดดังต่อไปนี
(a)ประสิทธิภาพของการจอง การลําดับความสําคัญสูง
(b) ขนาดของความการลําดับสําคัญทียอมรับได้
(c)เวลารวมทังหมด

21. An evaluation result of test case prioritization methods
กราฟภาพแสดงผลการประเมินของการทดสอบการจัดลําดับความสําคัญของ test case

22. An evaluation result of test case prioritization methods(2)
 แสดงถึงผลการประเมินเปรียบเทียบประสิทธิภาพการจอง ของการลําดับความสําคัญสูง จํานวนกรณี
การลําดับความสําคัญทียอมรับได้ และเวลาทีการจัดลําดับความสําคัญทังหมด กราฟข้างต้นแสดงให้
เห็นว่า การจองลําดับความสําคัญสูง เกิดประสิทธิผลสูงสุด คิดเป็ น 46.76% และยังเป็ นเทคนิคอืน ๆ
อีกเล็กน้อยประมาณ 40%เทคนิคเหล่านีถูกสงวนไว้อก จํานวนเล็กน้อย เพือ Test case ทีมี
ี
ความสําคัญสูง อยู่นอกเหนือจากนี
 กราฟแสดงให้เห็นว่าวิธทสินเปลืองทีสุดคือ แบบเวลารวม อย่างน้อยในระหว่างกระบวนการจัดลําดับ
ี ี
ความสําคัญเมือเปรียบเทียบกับเทคนิคอืน ๆ จะใช้เพียง 43.30% ซึงน้อยกว่าเทคนิคเล็กน้อย สุดท้าย
กราฟทียังบอกอีกว่าวิธทสองเป็ นวิธทดีทสุดเพือจองการลําดับความสําคัญ test case ทียอมรับได้
ี ี ี ี ี

23. Discussion
 ส่วนนีจะกล่าวถึงผลการประเมินก่อนหน้านี ในรูปแบบตาราง(ที3,4)การจัดอันดับการ
ทดสอบและเทคนิคการจัดลําดับความสําคัญของ test case ทีใช้ในการทดลองโดย
ขึนอยูกบการวัดข้างต้นโดยที 1 เป็ นครังแรกและครังที 2,3,4 ตามลําดับ
่ ั
 โดยางผูวจยมีสองรูปแบบ(ตาราง 3,4) คือ วิธการจัดลําดับความสําคัญทีเหามะสมใน
้ิั ี
การจอง มีการจัดลําดับความสําคัญของ test case ในระดับความสําคัญเป็ น และอีก
วิธคอ การสุมใช้เวลาในการจัดลําดับความสําคัญทีดีทสุดเมือเทียบกับอีกสามวิธี
ี ื ่ ี

24. Discussion(2)
ตารางที 3: แสดงการจัดอันดับของการทดสอบแต่ล่ะ test case เปรียบเทียบวิธการจัดลําดับี
ความสําคัญ ในตารางจะเห็นว่าวิธทใช้เทคนิคทีแนะนําให้ใช้ คือ การจัดลําดับความสําคัญ ส่วนของค่ามากจะเป็ น
ี ี
test case ของ การจัดลําดับความสําคัญสูง และอีกส่วนก็เป็ นเวลาจัดลําดับความสําคัญทังหมด ซึงมีค่าน้อยทีสุด
นอกจากนีก็แสดงให้เห็นว่าวิธทนําเสนอในวิจยนันไม่ได้เลวร้ายทีสุดกว่าเทคนิคอืน ๆ ในการรักษาจํานวน test
ี ี ั
case ทียอมรับได้

25. Discussion(3)
การศึกษาครังนีกําหนดและจัดลําดับวิธการเปรียบเทียบข้างต้นเป็ น5อันดับ : 5 ดีมาก, 4 ดีมาก,
ี
3 ดี, 2 ปกติและ 1ไม่ดี การศึกษานีจะใช้ค่าสูงสุดและตําสุดทีจะหาค่าช่วงเวลาสําหรับการจัดอันดับ
การทดสอบประสิทธิภาพของการจองการจัดลําดับความสําคัญสูง
 ร้อยละสูงสุดและตําสุดคือ 46.76% และ 30.99%ตามลําดับ
 ค่าผลต่างกันระหว่างค่าสูงสุดและตําสุดคือ 15.77%
 ค่าช่วงเวลาเท่ากับผลจากการหารผลต่างให้ค่าช่วงเป็ น 3.154 เป็ นผลให้ได้ค่าประมาณของ 5 ดังนันจึง
สามารถพิจารณาได้ดงนี ั
5 ดีเยียม (ตังแต่ 43.606% -46.76%),
4 - ดีมาก (ระหว่าง 40.452% และ 43.605%),
3 - Good (ระหว่าง 37.298% และ 40.451%),
2 - ปกติ (ระหว่าง 34.144% และ 37.2988%)
1 – ไม่ดี (30.99% - 34.143%)

26. Discussion(4)
ขนาดจํานวนกรณี ทดสอบที ยอมรับได้
 ร้อยละสูงสุดและตําสุดคือ 55.73 และ 30.03 ตามลําดับ
 ค่าทีผลต่างคือ 25.7%
 ค่าช่วงเวลาคือ 5.14 ดังนันจึงสามารถพิจารณาได้ดงนี
ั
5 ดีเยียม (ตังแต่ 50.59% - 55.73%)
4 - ดี (ระหว่าง 45.45% และ 50.58%)
3 - Good (ระหว่าง 40.31% และ 45.44%)
2 - ปกติ (ระหว่าง 35.17% และ 40.30%)
1 - ไม่ดี (30.03%-35.16%)

27. Discussion(5)
เวลาจัดลําดับความสําคัญรวม
 ร้อยละสูงสุดและตําสุดคือ 44.87% และ 43.30 ตามลําดับ
 ค่าของผลต่างระหว่างค่าสูงสุดและตําสุดคือ 1.51%
 ค่าช่วงเวลาเท่ากับผลจากการหารกับค่าของผลต่าง ให้ค่าช่วงเป็ น 0.314 ดังนันจึงสามารถพิจารณาได้ดงนี
ั
5 ดีเยียม (ตังแต่ 43.3%-43.614%)
4 - ดี (ระหว่าง 43.614 %และ 43.928%)
3 – ดี (ระหว่าง 43.928% และ 44.242%)
2 - ปกติ (ระหว่าง 44.242% และ 44.556%)
1 – ไม่ดี (44.556% - 44.87%)

28. Discussion(6)
ผลข้างต้นแสดงให้เห็นว่าวิธีทีเรานําเสนอ ดีและเหมาะสําหรับสถานการณ์ทีสนใจ ถึงพืนทีส่ วนใหญ่ ทีถูกจอง
โดยทดสอบลําดับความสําคัญสู ง และป้ องกัน case ทียอมรับ และมีการทําให้ลดเวลาของจัดการลําดับความสําคัญ
ทังหมด วิธีการนีผูทาวิจยเสนอว่า น่าจะดีกว่า ส่ วนของ การวัดโดย ประสิ ทธิภาพของจองการลําดับความสําคัญสู ง ของ
้ ํ ั
Hema

29. Conclusion and Future Work
การศึกษานีนําเสนอ test case ใหม่ขนตอนการจัดลําดับความสําคัญทีเรียกว่า 2R - 2S - 3R กระบวนการใหม่
ั
จะมีสองขันตอน, เรียกว่า 2R คือ : (a)สิงสําคัญหรือเป็ นทีต้องการ (b)การสังใหม่
 ขันตอนแรกประกอบด้วยสองกระบวนการย่อย, เรียกว่า 2S ดังนี (a) การจัดลําดับความสําคัญ ของ เทคนิคการเลือก
test caseและ (b) ระบุ coverage หรือ factor ต่างๆ
 ขันตอนทีสองประกอบด้วยสามกระบวนการย่อย, เรียกว่า 3R ดังต่อไปนีคือ (a) กําหนดค่านําหนัก อีกครัง (b)
คํานวณค่าลําดับความสําคัญอีกครัง (c) สังการ ทดสอบ test case อีกครัง
ั
การศึกษาครังนีได้ศกษาถึงปญหาและช่องโหว่หรือข้อแตกต่าง ในส่วนของ test case ของการลําดับความสําคัญ
ึ
โดยทําการการวิจยแก้ไขส่วนต่างๆต่อไปนี
ั
(a)ขาดการ practical weight prioritization factor ทีดี
(b) ขันตอนวิธการจัดอันดับไม่มประสิทธิภาพทีใช้ในกระบวนจัดลําดับความสําคัญ
ี ี
(c) ไม่สนใจในการ จองการลําดับความสําคัญสูงของ test case

30. Conclusion and Future Work(2)
การศึกษานีจะแนะนํา practical weight prioritization factor ใหม่ทใช้ในการทดสอบ test case
ี
ซึงจะมีกระบวนการจัดลําดับความสําคัญ ชุดใหม่ประกอบด้วย4กลุ่ม ดังนี คือ
(a)ค่าใช้จ่าย (b)เวลา (c) ข้อบกพร่อง (d) ความซับซ้อน
อีกทังยังศึกษาเปรียบเทียบวิธทดสอบกรณีอน ๆเพือให้เห็นถึง วิธการจัดลําดับความสําคัญทีมีอยู่แล้วซึงคือ
ี ื ี
(a) วิธการสุ่ม (b) วิธการของ Hema และ (c) วิธการของ Alexey
ี ี ี
ดังนันการศึกษาครังนีพบว่า วิธทจะเสนอเพือเป็ น วิธทดีทสุด เพือทําการจอง test case ทีใช้ทดสอบจํานวน
ี ี ี ี ี
มาก คือ การลําดับความสําคัญสูงทีมีเวลารวมน้อย ในระหว่างขันตอนการจัดลําดับความสําคัญ อย่างไรก็ตามมีการ
ปรับปรุงรวมถึงการจอง เพือให้ได้ค่าของขนาดของการลําดับสําคัญทียอมรับได้ และเพือดําเนินการพัฒนาเพือต่อใน
อนาคตต่อไป
this study reveals that the proposed method is the most
recommended method to reserve the large number of high priority test cases
with the lest total time,during a prioritization process.
However,there is an improvement to maintain and reserve
the acceptable numbers of test cases,carried out in the future work.