TMPA 2013 Basok: On Improving the Statistical Method of Assessing Test Coverage for Programs and Devices

389 views
328 views

Published on

Tools & Methods of Program Analysis

Basok, B., Grechin, A., Moscow State Technical University of Radioengineering, Electronics and Automation
On Improving the Statistical Method of Assessing Test Coverage for Programs and Devices

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
389
On SlideShare
0
From Embeds
0
Number of Embeds
117
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

TMPA 2013 Basok: On Improving the Statistical Method of Assessing Test Coverage for Programs and Devices

  1. 1. Усовершенствование статистического метода проверки полноты тестов устройств и программ Басок Б.М., Гречин А.А. Московский государственный технический университет радиотехники, электроники и автоматики г. Москва
  2. 2. Статистический способ определения полноты тестов P B N • P – полнота теста T • B – отказы, выявляемые тестом T из N возможных отказов заданного класса h b n • h – статистическая полнота теста T • b – отказы, выявляемые тестом T из n возможных отказов • n – случайная выборка из N (n ⊂ N)
  3. 3. Статистический способ определения полноты тестов P h p p (1 p ) g n • Φ(g) – интеграл вероятности • Для p=(1-p)=0,5 (худший случай) и g=2 • 2 (g) 1 при n=400 получим: P h p 0,05 0,95
  4. 4. Усовершенствование статистического метода проверки полноты тестов • Ускорение – метод кратных отказов • Уточнение – совместный анализ результатов оценки полноты тестов модулей и тестов системы
  5. 5. Определение размера группы Gi при анализе теста i MinM (Yi ) min G i Gi Ni Gi Pi Gi Ni Gi • M(Yi) – математическое ожидание количества прогонов теста i • Ni – количество не выявленных дефектов перед тестом i • Li – количество дефектов, обнаруженных тестом i Pi 1 C Gi N i Li C Gi Ni Li Li i 1 k 1 Lk i 1 1 1 ,i 1
  6. 6. Определение размера группы Gi при анализе теста i 1 F (Gi ) min 1 G Gi i для Li Gi Ni Li Gi j 1 Ni Li 1 Ni Ni Ni Li 1 j 1 j 1
  7. 7. Статистика прогонов тестов для одиночных отказов Номер теста Кол-во отказов Размер группы Кол-во групп Кол-во выявл. групп Кол-во выявл. отказов Всего прогонов 1 400 1 400 66 66 400 2 334 1 334 5 5 334 3 329 1 329 2 2 329 4 327 1 326 1 1 327 5 318 1 318 9 9 318 Итого 1708
  8. 8. Статистика прогонов тестов для кратных отказов Номер теста Кол-во отказов Размер группы Кол-во групп Кол-во выявл. групп Кол-во выявл. отказов Всего прогонов 1 400 3 134 55 66 299 2 334 3 112 5 5 127 3 329 9 37 2 2 55 4 327 10 33 1 1 43 5 318 10 33 8 9 113 Итого 637
  9. 9. Выводы по экспериментальным данным • Средняя статистическая полнота тестов: 21% • Выигрыш по отношению к прогонам с одиночными отказами: 2,7 раза • Эффективный порог полноты анализируемого теста: 30% - 40%
  10. 10. Повышение статистической полноты тестов модулей программ и устройств i m P i vm (n i vms n ) N im (i 1, k ) • Pim – статистическая полнота тестов модуля i • nivm – количество дефектов модуля i, обнаруженных тестами модуля i • nivms – количество дефектов модуля i, обнаруженных тестами системы и не обнаруженных тестами модуля i • Nim – статистическая выборка отказов для модуля i
  11. 11. Повышение статистической полноты интеграционных тестов программ и устройств k i vsm ( n Ps i 1 nvs ) Ns • Ps – статистическая полнота тестов системы • nivsm – количество дефектов системы, обнаруженных тестами модуля i • nvs – количество дефектов системы, обнаруженных тестами системы • Ns – статистическая выборка отказов системы
  12. 12. Выводы по экспериментальным данным • Интеграционные тесты выявляют не менее 10% из не выявленных тестами модулей отказов-мутантов
  13. 13. Спасибо за внимание! basok@mirea.ru grechin@mirea.ru

×