При автоматизации тестирования один из самых главных параметров - покрытие кода. Насколько хорошо тестируется приложение в автоматическом режиме и можно ли доверять результатам тестирования? Как можно увеличить покрытие кода, не увеличивая при этом время выполнения автоматических скриптов? Какие проблемы при этом возникают и как их можно решить? Что такое model-based тестирование и как его можно применить в условиях ограниченного времени на тестирование? На эти вопросы я попытаюсь ответить с примерами из реального проекта, объясню с какими проблемами мы столкнулись и как их решали.

1. Оптимальное покрытие
автотестами:
генерация случайных данных
Геннадий Алпаев
Ciklum

2. Покрытие приложения автотестами 2
Насколько полным является покрытие кода
автоматическими скриптами?
• покрытие спецификаций
• покрытие ручных тестов
• покрытие кода

3. Покрытие кода 3
Критерии охвата:
• охват строк (каждая строка
выполняется как минимум один раз)
• охват ветвлений
(if…then…else)
• охват условий
if(A>B or B>C)

4. Тестирование данных 4
• Тестирование граничных
и средних значений
• Тестирование «опасных»
значений (A=B/C)

5. Model-based testing 5
• генерировать пути
• генерировать данные
• делать обход всех путей с разными данными
Путь 1
данные условие результат
Путь 2
Проблемы:
• время выполнения
• ресурсозатратно

6. Решение проблемы 6
Continuous Integration + Random Path/Data
Путь 1
данные условие результат
Путь 2

7. Недостатки подхода 7
• Отслеживание пути в случае возникновения
ошибки (решение: каждый раз при
осуществлении выбора оставлять «следы»)
• Сложность написания и отладки кода
• Сложность воспроизведения ситуации в
автоматическом режиме (решение: ручной
прогон + автоматизация конкретного сценария

8. Вопросы 8
?
Геннадий Алпаев
Skype: gennadiy.alpaev
E-mail: karkadil@gmail.com