TMPA-2013 Itsykson: Java Program Analysis

Санкт-Петербургский государственный политехнический университет
Институт информационных технологий и управления
Кафедра компьютерных систем и программных технологий

АВТОМАТИЗИРОВАННЫЙ СИНТЕЗ ТЕСТОВ
ДЛЯ JAVA-ПРОГРАММ НА ОСНОВЕ
АНАЛИЗА ПРОГРАММ И УЧЕТА КОНТРАКТОВ
Владимир ИЦЫКСОН, Алефтина АНДРИАНОВА
Кафедра компьютерных систем и программных технологий,
СПбГПУ

Кострома, 10-12 октября 2013

2

Введение

Автоматизированный синтез тестов для Java-программ

12.10.2013

Тенденции в области разработки ПО
3






рост сложности программных систем
сокращение времени разработки
смещение технологических решений в программную
область
проникновение программно-управляемых систем, в
критически важные области человеческой жизни:
медицину, армию, авиацию, космос, финансовую сферу

качество ПО становится ниже
важность ПО становится выше

12.10.2013

Методы повышения качества ПО
4


Статические
 дедуктивная

верификация
 проверка на модели (model checking)
 статический анализ


Динамические
 тестирование
 динамический анализ
 профилирование


12.10.2013

Методы повышения качества ПО
5


Статические методы
+ анализ свойств всей программы (всех путей выполнения)
+ гарантирование определенных свойств программы
- низкая производительность
- сложность реализации



Динамические методы
+ простота реализации
+ высокая точность (отсутствие ложных обнаружений)
- низкая полнота (отсутствие гарантий)

использование гибридных подходов, сочетающих
достоинства статических и динамических методов

12.10.2013

Гибридный подход
6


Статические методы
анализ программы
 анализ моделей и спецификаций
 синтез тестов




Динамические методы
запуск тестов
 анализ результатов



12.10.2013

Контрактное программирование (DbC)
7


предложено Б. Мейером в 1985 г.



позволяет описать частичную спецификацию
(контракт) метода/функции, задающую


предусловия – требования к входным параметрам
метода



предусловия – свойства, гарантированно
выполняющиеся после завершения метода



инварианты – свойства класса, сохраняющиеся после
выполнения методов

12.10.2013

Постановка задачи
8


Разработка технологии автоматического синтеза
модульных тестов, обеспечивающей покрытие
всех¹ путей выполнения программы с помощью
статического анализа
структуры программы
 спецификаций, заданных в форме контрактов




Разработка прототипа системы автоматического
синтеза модульных тестов для программ на языке
Java


12.10.2013

9

Предлагаемый подход


12.10.2013

Предлагаемый подход
10


Совмещение
классических подходов:


тестирование «черного
ящика»



тестирование «белого
ящика»


12.10.2013

Общая структура подхода
11


12.10.2013

Предлагаемый подход. Этапы
12











формирование модели программы (метода)
формирование списка путей выполнения метода
преобразование путей в цепочки утверждений
анализ контрактов и дополнение утверждений
составляющими контрактов: предусловиями метода
и инвариантами класса
разрешение системы утверждений относительно
аргументов метода
формирование экземпляра теста на основе решения
системы утверждений
формирование тестового оракула на основе
постусловий метода и инвариантов класса

12.10.2013

Построение модели программы
13

Построение
поведенческой
модели

Построение
структурной
модели


12.10.2013

Извлечение путей исполнения
14


Анализ графа потока управления:


Анализ узлов, влияющих на поток
управления:








ветвления (if)
конструкции мультиветвления (switch)
циклы (do, while, do-while)

Коллекционирование условий ветвления
Коллекционирование операторов пути

Результат:


список операторов и условий, которые
должны выполниться, чтобы данный путь
был пройден

12.10.2013

Формирование системы утверждений. SSA
15
x = 10;
y = 20;
if (z > 5) {
x = x + y;
}

Решение –
преобразование
пути в вид
однократного
статического
присваивания (SSA)

1:
2:
3:
4:

x=10
y=20
z>5
x=x+y

1:
2:
3:
4:

x1=10
y1=20
z1>5
x2=x1+y1


12.10.2013

Формирование системы утверждений
16




преобразование путей в форму однократного
статического присваивания (SSA)
преобразование операторов к трехоперандной
форме
введение временных переменных
 введение дополнительных узлов в путь




преобразование условий в соответствующие
утверждения


12.10.2013

Формирование системы утверждений
17




Для каждого пути имеем систему
логических утверждений
Для форсирования прохождения тестом
пути необходимо решить обратную
задачу:




при каких значениях аргументов метода
система утверждений разрешима?

Если такие значения аргументов
найдены, то их использование в тесте
форсирует выполнение искомого пути

12.10.2013

Решение системы утверждений
18

Построенная система утверждений выражена в терминах
логики первого порядка и относится к классу Satisfiability Modulo
Theories (SMT)
 В общем случае разрешение SMT-формулы – NP-полная
задача
 Существуют эффективные SMT-решатели (SMT-солверы):





Z3, CVC, MathSAT, OpenSMT, MiniSMT и т.п.

Входные данные для SMT-решателей представляются в
формате SMT-LIB


12.10.2013

Решение системы утверждений
19






Преобразование системы утверждений в формат
SMT-LIB (конкретнее – SMT-LIB 2.0)
Запуск SMT-решателя для решения системы
утверждений
Интерпретация результатов работы SMTрешателя




получение набора значений аргументов метода

Генерация скелета теста


12.10.2013

Учет контрактов
20




Построенные тесты обеспечивают прохождение
программой соответствующих путей исполнения
Значения аргументов расположены в области
допустимых значений произвольно (особенность
SMT-решателей)




Как следствие – сгенерированные значения могут
нарушать контракты методов (предусловия) или
инварианты классов

Решение:


Расширяем систему утверждений предусловиями
методов и инвариантами классов

12.10.2013

Учет контрактов
21




Постусловия методов содержат информацию о проверке
корректности выполнения методом своих функций
Постусловия и инварианты классов могут быть учтены
путем преобразования их в тестовый оракул


тривиальная задача, так как контракты представляются в форме
утверждений логики первого порядка
Предусловия

Сокращение ОДЗ

Инварианты
Постусловия

Генерация тестовых оракулов


12.10.2013

Резюме
22







Для каждого класса эквивалентности
сгенерирован тест
Заготовка тестового оракула сформирована на
основе постусловий и инвариантов
Обеспечено покрытие всех путей (*)
Что делать, если требуется сгенерировать
несколько тестов для одного класса
эквивалентности?


12.10.2013

Формирование множественных тестов
23








ОДЗ аргументов делятся на интервалы в
соответствии с какой-либо эвристикой
В систему утверждений добавляются условия
нахождения аргументов в рассчитанных
интервалах
SMT-решатель запускается повторно с новыми
системами утверждений
Могут использоваться различные эвристики
 Реализовано

равномерное заполнение тестами

ОДЗ

12.10.2013

24

Реализация


12.10.2013

Выбранные технологии
25






Целевой язык программирования – Java
Система задания контрактов – CoFoJa
SMT-решатель – Z3 от Microsoft Research
Технология модульного тестирования – JUnit


12.10.2013

26

Архитектура инструментальной
системы генерации тестов


12.10.2013

Особенности реализации
27










Язык реализации – Java
Построение структурной модели – Java Compiler Tree
API
Анализ контрактов в формате CoFoJa с помощью
процессоров аннотаций
Синтез системы утверждений в формате SMT-LIB 2.0
Запуск внешнего SMT-решателя Z3 через внешний
процесс
Синтез тестов в формате JUnit


12.10.2013

28

Экспериментальные исследования


12.10.2013

Пример №1. Оракулы и множественные
тесты
29


12.10.2013

Пример №2. Нелинейные функции
30


12.10.2013

Пример №3. Логические операции и
несколько аргументов метода
31


12.10.2013

Пример №4. Циклы
32


12.10.2013

Ограничения текущей реализации
33

Ограничения на мощность контрактов
 Ограниченный набор поддерживаемых
типов данных: int, boolean, float, double
 Неполная поддержка всех конструкций
языка Java
 Простая обработка циклов
 Отсутствие поддержки рекурсии
 …



12.10.2013

34

Состояние исследований в мире


12.10.2013

Состояние исследований в мире
35


Microsoft Research Pex
Целевые языки C и C#
 Извлечение путей исполнения
 Использование Z3-решателя для синтеза тестов




AutoTest Framework
Целевой язык Eiffel
 Случайная генерация тестов и генерация на основе
отказов
 Использование контрактов для


для формирования оракулов
 Для ограничения ОДЗ




… (Symstra, KUnit, Kiasan, UnitMeister,…)

12.10.2013

36

Заключение


12.10.2013

Заключение
37










Разработана технология синтеза модульных тестов для
программ на языке Java, обеспечивающая покрытие путей
Разработанные методы с помощью применения SMT-солвера
генерируют параметры модульных тестов, форсирующие
реализацию заданных путей исполнения
Учет контрактов методов позволяет с одной стороны с
помощью постусловий частично автоматизировать синтез
тестовых оракулов, а с другой – с помощью предусловий и
инвариантов ограничивать множество генерируемых значений
аргументов тестируемой функции
Реализован программный прототип и проведено его
экспериментальное исследование на наборе тестовых
примеров
Анализ полученных результатов тестирования показал полную
работоспособность предложенных методов с учетом заданных
требований и ограничений

12.10.2013

Направления дальнейших исследований
38






Совершенствование анализатора (прототипа) с
целью обеспечения анализа более широкого
класса Java-программ
Разработка новых алгоритмов генерации
множественных тестов, наиболее эффективно
распределяющих значения переменных по
области определения
Расширение на другие языки программирования


12.10.2013

СПАСИБО ЗА ВНИМАНИЕ!

TMPA-2013 Itsykson: Java Program Analysis

More Related Content

What's hot

Viewers also liked

More from Iosif Itkin

TMPA-2013 Itsykson: Java Program Analysis