В докладе я расскажу о методиках достижения высокого качества продукта, которые наша команда использует при разработке статического анализатора. Упор сделаю на особенности разработки, а также на повышение качества именно анализа, то есть поиска реальных ошибок и потенциальных уязвимостей в коде.

1. 1/38
Как создать качественный
статический анализатор
Сергей Хренов (PVS-Studio)

2. 2/38
•Статический анализатор PVS-Studio
•Что внутри у C#-анализатора
•Создаём и отлаживаем диагностику
•Внутренние тесты, синтетика
•SelfTester: проверка на реальном коде
•Выводы
Содержание

3. 3/38
• Не заменяет, но дополняет
обзоры кода
• Поиск ошибок в коде без его
выполнения
• Позволяет контролировать
качество кода в больших
проектах
Статический анализ

4. 4/38
PVS-Studio
• Классический статический анализатор кода на языках
C, С++,С# и Java
• Работает под Windows, Linux и macOS
• Поддержка ARM-платформ
• Плагины для Visual Studio, IntelliJ IDEA, Jenkins, Maven,
Gradle, SonarQube
• Поддержка стандартов CWE, SEI CERT, MISRA

5. 5/38
Пример ошибки в коде Mono

6. 6/38
Пример ошибки в коде Mono

7. 7/38
PVS-Studio: V3012 The '?:' operator, regardless of its conditional
expression, always returns one and the same value: Color.FromArgb
(150, 179, 225). ProfessionalColorTable.cs 258
Пример ошибки в коде Mono

8. 8/38
Проблематика
• Наукоёмкость
• Различные языки программирования
• Кроссплатформенность
• Поддержка стандартов
• Специфика продукта
• Классических методов тестирования
недостаточно

9. 9/38
Как обеспечить качество?
• Совместные обзоры кода (это работает!)
• Статический анализ
• Unit-тесты
• UI-тесты
• Функциональные тесты
• Нагрузочное тестирование
• Проверка реальных проектов

10. 10/38
•Статический анализатор PVS-Studio
•Что внутри у C#-анализатора
•Создаём и отлаживаем диагностику
•Внутренние тесты, синтетика
•SelfTester: проверка на реальном коде
•Выводы
Содержание

11. 11/38
Roslyn

12. 12/38
int x = 1;
Синтаксическое дерево

13. 13/38
Семантическая модель
 Получение информации об объекте
 Получение информации о типе объекта
 Получение константных значений
x = 1;
x
Semantic Model
System.Int32 x = 1;

14. 14/38
Обход узлов дерева
public override void VisitIfStatement(IfStatementSyntax node)
{
base.VisitIfStatement(node);
}
public override void VisitForStatement(ForStatementSyntax node)
{
base.VisitForStatement(node);
}
….

15. 15/38
•Статический анализатор PVS-Studio
•Что внутри у C#-анализатора
•Создаём и отлаживаем диагностику
•Внутренние тесты, синтетика
•SelfTester: проверка на реальном коде
•Выводы
Содержание

16. 16/38
Диагностика V3006: пропущенный throw
public void DoSomething(int index)
{
if (index < 0)
new ArgumentOutOfRangeException(); // <= V3006
else
....
}
// правильный вариант кода:
throw new ArgumentOutOfRangeException();

17. 17/38
1.Подписаться на обход узлов типа
ObjectCreationExpressionSyntax (создание объекта с
использованием оператора new);
2.Проверить, что тип создаваемого объекта System.Exception
или производный (используем семантическую модель);
3.Проверить, что созданный объект никак не используется;
4.Выдать предупреждение.
Диагностика V3006: пропущенный throw

18. 18/38
public class V3006CSharpRule : IVisitObjectCreationExpressionRule
{
....
public void VisitObjectCreationExpression(
SemanticModelAdapter model,
VisitInfo visitInfo,
ObjectCreationExpressionSyntax node,
AnalysisResults results)
{
....
}
}
Диагностика V3006: пропущенный throw

19. 19/38
Разработка диагностики
1. Создание позитивных и негативных тестов
2. Разработка прототипа, отвечающего требованиям
тестов
3. Доработка диагностики и тестов по результатам
прогона на пуле реальных проектов (SelfTester)
4. Обработка исключений, минимизация ложных
срабатываний
5. Повторный прогон на реальных проектах, фиксация
изменений

20. 20/38
Статистика

21. 21/38
•Статический анализатор PVS-Studio
•Что внутри у C#-анализатора
•Создаём и отлаживаем диагностику
•Внутренние тесты, синтетика
•SelfTester: проверка на реальном коде
•Выводы
Содержание

22. 22/38
Позитивные тесты

23. 23/38
Негативные тесты

24. 24/38
Негативные и позитивные тесты

25. 25/38
Негативные и позитивные тесты

26. 26/38
•Статический анализатор PVS-Studio
•Что внутри у C#-анализатора
•Создаём и отлаживаем диагностику
•Внутренние тесты, синтетика
•SelfTester: проверка на реальном коде
•Выводы
Содержание

27. 27/38
• Инструмент пакетной проверки пула
реальных проектов
• SelfTester для С/С++ и C# использует
локальный пул проектов
• SelfTester для Java выкачивает проекты
определенной версии с репозитория на
GitHub
PVS-Studio SelfTester

28. 28/38
Задачи SelfTester
• Главная задача – выявление аномалий
в поведении анализатора
• Аномалии – разница в сравнении с
предыдущими результатами анализа
• Часто аномалии – ожидаемое
поведение

29. 29/38
Как понять, что поведение анализатора изменилось?
• Изменился состав предупреждений:
появились новые, пропали старые
• Изменилось время выполнения тестов
• Иногда отсутствие изменений – плохой
результат (если меняли ядро)
• Наличие ошибок проверки

30. 30/38
PVS-Studio SelfTester (С#)

31. 31/38
SelfTester: алгоритм работы
Доработка
анализатора
Различия?
Тестовый
проект
Анализ
Эталонный
лог (plog)
Текущий
лог (plog)
Сравнение
логов
Ожидаемо?
Замена
эталонного
лога текущим
да
данет
нет

32. 32/38
Отчёт о найденных ошибках (*.plog)

33. 33/38
Результат сравнения отчётов

34. 34/38
Вывод в продуктив
• Доработки по результатам
откликов от пользователей
(включая внутренних)
• Доработки, связанные с
изменением поведения ядра
(доработка механизмов,
поддержка новых стандартов
языка и т.п.)

35. 35/38
•Статический анализатор PVS-Studio
•Что внутри у C#-анализатора
•Создаём и отлаживаем диагностику
•Внутренние тесты, синтетика
•SelfTester: проверка на реальном коде
•Выводы
Содержание

36. 36/38
Качественный статический анализатор
• Проприетарный
• Быстрая обработка кода
• Минимум ложных срабатываний
• Развитые средства интеграции
• Простота внедрения на больших проектах

37. 37/38
Вопросы

38. 38/38
Сергей Хренов
C#-разработчик, PVS-Studio
khrenov@viva64.com
www.viva64.com
Контакты