4. Проблематика
Недостаточная функциональность оборудования
Разнообразие парка терминального
оборудования
Ручное обновление ПО
Количество устройств - тысячи
Устройства территориально разбросаны
4
5. Цена ошибки
Дефект в ПО недопустим!
Чем грозит
Время на замену ПО во всех устройствах – до 1 месяца
Высокая стоимость процесса обновления
5
6. Как было раньше -
Ручное тестирование
Ручное создание каждого теста
Ручная подготовка тестового окружения
Ручная подготовка входных данных
Итог: 140 часов на регрессию
6
7. Как было раньше -
Частичная автоматизация
Ручное создание каждого теста
Скрипты подготовки тестового окружения
Скрипты подготовки входных данных
Итог: 80 часов на регрессию
7
8. Ручное тестирование -
все еще допустимо?
80 часов 80 часов 80 часов 80 часов 80 часов
400 часов
8
10. Формирование понимания
Изменение существующего кода
Поддержка различных терминальных платформ
Выявление требований
Понимание цели автоматизации
10
11. Решение –
функциональное ядро
Требования:
Полная абстракция от платформы
Никаких системных вызовов
Отсутствие файловой системы
Учитываем ограниченные ресурсы памяти и процессора
Цель: Единое функциональное ядро для всего парка
терминалов
11
12. Промежуточный результат -
функциональное ядро
80 часов 80 часов 80 часов 80 часов 80 часов
80 часов
Ядро общее – тестируется отдельно
Экономим время на функциональное тестирование
Тестирование пока по прежнему выполняем вручную
12
13. Автоматизация тестов –
планирование процесса
Создать инструмент, который для каждого теста:
Загружает в ядро:
тестовое окружение
файл с входными параметрами
Запускает механизм обслуживания
Сверяет результаты с эталонными
13
14. Автоматизация тестов –
возникли вопросы
Где взять набор тестов?
Где брать эталонные данные?
Как быстро и просто создавать файл с входными параметрами?
14
15. Автоматизация тестов –
как решали вопросы
Где взять набор тестов?
Существующие «ручные» тесты тестировщиков
Где брать эталонные данные?
Существующие «ручные» тесты тестировщиков
Как быстро и просто создавать файл с входными параметрами?
Существующие «ручные» тесты тестировщиков + стандартные
утилиты
15
16. Автоматизация тестов –
как решали вопросы
Выполнить ручные тесты на ядре
Получить логи
Применить к логам утилиту генерации теста
Получить файл с входными и выходными параметрами
Последний раз было выполнено ручное тестирование ядра,
в результате получены все необходимые данные для
автотестов
16
17. Ни один имеющийся тест из набора
тестировщиков не пострадал
Ни один тест не был выкинут
Ни один тест не был изменен
17
18. Автоматизация тестов –
два набора автотестов
Тесты тестировщиков
Импортирована вся иерархия тестов
Тестировщики сами следят за своими тестами
Сами создают и дополняют
Тесты разработчиков
Unit-tests и прочее
Создание теста на каждый баг
18
19. Автоматизация тестов –
генерация автотеста
Файл в формате PARAMETER = VALUE
dump-card-in
dump-card-out
Log
19
20. Continuous integration
Все тесты хранятся в SVN
Исходный код хранится в SVN
Необходим выделенный сервер для сборки
20
25. Используемые продукты
C – реализация ядра
C++ – реализация тестовой программы
gtest –запуск тестов и сбор статистики
CMake – система сборки
python - вспомогательные скрипты
SVN – система контроля версий
Bamboo – CI сервер
TestCocoon – code coverage пакет
25
26. Результаты
Вся логика обслуживания карты тестируется за 2 минуты
Ручной тест быстро превращается в автотест
Каждая сборка проверена
26
