SlideShare a Scribd company logo
Санкт-Петербургский государственный политехнический университет 
Анализ покрытия UCM-модели тестовыми сценариями 
Никита Воинов 
(доцент каф.ИУС, ИИТУ, СПбПУ; 
voinov@ics2.ecd.spbstu.ru)
Санкт-Петербургский государственный политехнический университет 
2 
План 
•Актуальные проблемы 
•Нотация UCM 
•Критерии покрытия UCM-модели 
•Анализ покрытия UCM-модели 
•Заключение
Санкт-Петербургский государственный политехнический университет 
3 
Актуальные проблемы 
•Вовлеченность заказчика в процесс разработки 
•Сокращение трудоемкости создания формальной модели проектируемой системы 
•Размеры современных программных систем 
Требуется усовершенствование технологии тестирования на основе моделей для решения сформулированных проблем 
•Повышение качества программного обеспечения (ПО) 
•Предотвращение ошибок на ранних этапах проекта 
Тестирование на основе моделей
Санкт-Петербургский государственный политехнический университет 
4 
1. Исходные требования 
2. UCM-модель (UCM - Use Case Maps) 
Схема подхода (1) 
Исходные требования на неформальном языке 
Формальная модель спецификации требований и архитектуры 
3. Модель базовых протоколов 
Формальная модель для верификации 
…
Санкт-Петербургский государственный политехнический университет 
5 
4. Структурирование модели и тестовые сценарии 
Схема подхода (2) 
Диаграмма состояний для модели 
Результирующая трасса для модели 
… 
Трасса для компонента модели 
Диаграмма состояний для компонента модели
Санкт-Петербургский государственный политехнический университет 
6 
Нотация UCM (Use Case Maps) 
•UCM – последовательность событий, описывающих поведение системы 
•Задается набором взаимодействующих между собой диаграмм 
•Наглядное представление поведения системы и взаимодействий между ее компонентами 
Высокоуровневое описание проектируемой системы, 
сохраняющее при этом все сценарии ее поведения
Санкт-Петербургский государственный политехнический университет 
7 
Критерии покрытия UCM-модели 
•Функциональный критерий 
–Матрица отслеживания 
•Структурные критерии 
–Покрытие UCM-элементов 
–Покрытие UCM-ветвей 
–Покрытие UCM-путей (частичный критерий путей; необходима дополнительная информация от пользователя)
Санкт-Петербургский государственный политехнический 
университет 8 
Матрица отслеживания 
• Формулировка последовательности наблюдаемых событий в 
строгом порядок исполнения 
• Формулировка цепочек базовых протоколов 
• Отслеживание соответствия между событиями, 
характеризующими требования в терминах исходных 
спецификаций и элементами UCM-модели 
Связь между тестовыми 
сценариями и 
требованиями; 
идентификация 
покрытых и непокрытых 
требований
Санкт-Петербургский государственный политехнический университет 
9 
Покрытие UCM-элементов и UCM- ветвей 
•Формирование общего множества элементов (U) и ветвей (B) UCM-модели 
•Формирование множества покрытых элементов (Tэл) и ветвей (Tвт) в тестовых сценариях: 
•Вычисление непокрытых элементов и ветвей UCM- модели: 
   NiMjijэлUET00)(   NiMjijвтBBT00)( элэлTUSвтвтTBS
Санкт-Петербургский государственный политехнический университет 
10 
Покрытие UCM-элементов и UCM- ветвей 
Список UCM-ветвей и содержащихся в них UCM-элементов 
Список тестовых сценариев и содержащихся в них UCM-ветвей 
Покрытые UCM-ветви 
Непокрытые UCM-ветви
Санкт-Петербургский государственный политехнический 
университет 11 
Покрытие UCM-путей 
• Необходима дополнительная информация от 
пользователя – гиды (guides) 
• Если все заданные пользователем гиды (G) 
обеспечены тестовыми сценариями (T), то 
считается, что данный критерий (K) удовлетворен: 
G G T T K i j   :    
• Анализ заключается в поиске вхождения UCM- 
элементов гида в последовательность UCM- 
элементов тестового сценария
Санкт-Петербургский государственный политехнический университет 
12 
Покрытие UCM-путей 
Список гидов с индикацией непокрытых тестовыми сценариями 
Гид со списком входящих в него UCM-элементов 
Тестовый сценарий, соответствующий гиду
Санкт-Петербургский государственный политехнический университет 
13 
Визуальный анализ покрытия 
Отображение покрытия тестового сценария 
Отображение покрытия отдельной UCM-ветви
Санкт-Петербургский государственный политехнический университет 
14 
Инструментальная реализация 
•Набор программных средств, интегрированных в инструмент автоматического анализа UCM GA 
–элементы View в среде разработки Eclipse 
–реализация на Java и Perl 
•Инструмент внедрен в автоматическую цепочку верификации и тестирования VRS/TAT
Санкт-Петербургский государственный политехнический университет 
15 
Заключение 
•Автоматическая и визуальная оценка покрытия UCM- модели 
•Отображение покрытия как всего тестового сценария, так и его частей 
•Отображение непокрытых элементов и сценариев (необходимо для отладки тестового набора) 
•Инструмент применен в рамках создания тестовых сценариев для 4 телекоммуникационных проектов
Спасибо за внимание

More Related Content

What's hot

TMPA-2013 Buyanova Bulda: Ticker Plant Testing
TMPA-2013 Buyanova Bulda: Ticker Plant TestingTMPA-2013 Buyanova Bulda: Ticker Plant Testing
TMPA-2013 Buyanova Bulda: Ticker Plant Testing
Iosif Itkin
 
TMPA-2015: Automated process of creating test scenarios for financial protoco...
TMPA-2015: Automated process of creating test scenarios for financial protoco...TMPA-2015: Automated process of creating test scenarios for financial protoco...
TMPA-2015: Automated process of creating test scenarios for financial protoco...
Iosif Itkin
 
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...
Iosif Itkin
 
TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...
TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...
TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...Iosif Itkin
 
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...
Iosif Itkin
 
Тест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьТест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писать
SQALab
 
Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)sqadays8
 
Tpo 06
Tpo 06Tpo 06
Tpo 06
Nickola14
 
Static Analysis of Transactions Management in Applications for Java EE Platform
Static Analysis of Transactions Management in Applications for Java EE PlatformStatic Analysis of Transactions Management in Applications for Java EE Platform
Static Analysis of Transactions Management in Applications for Java EE Platform
Iosif Itkin
 
СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...
СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...
СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...
ITMO University
 
Тест-дизайн "в цикле"
Тест-дизайн "в цикле"Тест-дизайн "в цикле"
Тест-дизайн "в цикле"
Александр Федоров
 
Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)
Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)
Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)
Iosif Itkin
 
Тестирование осень 2013 лекция 4
Тестирование осень 2013 лекция 4Тестирование осень 2013 лекция 4
Тестирование осень 2013 лекция 4Technopark
 
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...
Iosif Itkin
 
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...
Iosif Itkin
 
Практические аспекты нагрузочного тестирования
Практические аспекты нагрузочного тестированияПрактические аспекты нагрузочного тестирования
Практические аспекты нагрузочного тестирования
Alexey Kachalin
 
Применение статического анализа кода в преподавании и в разработке свободного ПО
Применение статического анализа кода в преподавании и в разработке свободного ПОПрименение статического анализа кода в преподавании и в разработке свободного ПО
Применение статического анализа кода в преподавании и в разработке свободного ПО
Andrey Karpov
 
Александр Калугин - Простота тестирования маленького системного ПО
Александр Калугин - Простота тестирования маленького системного ПОАлександр Калугин - Простота тестирования маленького системного ПО
Александр Калугин - Простота тестирования маленького системного ПО
SQALab
 
TMPA-2013: Shipin System-C Control Points
TMPA-2013: Shipin System-C Control PointsTMPA-2013: Shipin System-C Control Points
TMPA-2013: Shipin System-C Control Points
Iosif Itkin
 
технология и отладка по (47)
технология и отладка по (47)технология и отладка по (47)
технология и отладка по (47)
romachka_pole
 

What's hot (20)

TMPA-2013 Buyanova Bulda: Ticker Plant Testing
TMPA-2013 Buyanova Bulda: Ticker Plant TestingTMPA-2013 Buyanova Bulda: Ticker Plant Testing
TMPA-2013 Buyanova Bulda: Ticker Plant Testing
 
TMPA-2015: Automated process of creating test scenarios for financial protoco...
TMPA-2015: Automated process of creating test scenarios for financial protoco...TMPA-2015: Automated process of creating test scenarios for financial protoco...
TMPA-2015: Automated process of creating test scenarios for financial protoco...
 
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...
TMPA-2015: The dynamic Analysis of Executable Code in ELF Format Based on Sta...
 
TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...
TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...
TMPA-2013 Matveeva: The Specifics of Test Tools Used in Trading Systems Produ...
 
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...
TMPA-2015: Automated Testing of Multi-thread Data Structures Solutions Lineri...
 
Тест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьТест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писать
 
Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)Александр Александров -- Надёжный тест-дизайн (мастер-класс)
Александр Александров -- Надёжный тест-дизайн (мастер-класс)
 
Tpo 06
Tpo 06Tpo 06
Tpo 06
 
Static Analysis of Transactions Management in Applications for Java EE Platform
Static Analysis of Transactions Management in Applications for Java EE PlatformStatic Analysis of Transactions Management in Applications for Java EE Platform
Static Analysis of Transactions Management in Applications for Java EE Platform
 
СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...
СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...
СОВМЕСТНОЕ ПРИМЕНЕНИЕ КОНТРАКТОВ И ВЕРИФИКАЦИИ ДЛЯ ПОВЫШЕНИЯ КАЧЕСТВА АВТОМАТ...
 
Тест-дизайн "в цикле"
Тест-дизайн "в цикле"Тест-дизайн "в цикле"
Тест-дизайн "в цикле"
 
Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)
Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)
Risk Control System Implementation at TMPA-2014 (Trading Systems Testing)
 
Тестирование осень 2013 лекция 4
Тестирование осень 2013 лекция 4Тестирование осень 2013 лекция 4
Тестирование осень 2013 лекция 4
 
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...
TMPA-2015: Standards and Standartization in Program Engineering. Why Would Yo...
 
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...
TMPA-2013 Senov: Applying OLAP and MapReduce Technologies for Performance Tes...
 
Практические аспекты нагрузочного тестирования
Практические аспекты нагрузочного тестированияПрактические аспекты нагрузочного тестирования
Практические аспекты нагрузочного тестирования
 
Применение статического анализа кода в преподавании и в разработке свободного ПО
Применение статического анализа кода в преподавании и в разработке свободного ПОПрименение статического анализа кода в преподавании и в разработке свободного ПО
Применение статического анализа кода в преподавании и в разработке свободного ПО
 
Александр Калугин - Простота тестирования маленького системного ПО
Александр Калугин - Простота тестирования маленького системного ПОАлександр Калугин - Простота тестирования маленького системного ПО
Александр Калугин - Простота тестирования маленького системного ПО
 
TMPA-2013: Shipin System-C Control Points
TMPA-2013: Shipin System-C Control PointsTMPA-2013: Shipin System-C Control Points
TMPA-2013: Shipin System-C Control Points
 
технология и отладка по (47)
технология и отладка по (47)технология и отладка по (47)
технология и отладка по (47)
 

Similar to The Analysis of Test Scenario Coverage for a UCM-Model

мгок. презентация по надежности энергоснабжения
мгок. презентация по надежности энергоснабжениямгок. презентация по надежности энергоснабжения
мгок. презентация по надежности энергоснабжения
Gregory Kurkchan
 
Автоматизированная система раскроя и учета листового металлопроката на основе...
Автоматизированная система раскроя и учета листового металлопроката на основе...Автоматизированная система раскроя и учета листового металлопроката на основе...
Автоматизированная система раскроя и учета листового металлопроката на основе...
Victor Balabanov
 
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
yaevents
 
Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...
Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...
Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...
НАЕК «Енергоатом»
 
WWER-TOI
WWER-TOIWWER-TOI
методы моделирования и оптимизации конспект лекций
методы моделирования и оптимизации конспект лекцийметоды моделирования и оптимизации конспект лекций
методы моделирования и оптимизации конспект лекций
Иван Иванов
 
Грибков М.А. - ПАО "МОЭСК"
Грибков М.А. - ПАО "МОЭСК"Грибков М.А. - ПАО "МОЭСК"
Грибков М.А. - ПАО "МОЭСК"
DigitalSubstation
 
Магистерская программа «Распределённые системы и компьютерные сети»
Магистерская программа «Распределённые системы и компьютерные сети»Магистерская программа «Распределённые системы и компьютерные сети»
Магистерская программа «Распределённые системы и компьютерные сети»
ARCCN
 
Системный анализ архитектуры построения и свойств компонентов системы монитор...
Системный анализ архитектуры построения и свойств компонентов системы монитор...Системный анализ архитектуры построения и свойств компонентов системы монитор...
Системный анализ архитектуры построения и свойств компонентов системы монитор...
ООО "Прософт-Системы"
 
презентация6
презентация6презентация6
презентация6student_kai
 
Алексей Иванов -- мультиагентные архитектуры в электроэнергетике
Алексей Иванов -- мультиагентные архитектуры в электроэнергетикеАлексей Иванов -- мультиагентные архитектуры в электроэнергетике
Алексей Иванов -- мультиагентные архитектуры в электроэнергетике
Anatoly Levenchuk
 
ит_факультет_МАМИ_2015
 ит_факультет_МАМИ_2015 ит_факультет_МАМИ_2015
ит_факультет_МАМИ_2015
Philippovich Andrey
 
Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...
Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...
Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...Cleandex, Research and Information Agency
 
Особенности тестирования сloud-приложений
Особенности тестирования сloud-приложенийОсобенности тестирования сloud-приложений
Особенности тестирования сloud-приложений
SQALab
 

Similar to The Analysis of Test Scenario Coverage for a UCM-Model (20)

мгок. презентация по надежности энергоснабжения
мгок. презентация по надежности энергоснабжениямгок. презентация по надежности энергоснабжения
мгок. презентация по надежности энергоснабжения
 
Автоматизированная система раскроя и учета листового металлопроката на основе...
Автоматизированная система раскроя и учета листового металлопроката на основе...Автоматизированная система раскроя и учета листового металлопроката на основе...
Автоматизированная система раскроя и учета листового металлопроката на основе...
 
584
584584
584
 
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...
 
Елисеев
ЕлисеевЕлисеев
Елисеев
 
Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...
Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...
Культура безпеки – погляд постачальника. Ієвлев С.М., ТОВ НВП «АтомКомплексПр...
 
лекция 16
лекция 16лекция 16
лекция 16
 
4 kmf its metrolog_present_20110315_2-2_ru
4 kmf its metrolog_present_20110315_2-2_ru4 kmf its metrolog_present_20110315_2-2_ru
4 kmf its metrolog_present_20110315_2-2_ru
 
WWER-TOI
WWER-TOIWWER-TOI
WWER-TOI
 
методы моделирования и оптимизации конспект лекций
методы моделирования и оптимизации конспект лекцийметоды моделирования и оптимизации конспект лекций
методы моделирования и оптимизации конспект лекций
 
Грибков М.А. - ПАО "МОЭСК"
Грибков М.А. - ПАО "МОЭСК"Грибков М.А. - ПАО "МОЭСК"
Грибков М.А. - ПАО "МОЭСК"
 
Магистерская программа «Распределённые системы и компьютерные сети»
Магистерская программа «Распределённые системы и компьютерные сети»Магистерская программа «Распределённые системы и компьютерные сети»
Магистерская программа «Распределённые системы и компьютерные сети»
 
Системный анализ архитектуры построения и свойств компонентов системы монитор...
Системный анализ архитектуры построения и свойств компонентов системы монитор...Системный анализ архитектуры построения и свойств компонентов системы монитор...
Системный анализ архитектуры построения и свойств компонентов системы монитор...
 
лекция 5
лекция 5лекция 5
лекция 5
 
2
22
2
 
презентация6
презентация6презентация6
презентация6
 
Алексей Иванов -- мультиагентные архитектуры в электроэнергетике
Алексей Иванов -- мультиагентные архитектуры в электроэнергетикеАлексей Иванов -- мультиагентные архитектуры в электроэнергетике
Алексей Иванов -- мультиагентные архитектуры в электроэнергетике
 
ит_факультет_МАМИ_2015
 ит_факультет_МАМИ_2015 ит_факультет_МАМИ_2015
ит_факультет_МАМИ_2015
 
Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...
Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...
Дмитрий Новицкий (ОАО "НТЦ ФСК ЕЭС", ИПУ РАН). Разработка эталонной архитекту...
 
Особенности тестирования сloud-приложений
Особенности тестирования сloud-приложенийОсобенности тестирования сloud-приложений
Особенности тестирования сloud-приложений
 

More from Iosif Itkin

Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4
Iosif Itkin
 
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
Iosif Itkin
 
Exactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test OraclesExactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test Oracles
Iosif Itkin
 
Exactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX ProtocolExactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX Protocol
Iosif Itkin
 
Operational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market InfrastructuresOperational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market Infrastructures
Iosif Itkin
 
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
Iosif Itkin
 
Testing the Intelligence of your AI
Testing the Intelligence of your AITesting the Intelligence of your AI
Testing the Intelligence of your AI
Iosif Itkin
 
EXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market InfrastructuresEXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
Iosif Itkin
 
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
Iosif Itkin
 
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan ShamraiEXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
Iosif Itkin
 
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference OpenEXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
Iosif Itkin
 
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
Iosif Itkin
 
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
Iosif Itkin
 
QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)
Iosif Itkin
 
Machine Learning and RoboCop Testing
Machine Learning and RoboCop TestingMachine Learning and RoboCop Testing
Machine Learning and RoboCop Testing
Iosif Itkin
 
Behaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibileBehaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibile
Iosif Itkin
 
2018 - Exactpro Year in Review
2018 - Exactpro Year in Review2018 - Exactpro Year in Review
2018 - Exactpro Year in Review
Iosif Itkin
 
Exactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and StrategyExactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and Strategy
Iosif Itkin
 
FIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing ChallengesFIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing Challenges
Iosif Itkin
 
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
Iosif Itkin
 

More from Iosif Itkin (20)

Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4Foundations of Software Testing Lecture 4
Foundations of Software Testing Lecture 4
 
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
QA Financial Forum London 2021 - Automation in Software Testing. Humans and C...
 
Exactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test OraclesExactpro FinTech Webinar - Global Exchanges Test Oracles
Exactpro FinTech Webinar - Global Exchanges Test Oracles
 
Exactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX ProtocolExactpro FinTech Webinar - Global Exchanges FIX Protocol
Exactpro FinTech Webinar - Global Exchanges FIX Protocol
 
Operational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market InfrastructuresOperational Resilience in Financial Market Infrastructures
Operational Resilience in Financial Market Infrastructures
 
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
20 Simple Questions from Exactpro for Your Enjoyment This Holiday Season
 
Testing the Intelligence of your AI
Testing the Intelligence of your AITesting the Intelligence of your AI
Testing the Intelligence of your AI
 
EXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market InfrastructuresEXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
EXTENT 2019: Exactpro Quality Assurance for Financial Market Infrastructures
 
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
ClearTH Test Automation Framework: Case Study in IRS & CDS Swaps Lifecycle Mo...
 
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan ShamraiEXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
EXTENT Talks 2019 Tbilisi: Failover and Recovery Test Automation - Ivan Shamrai
 
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference OpenEXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
EXTENT Talks QA Community Tbilisi 20 April 2019 - Conference Open
 
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
User-Assisted Log Analysis for Quality Control of Distributed Fintech Applica...
 
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
QAFF Chicago 2019 - Complex Post-Trade Systems, Requirements Traceability and...
 
QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)QA Community Saratov: Past, Present, Future (2019-02-08)
QA Community Saratov: Past, Present, Future (2019-02-08)
 
Machine Learning and RoboCop Testing
Machine Learning and RoboCop TestingMachine Learning and RoboCop Testing
Machine Learning and RoboCop Testing
 
Behaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibileBehaviour Driven Development: Oltre i limiti del possibile
Behaviour Driven Development: Oltre i limiti del possibile
 
2018 - Exactpro Year in Review
2018 - Exactpro Year in Review2018 - Exactpro Year in Review
2018 - Exactpro Year in Review
 
Exactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and StrategyExactpro Discussion about Joy and Strategy
Exactpro Discussion about Joy and Strategy
 
FIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing ChallengesFIX EMEA Conference 2018 - Post Trade Software Testing Challenges
FIX EMEA Conference 2018 - Post Trade Software Testing Challenges
 
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
BDD. The Outer Limits. Iosif Itkin at Youcon (in Russian)
 

The Analysis of Test Scenario Coverage for a UCM-Model

  • 1. Санкт-Петербургский государственный политехнический университет Анализ покрытия UCM-модели тестовыми сценариями Никита Воинов (доцент каф.ИУС, ИИТУ, СПбПУ; voinov@ics2.ecd.spbstu.ru)
  • 2. Санкт-Петербургский государственный политехнический университет 2 План •Актуальные проблемы •Нотация UCM •Критерии покрытия UCM-модели •Анализ покрытия UCM-модели •Заключение
  • 3. Санкт-Петербургский государственный политехнический университет 3 Актуальные проблемы •Вовлеченность заказчика в процесс разработки •Сокращение трудоемкости создания формальной модели проектируемой системы •Размеры современных программных систем Требуется усовершенствование технологии тестирования на основе моделей для решения сформулированных проблем •Повышение качества программного обеспечения (ПО) •Предотвращение ошибок на ранних этапах проекта Тестирование на основе моделей
  • 4. Санкт-Петербургский государственный политехнический университет 4 1. Исходные требования 2. UCM-модель (UCM - Use Case Maps) Схема подхода (1) Исходные требования на неформальном языке Формальная модель спецификации требований и архитектуры 3. Модель базовых протоколов Формальная модель для верификации …
  • 5. Санкт-Петербургский государственный политехнический университет 5 4. Структурирование модели и тестовые сценарии Схема подхода (2) Диаграмма состояний для модели Результирующая трасса для модели … Трасса для компонента модели Диаграмма состояний для компонента модели
  • 6. Санкт-Петербургский государственный политехнический университет 6 Нотация UCM (Use Case Maps) •UCM – последовательность событий, описывающих поведение системы •Задается набором взаимодействующих между собой диаграмм •Наглядное представление поведения системы и взаимодействий между ее компонентами Высокоуровневое описание проектируемой системы, сохраняющее при этом все сценарии ее поведения
  • 7. Санкт-Петербургский государственный политехнический университет 7 Критерии покрытия UCM-модели •Функциональный критерий –Матрица отслеживания •Структурные критерии –Покрытие UCM-элементов –Покрытие UCM-ветвей –Покрытие UCM-путей (частичный критерий путей; необходима дополнительная информация от пользователя)
  • 8. Санкт-Петербургский государственный политехнический университет 8 Матрица отслеживания • Формулировка последовательности наблюдаемых событий в строгом порядок исполнения • Формулировка цепочек базовых протоколов • Отслеживание соответствия между событиями, характеризующими требования в терминах исходных спецификаций и элементами UCM-модели Связь между тестовыми сценариями и требованиями; идентификация покрытых и непокрытых требований
  • 9. Санкт-Петербургский государственный политехнический университет 9 Покрытие UCM-элементов и UCM- ветвей •Формирование общего множества элементов (U) и ветвей (B) UCM-модели •Формирование множества покрытых элементов (Tэл) и ветвей (Tвт) в тестовых сценариях: •Вычисление непокрытых элементов и ветвей UCM- модели:    NiMjijэлUET00)(   NiMjijвтBBT00)( элэлTUSвтвтTBS
  • 10. Санкт-Петербургский государственный политехнический университет 10 Покрытие UCM-элементов и UCM- ветвей Список UCM-ветвей и содержащихся в них UCM-элементов Список тестовых сценариев и содержащихся в них UCM-ветвей Покрытые UCM-ветви Непокрытые UCM-ветви
  • 11. Санкт-Петербургский государственный политехнический университет 11 Покрытие UCM-путей • Необходима дополнительная информация от пользователя – гиды (guides) • Если все заданные пользователем гиды (G) обеспечены тестовыми сценариями (T), то считается, что данный критерий (K) удовлетворен: G G T T K i j   :    • Анализ заключается в поиске вхождения UCM- элементов гида в последовательность UCM- элементов тестового сценария
  • 12. Санкт-Петербургский государственный политехнический университет 12 Покрытие UCM-путей Список гидов с индикацией непокрытых тестовыми сценариями Гид со списком входящих в него UCM-элементов Тестовый сценарий, соответствующий гиду
  • 13. Санкт-Петербургский государственный политехнический университет 13 Визуальный анализ покрытия Отображение покрытия тестового сценария Отображение покрытия отдельной UCM-ветви
  • 14. Санкт-Петербургский государственный политехнический университет 14 Инструментальная реализация •Набор программных средств, интегрированных в инструмент автоматического анализа UCM GA –элементы View в среде разработки Eclipse –реализация на Java и Perl •Инструмент внедрен в автоматическую цепочку верификации и тестирования VRS/TAT
  • 15. Санкт-Петербургский государственный политехнический университет 15 Заключение •Автоматическая и визуальная оценка покрытия UCM- модели •Отображение покрытия как всего тестового сценария, так и его частей •Отображение непокрытых элементов и сценариев (необходимо для отладки тестового набора) •Инструмент применен в рамках создания тестовых сценариев для 4 телекоммуникационных проектов