Доклад Алексея Надененко на конференции SQA Days-12, 30 ноября-1 декабря, Минск

1. Автотестирование АБС.
Конвейер разработки,
конвейер данных,
конвейер выполнения
Алексей Викторович Надененко
ООО «Сбербанк-технологии», г. Минск
AVNadenenko.SBT@sberbank.ru

2. АБС. Тесты - Особенности
• Один документ/операция – тест-кейс длиной 10..15 шагов
• Цепочка тест-кейсов – 10..15 тест-кейсов на бизнес-процесс
• Тест-кейсы сильно связаны по данным:
данные, создаваемые одним тест-кейсом, используются последующими
Пример бизнес-процесса:
1. тест-кейс № j создает документ
2. АБС присваивает документу уникальный номер
3. Над документом выполняется операция (зарегистрировать, оплатить , …)
4. Операция порождает
1. Записи в журнале операций (нужно проверять)
2. Записи в журнале проводок (нужно проверять)
3. Новые документы (нужно проверять)
5. тест-кейсы №№ j+k, j+l используют созданный документ

3. АБС. Тестовые данные -
особенности
• 50..100 - констант и переменных в цепочке
• длиной 10..15 тестов, каждый из которых состоит из 10..15
шагов
• 3…5 наборов констант и переменных
• используются с одной цепочкой. Отличие между наборами –
10..20% значений
• 2..4 час
• Занимает у тест-аналитика подготовка набора начальных
значений для цепочки.

4. КОНВЕЙЕР РАЗРАБОТКИ

5. 20 век - конвейер
аналитик тестировщик программист Тест-инженер Тест-менеджер
Разработка Разработка Разработка Прогон Анализ
требований тест-кейсов автотестов автотестов результатов
Требования Тест-кейсы Автотесты Логи Выводы
Основное
КБ склад
производство

6. 21 век - ГАП
аналитик тестировщик Тест-менеджер
Разработка Разработка Прогон Анализ
требований тест-кейсов тест-кейсов результатов
Требования Тест-кейсы Выводы
Основное
КБ склад
производство
Разработка Инструменты
Инстру- инструментов
ментальный цех
программист

7. Инструментальное
производство - цифры
• в себестоимости машиностроительной продукции затраты на
технологическую оснастку достигают 15%.
• В общих затратах на технологическую подготовку производства затраты на
оснастку доходят до 60%.
• Проектирование и изготовление технологической оснастки имеет
значительную трудоемкость.
• Источник - http://www.kazedu.kz/referat/176709
• Затраты на технологическую оснастку в массовом производстве достигают
25-30% стоимости оборудования, в крупносерийном – 10-15%, в
мелкосерийном и единичном – около 5%. Доля затрат на оснастку (в %): 1,5-
4, 4-6, 6-8 и 8-15 и выше.
• В инструментальных цехах сосредоточено 10—20% станочного парка и
занято до 10% работающих.
• Источник - http://www.buhucheta.net/referatpage-854-1.html
• на долю проектирования и изготовления технологической оснастки при
освоении новых изделий приходится более 80% трудоемкости всех работ по
подготовке производства.
• Источник - http://www.grandars.ru/college/biznes/instrumentalnoe-hozyaystvo.html

8. Как сделать
• Технология
• keyword-driven подход
• Предметно-ориентированные Keywords = Bankwords
• Специализация сотрудников
• Bankwords разрабатываются
• «инструментальщиками» = программистами автотестов
по заказу
• «производственников» - тестировщиков
• Перераспределение функций и смена ролей
• роль «тест-инженер» выполняет тест-менеджер
• Тест-кейс запускает на выполнение тест-менеджер
• Результат прогона , отображаемый в теле тест-кейса,
анализируется тест-менеджером

9. Keywords - bankwords

10. Запуск тест-кейса
Run

11. Результат в тест-кейсе

12. Результат
• Итог:
• Трудоемкость оформления тесткейса увеличивается на 10..20%,
• Трудоемкость разработки атотеста уменьшается на 80-90%
• Типовой автотест готов за 4..8 2..4 часа
• Тест-кейсы легким движением при помощи xslt превращаются в
точную техдокументацию по системе
• Источники выгоды:
• Программистам автотестов не нужно изучать приложение
• Тест-менеджер эффективнее работает с привычной формой тест-
кейса
• В 80-90% случаев нет этапа разработки автотеста
• Издержки (как же без них)
• Повышаются требования программистам – нужно писать универсальные механизмы
• Строже требования к ручным тестерам – нужно писать детальные и
формализованные тест-кейсы

13. КОНВЕЙЕР ДАННЫХ

14. Схема обмена данными
Данные, созданные автотестом i, используются автотестами j,k
Диаграмма – строится динамически, используется Graphviz
Диаграмма строится до и после прогона.
Значения переменных прогона видны по линкам на диаграмме просто анализировать обмен данными между
отдельными тестами цепочки

15. Организация конвейера
данных
• Кто проектирует: Тест-аналитик
• Кто реализует: программист автор тест-кейса
• Как реализует:
• 1. Формулирует правила обмена данными между тестами
цепочки
• 2. Задает начальные значения переменных цепочки

16. Правила обмена
Значение с атрибутом
«импорт» - извлекается из набора переменных цепочки
«экспорт» - помещается в набор переменных цепочки
Первый тест цепочки как правило задает основные параметры,
последующие их используют.
Параметр идентифицируется именем, например «ДатаОперДня»

17. КОНВЕЙЕР ВЫПОЛНЕНИЯ

18. Цепочка 0
тест1 тест2 тест3 тест4

19. Цепочка 1
тест1 тест2 тест3 тест4
datapool
.xls
.xml
DB

20. Цепочка 2
тест1 тест2 тест3 тест4
data1 data2 data3 data4
.xls
.xml
DB

21. Цепочка 3
тест1 тест2 тест3 тест4
data1 data2 data3 data4
.xls
.xml
DB

22. Цепочка 4
тест0
data1 data2 data3 data4
.xml

23. Цепочка 5
data0 тест0
data1 data2 data3 data4
.xml

24. Цепочка 6
data0 тест0 Data_out
data1 data2 data3 data4
.xml

25. Цепочки 1
Тест1.1 Тест1.2 Тест1.3 Тест1.4
Тест2.1 Тест2.2 Тест2.3 Тест2.4

26. Цепочки 2
Data_out
Тест1.1 Тест1.2 Тест1.3 Тест1.4
1
Data_out
Тест2.1 Тест2.2 Тест2.3 Тест2.4
2

27. Цепочки 3
Data_out Data_out
Цепочка 1 Цепочка 2
1 2
10 час стенд1

28. Цепочки 4
Data_out
Цепочка 1
1
5 час стенд1
Data_out
Цепочка 2
2
5 час стенд2

29. Цепочки 5
стенд1
Цепочка 5
Цепочка 1
стенд2
Цепочка 2 Цепочка 6
стенд3
Цепочка 3
стенд4
Цепочка 4

30. Результат
• До 5 потоков параллельно
• 300..400 тестов во всех цепочках
• Около 12 час общего времени
• Около 3..4 час астрономического времени

31. ПОДГОТОВКА ДАННЫХ

32. Не хватает данных – что
делать
• Тестовый комплект генерации данных разных типов
• Данные для блока АБС «Расчетно-кассовое обслуживание»
• Типов данных -20..30
(клиенты, кассиры, кассы, клиенты, счета, тарифы, ….)
• Данных каждого типа 1..100
(счет Петрова, Иванова, …; касса 1,2,…; …)
• Время генерации 2..5 час
• Комплект может запустить ручной тестировщик

33. Ручные тестировщики
мешают друг другу – что
делать
• Если бы для каждого тестировщика был свой банк – он и
бы не мешали друг другу
• Создать (настроить ) банк ручной тестировщик может за
40..80 час. Вообще, говоря, этим занимаются внедренцы за
существенные деньги.
• Теоретически можно было бы иметь свою копию БД для
каждого ручного тестировщика. На практике
• 1 . не хватает железа
• 2. не хватает админов
• 3. нет скриптов клонирования БД
• 4. расходы на сопровождение N копий БД неприемлемы

34. Ручные тестировщики не
мешают друг другу – как
• Делаем тестовый комплект для замены
• Тестовый комплект способен создать обособленное отделение банка.
Отделение банка = функциональный аналог банка.
• Тестовый комплект способен создать платежную систему – компонент АБС,
обеспечивающий платежи между отделениями
• Ручной тестировщик может создать для себя отделение банка (читай
обособленный банк)
• Комплект использует данные для блока АБС «Расчетно-кассовое
обслуживание»
• Типов данных -20..30
(клиенты, кассиры, кассы, клиенты, счета, тарифы, ….)
• Данных каждого типа 1..100
(счет Петрова, Иванова, …; касса 1,2,…; …)
• Время генерации 2..5 час
• Комплект может запустить ручной тестировщик
• Время создания банка - 12..14 часов (в 4..5 потоков)

35. Спасибо за
внимание
Алексей Надененко.
ООО «Сбербанк – технологии», г.Минск