Одной из важных составляющих качества мобильных приложений является проверка их реакции на внешние события, такие как входящие звонки, потеря интернета, повороты экрана и т.д. * Но какие конкретно тесты проводить? * Как определить ожидаемый результат? * Как оформить список тестов? * Как часто повторять? Именно об этом и шла речь в моем докладе на SQA Days #16

1. Проверка влияния внешних событий
на работу мобильного приложения
Савастюк Наталья
BP Mobile, Минск
www.software-testing.by
n.savastiuk@gmail.com
skype: csi.nataliasavastiuk

2. Терминология
 Тестирование стабильности
 Восстановления (recovery testing или restoration
testing)
 Проверка помех (interruption testing)
 Fragmentation overlay testing
 Мобильное тестирование
 <ваш вариант>
 Стресс-тесты

3. Стресс тест
Стрессовая
ситуация
• Пропал интернет
Ситуац. внутри
прилож.
• Идет загрузка
файлов на Dropbox
Стресс-
тест

4. Пример приложения

5. Примеры багов
 Если во время загрузки фалов на Dropbox
пропадает интернет, приложение крешится
 Если во время загрузки файлов, свернуть
приложение в БГ и развернуть его, то прогресс бар
перестанет заполняться
 После прихода memory warning пропадает с экрана
кнопка «Отправить» (не отрисовывается)
 Пропадает соединение с Dropbox и не
восстанавливается до перезапуска приложения,
если во время загрузки тип соединения меняется с
Wi-Fi на 3G
 Креш, если во время выделения файлов, нажать
сразу на две строки (выделить 2 файла)

6. Матрица стресс-тестов
Стрессовое
событие 1
Стрессовое
событие 2
Стрессовое
событие 3
Важная операция1
внутри приложения
до стрессовой
ситуации
Ожидаемый
результат после
стрессовых
событий
Y N N
Операция2 внутри
приложения
Ожидаемый
результат после
стрессового
события
N Y Y
Состояние 1
приложения
Ожидаемый
результат после
стрессовых
событий
N N Y

7. Стрессовые ситуации

8. Стрессовые ситуации*
* Зависит от проекта/технологии/целей тестирования

9. Состояния приложения на
момент стрессовой ситуации
 Начинайте с очевидных:
 длительные операции
 фоновые операции
 работа с интернетом
 Затем можно расширять, анализируя:
 Каждое действие пользователя
 Внешне «стабильные» состояния приложения
 По мере роста опыта и знаний об особенностях
работы приложения вы список расширите или,
наоборот, сузите.

10. Состояния приложения на момент
стрессовой ситуации
 Пользователь нажимает на кнопку
«Отправить»
 Пользователь случайно нажал на кнопку
«Снять выделение» во время нажатия на
«Отправить» (multitouch)
 Идёт процесс загрузки на Dropbox
 Пользователь отменяет загрузку файлов
на Dropbox
 Открыт таб «Файлы» с выделенными
файлами
 Пользователь нажимает на таб
«Плейлисты»
 Пользователь случайно нажал на таб
«Плейлисты» во время отмечания файлов,
которые нужно загрузить (multi touch)

11. Шаг 1. Стрессовые ситуации
Шаг 2. Ситуации внутри приложения

12. Необходимость теста
Очевидно, что стоит проверить:
• Идёт процесс загрузки файлов на Dropbox и пропадает
интернет
• Идёт процесс загрузки файлов на Dropbox и приходит
входящий звонок на телефон
Очевидно, что можно не проверять:
• Пользователь выбирает файлы в момент, когда пропадает
интернет
Не очевидно, проверять ли:
• Пользователь выбирает файлы и приходит входящий звонок
• Пользователь нажимает на таб Files и одновременно
сворачивается приложение

13. Мультитачи. Сколько пальцев
использовать?

14. Мультитачи. Сколько пальцев
использовать?
 Пользователь случайно нажал
на кнопку «Снять выделение» во
время нажатия на «Отправить»
 Случайно нажал сразу на две
строки с файлами
 Пользователь, отмечая файлы,
случайно нажал и на файл, и на
таб «Плейлисты»

15. Шаг 3. Необходимость теста

16. Комплексные стрессовые ситуации
 Потерять интернет после того как сработал
будильник
 Выйти в бекграунд, перевернуть девайс,
залочить телефон, разлочить и вернуться в
приложение
Мы осознаем риски и
почти не проводим
подобные тесты

17. Ожидаемый результат
 Обычно не очевиден вначале
 Записываем в процессе исследования, чтобы
запомнить поведение
 Очевидный – не пишем

18. Шаг 4. Ожидаемый результат

19. Итоговая матрица

20. Частота проведения тестирования*
 Для нового функционала обязательно
 Суперважные – в acceptance
 Регрессия раз в год/полгода и по мере
возможности
* Зависит от проекта

21. Итоговые рекомендации по составлению
матрицы стресс-тестов
1. Составьте список возможных стрессовых
ситуаций для ваших условий
2. Выучите их
3. Выделите в своем приложении самые важные
операции
4. Составьте таблицу и отметьте необходимость
тестов (какие операции приложения с какими
стрессовыми ситуациями нужно скрестить)
5. Где возможно, опишите ожидаемые результаты
6. Проведите тесты и там, где невозможно было
заполнить ожидаемый результат, заполните
7. Не забывайте обновлять по мере изменений
приложения

22. Скачать шаблон матрицы и
пример
Спасибо за ваше внимание!
С удовольствием отвечу на ваши вопросы
Савастюк Наталья
bpmobile.by, Минск
www.software-testing.by
n.savastiuk@gmail.com
skype: csi.nataliasavastiuk