1. Человеко-машинное взаимодействие
Зайдуллин С.С.
КГТУ им. А.Н.Туполева
1

2. Лабораторная работа 4
Тема: Тестирование пользовательского
интерфейса.
Цель работы: Практическое освоение
основных принципов тестирования
пользовательских интерфейсов.
2

3. Общие сведения
Тестирование на практичность (удобство
применения) является ключевым элементом
итерационного процесса проектирования ПИ.
Его цель состоит в оценке качества работы
продукта, выяснении, насколько он эффективен,
рентабелен и довольны ли им пользователи.
Проводится тестирование на всех этапах
создания продукта: от образца дизайна на
бумаге, до конечного продукта.
3

4. Методы оценки результатов
тестирования
 Численные
(количественные) методы оценки,
подразумевающие подсчёт действий пользователя, определение полноты выполнения
задач, подсчёт затраченного времени, ошибок
и обращений за помощью.
 Субъективные методы, включающие сбор
устных и письменных сообщений пользователей об их восприятии, мнениях, суждениях,
предпочтениях, а так же степени удовлетворённости от системы и их собственной
выполненной работы. Эти методы носят
названия качественных.
4

5. Пример задач тестирования
Задача тестирования
Критерий
Качество
работы
Условия
Пригодность
После выполнения пяти
сценариев задач 90%
пользователей будут
в состоя-нии успешно
выполнить задачу
– 90%
пользователей;
– выполнить
задачу
Успешно
выполнить
задачу
После
выполнения 5
сценариев
задач
– 75%
пользователей;
– в течение
10 минут
Успешно
выполнить
задачу
После
выполнения 5
сценариев
задач
Эффективность
После выполнения пяти
сценариев задач 75%
пользователей будут
в состоя-нии успешно
выполнить задачу в течение
10 минут
5

6. Пример задач тестирования
Задача тестирования
Критерий
Качество
работы
Условия
Простота изучения
После 4‑х часового тренинга
все пользователи достигнут
определённого уровня
владения продуктом
После 4‑х
часового
тренинга
– все пользователи;
– определённый
уровень владения продуктом
Успешно
овладеть
продуктом
– 85% пользователей;
– степень удовлетворённости
5,5 балла по 7
бальной шкале
Степень
После
удовлетворён выполнения 5
ности
сценариев
задач
Отношение пользователей
После выполнения 5 сценариев задач 85% пользователей
оценят степень своей удовлетворённости продуктом на 5,5
баллов и выше (по 7 бальной
шкале)
6

7. Методы оценки отношения
пользователя
наблюдение
за эмоциональными
реакциями (учёт положительных и
отрицательных реакций респондентов в
процессе тестирования);
анкетирование (респондент заполняет
специально организованную формальную
анкету):
– анкета по словам;
– формальная анкета.
7

8. Пример анкеты по словам
Устаревший – Эффективный – Нечеткий – Неудобный –
Замусоренный – Тусклый – Яркий – Чистый – Прямой –
Ясный – Непоследовательный – Неуправляемый –
Привлекательный – Стандартный – Управляемый –
Хороший – Интуитивный – Веселый – Любительский –
Неэффективный – Опасный – Скучный – Радостный –
Безопасный – Жесткий – Раздражающий –
Треугольный – Неприятный – Комфортабельный –
Холодный – Умный – Бесполезный – Халтурный –
Теплый – Светлый – …
8

9. Пример формальной анкеты
Во время выполнения заданий я ошибался
Нет
    
Да
Система способна делать все, что мне
нужно и даже больше
Нет
    
Да
Система работает достаточно быстро
Нет
    
Да
Мне нравится внешний вид интерфейса
Нет
    
Да
Я чувствую, что если я лучше изучу
систему, я смогу делать в ней вещи, о
которых сейчас даже и не подозреваю
Нет
    
Да
Систему можно легко настроить под мои
нужды
Нет
    
Да
…
Нет
    
Да
9

10. Анализ анкет
 Анкета
по словам:
В заполненной анкете подсчитывается
разница между числом отмеченных пользователем негативных и позитивных терминов.
 Формальная анкета:
Центральное значение дает 0 баллов, крайние
значения дают либо –2 балла (левый вариант
ответа), либо +2 балла (правый вариант),
промежуточные значения либо –1 либо +1
балл соответственно. Сумма баллов является
сравниваемым значением.
10

11. Примерная структура отчёта о
результатах тестирования
 Резюме
 Основные
проблемы (проблемы,
проявляющиеся по всему интерфейсу)
 Частные проблемы (проблемы,
проявляющиеся на отдельных экранах)
 Количественные данные (если они
собирались)
 Приложение 1. Методика эксперимента и
условия теста
 Приложение 2. Описание тестовых сценариев
 Приложение 3. Описание респондентов.
11

12. Анализ отчёта о результатах
тестирования
 Надёжность
теста состоит в том, что один и
тот же тест при повторном выполнении будет
демонстрировать одинаковые результаты.
 Достоверным тест считается в случае, если
он точно измеряет то, для чего был
разработан.
Тестируемый
продукт
Время
выполнения
задачи, мин.
Допущенные
ошибки, шт.
Степень удовлетворённости пользователя
по 10-бальной шкале
А
Б
44
67
6
3
7,3
7,2
А лучше
Б лучше
А и Б равнозначны
Резюме:
12

13. Задание
В рамках предыдущей лабораторной
работы был разработан прототип ПИ
системы компьютерного телевидения.
Необходимо завершить проект, поэтому
основной задачей данной работы будет
организация и проведения процесса
тестирования практичности данной
программной системы, включая её
справку.
13

14. Порядок выполнения
1.
2.
Разработать демонстрационную программу
в среде визуального программирования
Delphi.
Сформировать группу респондентов
тестирования не менее чем из пяти человек,
составить сценарий и организовать процесс
тестирования демонстрационной
программы.
14

15. Порядок выполнения
3.
4.
Сформулировать критерии количественной
оценки работы респондентов и провести
количественную оценку пригодности,
эффективности и простоты изучения системы компьютерного телевидения. Провести
оценку результатов тестирования в соответствии с данными критериями.
Составить пословную и формальную анкету
для оценки отношения пользователей к системе и провести его качественную оценку
(методом анкетирования). Сопоставить
между собой результаты этих анкет.
15

16. Порядок выполнения
5.
6.
Сделать обобщающие выводы по результатам всех тестов. При необходимости сформулировать рекомендации по доработке
интерфейса системы компьютерного телевидения.
Оформить результаты лабораторной
работы.
16

17. Содержание отчёта
1.
2.
3.
4.
5.
Постановка задачи.
Краткое описание разработанной
демонстрационной программы в канве
руководства пользователя.
Сценарий тестирования.
Описание критериев количественной
оценки работы респондентов.
Описание пословной анкеты.
17

18. Содержание отчёта
6.
7.
8.
9.
10.
Описание формальной анкеты.
Список респондентов тестирования.
Результаты тестирования отдельно по
каждому участнику.
Сводные результаты тестирования.
Вывод о степени готовности интерфейса
системы компьютерного телевидения к
реализации. При необходимости –
рекомендации по его доработке.
18

19. Контрольные вопросы
 Поясните
значение термина удобство применения (практичность) применительно к
компьютерным системам. Приведите
примеры.
 Перечислите известные вам способы
тестирования интерфейсов.
 В чём состоит различие количественных и
качественных методов оценки результатов
тестирования? Какие из них были реализованы в рамках данной лабораторной работы?
19

20. Контрольные вопросы



Укажите, какие принципы использовались при
формировании группы тестируемых при
выполнении данной лабораторной работы.
Каким образом можно оценить пригодность,
эффективность и простоту изучения ПО? Как вы
поступили в рамках данной лабораторной работы?
Какие методы оценки отношения пользователя к
интерфейсу тестируемого программного продукта
вам известны? Укажите их достоинства и
недостатки. Какие из них использовались в рамках
данной лабораторной работы?
20