Документ обсуждает юзабилити-тестирование, подчеркивая важность исследований для выявления проблем в интерфейсе и оценки их критичности. Он различает юзабилити и маркетинг, отмечая, что тестирование не предлагает решений, а лишь выявляет проблемы. Также рассматриваются методы тестирования и важность квалифицированного модератора для успешного проведения экспериментов.

1. Опыты
на живых людях.
Грабли, костыли и
заплатки
Занятие № 7

2. Проектирование путем ошибок
2
 Увы, проще увидеть уже сделанную ошибку,
чем предугадать её

3. Проектирование путем ошибок
3

4. Тестирование - мир открытий чудных
4

5. Что такое юзабилити-тестирование
5
ЮТ — это эксперимент,
в ходе которого типичные пользователи
находятся в типичном контексте,
и выполняют типичные действия
За счет типичности можно работать с малыми выборками

6. Зачем этот эксперимент нужен?
6
Чтобы узнать:
 Есть ли в интерфейсе проблемы
 Насколько эти проблемы критичны
 Насколько интерфейс продукта лучше или
хуже, чем у конкурентов
А также чтобы получить хоть какую-то
аргументацию для принятия решения
о судьбе продукта

7. Что меряем?
7
• Успешность выполнения сценария
• Количество проблем
• Устойчивость проблем (~обучаемость)
• Частота проблем
• Критичность проблем
• Субъективная оценка удовлетворенности
выполнением задания (до и после)
• Иногда - время выполнения сценария

8. Что получаем на выходе
Перечень проблем,
ранжированных по степени серьёзности
8

9. Отличие от маркетинга
9
Юзабилити:
изучает опыт
(смог ли пользователь
достичь цели)
Маркетинг:
изучает мнение
(хотите ли вы купить это)
Мне это нравится (в магазине) ≠
Я смогу этим пользоваться (повседневно)

10. Важно!
10
Тестирование выявляет проблемы,
но не генерирует готовые решения

11. Методики
Количественные
 Тренды поведения
пользователей на сайте
 Сравнение продуктов
по заданным критериям
 Определение оптимальной
структуры
11
Качественные
• Выявление конкретных
интерфейсных проблем
• «Почему это происходит?»

12. Методики
Лабораторные или удаленные
12

13. Методики
Лабораторные
13

14. Методики
Удаленные
14

15. Формат ведения теста
15
 Think Aloud
 Sit-by или пассивное наблюдение
 Retrospective Review
Можно использовать несколько форматов в одном тесте
в зависимости от контекста задач

16. Задания пользователям
16
 Формулируем от потребности, не от функционала
 Отсутствие подсказок
 Полнота, информативность, однозначность
 Критерии успешности: объективные, субъективные

17. Техническое оснащение
17

18. Хороший модератор
18
 Хорошая память
 Внимательный и любознательный слушатель
 Готов к неоднозначным результатам
 Адекватно реагирует на внештатные ситуации

19. Где спрятаны грабли
19
Юзабилити-специалист может не заметить части проблем
или неправильно понять сущность замеченных проблем.
Рольф Молич (Rolf Molich) регулярно проводит сравнительное
тестирование самого юзабилити-тестирования (en). Результаты
шокирующие. Так, во втором тесте, в котором девять групп юзабилити-
специалистов самого разного уровня тестировали службу HotMail,
разброс результатов был очень велик, даром, что тестовые задания
были идентичны. Все группы нашли в общей сложности 310 проблем с
интерфейсом. Но три четверти процентов проблем были найдены только
какой-либо одной группой и не найдены остальными группами (в эти
проценты входят и двадцать девять действительно серьезных проблем).

20. Где спрятаны грабли
20
Интерпретация результатов

21. Результаты тестирования
21
 Перечень проблем
 Метрики (для определения серьёзности
проблем)
 Пользователи не способны предложить
решение

22. Список литературы
22
 «Юзабилити-тестирование по дешёвке» В. Головач