Документ рассматривает важность юзабилити-тестирования и развеивает популярные мифы о нем, подчеркивая, что юзабилити критично для успешного взаимодействия пользователей с продуктом. Описываются различные методы тестирования, от простых до сложных, а также представлены метрики для оценки юзабилити. Кроме того, упоминаются программные средства, такие как Morae, и различные лаборатории, занимающиеся юзабилити-тестированием.

1. Nonfunctional
testing:
Usability testing
Iryna Kutsevych
Verification and Validation Engineer
Miratech
Irina.Kutsevich@miratechgroup.com

2. ?
Жили же без всякого юзабилити
и деньги зарабатывали?
2

3. Миф 1: Юзабилити – это GUI
Миф 2: Тестирование юзабилити – это просто
Миф 3: Любой человек может оценивать
юзабилити продукта
Миф 4: Юзабилити для всех одно
Миф 5: Заказчик знает, как сделать ему хорошо
Миф 6: Юзабилити не очень важно, важнее
функциональность
Мифы об юзабилити
3

4. Конверсия в интернет-
маркетинге
Отношение числа посетителей сайта, выполнивших
на нѐм какие-либо целевые действия (скрытые или
прямые указания рекламодателей, продавцов,
создателей контента — покупку, регистрацию,
подписку, посещение определѐнной страницы сайта,
переход по рекламной ссылке), к общему числу
посетителей сайта, выраженное в процентах.
4

5. Воронка потребителей
5

6. Один из способов повышения конверсии
сайта
Качество интерфейса сайта – выраженное
в достижении поставленных целей
пользователями
Кто может измерить качество юзабилити?
Только Ваши посетители.
Что такое юзабилити?
6

7. Два сайта с идентичными услугами и условиями их
предоставления
Юзабилити проектирования
не было
• 17% посетителей не нашли
контактной информации
• 25% не смогли понять где у
Вас список услуг
• 17% не нашли цены
• 14% не комфортно себя
чувствовали и отнеслись к
Вашим предложениям
слишком критично
• 19% не нашли информации,
которую искали.
Юзабилити проектирование
было сделано качественно
24% посетителей
позвонили в
компанию
Например…
7

8. А теперь несколько примеров…
Сложность поиска информации (контакты)
http://happytoy.com.ua/shop/naduvnaja-produkcija-intex/naduvnye-
bassejny
Лишние страницы
http://happytoy.com.ua/news/novosti/1-0-1
«Невидимые ссылки»
http://itlcvs.wordpress.com/category/компьютерная-дискретная-
математика/
Необходимость входа в систему когда
авторизация пользователю не нужна
http://itlcvs.wordpress.com/2013/04/25/темы-лабораторных-работ/
8

9. Usability
Степень эффективности, продуктивности и
удовлетворенности, с которой продукт может
использоваться определенными
пользователями для достижения
определенных целей в определенном
контексте.
[ISO 9241-11]
9

10. User-centered design
Ориентированный на пользователя дизайн (User-
centered design) характеризуется [ISO 13407]:
 активным вовлечением пользователей в процесс
проектирования и тестирования продукта;
 четким пониманием пользовательских
требований и задач;
 оптимальным распределением функций между
пользователями и технологиями;
 итеративностью и мультидисциплинарностью
подхода.
10

11. Что такое юзабилити-тестирование?
Экспериментальный метод, построенный на
интервьюировании пользователей по заранее
составленному сценарию и направленный на
выяснение того, как пользователи используют
продукт.
11

12. Метрики тестирования
 На основе ISO 9241-11
 Эффективность
 Продуктивность
 Удовлетворенность
 На основе деятельностного подхода
 Эффективность деятельности (результаты)
 Экономичность деятельности (затраты и ресурсы)
 Надежность и безопасность деятельности
(устойчивость, риски, негативные последствия)
 Удовлетворенность деятельностью (отношение
пользователя)
12

13. «Жизненный цикл» - ISO 13407
13

14. Юзабилити лаборатории в Европе
CURE, Vienna,
Austria
University Leuven,
Belgium
LUTIN, Paris,
France
ICT&S Center,
University of Salzburg
14

15. Юзабилити Лаборатория в Индии
Cordys R&D, India 15

16. UsabilityLab в Москве
UsabilityLab, Russia
16

17. Тестирование юзабилити
программными средствами.
Дорого и качественно!
17

18. Софт для тестирования
Полностью цифровое решение
- Уменьшает стоимость и сложность аппаратуры
Действительно портативно
- Берите куда угодно, установив на ноутбук
Улучшение качества
- Эксклюзивная технология Rich Recording
Просто установить и использовать
- На разворачивание нужно 10-20 минут
Morae — инновационный программный инструмент
для проведения юзабилити-тестирования, упрощающий
сбор данных и ускоряющий процесс анализа.
18

19. Как работает?
19

20. Как работает?
 Видео/Аудио
 Изображение экрана пользователя
 Переходы между экранами
 Использование мышки
 Использование клавиатуры
 Манипуляции окнами
 Маркеры
20

21. Remote Viewer
Morae Remote Viewer
Позволяет нескольким наблюдателям смотреть и
процесс тестирования, делать заметки
21

22. Morae Manager
Morae Manager
1. Синхронизирует записи тестирования
2. Быстро подсчитывает частотные и временные характеристики
3. Легко создает видеоотчеты
Цена вопроса
Порядка 3000 у.е за 1 лицензию
Для малого бизнеса слишком дорого!
22

23. Еще более продвинутое
оборудование!
23

24. Лаборатория для тестирования
24

25. Взаимодействие с системами
25

26. Mobile Device Camera
Беспроводная камера для usability-
тестирования мобильных устройств
и приложений
26

27. Айтрекинг
Окулография (отслеживание глаз, трекинг глаз; айтрекинг) —
процесс определения координат взора («точки
пересечения оптической оси глазного яблока и
плоскости наблюдаемого объекта или экрана, на котором
предъявляется некоторый визуальный стимул»).
Айтрекер — устройство, используемое для определения
ориентации оптической оси глазного яблока в пространстве (то
есть для айтрекинга).
Айтрекеры используются в исследованиях зрительной системы,
психологии, когнитивной лингвистике и юзабилити
исследованиях.
Для айтрекинга используются несколько методов. Самый
популярный — покадровый анализ видеосъѐмки глаза, также
используются контактные методы, такие
как электроокулаграфия.
27

28. Айтрекинг!
Eye tracking & alternatives
1. Инфракрасная камера записывает движение глаз
2. Крепится на голове, к монитору, или размещается на столе
3. Анализ: движения глаз, «тепловые карты», зоны интереса
4. Дорого, но очень точно
28

29. Айтрекинг
Анализ взгляда
Измерения:
1. Куда пользователь смотрит
2. Как долго и как часто он смотрит на
определенный объект
3. Путь глаз между определенными зонами
интересов
4. Диаметр зрачка, как индикатор когнитивной
нагрузки
Цена вопроса
• 4000 у.е.
• Подходит для среднего и крупного бизнеса
либо для юзабилити лабораторий
• Для малого бизнеса Дорого!
29

30. Более простые методы тестирования
или
«каменный век» юзабилити
30

31. Тестирование «на бабушке»
1. Берем неопытного пользователя сети
(или нескольких)
2. Определяем цели и задачи
3. Сажаем за компьютер
4. Смотрим, как ведет себя тестер, что
говорит
Какие есть методы?
Основной смысл теста…
Если неопытный пользователь справляется с
поставленными задачами, то у сайта хороший
уровень Юзабилити.
31

32. Тестирование силами эксперта
1. Для теста привлекается эксперт по юзабилити
2. Он анализирует сайт по ряду критериев
3. Пишет письменные рекомендации по
исправлению ошибок
Может быть привлечено несколько экспертов!
Какие есть методы?
32

33. Тест из 5 пользователей
1. Приглашается 5 пользователей
2. Они выполняют заранее продуманные действия (заказ
товара, поиск товара итп)
3. В процессе выполнения действий идет фиксация того,
что они делают и говорят (лучше на видеокамеру)
4. Затем информация анализируется и формулируются
рекомендации по юзабилити
Какие есть методы?
33

34. Преимущества
1. Дешевле. Тест можно провести бесплатно
или за небольшие деньги
2. Выявляется до 80% критических ошибок
3. Довольно быстро
4. Лучше, чем вообще без тестов 
34

35. Недостатки
1. Менее точны, чем при использовании
айтрекинга и спец оборудования
2. Не позволяют выявить все недочеты по
юзабилити сайта
3. Достаточно примитивны
35

36. Но лучше тестировать ТАК, чем
НИКАК 
90% сайтов не тестировалось
НИКАК!
36

37. Методы
тестирования
37

38. Методы тестирования
1. Эвристическая оценка (Heuristic Evaluation)
2. Удаленное (модерируемое) тестирование (Remote Testing)
3. Совместное обучение (Co-discovery Learning)
4. Коучинг (Coaching Method)
5. Измерение производительности (Performance Measurement)
6. Вопрос-ответ (Question-asking Protocol)
7. Ретроспективное тестирование (Retrospective Testing)
8. С комментатором (Shadowing Method)
9. Обучение (Teaching Method)
10. «Поток сознания» (Thinking Aloud Protocol)
38

39. Heuristic Evaluation
 Способ
 Независимые эксперты ищут
потенциальные проблемы в
интерфейсах
 Оценка идет не по сценариям, а по
критериям
 После окончания работы всех
экспертов проводится анализ
результатов
39

40. Heuristic Evaluation
 Критерии
 Наглядное представление состояния
системы
 Связь системы с реальным миром
 Управляемость и свобода действий
 Консистетность и стандарты
 Предотвращение ошибок
 Узнавание против запоминания
 Гибкость и эффективность использования
 Эстетика и минимализм дизайна
 Предвидение, диагностика и
восстановление после ошибок
 Справочная система и документация
40

41. Remote Testing
 Цель:
 Получить обратную связь при отсутствии
прямого доступа к пользователям
 Способ
 Тестирующий и пользователь работают
раздельно (в разных местах и/или в разное
время)
 Необходимые технологии:
 Журналирование действий пользователя
 Видеокамеры и голосовая связь или запись
 Средства удаленного воспроизведения экрана
пользователя
41

42. Performance Measurement
 Цель
 Получить метрические
характеристики качества
приложения (для сравнения между
версиями, продуктами)
 Алгоритм
 Определить цели тестирования в
терминах критериев Usability
 Выбрать наиболее важные
показатели
 Определить как эти показатели будут
оцениваться количественно
42

43. Performance Measurement
 Метрики
 Время, затраченное на выполнение задачи
 Количество задач разного типа, которые
можно выполнить в ограниченное время
 Отношение успешных и ошибочных действий
 Время, потраченное на восстановление после
ошибки
 Количество пользовательских ошибок
 и т. д.
43

44. Thinking Aloud Protocol
 Цель
 Получить представление о том,
что пользователь думает
и переживает в процессе работы
 Способы
 Critical response — пользователь должен озвучивать
выполнение только заранее определенных задач
 Periodic report — в случае, если задача трудна сама по
себе, пользователь рассказывает о еѐ выполнении
после окончания.
44

45. Question-asking Protocol
 Цель
 Собрать конкретную информацию
по интересующим вопросам
 Способ
 Помимо того, что пользователи
озвучивают свою работу, им
задаются заранее подготовленные
вопросы о продукте
 «Как Вы могли бы послать email
из этой программы?»
 «Как сделать маркированный
список?»
45

46. Shadowing Method
 Цель
 Не пропустить специфичные для
предметной области проблемы
 Не заставлять пользователя
говорить
 Способ
 Один пользователь выполняет
задания
 Второй (эксперт в предметной
области) комментирует usability-
тестеру его работу.
46

47. Retrospective Testing
 Цель
 Получить максимум обратной связи,
изучить поведение – при этом не оказывать
влияния на производительность
 Способ
 Пользователи обсуждают с usability-
тестером видеозапись тестирования
 Отвечают на вопросы, возникшие у
тестера во время тестирования
 Пользователь объясняет, что он делал, чего
пытался добиться по видеозаписи
47

48. Co-discovery Learning
 Цель
 Проверить, насколько просто
научиться использовать продукт
 Способ
 Задания выполняют сразу два
пользователя, помогающие друг
другу
 Пользователи должны быть
знакомы и иметь предварительный
опыт совместной работы
48

49. Teaching Method
 Цель
 Проверить, насколько понятны
примененные модели и насколько
легко можно обучиться продукту
 Способ
 Один пользователь осваивает
продукт
 А потом объясняет новичку, как
им пользоваться
49

50. Coaching Methods
Цель
 выявить трудности обучения
продукту и проблемы
документации
 Выявить, какая информация
необходима пользователям
Способ
 Один тестер выступает в роли
тренера, обучающего
пользователя
 Второй тестер наблюдает за
общением пользователя и первого
тестера
50

51. Какой метод выбрать?
Есть пользователи для проведения тестирования?нет да
Heuristic Evaluation
Remote Testing
Co-discovery Learning Coaching Method
Performance
Measurement
Question-asking Protocol
Retrospective
Testing
Shadowing
Method
Teaching Method
нет
да
Оцениваем производительность, а не
впечатления людей?
нет да
нет да
Thinking Aloud Protocol
да
да
нет
Доступны ли пользователи непосредственно?
нет
Является ли тестер экспертом в
предметной области?
Могут ли пользователи говорить
(комментировать свою работу)?
Может ли другой пользователь
комментировать работу пользователя,
выполняющего тестовые задания?

52. Вопросы?

53. Спасибо за внимание!