Документ посвящен юзабилити-тестированию, его целям и методам, включая оценку качества интерфейса, выявление проблем и рекомендации по их решению. Обсуждаются различия между UX-исследованиями и маркетинговыми исследованиями, а также методы подготовки, проведения и анализа тестов. Указаны преимущества и недостатки юзабилити-тестирования, включая способы улучшения процессов с учетом различных форматов тестирования, как в лабораторных условиях, так и удаленно.

1. Юзабилити-
тестирование

2. Цели тестирования:
Каково качество интерфейса?
Что нужно исправить в интерфейсе
продукта и как именно это сделать?
Насколько интерфейс продукта
лучше или хуже, чем у конкурентов?
Получить достаточную аргументацию для
принятия решения о судьбе продукта
Понять

3. Что это?
ЮТ - это эксперимент, в ходе которого
типичные пользователи, находятся в
типичном или приближенном к таковому
контексте, выполняют типичные действия
в изучаемом сервисе.

4. Что это?
Модератор, присутствующий на тесте
(или наблюдающий за ходом
тестирования), фиксирует проблемы, с
которыми сталкиваются пользователи, а
так же фиксирует некоторые метрики,
которые могут быть значимы в оценке
интерфейса

5. Метрики
Успешность выполнения сценария
(задачи),
Время выполнения сценария (задачи),
Количество проблем
Устойчивость проблем (~обучаемость),
Частота проблем,
Критичность проблем,
Субъективная оценка удовлетворенности
выполнением задания (до и после)

6. Результат
Перечень проблем, ранжированных по
степени серьёзности + рекомендации по
их преодолению.

7. Отличие от
маркетинговых
исследований

8. Маркетинг
Оценка рынка,
Возможности
достижения бизнес-
целей в чистом виде
UX Research
Удовлетворенность
пользователей,
Возможности
достижения
пользовательских
целей

9. Маркетинг
Мнение
пользователей, его
гипотетическое
отношение к продукту
Соцдем
UX Research
Опыт
взаимодействия
Опыт и мотивы
использования
пользователей

10. Преимущества
Высокое качество оценки, глубокое
изучение взаимодействия
Вариативность метода, пригоден для
большинства проектов
В том числе удаленно!
Результаты тестирования очевидны,
понятны, осязаемы

11. Недостатки
Сложности с рекрутом
Не совсем достоверный контекст
использования
«Статистическим» данным тестирований
нельзя доверять
Затратно
Требуются навыки модерирования

12. Методики

13. Качественные
Выявление конкретных
интерфейсных проблем,
«Почему это
происходит?»
Количественные
Тренды поведения
пользователей на
сайте,
Сравнение
продуктов по
заданным критериям,
Определение
оптимальной
структуры

14. Лабораторные
или удаленные

17. Формат ведения теста
Методик много, можно выделить:
Think Aloud
Sit-by или пассивное наблюдение
Retrospective Review
Можно использовать все эти методики в одном
тесте в зависимости от контекста задач

18. Планирование тестов и
подготовка заданий
Проведение тестов
Обработка результатов

19. Подготовка: рекрут
Сами / Заказчик
«Коридор»
Рекрутинговое агентство

20. Подготовка: рекрут
Скринер:
Немного соцдема
Много про опыт использования
среды и аналогичных продуктов
Много про мотивы использования,
роли использования

21. Опасаемся
«ходоков»

22. Подготовка: рекрут
Сроки рекрута зависят от
сложности
Запас
Расписание: Планируем обеды и
дебрифинги

23. Подготовка: дизайн теста
Задания
Берем целевые сценарии системы
Изучаем статистику посещений
Определяем конечный набор тестируемых
сценариев

24. Подготовка: дизайн теста
Задания
Формулируем от потребности, не от функционала
Отсутствие подсказок
Полнота, информативность, однозначность
Критерии успешности: объективные,
субъективные

25. Подготовка: дизайн теста
Задания
Если тестируем прототипы, то решить проблему
представления ее респондентам
Axure
Линковка pdf
Бумажные прототипы

27. Подготовка: дизайн теста
Дополнительные материалы к
заданиям, анкеты
Организационно-юридические
материалы

29. Подготовка: Сбор сетапа
Платформа
Трансляция
В наблюдательную
Онлайн
С переводом
Проверять нагрузку
Всякие мелочи: свет, зарядка, сменные батареи
или устройства взамен

30. Подготовка: Пилот
Проверить:
задания на «поток»,
формулировки заданий на корректность
тестовую работоспособность системы
длительность заданий (заложить время на
проблемы, на прерывания)

31. Тестирование
Что нужно сделать до тестов:
 Задания (критерии выполнения)
 Материалы
 Сетап
 Вознаграждения
 Логгер
 Лаборатория и рекреационная зона

32. Тестирование
Что делать во время тестов
Модерирование:
Слушать, смотреть,
Задавать вопросы, понимать «почему?»
Направлять,
Фиксировать

33. Тестирование
Хороший модератор:
Помнит о UCD
Быстро адаптируется, гибок
Легко устанавливает контакт с
незнакомыми людьми
Тактичен

34. Тестирование
Хороший модератор:
Хорошая память
Внимательный и любознательный
слушатель
Готов к неоднозначным результатам
Адекватно реагирует на внештатные
ситуации

35. Тестирование
Между сессиями:
 «Откатить» до стартового состояния,
почистить куки и прочее
 Проанализировать выявленные
проблемы, быстро систематизировать их
 Обсудить с проектной группой
 Скорректировать тест (на первых
сессиях)

36. После теста
«Ну как?»
Вознаграждение

37. Анализ и отчетность
Подсчет и анализ метрик:
Успешность выполнения заданий
(по группам
Длительность выполнения
Анкетные данные

38. Анализ и отчетность
Анализ поведения разных групп ,
влияния параметров пользователей
на результат

39. Анализ и отчетность
Обработка проблем:
Частотность
Критичность
Устойчивость
Ранжирование проблем
Кластеризация проблем

40. Анализ и отчетность
Определение тренда,
Ключевые выводы
Определения направления
рекомендаций

41. Анализ и отчетность
Разработка рекомендаций:
Глобальные
Оперативные
На перспективу

42. Анализ и отчетность
Отчет
Общая информация о продукте
Информация о проекте (исполнители, даты)
Описание методики
Цели проведения исследования
Краткое резюме (статистика)
Общие выводы (рекомендации)

43. Анализ и отчетность
Отчет
Формат описания
Перечень проблем и рекомендаций
Комментарии и высказывания

44. Анализ и отчетность
Отчет
Приложения/исходники (задания, пользователи)
Видео-материалы, хайлайты

45. А если удалённо?
Та же история, другой инструмент

46. А если удалённо?
Подготовка:
Выбрать инструмент

47. А если удалённо?
Подготовка:
Выбрать инструмент

48. А если удалённо?
Подготовка:
Создать survey,
Тестовый «созвон» с респондентами

49. А если удалённо?
Тестирование:
Мониторинг,
Поддержка респондентов

50. А если удалённо?
После теста:
Отправка вознаграждения