6. КОГДА ПРОТИВОПОКАЗАНО
КЛАССИЧЕСКОЕ ЮЗАБИЛИТИ-ТЕСТИРОВАНИЕ
1. Еще не определились с ЦА -> непонятно, на ком тестировать
2. Контекст использования продукта далёк от лабораторного
3. Нужно определить пользовательские задачи и сценарии
4. Какая цветовая схема сайта больше понравится пользователям
5. Оптимальна ли структура сайта
6. Когда планируется переделать продукт полностью
7. И мн.др.
7. КАК МОЖНО ДОПОЛНИТЬ
КЛАССИЧЕСКОЕ ЮЗАБИЛИТИ-ТЕСТИРОВАНИЕ
Проверка заметности блоков
Выяснение пользовательских
задач и сценариев
Паттерны поведения на сайте
Проверка на концептуальном
уровне
Eye-Tracking
Интервью
Изучение без постановки
конкретных задач
Тестирование прототипов и
макетов
9. 1. Данные статистики сложно объяснить. Видно, что
происходит, но непонятно почему
2. Сделали новый дизайн, надо определить, насколько
легко будет в нем разобраться текущим пользователям
и новичкам
3. Надо сравнить новый и старый дизайн
ПРЕДПОСЫЛКИ ДЛЯ ТЕСТИРОВАНИЯ
10. Например,
1. Определить, насколько просто будет разобраться с новым
дизайном сайта Леди Mail.ru его текущим пользователям и
пользователям конкурентных сайтов
2. Выявить юзабилити-проблемы в новом дизайне сайта
3. Понять, что удерживает на сайтах-конкурентах их
пользователей
4. Собрать впечатления респондентов от нового дизайна и
контента сайта
ФОРМУЛИРУЕМ ЦЕЛИ ТЕСТИРОВАНИЯ
11. Например,
1. Большие картинки вначале страницы
воспринимают как баннер и кликать не будут
2. Главную страницу не будут скролить вниз,
потому что есть ощущение конца страницы
после блока «Новости»
3. Стрелочки переключения фото рецептов
незаметны
4. Черный блок не воспринимается, как часть
сайта
ФОРМУЛИРУЕМ ГИПОТЕЗЫ ТЕСТИРОВАНИЯ
12. 1. Эффективность выполнения задач
• % выполненных задач без оказания помощи
• % выполненных задач с оказанием помощи
• Время, потраченное на выполнение задачи
• Время, потраченное пользователем, на обнаружение ошибки
• Время, потраченное пользователем, на исправление ошибки
2. Ошибки
• Критичность ошибок
• Количество ошибок, не замеченных пользователем
• Количество ошибок, не исправленных пользователем
3. Удовлетворенность
• Опросник
• Фиксация эмоциональных реакций
МЕТРИКИ – ФОРМАЛЬНЫЙ ПОДХОД
13. 1. Список юзабилити-проблем
• С проставлением критичности каждой из проблем
2. Паттерны поведения (если удается обнаружить)
3. Соответствие ожиданиям
4. Удовлетворенность
МЕТРИКИ – НЕФОРМАЛЬНЫЙ ПОДХОД
15. 1. Как правило есть профессиональная
деформация
2. Могут не соответствовать поло-возрастные
характеристики
3. Задачи из сценария – для них искусственные
4. Могут вести себя социально-желательно
5. Нет соответствующего опыта и ожиданий
ПОЧЕМУ НЕ ПОДХОДИТ КОЛЛЕГА ИЗ КОРИДОРА
16. 1. Определение ЦА – не место для творчества
• Пожалуйста, не надо придумывать!
• Это то, что надо исследовать в первую очередь! Но с помощью других
методик: полевые исследования, фокус-группы, маркетинговые
исследования, персонажи, опросники
2. Только маркетинговых данных недостаточно
• Знания о демографии, доходах и т.п. – большое подспорье
• Также нужно понимать опыт использования нашего и схожих
продуктов, частоту использования, устройство для использования,
интересы и мн.др. в зависимости от продукта и цели тестирования
ОПРЕДЕЛЕНИЕ СВОЕЙ ЦА
17. 1. Разбиваем на группы, например,
• Наши пользователи и пользователи конкурентных сервисов
• Наша ЦА и потенциальная ЦА
• Москва и регионы
• Молодые и взрослые
• Веб, смартфоны, планшеты
2. Количество – 6 человек на группу
• Количество предложено Нильсеном и подтверждается его
многочисленными исследованиями
• Подтверждается собственным опытом
3. Требования к опыту и демографии должно подтверждаться
статистическими данными
РЕСПОНДЕНТЫ ДЛЯ ТЕСТИРОВАНИЯ
19. КАК НАБИРАТЬ РЕСПОНДЕНТОВ
1. Агентство
• Нужно найти агентство, которому можно доверять
• Всё, что можно проверить, надо проверять (ссылки на
соцсети, скриншоты и т.п.)
2. Своими силами
• Соцсети, группы, форумы, рассылки
• Не постите все требования и задавайте открытые вопросы,
иначе люди могут подстраиваться
• Надо помнить, что скорее всего ваши друзья в соцсети чем-
то похожи на вас, вряд ли вы среди своих друзей выцепите
иной кластер людей (слесарь, дворник, доярка)
3. Продумать вознаграждение
21. ВЫБОР ЗАДАЧ ДЛЯ ТЕСТИРОВАНИЯ
1. Соображения, по которым были отобраны именно
эти задачи
• Наиболее часто возникающие задачи
• Наиболее сложные задачи
• У заказчика или эксперта есть гипотеза, что с задачей могут быть
сложности
2. Источник информации о задачах
• Наблюдения за потребителями, использующими похожие продукты,
• Интервью с пользователями, опросы и т.п.
22. ПОСЛЕДОВАТЕЛЬНОСТЬ ЗАДАЧ
1. Предварительное интервью, с целью выяснения
предварительного позитивного и негативного опыта,
ожиданий от продукта и т.п.
2. Задачи, последовательность которых имитирует
реальную
3. Итоговое интервью, с целью выяснения впечатлений
от использования продукта
4. Опросники удовлетворенности, например, SUS
23. НЮАНСЫ СЦЕНАРИЯ (1 ИЗ 2)
1. Описывайте легенду перед задачей, таким образом человек
будет более вовлечен в ее выполнение.
Например, на улице вас привлек баннер МТС, который
сообщал о безлимитном тарифе. Давайте найдем этот тариф и
узнаем подробнее об условиях.
2. Используйте термины респондентов. Во время интервью вы
поймете примерный словарный запас респондента,
применительно к вашему продукту. Используйте его, так
респондент будет четче понимать, чего вы от него хотите
3. Заходите издалека. Вопрос заказчика: «Ну спросите у них,
насколько логично расположение данной кнопки?». В
сценарий надо включить задание, в котором будет
применяться данная кнопка и понаблюдать, быстро ли
респондент ее опознает
24. НЮАНСЫ СЦЕНАРИЯ (2 ИЗ 2)
4. Задавайте открытые вопросы. Не намекайте ни на один из
вариантов действий. Например, «а что стали бы делать в
такой ситуации? Давайте попробуем» и т.п.
5. Следуйте естественной последовательности действий. Если с
некоторыми из респондентов последовательность заданий
пошла не по сценарию, не страшно, здесь не место для
бюрократии
26. ЧТО ВАЖНО УПОМЯНУТЬ
1. Цель встречи
• Где мы находимся
• Что будем делать
• Для чего мы это будем делать
• Сколько времени займем
2. Тестируем продукт, а не человека
• Тестировать, не то, как человек справляется, а насколько адекватно
задачам реализован продукт
• Снимаем социально-желательное поведение
3. Запись
• На что и как будем записывать
• Видео не появится в сети
• Подписывать соглашение об обработке персональных данных
27. ПРИМЕР ВВОДНОЙ
Добрый день!
Мы с вами находимся в офисе компании Mail.ru.
Будем сегодня обсуждать различные технологичные сайты, в том числе
посмотрим на сайт Hi-Tech Mail.Ru.
В процессе у вас наверняка будут возникать какие-то комментарии,
пожалуйста, высказывайте их. Высказывайте и положительные и
отрицательные, не бойтесь нас обидеть. Мы проводим подобного рода
исследования, для того, чтобы понять, что нам нужно улучшить, куда дальше
развиваться.
В процессе будем вести видеозапись. Запись нужна только для внутреннего
анализа, в интернет вас выкладывать не будем. Для того, чтобы мы имели
право записывать вас на видео, нам нужно получить от вас письменное
согласие на обработку персональных данных. Если согласны, подпишите.
Все это мероприятие займет около часа вашего времени. Сначала мы
поговорим о том, что вы обычно делаете в интернете. Потом попробуем что-
то поделать у нас на сайте. Если у вас нет вопросов, предлагаю начинать.
29. О ЧЕМ СПРОСИТЬ В ИНТЕРВЬЮ
1. О респонденте
• Сколько лет, род занятий
2. Опыт в продукте и смежных продуктах
• В соцсетях
• В исследуемом продукте и в продуктах конкурентах
• В использовании различных устройств
3. Процесс выполнения действий
4. Сталкивались ли уже с трудностями
5. И другие «хотелки» заказчика, наверняка, они что-то хотят
понять про пользователей
33. СВОБОДНОЕ ИСПОЛЬЗОВАНИЕ ПРОДУКТА
Этот метод не входит в классическое юзабилити-тестирование,
однако мы в последнее время частенько его используем. Для
этого метода прибор Eye Tracker очень помогает
• Хорошо, при первом знакомстве с продуктом. Помогает
понять, что привлекает человека в первую очередь. Позже
можно спросить, почему это привлекло
• Можно выявить паттерны поведения. Например, паттерны
чтения статей, или на что обращают при выборе вариантов из
каталога
• Могут забрести в незапланированные места, обратить
внимание на вещи, не учтённые в сценарии
35. Переходящие с главной Mail.Ru Читающие новости по разделам Серферы (потребители рекламы)
ПАТТЕРНЫ ПОВЕДЕНИЯ
36. КЛАССИЧЕСКИЙ ЮЗАБИЛИТИ-ТЕСТ (1 ИЗ 2)
Think aloud
• Подумайте, будете ли вы
просить респондента
комментировать свои
действия
• Из-за комментариев, вы не
сможете точно рассчитать
метрики, например, время на
выполнение задачи
• Из плюсов, получите
объяснения всех действий,
недопонимания и т.п.
37. КЛАССИЧЕСКИЙ ЮЗАБИЛИТИ-ТЕСТ (2 ИЗ 2)
Организуйте наблюдение
тестирования заказчиками
• Хотя бы пару сессий
тестирования все должны
посмотреть, иначе даже
самый хороший отчет пойдет
в стол
• Иногда это стресс
• Зато после теста можно
обсудить и, возможно,
изменить сценарий или даже
прототип
38. СБОР ИТОГОВЫХ ВПЕЧАТЛЕНИЙ
1. Итоговое интервью
• Положительные и отрицательные впечатления о работе с
продуктом
• Что запомнилось особенно сильно
• Пожелания
2. Опросники
• SUS
• Microsoft Desirability toolkit
• И мн.др.
40. КАК ВЕСТИ ПРОТОКОЛ ТЕСТА
Вариант 1. Сразу фиксировать проблемы
• Записывать надо меньше
• Анализировать такой протокол намного быстрее
• Можно какие-то проблемы упустить
• Чтобы анализировать поведение, придется пересматривать
видео
Вариант 2. Фиксировать всё происходящее
• Записывать надо намного больше
• Для анализа нужна будет новая таблица с описанием проблем и
поведения
• Можно уловить проблемы, которые на этапе проведения не
были осознаны модератором
41. ЧТО ФИКСИРУЕМ
1. Юзабилити-проблемы
2. Ранжируем проблемы по критичности
• Критичная – мешает продолжить работу с продуктом
• Важная – разражающая, столкнулось большое количество людей
• И остальные – лучше не вешать ярлык «некритичная». Это будет
означать тоже самое, будто вы ее не упомянули
3. Считаем метрики, о которых условились на этапе
планирования
4. Паттерны поведения
42. ПРИМЕР ТАБЛИЦЫ С МЕТРИКАМИ
Пользовате
ль N
Эффективность
выполнения задач
без оказания
помощи
[% выполнения]
Эффективность
выполнения задач
с оказанием
помощи
[% выполнения]
Время
на
задачу
(мин)
… Ошибк
и
Случаи
оказан
ия
помо
щи
1
2
N
Среднее
Стандартное
отклонение
Min
Max
Задача А
Польз
овате
ль N
Общая
эффективность
выполнения
задач без
оказания
помощи
[%
выполнения]
Общая
эффективность
выполнения
задач с
оказанием
помощи
[%
выполнения]
Общее
время
на
задачу
(мин)
… Всего
ошибок
Все
случаи
оказания
помощи
1
2
N
Средн
ее
Станд
артно
е
откло
нение
Min
Max
Итоговая таблица
44. ОТЧЕТ
Договоритесь со всеми заинтересованными лицами, в
каком виде всем удобно получить информацию.
1. Текстовый отчет
• Можно подробно и обстоятельно всё описать.
• Однако не все осилят прочитать большой объем
2. Презентация
• 1 слайд – 1 проблема
• Презентация – это и отчет и доклад
• Текст написан тезисно, нужно обязательно выступление и
пояснение
3. Прототипы
• Если работа исследователя и проектировщика тесно связана
• Их надо снова тестировать, потому что результаты юзабилити-
теста – это список проблем. Новое решение надо проверять
