2. Респондент и модератор. Взаимодействие и диалог
Активное
вмешательство
После каждого действия респондента модератор
спрашивает, почему респондент действует именно
так; на каждом экране модератор спрашивает, как
именно респондент понимает назначение и функции
этого экрана.
Пассивное
наблюдение
Респондент выполняет тестовые задания не
отвлекаясь, его действия анализируются (во время
теста или после, по протоколам), что позволяет как
найти проблематичные фрагменты, так и замерить
эргономические характеристики интерфейса.
4. Прикиньтесь роботом и сохраняйте спокойствие
Я нажимаю, но ничего
не происходит?
Почему,
ПО-ЧЕ-МУ?!
5. Вывести из тупика:
Как вы сами думаете?
Где бы вы стали искать?
Что сейчас происходит?
Что вы сейчас делаете?
Какие у вас комментарии?
Объясните, пожалуйста…
7. – Стали бы вы
пользоваться этой
функцией?
– Стал бы пользоваться.
– Легко ли было выполнить
задание?
– Легко ли.
2. Закрытые вопросы. Примеры
8. – Вы нашли всё, что вам нужно?
– Нашёл всё, что мне нужно.
– А расскажите-ка, что вам
нужно?
– Какие элементы на
этой странице
указывают на то, что вы
можете оставить отзыв?
2. Как не задавать закрытые вопросы
13. Итак, вы
нажали сюда,
потому что
подумали, что
спишется
комиссия, но
потом
заметили, что
никакой
комиссии нет,
поэтому снова
возникло
затруднение, и
вы перешли по
другой ссылке, и
ничего не
Д-да…
4. Новая реальность
14. 4. Новая реальность: примеры
То есть вы
хотите сказать,
что эта страница
вам непонятна?
Т.е. в первую очередь вы
обращаете внимание на то,
что выделено желтым?
Вы так не
сделали, потому
что здесь меньше
уровень
надежности?
15. 4. Новая реальность: контролировать себя
Ценность слов модератора во
время теста стремится к нулю
Чтобы убедиться, что сделан
правильный вывод, задайте
правильный вопрос.
Получите доказательства.
16. Что это за экран,
как вы
понимаете?
5. Ускоренный модератор
17. 5. Ускоренный модератор: чуть помедленнее
Дайте респонденту время
сделать то, что он
собирался.
Не торопите события.
18. Я прочитал условия,
но не знаю,
соглашаться с ними
или нет… Нужно
перечитать.
6. Долгий-долгий тест
19. 6. Долгий тест: уже некуда торопиться
Не торопите важные события.
Задания для обязательной проверки
перенесите в начало сценария
Озвучьте респонденту план сессии
тестирования
22. 8. Профессиональная лексика.: просто не используйте ее
Осуществляете
операции в
интернет-банке
Выполняете
задачи в
интерфейсе
Оплачиваете
мобильный
Переводите деньги
родственникам
Карусель, аккордеон,
сервисы, хлебные
крошки и т.д.
Платите по кредиту
Привет. Меня зовут Куликова Даша, я работаю в Юзетикс уже около шести лет, и за это время мы успели накопить опыт проведения ЮТ, а также опыт ошибок модерирования
За эти 10-15 минут я успею рассказать о семи основных ошибках, получится такой топ-7.
Если мы говорим про модерируемый тест, это означает, что он подразумевает взаимодействие двух людей. Любое взаимодействие происходит по правилам. Нарушение этих правил приводит к ошибкам, сбоям, которые не позволяют получить релевантные результаты.
Существует два вида взаимодействия, которое используется в ЮТ: активное вмешательство и пассивное наблюдение. Сейчас часто используется микс двух этих методов – респондент молча выполняет задание, и уже потом ему задаются вопросы.
Первая ошибка, наиболее опасная для метода пассивного наблюдения – модератор постоянно напоминает о себе, модератора слишком много.
Вместо того, чтобы молчать, пока респондент выполняет задание, он активно поддакивает, угукает, кивает головой или вставляют какие-то свои реплики.
из-за того что он постоянно напоминает о своем присутствии, респондент ведет себя неестественно– он действует не так, как действовал бы в реальной ситуации, а как будто со страховкой, потому что чувствует одобрение, чувствует, что кто-то готов прийти к нему на помощь, даже если модератор не сообщал ему об этом в явном виде.
Другая, более редкая проблема – подсказки модератора с помощью языка тела.
Наблюдать абсолютно нейтрально очень сложно, поэтому модератор вдруг начинает Хмуриться, если респондент делает что-то не так, или наоборот незаметно для себя кивает, наклоняет голову подбадривающе Респондент эти все знаки со стороны модератора воспринимает как одобрение, он как будто чувствует поддержку, страховку, даже если модератор в явном виде не пытался ему помочь.
Почему это плохо: респондент ведет себя не так, как в реальной жизни, ему не страшно допустить ошибку, пойти по неверному пути, потому что он чувствует, что ему здесь помогут, подскажут.
Основной совет для этой проблемы и не менее актуальный для последующих: представьте, что вы – робот.
В каком смысле я использую этот термин.
Робот не демонстрирует эмоций, не питает никаких чувств к респонденту, он сохраняет полный нейтралитет, а – самое главное – он всегда помнит о цели, для чего он всё это делает.
Но что же делать, если респондент в тупике, если он бьется как бабочка в стекло, и не понимает, что ему делать дальше с интерфейсом, заданием и пр.
В этом случае модератор должен помочь респонденту, но сделать это так, чтобы не подсказать напрямую, не повлиять на результат.
Если респондент активно обращается за помощью, задаёт вопросы – просто верните их ему (а как вы сами думаете?)
Если респондент молчит, но вы видите, что он в тупике – подтолкните его, например, вопросом, приводящим в сознание, чтобы он вспомнил про вас – что вы сейчас делаете? Что происходит?
Можно просто напомнить респонденту задание – так вы точно не подскажете, но сможете подтолкнуть респондента к тому, чтобы он либо продолжил, либо объяснил, в чем затык.
Даже опытные модераторы, когда дело касается обсуждений с респондентом, начинают задавать закрытые вопросы.
Это вопрос, подразумевающий односложный ответ (например, «да» или «нет»)
Что будет отвечать респондент? Включать мозг, отвечая на такие вопросы, совершенно не обязательно, он может просто повторять эхом ту часть вашего вопроса, которая содержит ответ. Более того, не нужно обращаться к своему опыту – глобальному, или только что пережитому опыту выполнения задания.
– Вы нашли всё, что вам нужно?
– Нашёл всё, что мне нужно
– А почему вы не выбрали эту функцию, вы ее не заметили?
– Я её не заметил.
– Понятно было, сколько составляет комиссия?
– Понятно было.
Другая ошибка формулировки вопросов -
Или два вопроса в водном А почему вы не выбрали эту функцию, вы ее не заметили? Сколько составит комиссия, как вы это поняли?
Ну, что вы там ожидаете увидеть? Что вам интересно? Ну, что там? Что?
Старайтесь формулировать вопросы так, чтобы они начинались с вопросительного слова «кто?», «что?», «где?», «когда?», «как?» и «почему?».
Правильные вопросы:
Что вы сейчас делаете?
Где вы видите эту возможность?
Почему вы так думаете?
Зачем вы перешли по этой ссылке?
Когда вы заметили эту кнопку?
Зачем вам нужна эта информация?
Какую информацию/кнопку/ссылку вы стали бы использовать в реальной жизни?
и т.д.
Из ситуации, когда вы задали бесполезный вопрос, можно выйти. Например, вы спросили: «все понятно?», на что респондент, радостно и не задумываясь отвечает эхом– да конечно все понятно!
Хорошо. А что именно вам понятно, объясните.
Или: расскажите, что сейчас произошло. Как вы поняли.. И т.д.
Одна из самых распространенных ошибок взаимодействия между людьми в обычной жизни, в повседневном общении – это разные контексты существования двух людей.
Пока два человека не войдут в одну систему координат, не определят понятия, они не смогут понять друг друга.
Вот пример, где модератор разошелся с респондентом по разным, параллельным мирам, только потому что не захотел или не смог разобраться.
Респондент выполняет задание оплатить покупку в чекауте любым способом, при этом в чекауте есть выбор способа оплаты – наличными или картой.
Допуская много ошибок, плутая, респондент все-таки завершает оплату, делает это с помощью банковской карты.
Задание выполнено, теперь модератор может задавать вопросы:
Как вам этот способ оплаты, - задает он вопрос.
Что не так? На самом деле респондент хотел оплатить наличными, а выбрал способ оплаты картой фактически случайно, не заметил этого.
Модератор ничего об этом не знал, у него своя реальность, свой мир, и в этом мире респондент выполнил задание.
Реальность респондента (а, значит, реальность тестирования) такова, что задание не выполнено.
Избежать этой проблемы можно было
Правильный вопрос в этой ситуации: после того, как респондент сам сказал, что оплатил покупку, спросить: как вы это сделали? Откуда списались деньги? Почему вы так решили?
В данном случае просто увидеть было недостаточно.
Увиденное нужно было еще и верно интерпретировать.
Убедитесь, что вы одинаково видите ситуацию, найдите пересечение.
Важно помнить. То, что кажется модератору очевидным, не существует в мире респондента. Это может быть как какой-то элемент, объект, так и проблема. А значит и не существует пока в мире результатов и проблем интерфейса.
!Имя элементу или объекту еще не дано,не делайте это за респондента.
Еще один способ изменить реальность респондента – это построить для него новый, лучший мир.
Рассказать ему, как он на самом деле думает, а также почему он поступил так или иначе.
Обычно такой пересказ начинается со слов «то есть». Или «я правильно вас понял?»
Чтобы анализировать результаты теста, необходимо опираться на полученные в ходе эксперимента факты.
Ценность слов модератора не является фактом, и стремится к нулю, использовать эту инфорамцию для отчета нельзя. Модератор может задать мне справедливый вопрос – а что, если я хочу убедиться, что правильно понял респондента?
Отвечу – то, что вы для себя сформулировали, интерпретировали, нужно проверять не у самого респондента, а его действиями. Нужно добиться от респондента доказательств. Бесполезно спрашивать у респондента, почему, он не знает. А знать и понять это может только специалист, но только если соберет наблюдения.
Иногда модераторы очень торопятся.
Простой пример:
Экран, который появляется на последнем шаге перевода с одного электронного кошелька на другой.
Чтобы завершить платеж, нужно отправить смс.
При этом респонденты не читали текст, который написан, а сразу переходили к изучению кнопок Закрыть и В избранное, пытались выбрать, что им больше в данной ситуации подходит.
Итак, какие наблюдения можно было получить: респондент доходит до этого экрана, нажимает, например, Закрыть, и про то, что нужно отправить смс,и не догадывается.
Деньги не переведены, пользователь об этом не в курсе. Довольно критичная ошибка, важное наблюдение.
Что происходит на тесте.
Открывается этот экран, модератор выжидает пару секунд и задает коронный вопрос (который сам по себе, в общем, и не ужасен, но только если задать его вовремя).
Итак, он спрашивает: Что это за экран, как вы понимаете?
И чтобы ответить на этот вопрос, респондент начинает изучать экран, замечает текст про смс, и всё, данные потеряны.
В отчете пишем: экран понятен, проблем не зафиксировано. Получены данные, которые оторваны от реальной жизни.
А ведь если бы модератор подождал несколько секунд, прежде чем задать этот вопрос, то получил бы результат «не выполнено» для этого задания.
Не торопитесь, дайте респонденту самому изучить экран, совершить действия, которые он хочет на нем совершить.
Но как не совершить другую ошибку – растянуть тест?
Можно затупить на первом же задании, не успеть остальные.
Бывают просто очень медленные респонденты, которые все очень медленно все делают, или начинают о разном говорить, размышлять не по делу.
Как остаться в рамках 1-1,5 часов.
Распределить время на задания.
Пометьте себе, какие гипотезы надо проверить
Если респондент в тупике и не может продолжить задание, пометьте его себе как не выполненное, и направьте респондента, чтобы проверить другие экраны.
Важные задания нужно перенести в начало сценария
Расскажите респонденту план сессии. Если он будет знать, что ему предстоит выполнить 100 заданий, вряд ли начнет пускаться в непонятные разговоры.
Модераторы обычно знают, какие гипотезы должны быть проверены в ходе теста, на какие вопросы тестирования должны получить ответы.
Для себя гипотезы специалисты формулируют в понятных для себя терминах, однако потом эти же термины перетекают в вопросы респондентам.
Но в тест эти вопросы он и переносит в том виде, в каком согласовывал их с заказчиком.
Например вопрос про интернет-банк:
Хотели бы вы осуществлять операции, управлять своими средствами, контролировать расходы? - респондент не осуществляет операции. Респондент платит за телефон, переводит деньги родственникам, платит по кредиту и так далее. Он не управляет средствами, он смотрит, сколько и на что потратил денег.
Для респондента не существует задач в интерфейсе, для респондента не существует взаимодействия, это слова, которые для респондента подобны пустому звону.
Используете ли вы аккордеон?
Крутите карусель?
Переходите по хлебным крошкам?
Приемы – говорить простым языком – что вы обычно делаете в вашем интернет-банке?
Использовать термины респондента.
Если вы ее не знаете, нужно послушать внимательно, как он называет те или иные объекты, и использовать те же термины.
Возможно, вы замечали, что когда слушаешь диалог других людей и не вмешиваешься, то начинаешь замечать, что люди говорят совершенно о разном. Но диалог при этом продолжается.
Когда ты находишься внутри диалога, когда ты один из его участников, сложно понять, что каждый из собеседников друг друга не слышит и не понимает
Первое:
Очень рекомендую модераторам смотреть тесты других модераторов и узнавать себя, свои ошибки.
И, конечно же, смотрите свои собственные тесты тоже. Возможно, вы узнаете о себе много нового, например, про слова-паразиты (вот, как бы, эээээ, ну и ..) или про то, что вы делаете мучительно долгие паузы, во время которых респондент успевает уснуть, проснуться, обдумать свою жизнь.
Второе: Я перечислила лишь малую часть ошибок при интервью, которые мешают получить достоверные релевантные данные. Это ошибки, которую напрямую влияют на результаты.
Корень большинства этих ошибок заключается в том, что модератор не отдаёт себе отчёта в том, для чего он всё это делает. Для чего задаёт вопросы, для чего наблюдает за процессом выполнения заданий. Не отдаёт себе отчет не означает, что он вовсе не знает о целях тестирования, целях проекта. Но он может и забыть, потерять концентрацию.
Всегда нужно понимать цели проекта, цели тестирования, глобальные цели. В любой момент времени модератор должен отдавать себе отчет в том, что происходит, для чего, можно ли сделать вывод из наблюдений, или нужно что-то уточнить, что-то доспросить. Поэтому почти любая книга по модерированию начинается с того, что автор рекомендует сохранять предельную концентрацию. Быть максимально внимательным, собранным.
Be sharp
Для этого нужно понимать вопросы тестирования, все частные гипотезы (для чего задается каждый вопрос, что мы пытаемся этим выяснить?). Может быть даже есть смысл видеть цели каждого вопроса во время теста модератору. Но это уже относится к подготовке сценария и планированию самого теста, а это уже совсем другая история.
Третье. Важно помнить. То, что кажется модератору очевидным, не существует в мире респондента. Это может быть как какой-то элемент, так и проблема. А значит и не существует пока в мире результатов и проблем интерфейса.
Ну и, конечно, все приходит с опытом.
Умения избегать ошибок или умение их быстро исправлять.
Умение формулировать вопрос так, чтобы получить не тот ответ, который будет приятно услышать, а тот ответ, который позволит сделать выводы об интерфейсе.
Не о респонденте и его поведении, а вывод об интерфейсе.
Потому что именно в этом и состоит цель юзабилити-тестирования.
