71 вебинар посвященный вопросам организации удаленного немодерируемого тестирования

1. Лаборатория онлайн: как провести исследование через Сеть 71 вебинар UX Russia АндрейСикорский 22 апреля 2010 года

2. Сначала была идея... ... и идея была проверить: Новый дизайн Новую функциональность «Хм, а работает ли мойпродукт?» ... А что говорят «великие»?

3. Что говорит наука? «Кто не наблюдал поведения пользователей в лаборатории, тот не знает своего продукта» (С. Беркун) «Протестируйте и поправьте. Потом протестируйте еще раз» (Я. Нильсен) «Этап оценки – ключевой в разработке интерфейсов» (стандарт ISO 9241-210 и UsabilityLab)

4. Какое исследование будем проводить? Лаборатория/удаленное модерируемое Малое количество людей Желательность помещения и оборудования Наблюдаем поведение Собираем метрики Детальный анализ действий пользователя(ретроспектива, think aloud) Хороший контроль за респондентом ... Удаленное немодерируемое исследование Большее количество людей Количественные метрики Не нужно помещение, но нужен инструментарий Собираем количество, в меньшей мере поведение Ограничены в вопросах Меньший порог вхождения Естественные условия Малый (или отсутствующий) контроль за респондентом ...

5. Кто победитель? Каждый метод хорош для своего, и они не заменяют, а дополняют друг друга Лучше провести любой тест, чем вообще не пропустить этап оценки

6. Удаленное немодериуремое исследование:что можно а что нельзя

7. Что можно провести удаленно? Тест 5 секунд Облегченная версия классического теста Найти информацию Совершить какое-либо действие Тест предпочтений Семантический дифференциал Тест на прилагательные Прямая и обратная карточные сортировки Карта кликов

8. Инструментарий Карточная сортировка websort.net Удаленное тестирование Loop11.com UserFly.com Usabilla.com 5-ти секундный тест fivesecondtest.com Регистраторы кликов ClickTale Clixpy ClickHeat CrazyEgg … Прочая аналитика Google Analytics Google Web Site Optimizer ... http://www.usefulusability.com/24-usability-testing-tools/

9. Ограничения удаленного исследования? Первичное исследование для выявления крупных проблем Степень понимания и объяснения поведения пользователей Продолжительность сессии исследования (в онлайне – до 20 минут) Соображения секретности/приватности Для онлайн-исследования нужен интернет

10. Особенности и возможности онлайн-исследований

11. Что можно получить? Ограничения естественной среды Разрешения Производительность Браузеры Окружение Друзья, отвлечения и т.п. Непредвзятость? Т.к. нет фасилитатора – никто не смущает Но остается вопрос отношения к продукту Последовательность переходов и кликов Куда шел, когда отошел от намеченного пути

12. Сравнение вариантов продукта Несколько версий сайта (старая и новая, например) сравниваются по основным задачам Используются 5-sec тесты или полноценные инструменты для удаленного немодерируемого тестирования Может являться частью a/bтеста

13. Сбор общих метрик Собрать метрики Эффективность - количество выполненных заданий Ресурсоемкость – время выполнения но неточно! Удовлетворение- на уровне анкеты или опроса «в одну сторону» Не привязано ко времени (можно набрать сколь угодно большую выборку)

14. Сбор обратной связи/комментариев Дать после выполнения задания прокомментировать сложность Собрать комментарии с небольшим пост-опросом Принять решение

15. Особенности Краткость сессии теста Задания должны быть сформулированы максимально четко, но при этом без подсказок Сложность выяснения дополнительных данных Все должно быть тщательно спланировано и предусмотрено! Это автоматический эксперимент, а значит он должен быть абсолютно повторяем проводиться на идентичином наборе данных

16. Комбинация с другими методами Тест в лаборатории после онлайн-исследования Определить, какие задачи требуют больше времени или имеют низкую оценку Провести лабораторный тест по ним Тест в лаборатории до онлайн-исследования Получить количественные подтверждения Эксперная оценка после проведения онлайн-исследования Более подробно разобрать причины обнаруженных трудностей Проведение фокус-групп до онлайн-исследования Получение материала для исследования (разных дизайнов) Веб-аналитика

17. 6 принципов проведения онлайн-исследования На выполнение всех заданий должно уходить не больше 20 минут Респонденты не должны участвовать в исследовании только из-за оплаты Сделайте награду небольшой Удостоверьтесь, что тест был выполнен осмысленно – по времени, по действиям Всегда проводите пилотную сессию! Сценарий должен быть детальным и конкретным Измеряйте поведение, а не мнения Не стоит проводить пост-опросники, направленные на сбор мнений Используйте шкалы, семантический дифференциал, стандартные Ю-метрики Исключайте влияние Давайте задачи в случайном порядке, чтобы исключить эффект ознакомления Задавайте вопросы максимально просто и отстраненно Не используйте онлайн-исследования как замену прямым наблюдениям

18. Полезные материалы 40 вебинар - ИнструментыаналитикиимониторингаповеденияпользователейвИнтернет http://groups.google.com/group/uxrussia/web/40-unmoderated-capturing-tools 42 вебинар – Google Website Optimizer http://userexperience.ru/webinars/42-google-website-optimizer 45 вебинар – карточная сортировка http://userexperience.ru/webinars/45-cardsorting/ Книжка Beyond the usability lab (Bill Albert, Tom Tullis, Donna Tedesco) http://www.usefulusability.com/24-usability-testing-tools/

19. Спасибо за внимание