Описание методологии юзабилити-тестирования 10 банкоматов.

1. СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ
УДОБСТВА БАНКОВСКИХ ПРОДУКТОВ
ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
Банкоматы 2014 - 2015 гг
Конфиденциальная информация 2014, ООО «Юзабилитилаб» ©

2. Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Мы проводили наше исследование в естественных
для пользователей условиях– в торговых центрах и
магазинах Москвы.
Для оценки решений мы использовали 9 различных
метрик, 7 из которых вошли в так называемый
«интегральный показатель юзабилити по задаче».
2
Цель исследования: сравнение удобства
реализации типовых операций в интерфейсах
различных банкоматов.
Методика исследования: сравнительное usability-
тестирование.

3. Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Почему для тестирования отобраны именно
типовые задачи?
Пользователи обращаются к банкомату
преимущественно ради выполнения базовых операций.
Отсутствие возможности быстро и эффективно
выполнить наиболее частотные операции приведёт к
отказу от использования банкомата.
3
Для тестирования были отобраны 7 наиболее
частотных и важных пользовательских задач:
Проверка баланса карты
Оплата мобильной связи
Внесение наличных
Перевод по номеру карты
Получение мини-выписки
Снятие наличных
Смена PIN

4. Что вы получите, читая этот отчёт?
● Видение преимуществ и недостатков продукта
глазами пользователей.
● Понимание возможных причин отказа от
использования продукта.
● Возможность по результатам исследования
исправить ошибки, мешающие пользователям
выполнять необходимые действия. И, как
следствие, повысить востребованность продукта
на рынке.
● Сравнение с другими банкоматами.
● Понимание того, какие показатели и задачи
являются наиболее проблемными у отдельных
банков и по отрасли в целом.
7
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

5. Для кого отчёт окажется наиболее ценным?
● Для руководителей и начальников отделов –
независимая сравнительная оценка результатов
работы по созданию и развитию своего
продукта.
● Для маркетологов и менеджеров продуктов –
основание для корректировки стратегии
развития и продвижения продукта.
● Для технических специалистов – основание для
внесения изменений в интерфейс продукта.
Для чего именно он будет полезен?
● Повышение удобства банкоматов и
удовлетворённости пользователей от работы с
ними.
● Снижение вероятности перехода к
использованию продуктов-конкурентов в связи
с проблемами интерфейсов.
● Улучшение интерфейсных конкурентных
преимуществ банкоматов, важных для
повышения лояльности клиентов.
8
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ

6. 9
Введение
БАНКИ-УЧАСТНИКИ

7. По каким критериям отбирались
респонденты?
В тестировании приняло участие 60 человек в
возрасте от 18 до 48 лет, которые были условно
разделены на две группы по опыту использования
банкоматов («опытные» и «новички»).
Ни один из респондентов не являлся клиентом
тестируемого банка.
«Опытными» считаются респонденты, которые
выполняли тестируемые операции через банкоматы
ранее.
«Новичками» считаются респондент, не имеющие
опыта проведения тестируемых операций (как
правило,только снимают наличные).
11
«опытные» «новички»
6 10 = 60х
Методы исследования
АУДИТОРИЯ

8. Юзабилити-тестирование – качественный
экспериментальный лабораторный метод анализа
взаимодействия пользователя с продуктом при
решении типичных задач (ГОСТ Р ИСО 9241-11).
Тестирование проводится в специально
оборудованной лаборатории.
Модератор зачитывает задание из сценария, которое
респонденту необходимо выполнить. Сценарий
тестирования не содержит шагов выполнения задания
или подсказок.
Операции респондент выполняет в обычном для себя
темпе и при необходимости комментирует
возникающие затруднения.
Модератор не вмешивается в ход работы
респондента, не задаёт наводящих вопросов и не
даёт подсказок. По завершении каждого задания и в
конце всего тестирования модератор получает
качественные данные с помощью интервью об
удобстве выполнения задания и впечатлении от
работы.
Модератор фиксирует время выполнения операции,
затруднения и вопросы пользователя, а также
наблюдает и анализирует его поведение.
13
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

9. После выполнения всех заданий пользователю
необходимо оценить свои впечатления от работы с
банкоматом по 17 парам прилагательных с
противоположными значениями.
Например, привлекательный/отталкивающий. На
шкале пользователь отмечает тот балл, который
лучше всего отражает его впечатление в контексте
предложенной пары характеристик.
Семантический дифференциал – метод построения
индивидуальных семантических пространств,
позволяющий оценивать восприятие одного и того же
объекта разными респондентами. Эта методика
пришла в маркетинговые исследования из психологии
(Ч. Осгуд, 1952 г.) Её результатом являются
качественные характеристики эмоционального
восприятия бренда, которые не влияют на
рейтинговый балл по задачам.
16
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

10. После выполнения каждого задания респондент
заполняет анкету с оперативными метриками. После
выполнения всех заданий респонденту даётся анкета
(итоговые метрики), в которой он оценивает свое
общее впечатление от работы с банкоматом по
предложенным вопросам.
Юзабилити-метрики представляют собой две анкеты
на 15 вопросов после каждого задания (оперативные
метрики) и на 7 вопросов после завершения
исследования (итоговые метрики). По каждому
вопросу респондент оценивает удобство банкомата
по 5-бальной шкале.
17
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ

11. Дополнительные показатели:Основые показатели:
Результативность
Юзабилити-ошибки
Эмоциональное восприятие бренда
Субъективная удовлетворённость
Непонятные формулировки
Наличие базового функционала
18
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ

12. Юзабилити-ошибки - количество проблем интерфейса, препятствующих совершению пользователем
необходимого действия и снижающих удовлетворённость от использования продукта.
Возникающие у пользователя затруднения фиксируются модератором в процессе тестирования.
В процессе анализа проблемы ранжируются по степени критичности. Критичными считаются те проблемы,
из-за которых респондент не смог выполнить задание (достичь нужного результата). Некритичными - те,
которые не помещали респонденту выполнить задание, но существенно затруднили его работу с
интерфейсом, малокритичными – те, которые несущественно затруднили выполнение задачи, но повлияли на
удовлетворённость от работы с интерфейсом.
vs
19
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

13. Успешность - число пользователей, успешно
выполнивших задание.
Во время тестирования модератор отмечает, было ли
задание выполнено респондентом.Для каждого
здания в сценарии задается критерий его успешного
выполнения.Для задач на просмотр информации в
качестве критерия выступает правильный ответ на
определённый набор вопросов.Для остальных задач
– это совершение операции. В качественном исследовании даже
невыполнение задания 2 из 6
респондентов может служить
индикатором наличия серьезных ошибок
в интерфейсе.
21
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

14. Удовлетворённость - субъективное восприятие
пользователем удобства работы с интерфейсом.
После выполнения каждой задачи и завершения
тестирования респондент заполняет анкету, в которой
по шкале от 1 до 5 оценивает удобство работы с
банкоматом по различным параметрам.
Максимальный балл всегда соответствует
положительному полюсу, минимальный –
отрицательному.
Методика оценки удовлетворённости «Метрики
субъективной удовлетворённости» разработана при
участии Института Психологии РАН, А.Н. Костиным,
д.п.н.
Нет смысла спрашивать респондента
«Понравился ли вам интерфейс
банкомата?»,
чаще всего респонденты отвечают
на такие вопросы утвердительно, даже
не задумываясь о смысле своего ответа.
Мы не задаем респондентам прямые
вопросы об удовлетворнности,
поскольку данные параметры являются
очень субъективными, и разные
респонденты могут вкладывать в это
различный смысл. Мы используем
специальные объективные методики для
оценки удовлетворённости.
22
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)

15. Непонятные формулировки – соответствие названия раздела тому смыслу, который вкладывают в это
название пользователи, либо фактическому содержанию этого раздела.
Показатель представляет собой количество неясных формулировок, встретившихся респондентам при
выполнении базовых операций через банкомат.
23
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)
Наличие базового функционала – фактическое присутствие или отсутствие в банкомате возможности
выполнить базовые 7 операций, по которым производится сравнительное исследование.

16. Эмоциональная оценка. Для каждого банка строится семантический профиль на основе оценок
респондентов по парам прилагательных. Затем для каждого банка отбираются наиболее характерные
прилагательные (имеющие наибольший балл) и производится качественный анализ полученных результатов.
Также можно сравнить банкоматы по доминирующим характеристикам.
25
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ДОПОЛНИТЕЛЬНЫЕ)

17. Рейтинг удобства банкоматов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА
17
Для расчёта балла, присваиваемого каждой
операции, основные измеряемые показатели были
объединены в 4 фактора, отражающие различные
аспекты взаимодействия пользователя с
интерфейсом.
Итоговый балл для каждой операции рассчитывался
с учётом вклада каждого из факторов.
Дополнительный показатель (эмоциональная
оценка) не влияет на рейтинг.
Эффективность как различные аспекты
результативности выполнения заданий.
Экономичность как затраты на деятельность т.е.
ресурсы пользователя, затрачиваемые на работу с
системой.
Удовлетворённость как отношение пользователя к
продукту.
Надёжность как помехоустойчивость выполнения,
безошибочность, рисков и возможных опасных
последствий.

18. Результативность Количество
ошибок
Оперативные метрики Итоговые метрики
и безопасность
Функциональность
27
Эффективность Экономичность Удовлетворённость
Надёжность
Рейтинг удобства банкоматов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

19. Эффективность
Отражает степень соответствия интерфейса реальным жизненным задачам пользователей. Фактор
складывается из того, насколько полно и качественно интерфейс предоставляет пользователю
информацию, и насколько верно и точно пользователь совершает все действия при работе с
интерфейсом при выполнении базовых операций.
Экономичность
Отражает то, насколько легко и быстро интерфейс дает возможность пользователю достичь своих целей.
Складывается из того, сколько времени и усилий пользователь вынужден затрачивать, насколько он
утомляется, насколько интерфейс облегчает работу пользователю, предоставляя подходящие в данный
момент подсказки и быстрые решения.
Удовлетворённость
Отражает то, насколько высоко пользователь оценивает удобство работы и привлекательность
интерфейса. Складывается как из объективных показателей, зафиксированных на тестировании,таких
как предсказуемость поведения интерфейса, его понятность, так и из субъективных эмоциональных
оценок впечатления от работы с продуктом. В итоге, показатель комфорта описывает то, как пользователь
воспринимает работу с интерфейсом в целом.
28
Рейтинг удобства банкоматов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

20. Надёжность
Отражает то, насколько стабильно интерфейс дает пользователю возможность достигать своих целей.
Показатель складывается как из количества и критичности ошибок, которые совершает пользователь при
работе с банкоматом так и из субъективного впечатления о надёжности и предсказуемости работы.
Функциональность
Отражает количество операций из 7 типичных пользовательских задач, которые теоретически возможно
выполнить в интерфейсе банкомата При этом, если одно из заданий, не смотря на теоретическую
возможность выполнения, не выполнено ни одним респондентом, функциональность также страдает.
29
Рейтинг удобства банкоматов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА

21. СТОИМОСТЬ ОТЧЕТА
21
Общий отчет
150 000 руб
Индивидуальный отчет
+ 50 000 руб
Конфиденциальная информация 2015, ООО «Юзабилитилаб» ©
Общий отчёт по сравнительному исследованию
банкоматов содержит анализ лучших и худших решений
по каждому измеряемому показателю, а также по каждой
пользовательской задаче.
Подробные отчёты по отдельным банкам содержат
подробный анализ прохождения всех задач в конкретном
банке (в том числе, данные метрик), с указанием всех
возникших проблем в интерфейсе и рекомендациями по
их устранению, а также удачных интерфейсных решений,
которые положительно повлияли на общие показатели
удобства. Подробный отчёт составляется дополнительно
по запросу со стороны заказчиков.

22. КОНТАКТНАЯ ИНФОРМАЦИЯ
Ася Жукова, UX-manager
+7 926 348 75 79
a.zhukova@usabilitylab.net
Россия, Москва, Звездный бульвар, д. 21, стр. 1
www.usabilitylab.ru
+ 7 (495) 933-01-37
info@usabilitylab.net
Конфиденциальная информация 2014, ООО «Юзабилитилаб» ©