Юзабилити-тестирование помогает выявить до 85% пользовательских проблем и необходимо для оценки и улучшения пользовательских качеств. А как быстро ответить на вопросы, типа "ну как наше мобильное приложение", "а кого вы считаете лучшим", "почему вы считаете, что у на не самое крутое приложение". Или так "вы нам сначала скажите, нужно ли что-то делать с нашим приложением, а потом обсудим детали". Юзабилити-рейтинг хорошь тем, что базируется на исследовании с практической ценностью и отвечает на вопросы руководителей. Чем отличается юзабилити-исследование от других, какую бизнес-эффективность в себе несет отчет по исследованию, что конкретно надо сделать для улучшения приложения - все это в юзабитили-рейтинге и отчете по исследованию.

1. ЮЗАБИЛИТИ-РЕЙТИНГ
МОБИЛЬНЫХ ПРИЛОЖЕНИЙ
БАНКОВ 2015

2. Протестированные задачи
• авторизация;
• проверка счетов и кредитов;
• просмотр истории операций;
• перевод между своими счетами;
• перевод на счет в другом банке;
• оплата услуг сотовой связи;
• оплата ЖКУ;
• поиск ближайшего банкомата.

3. Процедура отбора участников
исследования учитывает опыт
пользователей
опытные
120 респондентов
неопытные
15
банков
• юзабилити-тестирование
• eye-tracking
• tree-testing
• семантический дифференциал

4. Что мы вкладываем
в понятие «юзабилити»
• эффективность — способен ли пользователь решить
задачу;
• экономичность — сколько ресурсов он затрачивает на
выполнение;
• удовлетворенность — как оценивает свои субъективные
ощущения от работы с интерфейсом;
• надежность — насколько безошибочно приложение позволяет
справляться с заданием.

5. Меньше ошибок —
выше балл

6. Расчет юзабилити-рейтинга
• Данные по 6 метрикам переводятся в единую шкалу и, с
учетом веса каждой из метрик, обобщаются в юзабилити-
индекс каждого отдельного задания.
• Основная метрика исследования – количество и критичность
юзабилити-проблем – влияет на все остальные метрики
задания.
• Общий юзабилити-индекс приложения складывается из
показателей по отдельным заданиям, при этом они имеют
равный вес.
6 метрик
4 показателя
общий показатель по задаче
единый рейтинг

7. Юзабилити-рейтинг 2015
1. Сбербанк России
2. Банк Москвы
3. Тинькофф Банк
4. ВТБ 24
5. Банк «Санкт-Петербург
6. Хоум Кредит энд Финанс Банк
7. БИНБАНК
8. Ханты-Мансийский банк Открытие
9. Банк «Русский Стандарт»
10. РОСБАНК
11. Промсвязьбанк
12. АЛЬФА-БАНК
13. ЮниКредит Банк
14. Райффайзенбанк
15. Газпромбанк
89,68
89,19
87,36
87,31
86,74
83,57
83,16
82,22
80,92
79,17
78,80
78,07
75,61
75,26
64,87

8. Рейтинг — это упорядочивание
нескольких объектов
по определенному признаку
Критерии выбора признака:
• выраженность можно оценить по принципу «есть /
нет» или «больше-меньше»;
• представляет собой практический интерес для
потребителей рейтинга.

9. Как делают рейтинги?
• выбирают объекты сравнения (конкретные
мобильные приложения);
• выбирают признаки сравнения;
• выбирают метод оценки;
• проводят оценку, обобщают результаты;
• презентуют результаты.

10. Критерии качества рейтинга
• интересен ли признак, положенный в основу
рейтинга?
• можно ли доверять методу измерения признака?
• насколько адекватные выбраны инструменты
измерения признака?
• можно ли доверять людям, проводящим
измерения или выставляющим оценки?
• какие конкретные управленческие решения можно
принять, опираясь на рейтинг?

11. Чем юзабилити-рейтинг
отличается от других
существующих рейтингов
мобильных приложений

12. Рейтинг на основе чеклистов
• чеклисты составляют эксперты на основе своих
представлений о том, что должно быть в хорошем
мобильном банке;
• как правило, это рейтинги функциональности, хотя
в чеклист могут входить и другие критерии
(например, «история выписки на русском языке»)
• при этом никак не учитывается необходимость и
удобство функционала для реальных
пользователей;
• могут быть интересны для сравнения своей
«технологической продвинутости» с
конкурентами;
• однако нельзя забывать, что увеличение числа
функций не обязательно приводят к росту
удовлетворенности пользователей.

13. Функциональность мобильных приложений
И удовлетворенность пользователей не всегда связаны. В сравнительном исследовании приложений
новозеландских банков было показано, что банк с большим количеством функций, но менее удобным
интерфейсом, пользователи оценили гораздо ниже.

14. Исследование Optima Usability
0
10
20
30
40
50
60
70
80
90
100
AKZ ASB BNZ KiWi bank MY WW O
SUS Score Total # of Features Usability Issues
20
18
16
14
12
10
8
6
4
2

15. Рейтинг на основе
пользовательских отзывов
В основе – опросы пользователей или анализа
отзывов в магазинах приложений
• позволяют услышать голос живых пользователей
и могут принести некоторые полезные идеи;
• главный недостаток – измеряют мнения, а не
поведение:
✓ опросы: полученные ответы зависят от заданных вопросов;
реальные проблемы могут остаться незамеченными;
✓ анализ отзывов: высказываются самые довольные или самые
недовольные, объективность оценок страдает.
• как результат, сложно применить на практике:
✓ что, кроме очевидных технических проблем, исправлять в
системе для ее улучшения?
✓ как сравнить себя с конкурентами?

16. Рейтинг на основе сочетания
подходов
В основе – экспертная оценка качества (удобства)
интерфейса по чеклистам в сочетании с
минимальным пользовательским тестированием
• субъективность исследователей проявляется как
при составлении чеклистов, так и при оценке;
• в силу методологии мнения экспертов получают
гораздо больший вес, чем результаты
тестирования;
• возможность применения для улучшений МБ
ограничена, т.к. нет гарантий, что улучшение
интерфейса по конкретному пункту чеклиста
решит реальные пользовательские проблемы.

17. Общая проблема применимости
рейтингов мобильных банков
*цифры являются вымышленными и не относятся к конкретным рейтингам
78 ваш рейтинг*
рейтинг конкурента 1
рейтинг конкурента 2
86
74
• что делать с этими цифрами?
• использовать в целях маркетинга?
• и все?
• почему отстали от конкурента 1?
• как оторваться от конкурента 2?
• как это связано с бизнес-показателями?
Точного ответа – нет

18. Юзабилити-рейтинг
мобильных банков от
USABILITYLAB

19. Юзабилити-рейтинг — критерии
соответствия заявленной
ценности и названию
• Рейтинг должен иметь практическую ценность и обоснование оценкам
• Критерии оценки должны влиять и коррелировать с бизнес-эффективностью
• Функциональность не может иметь превалирующее значение при начислении баллов, поскольку не
коррелирует с юзабилити и удовлетворенностью пользователей
• Критерии должны быть однозначны, обоснованы и актуальны во времени
• Должно быть очевидно как повысить бизнес-эффективность канала и получить высший балл

20. Удобство интерфейса — реально
значимый признак для бизнес-
эффективности
• 1 из 6 клиентов готов сменить банк из-за недовольства
интерфейсом приложения (http://goo.gl/gQqjyW);
• в целом довольные клиенты в 3 раза менее склонны сменить
банк, чем недовольные (http://goo.gl/Qso0hk)
• для 60% клиентов при выборе банка мобильный банк играет
значимую роль (http://goo.gl/zVpZna);
• провести операцию через приложение в 41 раз дешевле, чем
через офис (http://goo.gl/X5fglb);

21. Преимущества подхода
USABILITYLAB
• Мы свели к минимуму эти негативные факторы за
счет методологии исследования и своего
профессионализма;
• рейтинг основан на количестве проблем, с
которыми столкнулись живые пользователи в ходе
решения реальных задач, а не на оценках
экспертов;
• мы максимизировали практическую полезность
отчета (см. дальше)

22. Влияние личности респондента на
результат
• * http://goo.gl/03Cj7n
• 5 респондентов достаточно для выявления 85%
проблем интерфейса*
• мы протестировали 8 на каждый банк;
• 1 респондент тестирует только 1 банк, при этом
тестируемое приложение он видит в первый раз –
так мы исключили влияние опыта на результат;
• это значит, что бо’льшая часть проблем
интерфейса будет выявлена независимо от
личности респондентов.

23. Специалисты провели более 150
тестирований и имеют опыт
работы более 3 лет
• * http://goo.gl/03Cj7n
• знают, как вести себя во время общения с респондентами;
• на какие особенности поведения пользователей обращать
внимание;
• какие вопросы задавать пользователям;
• как опознать и описать юзабилити-проблему.

24. Методология исследования
составлена специалистами
экспериментальной психологии
• Юзабилити-специалисты знают, как правильно проводить
исследования на людях, чтобы избежать сознательного
и непроизвольного искажения результатов;
• спланировать исследование, чтобы измерить именно то, что
нужно;
• в каких шкалах измеряются различные показатели;
• как правильно свести секунды, проценты и баллы в единую
осмысленную цифру.

25. Практическая польза

26. Не одна цифра, а несколько
• по каждому показателю;
• по каждой задаче;
• по отдельным показателям в задаче.
Благодаря этому даже без подробного отчета видны проблемные
области приложения (наиболее «провальные» задачи и метрики).

27. Единый рейтинг юзабилити
Можно гордиться, использовать для сравнения себя с конкурентами,использовать в
маркетинговых целях, включать в пресс-релизы.Получаем практическую ценность в сочетании с
практическим отчетом по исследованию.

28. 1 место
Сбербанк России
89,68
версия 1.0 от 24.10.2014
3 место
Тинькофф Банк
87,36
версия 3.0.3 от 10.04.2015
2 место
Банк Москвы
89,19
версия 1.0 от 24.10.2014
4 место
ВТБ 24
87,31
версия 6.4.0 от 06.04.2015
5 место
Банк «Санкт-Петербург»
86,74
версия 3.2.1 от 23.03.2015

29. 6 место
Хоум Кредит энд
Финанс Банк
83,57
версия 1.2 от 27.02.2015
8 место
Ханты-Мансийский
банк Открытие
82,22
версия 1.2 от 14.01.2015
7 место
БИНБАНК
83,16
версия 2.5.1 от 18.04.2015
9 место
Банк «Русский
Стандарт»
80,92
версия 3.2.17 от 4.03.2015
10 место
РОСБАНК
79,17
версия 1.18.0 от 15.03.2015

30. 11 место
Промсвязьбанк
78,80
версия 2.6.5 от 26.03.2015
13 место
ЮниКредит Банк
75,61
версия 2.5.5 от 21.12.14
12 место
АЛЬФА-БАНК
78,07
версия 5.7.1 от 10.02.15
14 место
Райффайзенбанк
75,26
версия 4.2 от 25.09.2014
15 место
Газпромбанк
64,87
версия 3.0 от 26.09.2013

31. Юзабилити-рейтинг 2015
1. Сбербанк России
2. Банк Москвы
3. Тинькофф Банк
4. ВТБ 24
5. Банк «Санкт-Петербург
6. Хоум Кредит энд Финанс Банк
7. БИНБАНК
8. Ханты-Мансийский банк Открытие
9. Банк «Русский Стандарт»
10. РОСБАНК
11. Промсвязьбанк
12. АЛЬФА-БАНК
13. ЮниКредит Банк
14. Райффайзенбанк
15. Газпромбанк
89,68
89,19
87,36
87,31
86,74
83,57
83,16
82,22
80,92
79,17
78,80
78,07
75,61
75,26
64,87

32. • Примеры найденных проблем
• Узнать больше о методологии, ценах и возможностях расширения
отчета: info@usabilitylab.net
Спасибо