Это самое полное исследование по юзабилити ДБО, которое мы только делали. Помимо юзабилити-тестирований частотных пользовательских задачи в этом году мы хотим оценить юзабилити всей функциональности.
Отчет по функциональности интересен данными о востребованности функций, что позволяет делать план развития ДБО. Наиболее актуальный и открытый чек-лист функциональности (fr.usabilitylab.ru) поддерживается благодаря экспертам банковской среды.
Еще одна потрясающая новость: в отчет войдут рекомендации по улучшению мобильных приложений банков для незрячих. И тут важным моментом является то, что речь идет не об отдельном приложении, а о корректной верстке и работоспособности приложения для различных ридеров.
2. Что вы получите, читая этот отчёт?
● Отраслевое юзабилити-исследование
мобильных приложений банков и интернет-
банков.
● Видение преимуществ и недостатков
продукта глазами пользователей.
● Понимание возможных причин отказа от
использования продукта и перспективу
развития функциональности.
● Возможность по результатам исследования
исправить ошибки, мешающие пользователям
выполнять необходимые действия. И, как
следствие, повысить востребованность
продукта на рынке.
● Сравнение с сервисами других банков и
понимание того, какие решения работают
эффективно.
● Понимание того, какие показатели и задачи
являются наиболее проблемными у ваших
решений.
7
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
Измеряемые показатели и метрики.
● Сравнительное юзабилити-исследование
частотных задач
● Сравнение функциональности (сравнение с
предыдущей версией и другими 14 банками).
● Рейтинг функциональности с учетом
коэффициента востребованности.
● Юзабилити-оценка всей функциональности на
основе чек-листа.
● Детальный отчет и юзабилити-метрики по 8
частотным задачам
● "accessibility" мобильных приложений банков и
интернет-банков 2017. Детальный отчет.
3. Для кого отчёт окажется наиболее
ценным?
● Для руководителей и начальников отделов –
независимая сравнительная оценка
результатов работы по созданию и развитию
своего продукта.
● Для маркетологов и менеджеров продуктов –
основание для корректировки стратегии
развития и продвижения продукта.
● Для технических специалистов – основание
для внесения изменений в интерфейс
продукта.
Для чего именно он будет полезен?
● Повышение удобства мобильных интернет-
банков и удовлетворённости пользователей
от работы с ними.
● Снижение вероятности перехода к
использованию продуктов-конкурентов в
связи с проблемами интерфейсов.
● Улучшение интерфейсных конкурентных
преимуществ мобильных интернет-банков,
важных для привлечения новых клиентов
банков.
8
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
4. 8
КОММЕРЧЕСКОЕ ПРЕДЛОЖЕНИЕ
Мобильное
приложение
Интернет-банк
Общий отраслевой отчет по
юзабилити, функциональности,
accessibility
Да Да
Детальный отчет по оценке
юзабилити и рекомендации по
вашему решению
Да Да
Детальный отчет по оценке
функциональности и
рекомендации по развитию для
вашего решения
Да Да
Юзабилити-оценка всей
функциональности
Да Да
Детальный отчет по оценке
accessibility вашего решения
Да Да
Стоимость По запросу По запросу
Сроки 1 неделя после
подписания
15.08.17-15.10.17
5. ИТОГОВЫЕ ПОКАЗАТЕЛИ. РЕЙТИНГ БАНКОВСКИХ
ПРИЛОЖЕНИЙ
5
Лидерами стали приложения банков Тинькофф Банк , ВТБ24 и
Сбербанк. Данные приложения содержат большинство
востребованных функций, а реализация топовых функций
сделана довольно удобно.
Позиции повышали наличие востребованных функций и
положительных оценок пользователями на очном юзабилити
тестировании, снижали юзабилити-проблемы, часть из
которых являлись критичными.
В мобильных приложениях, оказавшихся внизу списка,
увеличено время выполнения основных операций. Они
предоставляют пользователям, в основном, базовые
возможности. При этом в основных задачах встречаются
критичные юзабилити-проблемы.
Проблемы встречаются во всех задачах во всех мобильных
приложениях, но в топ-приложениях практически не
встречаются высококритичные проблемы.
1. Тинькофф Банк 90.10
2. ВТБ24 87.55
3. Сбербанк 87.22
4. Альфа-Банк 76.59
5. Промсвязьбанк 76.07
6. Открытие 75.36
7. Бинбанк МДМ 75.23
8. Русский Стандарт 75.16
9. РайффайзенБанк 70.64
10. Банк Санкт-
Петербург
70.27
11. ЮниКредит Банк 70.17
12. Росбанк 68.29
13. Банк Москвы 65.97
14. Хоум Кредит 64.69
15. Газпромбанк 61.89
8. 8
• Функциональность
Этап 1: Контрольный список функций и параметров
Перед стартом исследования этого года мобильные
приложения были изучены на предмет новых
возможностей, появившихся с прошлого года.
Вся имеющаяся функциональность делится на
функции и параметры этих функций. К примеру,
возможность посмотреть информацию об
отделениях банка – это функция, а возможности
посмотреть телефон, адрес, схему проезда, время
работы – параметры реализации данной функции.
Новые возможности были добавлены в контрольный
список в виде новых функций или параметров уже
имеющихся функций. Итоговый список включает 200
функций.
Этап 2: Массовый онлайн-опрос
Затем был проведен опрос пользователей, который
включал оценку востребованности всех новых
функций и параметров (по 150 респондентов на
каждую). Кроме того, в опрос были включены
некоторые функции из прошлого года, чтобы
проверить их вес.
Вес каждой функции контрольного списка был
обновлен с учетом оценок, полученных в результате
опроса 2017.
Этап 3: Оценка функциональности мобильных
банковских приложений
Эксперты проверили наличие каждой функции и
параметров этой функции в приложении банка.
Итоговый показатель функциональности мобильного
приложения был рассчитан как сумма весов
имеющихся в нем функций и параметров.
МЕТОДОЛОГИЯ ИССЛЕДОВАНИЯ
ФУНКЦИОНАЛЬНОСТИ
9. 9
Дополнительно были составлены списки функций в
соответствии с моделью Н. Кано, позволяющей в
дальнейшем преобразовывать пожелания
пользователей в требования к продукту.
Согласно модели можно выделить несколько типов
функций:
• привлекательные – вызывают восторг и
удовлетворение;
• желаемые – их наличие вызывает восторг, а
отсутствие – неудовлетворённость;
• необходимые – их наличие не вызывает сильного
восторга, но отсутствие резко понижает
удовлетворённость;
• нежелательные – наличие этих функций вызывает
неприязнь пользователей.
Критерием для отнесения к одному из типов является
соотношение ответов пользователей на
положительные («как бы вы отнеслись к
возможности…) и отрицательные («как бы вы
отнеслись к отсутствию возможности…)
формулировки вопросов для каждой из функций
контрольного списка.
Исследование востребованности функциональности
МЕТОДОЛОГИЯ ИССЛЕДОВАНИЯ
11. 29,7 %
35,4 %
26,8 %
Низкая
Средняя
Высокая
По востребованности
Внедренные
42,6 %
47,8%
40,8 %
Необходимые
Желаемые
Восхищающие
По модели Н. Кано
Внедренные
11
В мобильном приложении банка в среднем
внедрено около 30% функций высокой
востребованности. У лидеров сравнительного
исследования реализация функций высокой
востребованности составляет больше 40%.
По модели Н. Кано процент реализованных
функций категории «Необходимые» составляет
более 40% (примерно столько же, сколько у
лидеров), а в категории «Желаемые» почти 50%
(у лидеров около 60%). Процент внедрения
восхищающих функций составляет 40,8% (у
лидеров около 35%). Для достижения более
успешного взаимодействия с пользователями
нужно сделать упор на необходимые, так как они
влияют на удовлетворенность пользователей в
первую очередь.
ОЦЕНКА РЕАЛИЗОВАННОСТИ ФУНКЦИЙ В
ПРИЛОЖЕНИИ
12. 12
• Посмотреть подробную информацию о каждой из
проведённых операций: время проведения, тип и
статус операции, описание операции в виде тега
или заметки - Райффайзенбанк
• Перевести средства клиенту того же банка через
bump-перевод, по QR-коду получателя – Банк Санкт-
Петербург
• Найти отдельные операции в истории при помощи
поиска или фильтров – Альфа-Банк
Альфа-БанкБанк Санкт-ПетербургРайффайзенбанк
НАПРАВЛЕНИЯ РАЗВИТИЯ ПРИЛОЖЕНИЯ
13. 13
Поддержка Apple Pay с октября 2016 года.
! На экране карты есть явно заметная кнопка добавления в
Apple Wallet. Пользователь может быстро и легко
подключить карту к Apple Pay.
НОВЫЕ ФУНКЦИИ
14. 14
Подписаться на выставление счетов
(штрафы, коммунальные платежи)
►При указании идентификаторов для проверки
начислений (номера водительского удостоверения,
свидетельство о регистрации транспортного средства,
номер квитанции о квартплате) клиент будет
автоматически получать счета и сможет быстро
оплатить их.
ТРЕНДЫ ФУНКЦИОНАЛЬНОСТИ МБ
В 2016 было у 1 банка
в 2017 есть у 5
15. 15
Просмотр информации об условиях
платежа/перевода до его проведения
Данные о комиссии и сроках проведения помогают сформировать ожидания клиентов.
ТОП ВОСТРЕБОВАННЫХ ФУНКЦИЙ
►
17. По каким критериям отбирались
респонденты?
К тестированию будут привлечены клиенты банков
в возрасте от 18 до 48 лет, которые были условно
разделены на две группы по опыту использования
интернет-банков («опытные» и «новички»).
Ни один из респондентов не являлся клиентом
тестируемого банка.
«Опытными» считаются респонденты, которые
пользуются мобильным интернет-банком и
несколько раз в месяц совершают с его помощью
расчётные операции (переводы, оплата услуг и т
п).
«Новичками» считаются респонденты, не
использующие мобильный интернет-банк, но
планирующие начать, или использующие его
только для просмотра информации о балансе.
11
«опытные» «новички»
Сравнительное исследование удобства
АУДИТОРИЯ
18. Юзабилити-тестирование – качественный
экспериментальный лабораторный метод анализа
взаимодействия пользователя с продуктом при
решении типичных задач (ГОСТ Р ИСО 9241-11).
Тестирование проводится в специально
оборудованной лаборатории.
Модератор зачитывает задание из сценария,
которое респонденту необходимо выполнить.
Сценарий тестирования не содержит шагов
выполнения задания или подсказок.
Операции респондент выполняет в обычном для
себя темпе и при необходимости комментирует
возникающие затруднения.
Модератор не вмешивается в ход работы
респондента, не задаёт наводящих вопросов и не
даёт подсказок. По завершении каждого задания и
в конце всего тестирования модератор получает
качественные данные с помощью интервью об
удобстве выполнения задания и впечатлении от
работы.
Модератор фиксирует время выполнения
операции, затруднения и вопросы пользователя, а
также наблюдает и анализирует его поведение.
13
Сравнительное исследование удобства
ПРИМЕНЁННЫЕ МЕТОДИКИ
21. Удобство навигации
(успешность, точность,
время выполнения)
Результативность Время решения
задачи
Количество
ошибок
Оперативные метрики Итоговые метрики
и безопасность
Функциональность:
наличие * востребованность
27
Эффективность Экономичность Удовлетворённость
Надёжность
МЕТОДИКА РАСЧЁТА ИНТЕГРАЛЬНОГО
БАЛЛА
22. ЮЗАБИЛИТИ-ПРОБЛЕМЫ
22
Буквенная или символьная клавиатура вместо цифровой
3 При заполнении полей, требующих цифровых значений (суммы, номера телефонов, код
плательщика, номер карты), во многих приложениях открывается буквенная или символьная
клавиатура (вместо цифровой). Это увеличивает время заполнения формы и повышает
вероятность ошибки (опечатки).
23. УДАЧНЫЕ РЕШЕНИЯ
23
Удачные решения
На слайде представлена корректная раскладка клавиатуры в
приложении банка Русский Стандарт.
Во многих приложениях представленных на предыдущих слайдах
открывается правильная «цифровая» клавиатура, при заполнении
полей, требующих цифровых значений, но не в тех случаях,
которые представлены на слайдах.
!
25. 25
1. На основе списка функций и их параметров из
рейтинга функциональности составляется список
задач для сценарной экспертной оценки.
В одну задачу может входить:
Одна функция и ее параметры. Например, задача «Настроить
использование быстрого входа в приложение» оценивается в 3-х
вариантах: короткий код (4-5 цифр), графический ключ, отпечаток
пальца (TouchID).
Несколько функций. Например, в задачу «Зарегистрироваться в
приложении, самостоятельно выбрав логин и пароль» входят
функции Сохранить логин для последующих входов, Показать
введённый пароль, который изначально скрыт.
2. Эксперт проходит каждую задачу в приложении
и фиксирует возникающие проблемы по
определенной схеме.
3. Каждой проблеме присваивается критичность
от 1 до 3.
4. Из количества проблем, встретившихся в
определенной функции, и их критичности эксперт
присваивает функции оценку удобства
Пример соотношения задачи и функций:
Задача
Включенные
функции
Наличие
Зарегистрировать
ся в приложении,
самостоятельно
выбрав логин
и/или пароль
Показать
введенный
пароль, который
изначально скрыт
1
Выбрать способ
получения
разового пароля
для входа прямо
при входе
0
Отключить
использование
разового пароля
для входа
0
Сохранить
(запомнить) логин
для последующих
входов
1
Юзабилити-оценка все функциональности
ПРИМЕНЁННЫЕ МЕТОДИКИ
26. 26
ШАГ 1.
Сценарий для задачи разбивается на 3 универсальных (существующих в любой задаче) шага:
1. Поиск функции (оценивается навигация, меню)
> Насколько легко перейти к использованию функции?
2. Использовании функции (все действия, нужные для того, что ей воспользоваться, например,
заполнение полей, выставление настроек и т.п.)
> Насколько удобно реализована функция?
3. Оценка результата (экраны подтверждения, сообщения об ошибках и т.п.)
> Понятно ли, получилось выполнить задачу или нет и почему нет в случае ошибки?
Юзабилити-оценка все функциональности
СТАНДАРТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ
27. 27
ШАГ 3.
Выявленные проблемы
относятся к типовым группам из
заранее составленного чек-листа
или добавляется новая группа,
если такая проблема ранее не
встречалась.
Адаптируем 7 этапов действия для каждого из этапов задачи
Формирование цели:
1. Пользователь формирует цель, например, «Хочу найти, где
расположена регистрация»
Часть выполнения действия:
2. Пользователь формирует намерение совершить определенное
действие в интерфейсе
> Пользователь считает, что можно самому найти эту функцию.
3. Пользователь представляет последовательность действий,
нужных для выполнения цели и действие
> Пользователь предполагает, что переход к регистрации будет
на первом экране.
4. Пользователь физически может совершить нужное действие.
Часть оценки действия:
5. Пользователь замечает обратную связь от системы.
6. Пользователь понимает обратную связь от системы.
7. Пользователь может оценить результат и сравнить его с
финальной целью
Примеры типовых ошибок, которые нужно проверять:
• Пользователь не понимает, к чему приведет данное
действие. Название контрола или его расположение
ошибочно.
• Основная или одна из основных функций незаметна на
экране или незаметен переход к ней.
• Похожие контролы или понятия названы по-разному или
выглядят по-разному. Либо похожие действия приводят к
разному результату.
• Отсутствует пояснение к сложному действию (вводу или
выбору). Не заданы маски или примеры для типовых
полей.
• Сообщения для ключевого действия или важное
пояснение находится/появляется там где пользователь не
ожидает его увидеть.
• Пользователь не видит результата своего
действия/списка действий.
Юзабилити-оценка все функциональности
СТАНДАРТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ
28. 28
ШАГ 4.
Фиксируем проблемы, возникшие на каждом шаге каждого этапа
Цель
пользователя
Этапы Группа проблем Проблема
Поиск функции –
возможности
зарегистрироваться
1. Пользователь формирует
цель: «Хочу найти, где
расположена регистрация»
- -
2. Пользователь формирует
намерение совершить
определенное действие в
интерфейсе. Пользователь
считает, что можно самому
найти эту функцию.
- -
3. Пользователь представляет
последовательность действий,
нужных для достижения цели и
действие, которое необходимо
выполнить следующим.
Пользователь не
понимает, к чему
приведет данное
действие. Название
контрола или его
расположение ошибочно.
Кнопка регистрации
называется «Войти».
Пользователь может нажать на
«Для доступа…
зарегистрируйте свой iPhone»,
так как кнопка «Войти» не
ассоциируется с регистрацией
Юзабилити-оценка все функциональности
СТАНДАРТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ
29. 29
ШАГ 5.
Присваиваем проблеме критичность от 1 до 3:
1 – Высокая критичность – пользователь не
может самостоятельно справиться с проблемой и
завершить задачу.
2 – Средняя критичность – пользователь тратит
значительное время или усилие на то, чтобы
справиться с проблемой, испытывает сильный
эмоциональный дискомфорт.
3 – Низкая критичность – пользователь быстро
справляется с проблемой, испытывает слабые
негативные эмоции.
Задача Критичность
Кнопка регистрации
называется «Войти».
Пользователь может нажать
на «Для доступа…
зарегистрируйте свой
iPhone», так как кнопка
«Войти» не ассоциируется с
регистрацией
2
Юзабилити-оценка все функциональности
СТАНДАРТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ
30. 30
ШАГ 6.
На основе количества проблем и их критичности
эксперт присваивает функции экспертный
балл удобства.
1 – Реализация удобства функции на высоком
уровне. Подавляющее большинство
пользователей смогут её найти и пройти все
нужные шаги.
0,5 – Средняя реализация, функция
реализована со ошибками. Функцию трудно
найти с первой попытки, можно ошибиться при
заполнении формы или не понять значение
поля, нет подсказок для сложных полей и т.д.
0,2 – Реализация удобства функции на низком
уровне. Пользователь не сможет
самостоятельно ей воспользоваться.
Итог
Проблем высокой критичности 0
Проблем средней критичности 3
Проблем низкой критичности 2
Балл функции 0,5
Юзабилити-оценка все функциональности
СТАНДАРТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ
32. ПРИМЕР ЗАДАЧИ
Задача 2. «Редактировать шаблон для
оплаты ЖКУ»
1. Поиск возможности
32
Результаты экспертной оценки
Проблемы:
Долгое нажатие на пиктограмму
шаблона неочевидно. Пользователи
могут не понять, как изменить
шаблон.
Значки редактирования и удаления
очень маленькие. В них сложно
попасть.
33. ПРИМЕР ЗАДАЧИ
Задача 2. «Редактировать шаблон для
оплаты ЖКУ»
2. Использование функции
33
Результаты экспертной оценки
Проблемы:
Пользователи связывают имя
получателя и имя шаблона.
При этом интерфейс их
разделяет.
34. ПРИМЕР ЗАДАЧИ
Задача 2. «Редактировать шаблон для
оплаты ЖКУ»
3. Обратная связь и оценка результата
34
Результаты экспертной оценки
Проблемы:
Отсутствует обратная связь
об изменении имени
шаблона.
35. ОЦЕНКА ДОСТУПНОСТИ
СЕРВИСА ДЛЯ НЕЗРЯЧИХ
Краткое описание процедуры оценки
на примере функции регистрации в мобильном банке
ДОПОЛНИТЕЛЬНЫЙ БЛОК ИССЛЕДОВАНИЙ (ВНЕ
РЕЙТИНГА)
36. 36
Цель исследования: оценка доступности ДБО для слепых пользователей на примере
методологии оценки приложений.
Слепому респонденту будет предложено выполнить наиболее популярные для пользователей
задания, используя функцию VoiceOver*.
Сначала респондент выполнял все задания в режиме сканирования, а потом в ручном
режиме. При этом респондент комментировал свои действия. В течение тестирования
модератор фиксировал время и успешность выполнения заданий, а также проблемы с
которыми столкнулся респондент.
* Существуют два основных режима работы с VoiceOver:
Режим сканирования объектов
При сканировании объекты в любой части экрана поочередно выделяются, пока не будет задействован
переключатель «Выделение объекта». Если на экране много объектов, функция Switch Control выделяет их
группами. При выборе группы выделение продолжается для объектов внутри группы. Когда выбран один
объект, сканирование прекращается, и открывается меню управления.
Ручной режим
На экране, можно выбрать сразу нужный объект или выполнять действия «Переход к следующему объекту» и
«Переход к предыдущему объекту».
ACCESSIBILITY оценка
СТАНДАРТИЗАЦИЯ ПРОЦЕССА ОЦЕНКИ
37. 37
КРИТЕРИИ УСПЕШНОСТИ
Задание считается успешно выполненным, если респондент справился за установленное
время и без помощи модератора.
КРИТИЧНОСТЬ ВРЕМЯ ВЫПОЛНЕНИЯ
Высокая — не позволяет выполнить
пользователю задание или делает это
практически невозможным.
Средняя — значительно увеличивает
когнитивную нагрузку при работе с
приложением , что усложняет пользователю
возможность выполнения задания.
Низкая — снижает показатели
удовлетворенности пользователя
приложением.
Время выполнения каждого задания
измеряется в секундах и ограничено 10
минутами. Если в течение этого времени
респондент не справился с заданием, оно
считается невыполненным.
Время включает как непосредственно работу
с приложением, так и интервью после
выполнения заданий.
38. 38
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Были выделены следующие группы проблем
Проблемы качества кода
• Используется системное название элемента
• Не устанавливается фокус на элемент
• Не озвучивается название элемента
• Озвучиваются не отображаемые на экране
элементы
• Не озвучиваются произошедшие на экране
изменения
• Используется некорректный тип элемента
• Не озвучиваются введенные в поле данные
Проблемы нейминга (названия, формулировки)
o Используется сложный для восприятия на слух
термин
Проблемы проектирования
• Отсутствует обратная связь при авторизации в
приложении
• Используется всплывающее (блокирующее)
сообщение
• Возможность выполнения операции только
жестом (свайп, потянуть), что не очевидно для
пользователя
• Влияющие на доступность проблемы
юзабилити (не соответствующая потребностям
компоновка экрана, маленький размер
элемента)
Название элемента:
«Айкониндорсидемину»
39. ПРОБЛЕМЫ КАЧЕСТВА КОДА
39
Некорректное название элемента
1
Названия кнопок Меню,
Настройки и Контакты
озвучиваются нак «нэфбр
айкон мену», «нэфбр айкон
сеттингс» и «нефбр айкон
контактс» соответственно.
Кнопки на клавиатуре для
ввода кода озвучиваются с
префиксом «Би Ти Эн».
например, Би Ти Эн Пять.
Кнопка Меню озвучивается как
«Баннер».
40. ПРОБЛЕМЫ ПРОЕКТИРОВАНИЯ
40
Возможность выполнения операций только жестом (свайп, потянуть)
11
В приложении используется раскрывающееся меню
(слева или справа), которое закрывается свайпом.
Свайп при включенном экранном дикторе означает
определенную опцию диктора, а аналог жеста «свайп»
при использовании диктора знают далеко не все
пользователи.
Неопытные пользователи могут решить, что меню
закрыть невозможно.
Левое меню возможно закрыть
только свайпом.
Уровень А
Приоритет 1
ГОСТ Р 52872-2012
WCAG 2.0