About UX metrics HEART. How to measuring users activity

1. Исследование качества
интерфейсов относительно
пользователя по HEART
13 апреля 2016
Артем Моисеев, Дневник.ру

2. Надо проверить
• Безсистемно
• Поиск «интересной информации»
• Не полные данные
• Не верные данные и выводы
• Не понятно, что с этим в итоге делать

3. Framework HEART
• Это 5 качественных характеристик
взаимодействия пользователя в интерфейсе и
правило исследования по ним.
• Задает подход к исследованию поведения
пользователя как для отдельной
функциональности, так и для продукта в
целом.
• Не готовое решение, а прикладная штука.
• Помогает фокусироваться команде на
обсуждение и решение реальных проблем.

4. Метрики HEART
• H – Happiness (Удовлетворенность)
• E
• A
• R
• T

5. Метрики HEART
• H – Happiness (Удовлетворенность)
• E – Engagement (Вовлеченность)
• A
• R
• T

6. Метрики HEART
• H – Happiness (Удовлетворенность)
• E – Engagement (Вовлеченность)
• A – Adoption (Принятие)
• R
• T

7. Метрики HEART
• H – Happiness (Удовлетворенность)
• E – Engagement (Вовлеченность)
• A – Adoption (Принятие)
• R – Retention (Удержание)
• T

8. Метрики HEART
• H – Happiness (Удовлетворенность)
• E – Engagement (Вовлеченность)
• A – Adoption (Принятие)
• R – Retention (Удержание)
• T – Task Success (Успешность выполнения
задачи)

9. Исследование по метрикам HEART
• Категории взаимодействия — это всего лишь
качество взаимодействия
• Выбор категорий взаимодействия от случая к
случаю могут варьироваться, не обязательно
исследовать по всем направлениям.
• Чтобы определить их количество и вывести
результат следует по каждой категории
выделять 3 параметра: Goal – Signal –
Metrics(Result)

10. Goal – Signal – Metrics
• Цель (Goal) — что мы будем проверять.
• Сигналы (Signal) — показатели, которые
будут учитываться в вычислении.
• Метрика/Результат (Metrics/Result) —
конечный результат, который будет
учитываться в оценке.

12. Примеры
использования

13. Task Success (Успешность
выполнения задачи)
• Goal: насколько успешно пользователи восстанавливают доступ
• Signal: количество восстановленных доступов
• Metrics/Result: отношение попыток к восстановленным
доступам.
Реализация:
• Живое тестирование. Вычислить значение SUM — Single
Usability Metric. Значение, которое характеризует успешность
интерфейса: учитывает количество успешных выполненных
задач, количество ошибок, время выполнения,
удовлетворенность.
• Онлайн. Воронки. (GA + Яндекс-Метрика)

15. Happiness (Удовлетворенность)
• Goal: Насколько пользователь удовлетворен использованием
рабочего стола учителя
• Signal: ответы по анкете
• Metrics/Result: среднее арифметическое значение
Анкетирование (Post-Task Satisfaction):
• Как бы вы оценили на сколько легко работать с рабочим
столом? (Очень сложно) 1 2 3 4 5 (Очень легко)
• На сколько вы удовлетворены использованием рабочего стола?
(Не удовлетворен) 1 2 3 4 5 (Удовлетворен)
• Как много времени вы тратите, чтобы найти необходимую
информацию на рабочем столе? (Очень много) 1 2 3 4 5 (Очень
мало)

16. Retention (Удержание)
• Goal: активные пользователи рабочего стола учителя из
раннего периода все еще являются активными
пользователями.
• Signal: пользователи которые были активны N
дней/недель назад, также совершают действия в данный
момент.
• Metrics/Result: процент активных пользователей из
раннего периода на текущий момент.
Реализация:
• выделение когорт пользователей на основе первого
взаимодействия с интерфейсом. Построить график.

18. Adoption (Принятие)
• Goal: как быстро новые пользователи разбираются с рабочим
столом учителя и становятся его активными пользователями.
• Signal: пользователь совершает действие на странице р/с.
• Metrics/Result: процент новых пользователей р/с от общего
числа.
Реализация:
• выделение когорт пользователей на основе первого
взаимодействия с интерфейсом, смотреть конверсию из
посетителей страницы в активных пользователей. Также можно
проследить сколько времени необходимо пользователям для
того чтобы активно пользоваться функциональностью.

19. Engagement (Вовлеченность)
• Goal: на сколько полно пользователь использует те
функциональности, которые были реализованы на
рабочем столе учителя.
• Signal: пользователь совершает действие на странице р/с.
• Metrics/Result: относительная диаграмма взаимодействий
пользователей на странице р/с от общего числа
взаимодействий.
Реализация:
• лучше показывать на диаграммах типа Пирог, нагляднее.
Видно общее покрытие и популярные функциональности.

20. Пример: полнота использования
виджетов на рабочем столе учителя

21. Подробнее на Confluence
“//UX/UI development / UX-аналитика по HEART“
Источники:
Jeff Sauro
http://www.measuringusability.com/SUM/index.htm
http://www.measuringusability.com/papers/HCII2005_sauro_kindlund-V9.pdf
Как построить график когортного анализа:
http://blog.ohmystats.com/
http://static.googleusercontent.com/media/research.google.com/en/us/pubs/archive
/36299.pdf
Красивая презентация о HEART
http://www.dtelepathy.com/ux-metrics/

22. Вопросы?