Під час проектування інтерфейсу найчастіше виникає запитання, а наскільки взагалі він ефективний? І що найголовніше — яким чином можна цю ефективність виміряти?
Найбільш дієвим способом перевірити це провести юзабіліті тестування. Інакшими словами, показати певній кількості людей прототип та попросити їх виконати декілька завдань.
Перевірка дизайн-рішень на контрольній групі не потребує багато часу чи великих витрат. Одак, як саме зрозуміти що нова версія інтерфейсу є ефективною? І як перевести дискусію усередині команди із суб’єктивного сприйняття віжуалу до мови цифр?
На цій презентації я розповім які метрики можна застосовувати для юзабіліті тестуваннь. Як працювати із Task Success Rate, Task Time, Task Error Rate та як вимірювати Efficiency та Lerability. А також як обчислювати та презентувати результати тестування команді та замовникам.
4. Виявилось, що лише
72,5% нових користувачів
змогли знайти реквізити
свого рахунку, тому
телефонували на саппорт
5. В той час, як краще
рішення було під боком
25%
50%
75%
100%
85.71%
28.57%
Знайшли реквізити
для поповнення рахунку
Знайшли реквізити
для поповнення картки
7. Чому слід проводити
тестування?
✅ Отримати інсайти про те, як користувачі
використовують продукт насправді
✅ ~80% всіх проблем з якими зтикаються
користувачі можна виявити, перевіривши
його на 8 учасниках.
9. Як проводити
юзабіліті тестування?
Для початку, слід прочитати
книжку Стіва Круга «Rocket
Surgery Made Easy: The Do-It-
Yourself Guide to Finding and
Fixing Usability Problems»
На Amazon від $17
14. Завжди використовуйте
критерії успішності завдань
І накше можете отримати беззмістовні дані,
які не будуть відповідати реальності, і таким чином —
змарнуєте свій час.
15. Завдання має мати чітко
окреслений кінцевий стан
✅ Отримайте виписку по вашій карті за останні
180 днів
❌ Знайдіть способи зекономити на споживчому
кредиті
18. Бінарний Task Success Rate
Існує всього два варіанти виконання завдання:
або «виконав», або «не виконав». «Майже
виконав» не рахується.
19.
20. Непарний Task Success
Rate
Якщо суворі правила бінарної логіки не зовсім
підходять для виміру успіху, використовують
непарний TSR. Завдяки цьому можна отримати
розуміння де саме у користувачам виникають
складності при роботі із інтерфейсом.
21. Підхід №1
Повний успіх: із підказкою (1) та без підказки (2)
Частковий успіх: із підказкою (3) та без підказки (4)
Невдача: із підказкою (5) та без підказки (6)
22. Підхід №2
4 — Учасник не виконав
завдання, надав хибну
відповідь чи здався
1 — Учасник виконав
завдання без проблем та
ускладнень
2 — Учасник виконав
завдання успішно, зробив
1 чи 2 маленьких помилки
3 — Учасник виконав
завдання успішно, але
мав велику проблему чи
витратив надмірно часу
23.
24. Task Time
Чим швидше користувачі витрачають часу на
взаємодію з інтерфейсом, тим позитивніше
вони оцінюють сервіс
25. Task Time можна взяти
із сервісів аналітики
Session Duration, Visit Duration або ж Goal
Start/End Time від Google Analytics, Mixpanel
тощо
26.
27. Нормативний час
Це може бути тривалість виконання вами
цього завдання помножену на два. Або час
за який впорався досвідчений користувач
продукту.
31. Efficiency
Можна також заміряти скільки зусиль
витрачає користувач на виконання
завдання. Це і є ефективністю інтерфейсу.
32. Спосіб №1: Lostness
Це показник, наскільки «загубленими»
почуваються користувачі у вашому
застосунку чи сайті.
Має здачення від 0 (добре) до 1 (погано)
33. Формула обчислення
lostness
L — lostness
N — кількість відвіданих сторінок
S — загальна кількість відвіданих сторінок,
включаючи повтори
R — мінімальна чи оптимальна кількість сторінок
L = (N/S − 1)2
+ (R/N − 1)2
35. 1
2
3
Реальність
Вадим, 36 років. Топ-менеджер міжнародної логістичної
компанії, tech-saavy, постійний клієнт іноземних банків.
4 5
6
7
9
8
10
11
12
13
L=0.76
14
36. Спосіб №2: співвідношення
Task Success до Task Time
Таким чином можна дізнатися кількість успішно
виконаних завдань за певний проміжок часу
(наприклад — хвилин).
40. Вимірювання learnability
Для вимірювання можна використовувати
порівняння будь яких метрик із кількістю
ітерацій тестування.
✅ Task Success Rate ✅ Task Time
✅ Efficiency (Lostness) ✅ Efficiency (TSR/TT)
41. Способи вимірювання
learnability
1. Декілька спроб виконати завдання під час сесії
2. Декілька спроб виконати завдання під час
однієї сесії, але із перервами
3. Декілька спроб виконати завдання протягом
декількох сесій із перервою у щонайменше
1 добу
42. Презентування learnability
Результати взаємодії із першою версією бек-офіса логістичної системи. Як видно із графіків нижче, із
кожною новим підходом до виконання завдання, користувач взаємодіяв краще.
43. Література
📕 Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability
Problems — Steve Krug
📕 Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics
(Interactive Technologies) — William Albert, Thomas Tullis
📕 Quantifying the User Experience: Practical Statistics for User Research — Jeff Sauro, James
R Lewis
📕 Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests — Jeffrey
Rubin, Dana Chisnell, Jared Spool
🎦 Practical Statistics for The User Experience — by Jeff Sauro @ Udemy
⚠ ISO/IEC 25062:2006 (INCITS 354) — Common Industry Format (CIF) for usability test reports