Під час проектування інтерфейсу найчастіше виникає запитання, а наскільки взагалі він ефективний? І що найголовніше — яким чином можна цю ефективність виміряти? Найбільш дієвим способом перевірити це провести юзабіліті тестування. Інакшими словами, показати певній кількості людей прототип та попросити їх виконати декілька завдань. Перевірка дизайн-рішень на контрольній групі не потребує багато часу чи великих витрат. Одак, як саме зрозуміти що нова версія інтерфейсу є ефективною? І як перевести дискусію усередині команди із суб’єктивного сприйняття віжуалу до мови цифр? На цій презентації я розповім які метрики можна застосовувати для юзабіліті тестуваннь. Як працювати із Task Success Rate, Task Time, Task Error Rate та як вимірювати Efficiency та Lerability. А також як обчислювати та презентувати результати тестування команді та замовникам.

1. Jurij Ternicki
Product Design Lead @ Fintech Lab
Основні метрики
юзабіліті тестування

2. Одного разу
ми командою палко
сперечалися і зробили
помилку…

3. …ми випустили інтерфейс,
у якому реквізити
поповнення рахунку
розміщувались так

4. Виявилось, що лише
72,5% нових користувачів
змогли знайти реквізити
свого рахунку, тому
телефонували на саппорт

5. В той час, як краще
рішення було під боком
25%
50%
75%
100%
85.71%
28.57%
Знайшли реквізити
для поповнення рахунку
Знайшли реквізити
для поповнення картки

6. Завжди тестуйте
інтерфейс перед тим, як
передавати розробникам
Перероблювати це завжди довго і дорого.

7. Чому слід проводити
тестування?
✅ Отримати інсайти про те, як користувачі
використовують продукт насправді
✅ ~80% всіх проблем з якими зтикаються
користувачі можна виявити, перевіривши
його на 8 учасниках.

8. Переводьте суперечки
від вашого бачення на
мову цифр

9. Як проводити
юзабіліті тестування?
Для початку, слід прочитати
книжку Стіва Круга «Rocket
Surgery Made Easy: The Do-It-
Yourself Guide to Finding and
Fixing Usability Problems»
На Amazon від $17

10. Юзабіліті тестування
≠
Тестуванню на фокус-групі

11. Юзабіліті тести
Оффлайн / Онлайн
ЗА ТИПОМ
Модеровані / Не модеровані
ЗА НАЯВНІСТЬЮ МОДЕРАТОРА

12. Основні метрики
юзабіліті тестування
Task Success Rate
Time on Task
Efficiency
Learnability

13. Task Success Rate
Якщо ваші користувачі не можуть
виконати завдання — у вас проблеми

14. Завжди використовуйте
критерії успішності завдань
І накше можете отримати беззмістовні дані,
які не будуть відповідати реальності, і таким чином —
змарнуєте свій час.

15. Завдання має мати чітко
окреслений кінцевий стан
✅ Отримайте виписку по вашій карті за останні
180 днів
❌ Знайдіть способи зекономити на споживчому
кредиті

16. Презентація Task Success
Rate
Середній відсоток по кожному завданню серед
всіх учасників та середній відсоток по кожному
учаснику серед всіх завдань.

18. Бінарний Task Success Rate
Існує всього два варіанти виконання завдання:
або «виконав», або «не виконав». «Майже
виконав» не рахується.

20. Непарний Task Success
Rate
Якщо суворі правила бінарної логіки не зовсім
підходять для виміру успіху, використовують
непарний TSR. Завдяки цьому можна отримати
розуміння де саме у користувачам виникають
складності при роботі із інтерфейсом.

21. Підхід №1
Повний успіх: із підказкою (1) та без підказки (2)
Частковий успіх: із підказкою (3) та без підказки (4)
Невдача: із підказкою (5) та без підказки (6)

22. Підхід №2
4 — Учасник не виконав
завдання, надав хибну
відповідь чи здався
1 — Учасник виконав
завдання без проблем та
ускладнень
2 — Учасник виконав
завдання успішно, зробив
1 чи 2 маленьких помилки
3 — Учасник виконав
завдання успішно, але
мав велику проблему чи
витратив надмірно часу

24. Task Time
Чим швидше користувачі витрачають часу на
взаємодію з інтерфейсом, тим позитивніше
вони оцінюють сервіс

25. Task Time можна взяти
із сервісів аналітики
Session Duration, Visit Duration або ж Goal
Start/End Time від Google Analytics, Mixpanel
тощо

27. Нормативний час
Це може бути тривалість виконання вами
цього завдання помножену на два. Або час
за який впорався досвідчений користувач
продукту.

28. Презентація Task Time
Cередній показник по кожному завданню
та у відсотках відносно до нормативного
часу.

30. Якщо модератору дозволяється
зупиняти учасника, то краще
враховувати лише тривалість
успішних завдань

31. Efficiency
Можна також заміряти скільки зусиль
витрачає користувач на виконання
завдання. Це і є ефективністю інтерфейсу.

32. Спосіб №1: Lostness
Це показник, наскільки «загубленими»
почуваються користувачі у вашому
застосунку чи сайті.
Має здачення від 0 (добре) до 1 (погано)

33. Формула обчислення
lostness
L — lostness
N — кількість відвіданих сторінок
S — загальна кількість відвіданих сторінок,
включаючи повтори
R — мінімальна чи оптимальна кількість сторінок
L = (N/S − 1)2
+ (R/N − 1)2

34. 1
2
3
Очікування

35. 1
2
3
Реальність
Вадим, 36 років. Топ-менеджер міжнародної логістичної
компанії, tech-saavy, постійний клієнт іноземних банків.
4 5
6
7
9
8
10
11
12
13
L=0.76
14

36. Спосіб №2: співвідношення
Task Success до Task Time
Таким чином можна дізнатися кількість успішно
виконаних завдань за певний проміжок часу
(наприклад — хвилин).

39. Learnability
Скільки часу і зусиль треба витратити,
щоб стати досвідченим користувачем

40. Вимірювання learnability
Для вимірювання можна використовувати
порівняння будь яких метрик із кількістю
ітерацій тестування.
✅ Task Success Rate ✅ Task Time
✅ Efficiency (Lostness) ✅ Efficiency (TSR/TT)

41. Способи вимірювання
learnability
1. Декілька спроб виконати завдання під час сесії
2. Декілька спроб виконати завдання під час
однієї сесії, але із перервами
3. Декілька спроб виконати завдання протягом
декількох сесій із перервою у щонайменше
1 добу

42. Презентування learnability
Результати взаємодії із першою версією бек-офіса логістичної системи. Як видно із графіків нижче, із
кожною новим підходом до виконання завдання, користувач взаємодіяв краще.

43. Література
📕 Rocket Surgery Made Easy: The Do-It-Yourself Guide to Finding and Fixing Usability
Problems — Steve Krug
📕 Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics
(Interactive Technologies) — William Albert, Thomas Tullis
📕 Quantifying the User Experience: Practical Statistics for User Research — Jeff Sauro, James
R Lewis
📕 Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests — Jeffrey
Rubin, Dana Chisnell, Jared Spool
🎦 Practical Statistics for The User Experience — by Jeff Sauro @ Udemy
⚠ ISO/IEC 25062:2006 (INCITS 354) — Common Industry Format (CIF) for usability test reports

44. Jurij Ternicki
Facebook | Twitter | Instagram | Medium

45. Дякую