Miary użyteczności Na podstawie „Measuring the user experience” Tom Tullis, Bill Albert Natalia Bednarz 6.03.09

Miary użyteczności - znaczenie Wskazywanie problemów, ich skali oraz przyczyn. Porównywanie różnych rozwiązań. Pomiar zadowolenia i preferencji użytkowników. Ocena wpływu zmian. Wskazanie obszarów usprawnień oraz zwiększenia ROI. 6.03.09

Wskazywanie problemów, ich skali oraz przyczyn.

Porównywanie różnych rozwiązań.

Pomiar zadowolenia i preferencji użytkowników.

Ocena wpływu zmian.

Wskazanie obszarów usprawnień oraz zwiększenia ROI.

Miary użyteczności - rodzaje wydajności, problemów, zadowolenia, behawioralne i fizjologiczne, łączone i porównawcze, inne. 6.03.09

wydajności,

problemów,

zadowolenia,

behawioralne i fizjologiczne,

łączone i porównawcze,

inne.

Miary wydajności Oparte na zachowaniu użytkownika. Analiza wykonywania zadań (liczba oraz sposób). Co najmniej 8 uczestników – znaczące wnioski, rozsądny przedział ufności. Odpowiedź na pytanie: CO?, a nie DLACZEGO? 6.03.09

Oparte na zachowaniu użytkownika.

Analiza wykonywania zadań (liczba oraz sposób).

Co najmniej 8 uczestników – znaczące wnioski, rozsądny przedział ufności.

Odpowiedź na pytanie: CO?, a nie DLACZEGO?

Miary wydajności - rodzaje 1.Ukończenie zadania. 2.Czas wykonania zadania. 3.Wykryte błędy. Efektywność. 5.Nauczalność. 6.03.09

1.Ukończenie zadania.

2.Czas wykonania zadania.

3.Wykryte błędy.

Efektywność.

5.Nauczalność.

1. Ukończenie zadania (task success)‏ Szerokie zastosowanie. Jasne określenie zadania (końca). Łatwa interpretacja i analiza – dane binarne. Analiza danych: sukces binarny (przedziały ufności), poziomy sukcesu. 6.03.09

Szerokie zastosowanie.

Jasne określenie zadania (końca).

Łatwa interpretacja i analiza – dane binarne.

Analiza danych:

sukces binarny (przedziały ufności),

poziomy sukcesu.

Przedziały ufności – metoda Walda Przedziały ufności jako funkcja wielkości grupy respondentów. 6.03.09

Poziomy sukcesu Metoda 0/1 nie zawsze najlepsza. Równie ważne elementy: stopień ukończenia zadania, doświadczenie użytkownika, sposób wykonania. 6.03.09

Metoda 0/1 nie zawsze najlepsza.

Równie ważne elementy:

stopień ukończenia zadania,

doświadczenie użytkownika,

sposób wykonania.

2. Czas wykonania zadania (time-on-task)‏ Pomiar efektywności i użyteczności. Przeważnie „szybciej znaczy lepiej”. Pomiar powtarzalnych czynności (formularze, rezerwacje, zakupy). Umożliwia szacowanie wzrostu zyskowności (czas wykonania – liczba użytkowników). 6.03.09

Pomiar efektywności i użyteczności.

Przeważnie „szybciej znaczy

lepiej”.

Pomiar powtarzalnych czynności (formularze, rezerwacje, zakupy).

Umożliwia szacowanie wzrostu zyskowności (czas wykonania – liczba użytkowników).

3. Pomiar błędów (errors) Stosowany, kiedy błędy są przyczyną: znacznej utraty efektywności (utrata danych), wysokich kosztów (zwrot produktu), niewykonania zadania. Analiza danych: liczba błędów przy każdym zadaniu, procent badanych popełniających błąd. 6.03.09

Stosowany, kiedy błędy są przyczyną:

znacznej utraty efektywności (utrata danych),

wysokich kosztów (zwrot produktu),

niewykonania zadania.

Analiza danych:

liczba błędów przy każdym zadaniu,

procent badanych popełniających błąd.

4. Efektywność (efficiency) Analiza „wysiłku” włożonego w wykonanie zadania (liczba kroków, wyświetlonych stron). poznawczy (znajdowanie odpowiedniego miejsca, decyzja, interpretacja), fizyczny. Wskaźnik „Lostness” 6.03.09

Analiza „wysiłku” włożonego w wykonanie zadania (liczba kroków, wyświetlonych stron).

poznawczy (znajdowanie odpowiedniego miejsca, decyzja, interpretacja),

fizyczny.

Wskaźnik „Lostness”

Lostness N – liczba różnych stron odwiedzonych S – całkowita liczba odwiedzonych stron R – optymalna liczba stron L=sqrt[(N/S – 1) 2 + (R/N – 1) 2 ] L<0,4 brak większych błędów L>0,5 obecność istotnych błędów 6.03.09

6.03.09

5. Nauczalność (learnability)‏ Czas doskonalenia. Najczęściej stosowane do badania przyjazności nowej aplikacji w firmie. Analiza danych: zmiany miar wydajności w czasie, określone odstępy czasu (w zależności od przewidywanej częstotliwości użycia). 6.03.09

Czas doskonalenia.

Najczęściej stosowane do badania przyjazności nowej aplikacji w firmie.

Analiza danych:

zmiany miar wydajności w czasie,

określone odstępy czasu (w zależności od przewidywanej częstotliwości użycia).

Miary problemów (issue-based metrics)‏ Wyodrębnianie błędów użyteczności w obszarach: wykonania zadania, dostrzegalności elementów, posługiwania się nawigacją, interpretacji informacji. Wartościowe – rzeczywiste (analiza zachowania użytkownika). 6.03.09

Wyodrębnianie błędów użyteczności w obszarach:

wykonania zadania,

dostrzegalności elementów,

posługiwania się nawigacją,

interpretacji informacji.

Wartościowe – rzeczywiste (analiza zachowania użytkownika).

Miary problemów - analiza Wskaźniki ciężkości błędów (severity ratings) – nadanie priorytetowości. Wskaźniki oparte na doświadczeniu użytkownika. Wskaźniki łączone. 6.03.09

Wskaźniki ciężkości błędów (severity ratings) – nadanie priorytetowości.

Wskaźniki oparte na doświadczeniu użytkownika.

Wskaźniki

łączone.

Miary problemów - analiza Częstotliwość występowania unikalnych błędów. Częstotliwość występowania błędów na 1 uczestnika, w poszczególnych zadaniach. Kategoryzacja (nawigacja, nazewnictwo, zawartość strony, funkcjonalność itp.). 6.03.09

Częstotliwość występowania unikalnych błędów.

Częstotliwość występowania błędów

na 1 uczestnika,

w poszczególnych zadaniach.

Kategoryzacja (nawigacja, nazewnictwo, zawartość strony, funkcjonalność itp.).

Miary opinii użytkowników (self-reported)‏ Dokładne zbadanie: opinii badanych, sposobu wykonywania zadań, poziomu zapamiętywalności. 6.03.09

Dokładne zbadanie:

opinii badanych,

sposobu wykonywania zadań,

poziomu zapamiętywalności.

Miary opinii użytkowników – po zakończeniu zadania Skala Likerta – przeważnie pięciostopniowa; stopień akceptacji zjawiska. 6.03.09

Miary opinii użytkowników – po zakończeniu zadania Skala semantyczna – prezentująca przeciwstawne określenia (5 lub 7 stopni). 6.03.09

SUS – 10 zdań do oceny przez użytkownika. Miary opinii użytkowników – po zakończeniu badania 6.03.09

SUS – 10 zdań do oceny przez użytkownika.

Miary opinii użytkowników – serwisy internetowe Przykład – WAMMI. pomiar zadowolenia użytkowników, benchmarking, ogólna ocena atrakcyjności, skuteczności, przydatności, nauczalności. 6.03.09

Przykład – WAMMI.

pomiar zadowolenia użytkowników,

benchmarking,

ogólna ocena atrakcyjności, skuteczności, przydatności, nauczalności.

Miary behawioralne i fizjologiczne obserwacja zachowania, facial expressions, eyetracking, rytm serca, przewodnictwo skóry, pomiar stresu. 6.03.09

obserwacja zachowania,

facial expressions,

eyetracking,

rytm serca, przewodnictwo skóry,

pomiar stresu.

Miary łączone i porównawcze Łączenie kilku miar w jedną. Porównywanie z wartościami wzorcowymi. Ogólnie : dostarczanie finalnych odpowiedzi. Wyzwanie: właściwe i logiczne połączenie wyników z różnych skal. 6.03.09

Łączenie kilku miar w jedną.

Porównywanie z wartościami wzorcowymi.

Ogólnie : dostarczanie finalnych odpowiedzi.

Wyzwanie: właściwe i logiczne połączenie wyników z różnych skal.

6.03.09

ROI? Prosta odpowiedź: porównywanie, wpływ zmian, preferencje, zapamiętywalność. Trudna odpowiedź: usunięcie błędu, a oszczędność, poprawa funkcjonalności, a poprawa zysku. symulacje – potrzebne dane. 6.03.09

Prosta odpowiedź:

porównywanie,

wpływ zmian,

preferencje, zapamiętywalność.

Trudna odpowiedź:

usunięcie błędu, a oszczędność,

poprawa funkcjonalności, a poprawa zysku.

symulacje – potrzebne dane.

Dziękuję Natalia Bednarz 6.03.09