1. Badania z użytkownikami – jakie są standardy Wnioski z CUE-8 - Rolf Molich i inni

2. Plan prezentacji* Kilka informacji o badaniach z użytkownikami Założenia badania CUE8 (ang. Comparative Usability Evaluation) Wyniki badania Znaczenie badania dla klientów Niniejsza prezentacja jest oparta na artykule: „Rent a Car injust 0, 60, 240 or 1 217 Seconds? Comaprative Usability Measurement, CUE 8” R. Molich i in., Journal of Usability Study, Nov. 2010, Issue 1, vol. 6, s. 8-24

3. Kilka informacji o badaniach z użytkownikami

7. Badanie było realizowane w maju 2009

8. Wszyscy mieli ten sam scenariusz i instrukcje

9. Zespoły miały zmierzyć: sukces, satysfakcje i efektywność (czas)

10. Pozostałe miary były dobrowolne i zależne od doświadczenia oraz zgodne z własną metodologią

11. Wyniki zostały przesłane w formie anonimowej, jako raporty http://www.budget.com

13. Bentley College (US): Tamara Rose

14. Bureau of LaborStatistics (US): Jean Fox

15. DialogDesign (DK): Rolf Molich

16. FamilySearch.org (US): Tyson Stokes

17. Fidelity Investments, team 1 (US): Donna P. Tedesco, MarisaSiegel

18. Fidelity Investments, team 2 (US): Tom Tullis

19. Google, Inc. (US): Tomer Sharon, Daniel "Danny" Wildman

20. Kingston University (UK): JarineeChattratichart, Martin Colbert

21. Mount Royal University (CAN): Brian Traynor

22. Nielsen Norman Group (US): JanelleEstes

23. Oracle Corporation/Measuring Usability LLC (US): Jeff Sauro

24. University of Cork (IRL): Jurek Kirakowski, Raegan Murphy, Mike Brown, NoirinCurran, Nigel Claridge, EveGriffin, Mary Joyce, Anthony Yiu

25. UserPlus (BE): LonnekeSpinhof

27. Zadania do wykonania Wypożycz samochód: Wypożycz samochód średniej wielkości na lotnisku Logan w Bostonie od czwartku 11 czerwca 2009 od 9.00 do poniedziałku 15 czerwca 2009 do 15.00. W przypadku pytania o imię i nazwisko podaj John Smith i e-mail: john112233@gmail.com. Nie finalizuj rezerwacji. Cena wypożyczenia: dowiedz się ile kosztuje wypożyczenie economy car od piątku 19 czerwca 2009 od 15.00 do niedzieli 21 czerwca 2009 do 19.00? Godziny otwarcia: zobacz w jakich godzinach jest otwarte biuro Budget w Great Falls, Montana w wtorki? Ubezpieczenie zniszczenia: Nieznana osoba mocno porysowała Twój wypożyczony samochód. Mechanik ocenił naprawę na około 2000 USD. Twoja umowa wypożyczenia zawiera LossDamageWaiver (LDW). Czy musisz zapłacić koszty naprawy? Jeżeli tak, to jaką część? Lokalizacja wynajmu: znajdź adresy biur Budget , które są najbliżej hotelu Hilton, 921 SixthAvenue, Portland Oregon, US 97204?

28. Koncepcje badawcze

29. Średnio: 40 osób Mediana: 18 osób Max: 313 osób (!!!) Min: 9 osób ------------------------ Bez zespołu L: Średnio: 21 osób Mediana: 15 osób Liczba badanych

31. 4 – niemoderowane

32. 9 – moderowanychBadania moderowane (M) vs niemoderowane (N)

33. Sposób pomiaru czasu i włączanie niepowodzeń do obliczeń

34. Weryfikacja danych i pomiar satysfakcji

35. Czas na badanie: Średnio: 50,4 h Mediana: 39 h Max: 128 h Min: 21 h --------------------------- Liczba badaczy: Średnio: 2 Mediana: 1 Max: 8 Min: 1 Czas poświęcony na realizację badania

36. Założenia: Wynagrodzenie dla badanych: B. moderowane = 100 zł B. niemoderowane = 10 zł Koszt pracownika: 100 zł/h Konsekwencje

37. Założenia: Wynagrodzenie dla badanych: B. moderowane = 100 zł B. niemoderowane = 10 zł Koszt pracownika: 100 zł/h Konsekwencje

38. Wyniki badania

40. średnia arytmetyczna,

41. średnia geometryczna.Czy można wynająć samochód w 60 sekund?

42. Czas pozostałych zadań

44. Badani, którzy nie działali zgodnie z instrukcjami

45. Badani, którzy notorycznie omawiali zadania w trakcie ich realizacji (mimo ostrzeżeń moderatora)

46. Sposób mierzenia czasu

47. Sposób oczyszczenia danych

48. Brak doświadczenia niektórych zespołów badawczych (niektórzy pierwszy raz badali stronę WWW tą metodą)

51. Wyniki statystyczne:

52. powinny być traktowane z dużą ostrożnością,

53. są tylko poglądowe – nie należy się na nich skupiać,

54. nie są najważniejszym elementem badania.

55. Porównywanie wyników statystycznych z różnych firm dla badania tego samego serwisu (np. rok do roku) nie ma sensu.

56. Bardzo dokładanie należy określić ramy dokonywanych pomiarów np.:

57. Start pomiaru jest : w momencie rozpoczęcia czytania zadania, po przeczytaniu zadania, po załadowaniu się strony WWW

59. Brak szczegółów powoduje:

60. różne formy i sposoby badania – każda agencja ma swoje podejście,

61. często najtańsi są najmniej doświadczeni – brak uwzględnienia wielu elementów w wycenie,

62. brak porównywalności ofert – zarówno merytoryczny, jak i finansowy.

65. Wyniki statystyczne traktować jako poglądowe, a nie ostateczne

66. W przypadku współpracy z kilkoma firmami dokładnie określić przebieg wcześniejszych badań i ich pomiar, aby wyniki były porównywalne