Jakość stron WWW. Analiza śladów użytkowników. Dmitrij Żatuchin

Agenda Dane służące do analizy wyników badań użyteczności. Metryki użyteczności. Zastosowanie clicktrackingu. Motiontracking. Charakterystyka danych. System ewaluacji zachowań użytkowników na stronach internetowych bez udziału moderatora i użytkownika. Case study: Czytodziala.pl. Metoda porównania danych. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Dane służące do analizy wyników badań użyteczności.

Metryki użyteczności.

Zastosowanie clicktrackingu.

Motiontracking. Charakterystyka danych.

System ewaluacji zachowań użytkowników na stronach internetowych bez udziału moderatora i użytkownika.

Case study: Czytodziala.pl.

Metoda porównania danych.

Dane służące do analizy wyników badań użyteczności. Dane uzyskiwane podczas badań: Notatka, odpowiedzi na ankietę, lista kontrolna Wywiad przed- i potestowy Dane pozyskane automatycznie za pomocą sprzętu i oprogramowania Statystyczne dane Analiza ekspercka Dane pozyskiwane bez udziału użytkowników: ślady drogi (ślady myszki), mapę cieplną, mapę kliknięć, obszary skupienia wzroku, pliki z historią dokonanych akcji na stronie. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Dane uzyskiwane podczas badań:

Notatka, odpowiedzi na ankietę, lista kontrolna

Wywiad przed- i potestowy

Dane pozyskane automatycznie za pomocą sprzętu i oprogramowania

Statystyczne dane

Analiza ekspercka

Dane pozyskiwane bez udziału użytkowników:

ślady drogi (ślady myszki),

mapę cieplną,

mapę kliknięć,

obszary skupienia wzroku,

pliki z historią dokonanych akcji na stronie.

Metryki użyteczności Potrzebne, aby ocenić o ile bardziej użyteczny jest produkt po wprowadzonych poprawkach Prosty przykład: ISO 9126: skuteczność zadaniowa, kompletność zadaniowa, częstotliwość błędów. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Zadanie/Czas Przed poprawkami Po przeprojektowaniu Poprawa % Zadanie 1 20 s 6 s 233 Zadanie 2 80 s 55 s 45 Zadanie 3 150 s 160 s -6 Czas razem 250 s 121 s Arytmetycznie 107% lepiej Geometrycznie (biorąc pod uwagę spadek użyteczności) 63% lepiej

Potrzebne, aby ocenić o ile bardziej użyteczny jest produkt po wprowadzonych poprawkach

Prosty przykład:

ISO 9126:

skuteczność zadaniowa,

kompletność zadaniowa,

częstotliwość błędów.

Zastosowanie clicktrackingu 1/2 Metoda wykorzystywaną do śledzenia aktywności użytkowników na stronach WWW, lecz nie samych akcji; oraz testach A/B Dane z clicktrackera: czas kliknięcia pozycja kliknięcia liczba kliknięć w dany element parametry użytkownika (GeoIP, browser, etc.) Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Metoda wykorzystywaną do śledzenia aktywności użytkowników na stronach WWW, lecz nie samych akcji; oraz testach A/B

Dane z clicktrackera:

czas kliknięcia

pozycja kliknięcia

liczba kliknięć w dany element

parametry użytkownika (GeoIP, browser, etc.)

Zastosowanie clicktrackingu 2/2 Możliwe sposoby prezentacji danych to: mapa kliknięć mapa cieplna Mapa kliknięć - dwie warstwy nałożone na siebie Mapa cieplna – graficzna reprezentacja liczby punktów skupień w określonym promieniu Pomaga rozwiązywać problem product placement Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Możliwe sposoby prezentacji danych to:

mapa kliknięć

mapa cieplna

Mapa kliknięć - dwie warstwy nałożone na siebie

Mapa cieplna – graficzna reprezentacja liczby punktów skupień w określonym promieniu

Pomaga rozwiązywać problem product placement

Motiontracking. Charakterystyka danych. „ nagrywanie” ruchów i akcji wykonywanych przez użytkownika na stronie WWW w czasie rzeczywistym Trybem dyskretnym ciągłym notowana jest w krótkim odstępnie czasu czwórka danych: P – pozycja kursora T – czas pozycji w wyznaczonym miejscu L – długość przestoju kursora A – rodzaj akcji, np. przeciąganie, kliknięcie, fiksacja, opuszczenie Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

„ nagrywanie” ruchów i akcji wykonywanych przez użytkownika na stronie WWW w czasie rzeczywistym

Trybem dyskretnym ciągłym notowana jest w krótkim odstępnie czasu czwórka danych:

P – pozycja kursora

T – czas pozycji w wyznaczonym miejscu

L – długość przestoju kursora

A – rodzaj akcji, np. przeciąganie, kliknięcie, fiksacja, opuszczenie

Motiontracking. Ścieżka wizyty użytkownika graf zachowań sieciowych System webowy: Kreślenie ścieżek użytkowników Idealna ścieżka od punktu startu do celu jako wzorzec do porównywania Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

graf zachowań sieciowych

System webowy:

Kreślenie ścieżek użytkowników

Idealna ścieżka od punktu startu do celu jako wzorzec do porównywania

System ewaluacji zachowań użytkowników Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Działanie web aplikacji Obitracks.com Dwie mniejsze aplikacji: User Tracker: Kod JavaScript (e.g. GoogleAnalytics) Server Controller: Generuje ClickMap oraz HitMap Przykład wpisu danych: Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Dane: 382|640|1007|firefox|3| 1200762663|156.17.227.10 czyli X | Y | browser_width | browser_type | timestamp_unix | client_IP

Dwie mniejsze aplikacji:

User Tracker:

Kod JavaScript (e.g. GoogleAnalytics)

Server Controller:

Generuje ClickMap oraz HitMap

Przykład wpisu danych:

Case study: Czytodziala.pl Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Case study: Czytodziala.pl. Zadania. Zadanie 1 Wejdź na stronę http://czytodziala.pl Spróbuj zapisać się na monitoring nasza-klasa.pl dla adresu Gadu-Gadu. Powtórz Krok nr 2 dla niepoprawnych danych. Zadanie 2 Wejdź na stronę http://czytodziala.pl Załóż nowe konto w serwisie. Dodaj 1 kontakt mailowy, 1 test na dowolny protokół z dowolnymi ustawieniami. Przypisz kontakt RSS do testu. Zadanie 3 Wejdź na stronę http://czytodziala.pl Zaloguj się na swoje konto. Odpowiedz na trzy pytania: Czy wszystko, co widzę, jest dla mnie jasne? Wiesz gdzie jesteś? Gdybym był w stanie, co bym poprawił na tej stronie? Co przykuwa największą uwagę? Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Zadanie 1

Wejdź na stronę http://czytodziala.pl

Spróbuj zapisać się na monitoring nasza-klasa.pl dla adresu Gadu-Gadu.

Powtórz Krok nr 2 dla niepoprawnych danych.

Zadanie 2

Wejdź na stronę http://czytodziala.pl

Załóż nowe konto w serwisie.

Dodaj 1 kontakt mailowy, 1 test na dowolny protokół z dowolnymi ustawieniami.

Przypisz kontakt RSS do testu.

Zadanie 3

Wejdź na stronę http://czytodziala.pl

Zaloguj się na swoje konto.

Odpowiedz na trzy pytania:

Czy wszystko, co widzę, jest dla mnie jasne? Wiesz gdzie jesteś?

Gdybym był w stanie, co bym poprawił na tej stronie?

Co przykuwa największą uwagę?

Case study: Testowanie i wyniki 8 użytkowników Natywne środowisko pracy użytkowników Testy eyetrack w laboratorium ergonomii PWr Analiza porównawczą jakości uzyskanych wyników przez web aplikację i Eyetrack 6000 (GTAnaly) Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

8 użytkowników

Natywne środowisko pracy użytkowników

Testy eyetrack w laboratorium ergonomii PWr

Analiza porównawczą jakości uzyskanych wyników przez web aplikację i Eyetrack 6000 (GTAnaly)

Case study: Czytodziala.pl. Mapa cieplna Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Case study: Czytodziala.pl. Ścieżka. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Case study: Wyniki z Eyetrack. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Metoda porównania danych. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Webowy system. 486|87|998|opera|1|1200958706460|82.143.157.23 592|95|998|opera|1|1200958709735|82.143.157.23 556|86|998|opera|1|1200958716499|82.143.157.23 674|94|998|opera|1|1200958718808|82.143.157.23 549|91|998|opera|1|1200958731017|82.143.157.23 1122|238|1257|firefox|1|1200958981668|62.21.16.7 599|91|1257|opera|2|1200962745875|83.12.143.166 Eyetrack6000. Win, Code, Number, x, y, Start Time, End Time, Duration, Scroll Set, LZ Name Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 57, 337, 604, 20.658, 20.698, 0.040, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 58, 206, 604, 20.718, 20.858, 0.140, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 59, 325, 605, 20.878, 20.918, 0.040, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 60, 822, 603, 21.098, 21.358, 0.260, 0, Czytodziala.pl - monitoring stron WWW- Mozilla Firefox, F, 61, 795, 604, 21.518, 21.638, 0.120, 0

Metoda porównania danych: Algorytm 1. Suma różnic odległości między punktami w stosunku do łącznej długości ścieżki. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Suma różnic odległości między punktami w stosunku do łącznej długości ścieżki.

Metoda porównania danych: Algorytm 2. Różnica w położeniu kursora i czasie przestoju między poprzedzającym i następującym kliknięciu. Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Różnica w położeniu kursora i czasie przestoju między poprzedzającym i następującym kliknięciu.

Metoda porównania danych. Kroki. Wyznaczane wartości: NOOP TIME DURATION (ms) – długość przestoju myszki w danej pozycji NOOP POINT – punkt przestoju myszki, uwarunkowany stałą NOOP_LIM (100ms), która określa potrzebny czas do zmiany stanu z ACTIVE na NOOP MAX_NORMALIZED_DIFF_LENGTH – stała obliczana poprzez pierwiastkowanie iloczynu szerokości i wysokości ekranu przeglądarki. Działanie algorytmu: Porównanie punktów tylko wtedy gdy wartość bezwzględna między długością ścieżek jest mniejsza niż MAX_NORMALIZED_DIFF_LENGTH Wyliczenie odległości między punktami dwóch ścieżek wykresu w stosunku do odległości od punktu (0,1) - początek ekranu Wyliczenie różnic w czasie przestoju między dwoma ścieżkami Uwzględnienie odchylenia standardowego Obliczenie iloczynu z poszczególnych współczynników podobieństwa – podobieństwo geometryczne Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

Wyznaczane wartości:

NOOP TIME DURATION (ms) – długość przestoju myszki w danej pozycji

NOOP POINT – punkt przestoju myszki, uwarunkowany stałą NOOP_LIM (100ms), która określa potrzebny czas do zmiany stanu z ACTIVE na NOOP

MAX_NORMALIZED_DIFF_LENGTH – stała obliczana poprzez pierwiastkowanie iloczynu szerokości i wysokości ekranu przeglądarki.

Działanie algorytmu:

Porównanie punktów tylko wtedy gdy wartość bezwzględna między długością ścieżek jest mniejsza niż MAX_NORMALIZED_DIFF_LENGTH

Wyliczenie odległości między punktami dwóch ścieżek wykresu w stosunku do odległości od punktu (0,1) - początek ekranu

Wyliczenie różnic w czasie przestoju między dwoma ścieżkami

Uwzględnienie odchylenia standardowego

Obliczenie iloczynu z poszczególnych współczynników podobieństwa – podobieństwo geometryczne

Literatura HACKOS, J. T., REDISH J. C., User and Task Analysis for Interface Design HILBERT D. M., REDMILES D. F., Why Let Perfectly Good Usability Data Go to Waste? NIELSEN, J., Usability Engineering . NIELSEN, J., Designing Web usability - the practice of simplicity . NIELSEN J., http://www.useit.com/alertbox. NIELSEN, J., LORANGER H., Prioritizing Web Usab ility NORMAN K. L., Levels of Automation and User Participation in Usability Testing. SOFTWARE QUALITY JOURNAL, Vol. 14, No. 2. (June 2006), 159-178. ZELDMAN J., Designing with Web Standards 2nd Edition . Standard ISO 9126. http://www.w3c.org www.upassoc.org/upa_publications/ Dmitrij Żatuchin, QAFA-TMS, Kraków 2008

HACKOS, J. T., REDISH J. C., User and Task Analysis for Interface Design

HILBERT D. M., REDMILES D. F., Why Let Perfectly Good Usability Data Go to Waste?

NIELSEN, J., Usability Engineering .

NIELSEN, J., Designing Web usability - the practice of simplicity .

NIELSEN J., http://www.useit.com/alertbox.

NIELSEN, J., LORANGER H., Prioritizing Web Usab ility

NORMAN K. L., Levels of Automation and User Participation in Usability Testing.

SOFTWARE QUALITY JOURNAL, Vol. 14, No. 2. (June 2006), 159-178.

ZELDMAN J., Designing with Web Standards 2nd Edition .

Standard ISO 9126.

http://www.w3c.org

www.upassoc.org/upa_publications/

Dziękuje za uwagę! Thanks for attention! Dmitrij Żatuchin, QAFA-TMS, Kraków 2008 Stała kontrola dostępności stron WWW, i testy wydajnościowe Zapraszamy do współpracy na Czytodziala.pl – partnera Konsorcjum „Użyteczna strona”. tel.+48 500 190 517 [email_address] Projektowanie serwisów korporacyjnych, społecznościowych, promocja i marketing SEO/SEM, wspieranie pomysłów. tel.+48 71 332 60 08 info@internetworks.pl