VALUTARE L’USABILITA’ Corso di Interazione Uomo Macchina AA 2009-2010 Roberto Polillo Università di Milano Bicocca Dipartimento di Informatica, Sistemistica e Comunicazione

Scopo di questa lezione Discutere le varie tecniche disponibili per valutare la usabilità di un sistema interattivo

Discutere le varie tecniche disponibili per valutare la usabilità di un sistema interattivo

Tecniche di valutazione Si possono dividere in due grandi categorie: Valutazioni attraverso l’analisi di esperti di usabilità (“ispezioni”) Walkthrough cognitivi Valutazioni euristiche … Valutazioni con la partecipazione degli utenti Test di usabilità Interrogazioni …

Si possono dividere in due grandi categorie:

Valutazioni attraverso l’analisi di esperti di usabilità (“ispezioni”)

Walkthrough cognitivi

Valutazioni euristiche

…

Valutazioni con la partecipazione degli utenti

Test di usabilità

Interrogazioni

…

Temi Ispezioni Test di usabilità Altre tecniche basate sull’utente

Ispezioni

Test di usabilità

Altre tecniche basate sull’utente

Ispezioni

Ispezioni (ingl.: inspections ) Esperti di usabilità esaminano gli aspetti legati alla usabilità di un sistema, senza coinvolgere gli utenti Tipicamente, questi metodi vengono usati in vari momenti durante la progettazione e la realizzazione del sistema (anche nelle fasi iniziali) Due tecniche principali: Valutazioni basate su euristiche (“heuristic evaluation”) Walkthrough cognitivi

Esperti di usabilità esaminano gli aspetti legati alla usabilità di un sistema, senza coinvolgere gli utenti

Tipicamente, questi metodi vengono usati in vari momenti durante la progettazione e la realizzazione del sistema (anche nelle fasi iniziali)

Due tecniche principali:

Valutazioni basate su euristiche (“heuristic evaluation”)

Walkthrough cognitivi

Valutazioni basate su euristiche Euristico (dal greco eurisco, trovo): in matematica, qualsiasi procedimento non rigoroso che consente di prevedere o rendere plausibile un risultato, il quale in un secondo tempo dovrà essere controllato e convalidato per via rigorosa (Vocabolario Treccani) Il sistema viene esaminato verificandone con sistematicità la conformità a specifiche “regole d’oro” (dette, appunto, “euristiche”), correlate a principi e linee guida generalmente accettati Le euristiche possono essere diverse, più o meno dettagliate. In pratica, si preferiscono euristiche costituite da pochi principi molto generali, piuttosto che linee guida dettagliate, di difficile utilizzo

Euristico (dal greco eurisco, trovo): in matematica, qualsiasi procedimento non rigoroso che consente di prevedere o rendere plausibile un risultato, il quale in un secondo tempo dovrà essere controllato e convalidato per via rigorosa (Vocabolario Treccani)

Il sistema viene esaminato verificandone con sistematicità la conformità a specifiche “regole d’oro” (dette, appunto, “euristiche”), correlate a principi e linee guida generalmente accettati

Le euristiche possono essere diverse, più o meno dettagliate.

In pratica, si preferiscono euristiche costituite da pochi principi molto generali, piuttosto che linee guida dettagliate, di difficile utilizzo

Le euristiche di Nielsen J.Nielsen (1994) ha indicato le seguenti 10 euristiche (molto generali), per valutare la usabilità di un sistema: Visibilità dello stato del sistema Corrispondenza fra il mondo reale e il sistema Libertà e controllo da parte degli utenti Consistenza e standard Prevenzione degli errori Riconoscere piuttosto che ricordare Flessibilità ed efficienza d’uso Design minimalista ed estetico Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli Guida e documentazione (Vedi J.Nielsen, How to conduct a Heuristi Evaluation, in http://www.useit.com/papers/heuristic/heuristic_evaluation.html )

J.Nielsen (1994) ha indicato le seguenti 10 euristiche (molto generali), per valutare la usabilità di un sistema:

Visibilità dello stato del sistema

Corrispondenza fra il mondo reale e il sistema

Libertà e controllo da parte degli utenti

Consistenza e standard

Prevenzione degli errori

Riconoscere piuttosto che ricordare

Flessibilità ed efficienza d’uso

Design minimalista ed estetico

Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli

Guida e documentazione

(Vedi J.Nielsen, How to conduct a Heuristi Evaluation, in http://www.useit.com/papers/heuristic/heuristic_evaluation.html )

Valutazioni basate su euristiche: aspetti Poco costose (“ discount usability ”) Valutatori diversi tendono a trovare problemi diversi (un valutatore non basta) Tipicamente ci si può aspettare che 5 valutatori scoprano i due terzi dei problemi di usabilità I risultati sono tanto migliori quanto più i valutatori sono esperti (conoscenza dei problemi di usabilità della specifica applicazione) NB I valutatori non devono comunicare fra loro durante la valutazione

Poco costose (“ discount usability ”)

Valutatori diversi tendono a trovare problemi diversi (un valutatore non basta)

Tipicamente ci si può aspettare che 5 valutatori scoprano i due terzi dei problemi di usabilità

I risultati sono tanto migliori quanto più i valutatori sono esperti (conoscenza dei problemi di usabilità della specifica applicazione)

NB I valutatori non devono comunicare fra loro durante la valutazione

Esempio Sistema bancario valutato da 19 valutatori (ordinati dal basso in alto sulla base del numero di problemi trovati), da J.Nielsen, cit.

Walkthrough cognitivo Il valutatore esamina in dettaglio (passo passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito… … cercando anche di ricostruire i processi mentali richiesti agli utenti nello svolgimento delle varie azioni, per individuare eventuali problemi di usabilità

Il valutatore esamina in dettaglio (passo passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito…

… cercando anche di ricostruire i processi mentali richiesti agli utenti nello svolgimento delle varie azioni, per individuare eventuali problemi di usabilità

Il walkthrough cognitivo: come si fa Per ogni azione nella sequenza di azioni che l’utente deve effettuare per realizzare un compito, il valutatore cerca di rispondere alle seguenti 4 domande : L’utente cercherà di ottenere l’effetto corretto? L’utente noterà che l’azione corretta è disponibile? L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere? Se l’azione corretta è stata eseguita, l’utente vedrà che c’è un progresso verso la soluzione del compito?

Per ogni azione nella sequenza di azioni che l’utente deve effettuare per realizzare un compito, il valutatore cerca di rispondere alle seguenti 4 domande :

L’utente cercherà di ottenere l’effetto corretto?

L’utente noterà che l’azione corretta è disponibile?

L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere?

Se l’azione corretta è stata eseguita, l’utente vedrà che c’è un progresso verso la soluzione del compito?

Esempio: Copy & Paste di una frase in Word UT 1: Selezionare la frase SIST 1: Evidenzia la frase UT 2: Seleziona Edit  Copy SIST 2: nessun feedback UT 3: Posiziona il cursore sul punto di inserimento SIST 3: La barra del cursore lampeggia UT 4: Seleziona Edit  Paste SIST 4: La frase selezionata appare nella posizione del cursore Per ogni azione dell’utente bisogna rispondere alle 4 domande precedenti

UT 1: Selezionare la frase

SIST 1: Evidenzia la frase

UT 2: Seleziona Edit  Copy

SIST 2: nessun feedback

UT 3: Posiziona il cursore sul punto di inserimento

SIST 3: La barra del cursore lampeggia

UT 4: Seleziona Edit  Paste

SIST 4: La frase selezionata appare nella posizione del cursore

Walkthrough cognitivo: aspetti La tecnica richiede molta esperienza L’analisi di interfacce complesse richiede molto tempo La tecnica risulta efficace soprattutto per stabilire se è facile imparare ad usare il sistema, quando lo si esamina per la prima volta

La tecnica richiede molta esperienza

L’analisi di interfacce complesse richiede molto tempo

La tecnica risulta efficace soprattutto per stabilire se è facile imparare ad usare il sistema, quando lo si esamina per la prima volta

Classificazione dei problemi riscontrati Qualunque sia la tecnica di ispezione utilizzata, gli eventuali problemi di usabilità individuati dovranno essere classificati sulla base della loro importanza, ad esempio: 1 Problema irrilevante : non deve essere risolto, a meno che avanzi del tempo 2 Problema secondario : da risolvere con bassa priorità 3 Problema rilevante : da risolvere con alta priorità 4 Problema bloccante : deve necessariamente essere risolto prima che il sistema venga rilasciato

Qualunque sia la tecnica di ispezione utilizzata, gli eventuali problemi di usabilità individuati dovranno essere classificati sulla base della loro importanza, ad esempio:

1 Problema irrilevante : non deve essere risolto, a meno che avanzi del tempo

2 Problema secondario : da risolvere con bassa priorità

3 Problema rilevante : da risolvere con alta priorità

4 Problema bloccante : deve necessariamente essere risolto prima che il sistema venga rilasciato

Test di usabilità

Sulla carta funziona, ma... …poi bisogna provare!

Test di usabilità Utenti campione usano il sistema in un ambiente controllato, sotto osservazione da parte di esperti di usabilità che raccolgono dati, li analizzano e traggono conclusioni

Utenti campione usano il sistema in un ambiente controllato, sotto osservazione da parte di esperti di usabilità che raccolgono dati, li analizzano e traggono conclusioni

In sostanza... Si individuano compiti importanti, e si osservano utenti “cavie” mentre li eseguono, senza interferire Osservatore Osservato

Si individuano compiti importanti, e si osservano utenti “cavie” mentre li eseguono, senza interferire

Tipi di test di usabilità Test di compito Agli utenti viene chiesto di svolgere compiti specifici , che permettano di esercitare le funzioni principali del sistema (es. Provare i diversi casi d’uso) Test di scenario Agli utenti viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari , senza indicarli esplicitamente: l’utente dovrà quindi impostare una propria strategia di azioni

Test di compito Agli utenti viene chiesto di svolgere compiti specifici , che permettano di esercitare le funzioni principali del sistema (es. Provare i diversi casi d’uso)

Test di scenario Agli utenti viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari , senza indicarli esplicitamente: l’utente dovrà quindi impostare una propria strategia di azioni

Esempio: test di compito per un sito di e-commerce Task 1: Registrarsi Task 2: Verificare se si può pagare con Visa e qual è l’importo minimo per un ordine Task 3: Verificare quali sono i tempi di consegna Task 4: Acquistare una scatoletta da 500 gr di tonno sott’olio Task 5: Cercare se vendono confezioni di sciroppo di acero Task 6: Verificare lo stato degli ordini effettuati Task 7: Verificare se esistono offerte speciali di pasta

Task 1: Registrarsi

Task 2: Verificare se si può pagare con Visa e qual è l’importo minimo per un ordine

Task 3: Verificare quali sono i tempi di consegna

Task 4: Acquistare una scatoletta da 500 gr di tonno sott’olio

Task 5: Cercare se vendono confezioni di sciroppo di acero

Task 6: Verificare lo stato degli ordini effettuati

Task 7: Verificare se esistono offerte speciali di pasta

Esempio: test di scenario per un sito di e-commerce Domani sera hai due amici a cena, ma non hai tempo di andare al supermercato. Decidi quindi di fare la spesa on-line, pagando con la tua Visa. Collegati al sito e ordina gli ingredienti per una cena veloce e poco costosa, ma simpatica.

Domani sera hai due amici a cena, ma non hai tempo di andare al supermercato. Decidi quindi di fare la spesa on-line, pagando con la tua Visa. Collegati al sito e ordina gli ingredienti per una cena veloce e poco costosa, ma simpatica.

Test di usabilità: logistica Due filosofie: Organizzazione informale (costi bassi) Usability lab (costi alti): >>

Due filosofie:

Organizzazione informale (costi bassi)

Usability lab (costi alti):

Usability lab Testing room Observation room

Telecamera Microfono Tester Schermo con Software ScreenRecording Organizzazione informale

Thinking aloud E’ una tecnica per la quale si chiede all’utente di svolgere un compito, e, contemporaneamente, di esprimere ad alta voce ciò a cui sta pensando: che cosa sta cercando di fare che cosa vede sullo schermo come pensa di dover proseguire quali dubbi e difficoltà sta provando

E’ una tecnica per la quale si chiede all’utente di svolgere un compito, e, contemporaneamente, di esprimere ad alta voce ciò a cui sta pensando:

che cosa sta cercando di fare

che cosa vede sullo schermo

come pensa di dover proseguire

quali dubbi e difficoltà sta provando

Video: test di usabilità Aspettatevi delle sorprese! ?Y!W?KJZ

Come si organizza un test di usabilità Quattro fasi: Preparazione del test 2. Esecuzione del test Analisi dei risultati Conclusioni

Quattro fasi:

Preparazione del test

2. Esecuzione del test

Analisi dei risultati

Conclusioni

1. Preparazione del test Definizione degli obiettivi e tipo del test, e delle misure da raccogliere Definizione del numero e della tipologia degli utenti campione Definizione dei compiti e/o scenari d’uso Individuazione degli utenti campione Preparazione dei materiali e dell’ambiente di prova >>

Definizione degli obiettivi e tipo del test, e delle misure da raccogliere

Definizione del numero e della tipologia degli utenti campione

Definizione dei compiti e/o scenari d’uso

Individuazione degli utenti campione

Preparazione dei materiali e dell’ambiente di prova

Quali misure raccogliere? Spesso vengono raccolte le seguenti metriche elementari: il tempo richiesto da un determinato compito la percentuale di compiti portati a termine con successo (“ success rate ”) la soddisfazione dell’utente

Spesso vengono raccolte le seguenti metriche elementari:

il tempo richiesto da un determinato compito

la percentuale di compiti portati a termine con successo (“ success rate ”)

la soddisfazione dell’utente

Success rate: esempio Success rate : (9 + (4*0.5)) / 24 = 46% successful trials partially successful total trials

Test di usabilità: quanti utenti? Dipende dagli obiettivi del test e dalla complessità del sistema Check-up informale di un sito semplice: - 5-7 utenti - 5-7 compiti ciascuno (20-40 minuti per ciascun utente) Valutazione approfondita di un sito complesso: - 10-15 utenti - 1 – 1,5 h per ciascun utente Esempio: per un sito web, tipicamente

Dipende dagli obiettivi del test e dalla complessità del sistema

La regola di Nielsen (per i siti web) Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti (Jakob Nielsen) Però questa regola informale è stata molto criticata

Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo

Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti

(Jakob Nielsen)

Però questa regola informale è stata molto criticata

La regola di Nielsen J.Nielsen, “Why You Only Need to Test With 5 Users”, http://www.useit.com con 5 utenti si scopre l’85% dei problemi di usabilità! con 15 utenti li si scopre tutti!

Preparazione dei materiali e dell’ambiente di prova Scheda per raccogliere dati significativi sugli utenti (esperienza, conoscenza del sistema, …) Descrizione scritta dei compiti/scenari, da dare agli utenti Modulo di raccolta dati per gli osservatori (per ogni utente/compito: tempo impiegato, % di completamento, eventi significativi osservati) Questionario per l’intervista finale agli utenti

Scheda per raccogliere dati significativi sugli utenti (esperienza, conoscenza del sistema, …)

Descrizione scritta dei compiti/scenari, da dare agli utenti

Modulo di raccolta dati per gli osservatori (per ogni utente/compito: tempo impiegato, % di completamento, eventi significativi osservati)

Questionario per l’intervista finale agli utenti

. Dati personali Nome: _____________________ Età: __ Titolo di studio: _____________________ Professione: _____________________ . Livello di conoscenza di Internet Giudichi di avere una esperienza d’uso del web: scarsa – media – buona - ottima In media quante ore alla settimana usi il web? meno di 1 – tra 1 e 5 – più di 5 – più di 10 Hai mai partecipato ad un forum o ad una chat su Internet? Sì – No . Livello di conoscenza del sito Hai già utilizzato il sito in esame? No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte Se sì, quali operazioni hai effettuato? ____________________________________________________ Hai mai utilizzato siti simili? No – Sì,qualche volta – Sì, spesso Se sì, quali? _____________________ Esempio : Scheda per i dati sugli utenti

. Dati personali

Nome: _____________________

Età: __ Titolo di studio: _____________________

Professione: _____________________

. Livello di conoscenza di Internet

Giudichi di avere una esperienza d’uso del web:

scarsa – media – buona - ottima

In media quante ore alla settimana usi il web?

meno di 1 – tra 1 e 5 – più di 5 – più di 10

Hai mai partecipato ad un forum o ad una chat su Internet?

Sì – No

. Livello di conoscenza del sito

Hai già utilizzato il sito in esame?

No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte

Se sì, quali operazioni hai effettuato?

____________________________________________________

Hai mai utilizzato siti simili?

No – Sì,qualche volta – Sì, spesso

Se sì, quali? _____________________

2. Esecuzione del test Spiegazione agli utenti Conduzione del test (un utente per volta) Osservazione e registrazione del loro comportamento (note, think aloud , webcam,...), senza interferire Intervista agli utenti ( dopo ) >>

Spiegazione agli utenti

Conduzione del test (un utente per volta) Osservazione e registrazione del loro comportamento (note, think aloud , webcam,...), senza interferire

Intervista agli utenti ( dopo )

La spiegazione agli utenti Mettere gli utenti a proprio agio, per ridurre al massimo lo stress da esame Spiegare bene che è lo scopo è di provare il sistema, non l’utente Spiegare quali registrazioni verranno fatte, e qual’è la politica relativa alla privacy Fornire agli utenti l’ elenco scritto dei compiti da svolgere

Mettere gli utenti a proprio agio, per ridurre al massimo lo stress da esame

Spiegare bene che è lo scopo è di provare il sistema, non l’utente

Spiegare quali registrazioni verranno fatte, e qual’è la politica relativa alla privacy

Fornire agli utenti l’ elenco scritto dei compiti da svolgere

Il ruolo dell’osservatore Interventi corretti: a che cosa stai pensando? continua a parlare non scoraggiarti, tenta ancora Interventi da evitare: a che cosa serve quel bottone? perchè hai cliccato lì?

Interventi corretti:

a che cosa stai pensando?

continua a parlare

non scoraggiarti, tenta ancora

Interventi da evitare:

a che cosa serve quel bottone?

perchè hai cliccato lì?

L’intervista finale agli utenti Al termine dei test, è utile intervistare gli utenti, chiedendo a ciascuno: - punti di forza dell’applicazione - punti di debolezza - aspetti da migliorare - aspetti graditi È utile predisporre un questionario ad uso dell’intervistatore

Al termine dei test, è utile intervistare gli utenti, chiedendo a ciascuno: - punti di forza dell’applicazione - punti di debolezza - aspetti da migliorare - aspetti graditi

È utile predisporre un questionario ad uso dell’intervistatore

3. Analisi dei risultati Analisi dettagliata dei dati raccolti (eventualmente con analisi del filmato) Individuazione ed elencazione dei singoli problemi individuati >>

Analisi dettagliata dei dati raccolti (eventualmente con analisi del filmato)

Individuazione ed elencazione dei singoli problemi individuati

Analisi risultati di un test di usabilità: esempio (Registrazione utente in un sito di e-commerce)

Riorganizzazione dell’elenco dei problemi in aree funzionali Definizione del livello di priorità dei problemi, es.: Priorità 1 : Interventi indispensabili e urgenti Priorità 2 : Interventi necessari ma meno urgenti Priorità 3 : Interventi auspicabili Stesura delle raccomandazioni finali 3. Conclusioni

Riorganizzazione dell’elenco dei problemi in aree funzionali

Definizione del livello di priorità dei problemi, es.: Priorità 1 : Interventi indispensabili e urgenti

Priorità 2 : Interventi necessari ma meno urgenti

Priorità 3 : Interventi auspicabili

Stesura delle raccomandazioni finali

Raccomandazioni finali: esempio

Altre tecniche basate sull’utente

Inchieste (“inquiry”) Chi valuta la usabilità ottiene informazioni sulle necessità degli utenti, sulla loro comprensione del sistema, sugli aspetti graditi e sgraditi, intervistando gli utenti Esistono varie tecniche: - interviste individuali - questionari - focus group (discussione con gruppi di utenti)

Chi valuta la usabilità ottiene informazioni sulle necessità degli utenti, sulla loro comprensione del sistema, sugli aspetti graditi e sgraditi, intervistando gli utenti

Esistono varie tecniche:

- interviste individuali - questionari - focus group (discussione con gruppi di utenti)

Inchieste: aspetti Le inchieste possono fornire utili indicazioni, ma non possono sostituire i test di usabilità: gli utenti non sono esperti di usabilità, ed è molto raro che siano in grado di individuare con precisione le cause delle proprie difficoltà nell’uso di un sistema

Le inchieste possono fornire utili indicazioni, ma non possono sostituire i test di usabilità:

gli utenti non sono esperti di usabilità, ed è molto raro che siano in grado di individuare con precisione le cause delle proprie difficoltà nell’uso di un sistema

Esperimenti controllati Per indagini su problemi specifici, si possono effettuare esperimenti di laboratorio con utenti scelti in modo statisticamente rappresentativo Esempi: Leggibilità di testi a video (dimensione font, tipo di font, colori, …) Efficacia dei banner pubblicitari su pagine web … . La conduzione di questi esperimenti richiede una metodologia rigorosa (scelta del campione, definizione delle ipotesi, conduzione dell’esperimento, analisi dei risultati con i metodi della statistica) ed esula dagli scopi di questo corso

Per indagini su problemi specifici, si possono effettuare esperimenti di laboratorio con utenti scelti in modo statisticamente rappresentativo

Esempi:

Leggibilità di testi a video (dimensione font, tipo di font, colori, …)

Efficacia dei banner pubblicitari su pagine web

… .

La conduzione di questi esperimenti richiede una metodologia rigorosa (scelta del campione, definizione delle ipotesi, conduzione dell’esperimento, analisi dei risultati con i metodi della statistica) ed esula dagli scopi di questo corso

Controllo di risposte fisiologiche Speciali apparecchiature permettono di condurre test relativi alle risposte fisiologiche dell’utente durante l’interazione con il sistema In particolare: apparecchiature per il tracciamento dei movimenti oculari (vedi lezioni successive) apparecchiature per il rilevamento di reazioni emotive (attività cardiaca, sudorazione, attività elettrica nel cervello, tono muscolare)

Speciali apparecchiature permettono di condurre test relativi alle risposte fisiologiche dell’utente durante l’interazione con il sistema

In particolare:

apparecchiature per il tracciamento dei movimenti oculari (vedi lezioni successive)

apparecchiature per il rilevamento di reazioni emotive (attività cardiaca, sudorazione, attività elettrica nel cervello, tono muscolare)