8. Come valutare l’usabilità

2,284 views
2,190 views

Published on

Corso di Interazione Uomo Macchina del Prof.R.Polillo - Università di Milano Bicocca - DISCO - AA. 2009-2010 - Lezione 2
(vedi anche www.rpolillo.it)

Published in: Education, Technology, Design
0 Comments
5 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,284
On SlideShare
0
From Embeds
0
Number of Embeds
60
Actions
Shares
0
Downloads
147
Comments
0
Likes
5
Embeds 0
No embeds

No notes for slide
  • Foto dal Nomos Usability Lab, in http://www.nomos.se/index.html
  • Da Jakob Nielsen: Success Rate: the Simplest Usability Metric
  • J.Nielsen, T.K.Landauer, “A Mathematical model of the finding od usability problems”, Proceedings of ACM INTERCHI ‘93 Conference (Amsterdam, April 1993), pp.206-213
  • 8. Come valutare l’usabilità

    1. 1. VALUTARE L’USABILITA’ Corso di Interazione Uomo Macchina AA 2009-2010 Roberto Polillo Università di Milano Bicocca Dipartimento di Informatica, Sistemistica e Comunicazione
    2. 2. Scopo di questa lezione <ul><li>Discutere le varie tecniche disponibili per valutare la usabilità di un sistema interattivo </li></ul>
    3. 3. Tecniche di valutazione <ul><li>Si possono dividere in due grandi categorie: </li></ul><ul><li>Valutazioni attraverso l’analisi di esperti di usabilità (“ispezioni”) </li></ul><ul><ul><li>Walkthrough cognitivi </li></ul></ul><ul><ul><li>Valutazioni euristiche </li></ul></ul><ul><ul><li>… </li></ul></ul><ul><li>Valutazioni con la partecipazione degli utenti </li></ul><ul><ul><li>Test di usabilità </li></ul></ul><ul><ul><li>Interrogazioni </li></ul></ul><ul><ul><li>… </li></ul></ul>
    4. 4. Temi <ul><li>Ispezioni </li></ul><ul><li>Test di usabilità </li></ul><ul><li>Altre tecniche basate sull’utente </li></ul>
    5. 5. Ispezioni
    6. 6. Ispezioni (ingl.: inspections ) <ul><li>Esperti di usabilità esaminano gli aspetti legati alla usabilità di un sistema, senza coinvolgere gli utenti </li></ul><ul><li>Tipicamente, questi metodi vengono usati in vari momenti durante la progettazione e la realizzazione del sistema (anche nelle fasi iniziali) </li></ul><ul><li>Due tecniche principali: </li></ul><ul><ul><li>Valutazioni basate su euristiche (“heuristic evaluation”) </li></ul></ul><ul><ul><li>Walkthrough cognitivi </li></ul></ul>
    7. 7. Valutazioni basate su euristiche <ul><li>Euristico (dal greco eurisco, trovo): in matematica, qualsiasi procedimento non rigoroso che consente di prevedere o rendere plausibile un risultato, il quale in un secondo tempo dovrà essere controllato e convalidato per via rigorosa (Vocabolario Treccani) </li></ul><ul><li>Il sistema viene esaminato verificandone con sistematicità la conformità a specifiche “regole d’oro” (dette, appunto, “euristiche”), correlate a principi e linee guida generalmente accettati </li></ul><ul><li>Le euristiche possono essere diverse, più o meno dettagliate. </li></ul><ul><li>In pratica, si preferiscono euristiche costituite da pochi principi molto generali, piuttosto che linee guida dettagliate, di difficile utilizzo </li></ul>
    8. 8. Le euristiche di Nielsen <ul><li>J.Nielsen (1994) ha indicato le seguenti 10 euristiche (molto generali), per valutare la usabilità di un sistema: </li></ul><ul><li>Visibilità dello stato del sistema </li></ul><ul><li>Corrispondenza fra il mondo reale e il sistema </li></ul><ul><li>Libertà e controllo da parte degli utenti </li></ul><ul><li>Consistenza e standard </li></ul><ul><li>Prevenzione degli errori </li></ul><ul><li>Riconoscere piuttosto che ricordare </li></ul><ul><li>Flessibilità ed efficienza d’uso </li></ul><ul><li>Design minimalista ed estetico </li></ul><ul><li>Aiutare gli utenti a riconoscere gli errori, diagnosticarli e correggerli </li></ul><ul><li>Guida e documentazione </li></ul><ul><li>(Vedi J.Nielsen, How to conduct a Heuristi Evaluation, in http://www.useit.com/papers/heuristic/heuristic_evaluation.html ) </li></ul>
    9. 9. Valutazioni basate su euristiche: aspetti <ul><li>Poco costose (“ discount usability ”) </li></ul><ul><li>Valutatori diversi tendono a trovare problemi diversi (un valutatore non basta) </li></ul><ul><li>Tipicamente ci si può aspettare che 5 valutatori scoprano i due terzi dei problemi di usabilità </li></ul><ul><li>I risultati sono tanto migliori quanto più i valutatori sono esperti (conoscenza dei problemi di usabilità della specifica applicazione) </li></ul><ul><li>NB I valutatori non devono comunicare fra loro durante la valutazione </li></ul>
    10. 10. Esempio Sistema bancario valutato da 19 valutatori (ordinati dal basso in alto sulla base del numero di problemi trovati), da J.Nielsen, cit.
    11. 11. Walkthrough cognitivo <ul><li>Il valutatore esamina in dettaglio (passo passo) le azioni elementari che l’utente del sistema deve compiere per portare a buon fine ogni specifico compito… </li></ul><ul><li>… cercando anche di ricostruire i processi mentali richiesti agli utenti nello svolgimento delle varie azioni, per individuare eventuali problemi di usabilità </li></ul>
    12. 12. Il walkthrough cognitivo: come si fa <ul><li>Per ogni azione nella sequenza di azioni che l’utente deve effettuare per realizzare un compito, il valutatore cerca di rispondere alle seguenti 4 domande : </li></ul><ul><ul><li>L’utente cercherà di ottenere l’effetto corretto? </li></ul></ul><ul><ul><li>L’utente noterà che l’azione corretta è disponibile? </li></ul></ul><ul><ul><li>L’utente assocerà l’azione corretta con l’effetto che sta cercando di ottenere? </li></ul></ul><ul><ul><li>Se l’azione corretta è stata eseguita, l’utente vedrà che c’è un progresso verso la soluzione del compito? </li></ul></ul>
    13. 13. Esempio: Copy & Paste di una frase in Word <ul><li>UT 1: Selezionare la frase </li></ul><ul><li>SIST 1: Evidenzia la frase </li></ul><ul><li>UT 2: Seleziona Edit  Copy </li></ul><ul><li>SIST 2: nessun feedback </li></ul><ul><li>UT 3: Posiziona il cursore sul punto di inserimento </li></ul><ul><li>SIST 3: La barra del cursore lampeggia </li></ul><ul><li>UT 4: Seleziona Edit  Paste </li></ul><ul><li>SIST 4: La frase selezionata appare nella posizione del cursore </li></ul>Per ogni azione dell’utente bisogna rispondere alle 4 domande precedenti
    14. 14. Walkthrough cognitivo: aspetti <ul><li>La tecnica richiede molta esperienza </li></ul><ul><li>L’analisi di interfacce complesse richiede molto tempo </li></ul><ul><li>La tecnica risulta efficace soprattutto per stabilire se è facile imparare ad usare il sistema, quando lo si esamina per la prima volta </li></ul>
    15. 15. Classificazione dei problemi riscontrati <ul><li>Qualunque sia la tecnica di ispezione utilizzata, gli eventuali problemi di usabilità individuati dovranno essere classificati sulla base della loro importanza, ad esempio: </li></ul><ul><li>1 Problema irrilevante : non deve essere risolto, a meno che avanzi del tempo </li></ul><ul><li>2 Problema secondario : da risolvere con bassa priorità </li></ul><ul><li>3 Problema rilevante : da risolvere con alta priorità </li></ul><ul><li>4 Problema bloccante : deve necessariamente essere risolto prima che il sistema venga rilasciato </li></ul>
    16. 16. Test di usabilità
    17. 17. Sulla carta funziona, ma... …poi bisogna provare!
    18. 18. Test di usabilità <ul><li>Utenti campione usano il sistema in un ambiente controllato, sotto osservazione da parte di esperti di usabilità che raccolgono dati, li analizzano e traggono conclusioni </li></ul>
    19. 19. In sostanza... <ul><li>Si individuano compiti importanti, e si osservano utenti “cavie” mentre li eseguono, senza interferire </li></ul>Osservatore Osservato
    20. 20. Tipi di test di usabilità <ul><li>Test di compito Agli utenti viene chiesto di svolgere compiti specifici , che permettano di esercitare le funzioni principali del sistema (es. Provare i diversi casi d’uso) </li></ul><ul><li>Test di scenario Agli utenti viene indicato un obiettivo da raggiungere attraverso una serie di compiti elementari , senza indicarli esplicitamente: l’utente dovrà quindi impostare una propria strategia di azioni </li></ul>
    21. 21. Esempio: test di compito per un sito di e-commerce <ul><li>Task 1: Registrarsi </li></ul><ul><li>Task 2: Verificare se si può pagare con Visa e qual è l’importo minimo per un ordine </li></ul><ul><li>Task 3: Verificare quali sono i tempi di consegna </li></ul><ul><li>Task 4: Acquistare una scatoletta da 500 gr di tonno sott’olio </li></ul><ul><li>Task 5: Cercare se vendono confezioni di sciroppo di acero </li></ul><ul><li>Task 6: Verificare lo stato degli ordini effettuati </li></ul><ul><li>Task 7: Verificare se esistono offerte speciali di pasta </li></ul>
    22. 22. Esempio: test di scenario per un sito di e-commerce <ul><ul><li>Domani sera hai due amici a cena, ma non hai tempo di andare al supermercato. Decidi quindi di fare la spesa on-line, pagando con la tua Visa. Collegati al sito e ordina gli ingredienti per una cena veloce e poco costosa, ma simpatica. </li></ul></ul>
    23. 23. Test di usabilità: logistica <ul><li>Due filosofie: </li></ul><ul><li>Organizzazione informale (costi bassi) </li></ul><ul><li>Usability lab (costi alti): </li></ul>>>
    24. 24. Usability lab Testing room Observation room
    25. 25.
    26. 26.
    27. 27. Telecamera Microfono Tester Schermo con Software ScreenRecording Organizzazione informale
    28. 28.
    29. 29. Thinking aloud <ul><li>E’ una tecnica per la quale si chiede all’utente di svolgere un compito, e, contemporaneamente, di esprimere ad alta voce ciò a cui sta pensando: </li></ul><ul><ul><li>che cosa sta cercando di fare </li></ul></ul><ul><ul><li>che cosa vede sullo schermo </li></ul></ul><ul><ul><li>come pensa di dover proseguire </li></ul></ul><ul><ul><li>quali dubbi e difficoltà sta provando </li></ul></ul>
    30. 30. Video: test di usabilità Aspettatevi delle sorprese! ?Y!W?KJZ
    31. 31. Come si organizza un test di usabilità <ul><li>Quattro fasi: </li></ul><ul><li>Preparazione del test </li></ul><ul><li>2. Esecuzione del test </li></ul><ul><li>Analisi dei risultati </li></ul><ul><li>Conclusioni </li></ul>
    32. 32. 1. Preparazione del test <ul><li>Definizione degli obiettivi e tipo del test, e delle misure da raccogliere </li></ul><ul><li>Definizione del numero e della tipologia degli utenti campione </li></ul><ul><li>Definizione dei compiti e/o scenari d’uso </li></ul><ul><li>Individuazione degli utenti campione </li></ul><ul><li>Preparazione dei materiali e dell’ambiente di prova </li></ul>>>
    33. 33. Quali misure raccogliere? <ul><li>Spesso vengono raccolte le seguenti metriche elementari: </li></ul><ul><li>il tempo richiesto da un determinato compito </li></ul><ul><li>la percentuale di compiti portati a termine con successo (“ success rate ”) </li></ul><ul><li>la soddisfazione dell’utente </li></ul>
    34. 34. Success rate: esempio Success rate : (9 + (4*0.5)) / 24 = 46% successful trials partially successful total trials
    35. 35. Test di usabilità: quanti utenti? <ul><li>Dipende dagli obiettivi del test e dalla complessità del sistema </li></ul>Check-up informale di un sito semplice: - 5-7 utenti - 5-7 compiti ciascuno (20-40 minuti per ciascun utente) Valutazione approfondita di un sito complesso: - 10-15 utenti - 1 – 1,5 h per ciascun utente Esempio: per un sito web, tipicamente
    36. 36. La regola di Nielsen (per i siti web) <ul><li>Dopo il quinto utente, sprecherete il vostro tempo osservando più volte gli stessi risultati, senza imparare molto di nuovo </li></ul><ul><li>Dopo avere osservato 5 utenti, eliminate i problemi individuati, e provate di nuovo con 5 utenti </li></ul><ul><ul><ul><li>(Jakob Nielsen) </li></ul></ul></ul><ul><li>Però questa regola informale è stata molto criticata </li></ul>
    37. 37. La regola di Nielsen J.Nielsen, “Why You Only Need to Test With 5 Users”, http://www.useit.com con 5 utenti si scopre l’85% dei problemi di usabilità! con 15 utenti li si scopre tutti!
    38. 38. Preparazione dei materiali e dell’ambiente di prova <ul><li>Scheda per raccogliere dati significativi sugli utenti (esperienza, conoscenza del sistema, …) </li></ul><ul><li>Descrizione scritta dei compiti/scenari, da dare agli utenti </li></ul><ul><li>Modulo di raccolta dati per gli osservatori (per ogni utente/compito: tempo impiegato, % di completamento, eventi significativi osservati) </li></ul><ul><li>Questionario per l’intervista finale agli utenti </li></ul>
    39. 39. <ul><li>. Dati personali </li></ul><ul><li>Nome: _____________________ </li></ul><ul><li>Età: __ Titolo di studio: _____________________ </li></ul><ul><li>Professione: _____________________ </li></ul><ul><li>. Livello di conoscenza di Internet </li></ul><ul><li>Giudichi di avere una esperienza d’uso del web: </li></ul><ul><li>scarsa – media – buona - ottima </li></ul><ul><li>In media quante ore alla settimana usi il web? </li></ul><ul><li>meno di 1 – tra 1 e 5 – più di 5 – più di 10 </li></ul><ul><li>Hai mai partecipato ad un forum o ad una chat su Internet? </li></ul><ul><li>Sì – No </li></ul><ul><li>. Livello di conoscenza del sito </li></ul><ul><li>Hai già utilizzato il sito in esame? </li></ul><ul><li>No – Sì, meno di 3 volte – Sì, più di 3 volte - Sì, più di 10 volte </li></ul><ul><li>Se sì, quali operazioni hai effettuato? </li></ul><ul><li>____________________________________________________ </li></ul><ul><li>Hai mai utilizzato siti simili? </li></ul><ul><li>No – Sì,qualche volta – Sì, spesso </li></ul><ul><li>Se sì, quali? _____________________ </li></ul>Esempio : Scheda per i dati sugli utenti
    40. 40. 2. Esecuzione del test <ul><li>Spiegazione agli utenti </li></ul><ul><li>Conduzione del test (un utente per volta) Osservazione e registrazione del loro comportamento (note, think aloud , webcam,...), senza interferire </li></ul><ul><li>Intervista agli utenti ( dopo ) </li></ul>>>
    41. 41. La spiegazione agli utenti <ul><li>Mettere gli utenti a proprio agio, per ridurre al massimo lo stress da esame </li></ul><ul><li>Spiegare bene che è lo scopo è di provare il sistema, non l’utente </li></ul><ul><li>Spiegare quali registrazioni verranno fatte, e qual’è la politica relativa alla privacy </li></ul><ul><li>Fornire agli utenti l’ elenco scritto dei compiti da svolgere </li></ul>
    42. 42. Il ruolo dell’osservatore <ul><li>Interventi corretti: </li></ul><ul><ul><li>a che cosa stai pensando? </li></ul></ul><ul><ul><li>continua a parlare </li></ul></ul><ul><ul><li>non scoraggiarti, tenta ancora </li></ul></ul><ul><li>Interventi da evitare: </li></ul><ul><ul><li>a che cosa serve quel bottone? </li></ul></ul><ul><ul><li>perchè hai cliccato lì? </li></ul></ul>
    43. 43. L’intervista finale agli utenti <ul><li>Al termine dei test, è utile intervistare gli utenti, chiedendo a ciascuno: - punti di forza dell’applicazione - punti di debolezza - aspetti da migliorare - aspetti graditi </li></ul><ul><li>È utile predisporre un questionario ad uso dell’intervistatore </li></ul>
    44. 44. 3. Analisi dei risultati <ul><li>Analisi dettagliata dei dati raccolti (eventualmente con analisi del filmato) </li></ul><ul><li>Individuazione ed elencazione dei singoli problemi individuati </li></ul>>>
    45. 45. Analisi risultati di un test di usabilità: esempio (Registrazione utente in un sito di e-commerce)
    46. 46. <ul><li>Riorganizzazione dell’elenco dei problemi in aree funzionali </li></ul><ul><li>Definizione del livello di priorità dei problemi, es.: Priorità 1 : Interventi indispensabili e urgenti </li></ul><ul><li>Priorità 2 : Interventi necessari ma meno urgenti </li></ul><ul><li>Priorità 3 : Interventi auspicabili </li></ul><ul><li>Stesura delle raccomandazioni finali </li></ul>3. Conclusioni
    47. 47. Raccomandazioni finali: esempio
    48. 48. Altre tecniche basate sull’utente
    49. 49. Inchieste (“inquiry”) <ul><li>Chi valuta la usabilità ottiene informazioni sulle necessità degli utenti, sulla loro comprensione del sistema, sugli aspetti graditi e sgraditi, intervistando gli utenti </li></ul><ul><li>Esistono varie tecniche: </li></ul><ul><li>- interviste individuali - questionari - focus group (discussione con gruppi di utenti) </li></ul>
    50. 50. Inchieste: aspetti <ul><li>Le inchieste possono fornire utili indicazioni, ma non possono sostituire i test di usabilità: </li></ul><ul><li>gli utenti non sono esperti di usabilità, ed è molto raro che siano in grado di individuare con precisione le cause delle proprie difficoltà nell’uso di un sistema </li></ul>
    51. 51. Esperimenti controllati <ul><li>Per indagini su problemi specifici, si possono effettuare esperimenti di laboratorio con utenti scelti in modo statisticamente rappresentativo </li></ul><ul><li>Esempi: </li></ul><ul><ul><li>Leggibilità di testi a video (dimensione font, tipo di font, colori, …) </li></ul></ul><ul><ul><li>Efficacia dei banner pubblicitari su pagine web </li></ul></ul><ul><ul><li>… . </li></ul></ul><ul><li>La conduzione di questi esperimenti richiede una metodologia rigorosa (scelta del campione, definizione delle ipotesi, conduzione dell’esperimento, analisi dei risultati con i metodi della statistica) ed esula dagli scopi di questo corso </li></ul>
    52. 52. Controllo di risposte fisiologiche <ul><li>Speciali apparecchiature permettono di condurre test relativi alle risposte fisiologiche dell’utente durante l’interazione con il sistema </li></ul><ul><li>In particolare: </li></ul><ul><ul><li>apparecchiature per il tracciamento dei movimenti oculari (vedi lezioni successive) </li></ul></ul><ul><ul><li>apparecchiature per il rilevamento di reazioni emotive (attività cardiaca, sudorazione, attività elettrica nel cervello, tono muscolare) </li></ul></ul>

    ×