Analisi euristica, Playtest ed interviste riguardanti Rust, un videogioco in fase alpha. La presente analisi e discussione è stata effettuata per il corso di Ergonomia Cognitiva all'università Milano Bicocca

1. Alessandro Lagasca, Giacomo Mariani, Roberto Zerbo
Progetto di Ergonomia Cognitiva - Analisi di usabilità di Rust, videogioco in fase alpha

2. • Videogioco survival in prima persona disponibile in «accesso
anticipato»
• Totalmente online e fruibile tramite la piattaforma digitale Steam
• Obbiettivo primario è la sopravvivenza in un mondo in cui le
condizioni di vita sono avverse
• Completa libertà d’azione che pone in difficoltà il giocatore per via
della necessità di difendersi dall’ambiente di gioco e da altri
giocatori, in quanto è previsto il Player vs Player (PvP)
Cos'è Rust

3. Perché Rust?
• Interesse personale verso il mondo dei videogiochi e la categoria
dei survival
• Esperienza personale acquisita provando nel corso dei mesi la
versione alpha di Rust e le sue meccaniche
• Riscontro di diverse problematiche che potevano minare
l’esperienza di gioco rendendola frustrante , oltre a rischiare
l’allontanamento di potenziali nuovi giocatori

4. Ergonomia del software e del videogioco
Si pone necessario differenziare il videogioco da un normale
software :
Software Videogioco
• Una UI non curata costituisce un
problema di divertimento, non di
produttività
• Grafica quale elemento principale
• Divertimento e livello di sfida quale
elemento principale, in quanto si vuole
evitare di creare frustrazione nel
giocatore o di rendere l’esperienza di
gioco pesante
• Necessità di una UI ben curata per
garantire un’elevata produttività
• Grafica come elemento integrante ma
non primario
• Facilità d’uso quale elemento
principale al fine di evitare intoppi (es.
difficoltà a trovare una determinata
funzione o raggiungere una
determinata schermata)

5. Come valutare un videogame
La valutazione avviene secondo due tecniche:
Valutazione con esperti Valutazione con utenti
Metodo basato sui partecipanti, che
richiede il reclutamento di persone che
utilizzino il sistema, tramite l’utilizzo di
tecniche mescolate al fine di creare un
sistema ad-hoc per la valutazione
Metodo che richiede la
partecipazione di almeno un esperto
di usabilità per revisionare
determinati aspetti del sistema,
tramite l’utilizzo di criteri di buona
progettazione (euristiche)

6. Valutazione con Esperti
• Valutazione euristica da parte di due o più esperti, tramite una
semplice discussione o tramite un’accurata analisi operata da
ogni esperto in modo indipendente
• L’uso di più esperti consente un’analisi più efficace, grazie alla
presenza di più punti di vista, seppur l’utilizzo di troppi esperti
comporta costi elevati, a scapito dei benefici
• Possibilità di partecipazione di vari stakeholders, quali ad
esempio giocatori esperti (double experts)

7. Valutazione con Utenti
Valore aggiunto nella ricerca dei problemi (a volte non rilevati dagli esperti o rilevati
erroneamente seppur non esistenti)
I metodi utilizzati variano in base alla fase di valutazione :
Fase di concept e prototipo
• Focus group
• Interviste
• Test di gioco informale
• Questionari
Fase di implementazione e testing
• Test di gioco (incluse tecniche di
misurazioni biometriche)
• Interviste semi-strutturate
• Osservazione
• Registrazione video
• Comparazioni quantitative dei
comportamenti dei giocatori
• Questionari focalizzati sulle esperienze
attitudinali degli utenti

8. Valutazione con Utenti - Playtest
• Tecnica sviluppata presso i laboratori Microsoft con lo scopo di misurare e
quantificare le percezioni, attitudini e opinioni degli utenti messi di fronte ad
un videogioco da valutare
• Particolarmente affidabile per raccogliere dati sugli utenti partecipanti
• Divenuta piuttosto utilizzata negli ultimi anni

9. Valutazione con Utenti - Playtest
Un esempio di Playtest è visibile in una giornata tipica nei laboratori Microsoft
• I partecipanti vengono accomodati da un moderatore, che prende tutte le
precauzioni affinché il Playtest non venga influenzato da fattori esterni
• Viene fatto firmare un NDA e vengono date informazioni inerenti la sessione
di gioco, rispondendo ad eventuali domande
• Sessione di gioco (tipicamente un’ora), con possibilità per i partecipanti di
esprimere dubbi e opinioni su ciò che accade tramite un sistema di feedback
integrato nel gioco
• Questionario di valutazione sottoposto ai partecipanti al termine della
sessione di gioco.

10. Abbiamo realizzato un elenco delle problematiche riscontrate, accompagnate dal principio
euristico violato (Nielsen), da un numero con un valore da 1 a 5 per il grado di gravità della
violazione ed infine una colorazione dal verde al rosso per far risaltare la differente gravità.
Per una maggiore chiarezza nell’analisi dei risultati abbiamo categorizzato i problemi riscontrati
in base a 8 elementi principali:
La nostra indagine euristica
• Facilità d’uso:
- Iniziare una partita (Game
Shell)
- Meccaniche base
• Tutorial e obiettivi intermedi
• Comandi
• Suono
• Interfaccia di gioco
• Grafica
• Sfida (livello di difficoltà)
• Ritmo

11. Facilità d’uso Euristiche Gravità
Quando si accede al menù durante una partita compare un “play game” anche se si è già in gioco; se si
vuole uscire non è chiara la differenza fra esci e disconnetti.
Chiarezza e coerenza 1
Il menù opzioni presenta diversi problemi di chiarezza (volume, box selezionati, v-sync e modifica
assegnazione tasti) (fig. 2).
Chiarezza 2
Quando muori devi compiere una scelta fra: “respawn” o “at a camp”, il cui significato non è chiaro. Chiarezza e familiarità 3
Prima di poter utilizzare un oggetto presente nell’inventario, questo deve essere posiziona- to in uno degli
slot della action bar, risultando scomodo.
Flessibilità 3
Nel menù scelta server non viene specificata la differenza tra server Official, Community, Modded e
Whitelist(1), oltre a non venir dato alcun tipo di spiegazione sulla diversa colorazione dei nomi dei
server(2). (Figura 1)
Chiarezza 4
Si hanno difficoltà in fase di posizionamento degli oggetti, inoltre non c’è alcuna possibilità di spostarli
successivamente.
Controllo e ripristino 4
Il funzionamento di alcuni oggetti non è facilmente intuibile. Il campfire, oggetto fondamentale all’inizio, è
difficile da interpretare in quanto non è intuitivo il sistema di slot al suo interno in cui mettere la legna da
ardere.
Familiarità e visibilità 5
Non è presente un sistema di navigazione (minimappa). Navigazione 5
Nonostante sia un gioco fortemente basato sulle interazioni fra più persone, non è possibile creare gruppi. Flessibilità 5

12. Figura 1 Figura 2

13. Tutorial e obiettivi Euristiche Gravità
Non è previsto alcun tipo di aiuto
all’inizio o durante il gioco.
Chiarezza 2
Non è presente un’ipotetica
introduzione al gioco (o alla sua
storia) portando il giocatore a
ritrovarsi catapultato in un’area più o
meno sperduta, senza uno scopo
chiaro.
Non vengono inoltre chiarite le azioni
disponibili al giocatore.
Convivialità e
familiarità
3
Comandi Euristiche Gravità
Nel caso si trovi una cassa, non
viene indicato a schermo come
interagirvi. E’ possibile
visualizzare una scritta “search”
nel caso si guardi l’oggetto da
una determinata angolazione.
Chiarezza e visibilità 2
La suddivisione degli oggetti si
presenta poco funzionale, in
quanto è presente solo un tasto
“split” e senza alcuna possibilità
di scelta sulla quantità da
dividere.
Flessibilità controllo
e ripristino
3
Sonoro Euristiche Gravità
Nessun feedback sonoro quando si
finisce di costruire qualche oggetto.
Feedback 1

14. Interfaccia di gioco Euristiche Gravità
Il contatore della quantità di un determinato oggetto, manca di coerenza: non è spiegata la differenza tra il
conteggio bianco (dei medikit) e quello giallo della torcia(2). (Figura 3)
Chiarezza e coerenza 1
“Health” e “Food” sono rappresentati con valori decrescenti, a differenza di “Rads”(1). (Figura 3) Coerenza concettuale 2
Le bende hanno un funzionamento diverso rispetto agli altri item: non c’è bisogno di digitare il tasto
numerico corrispondente e poi “usarle” con un click del mouse, ma è sufficiente il tasto numerico.
Coerenza 2
Lo stile dell’inventario è particolarmente grezzo e lontano dagli stili moderni. (Figura 3) Stile 3
Il font e i colori utilizzati in varie parti dell’inventario sono poco leggibili, inoltre la sezione armatura viene
invasa dalla chat(3). (Figura 3)
Visibilità 3
Non è presente alcuna informazione né sulla resistenza (dai colpi) degli edifici costruiti, né sulla loro
durata temporale (scompaiono dopo un determinato tempo).
Visibilità 3
Quando si sta per morire di fame ci si dovrebbe accorgere che la barra “Food” è quasi arrivata sullo 0.
L’unico feedback che si ha è il cambio di colore del font in rosso.
Visibilità e feedback 4
Quante risorse sono state raccolte? Non c’è un sommario nell’interfaccia. Non c’è il “movimento”
dell’oggetto nell’inventario.
Feedback, visibilità e stile 4
Essendo un gioco di sopravvivenza i “parametri vitali” dovrebbero essere la cosa più importante, mentre
qui invece sono inseriti in un piccolo rettangolo posto nell’angolo in basso a destra(1). (Figura 3)
Visibilità 5
Non è immediata la funzione delle bende (con una croce sopra), dato che nella descrizione è riportato un
“cura 0 di salute”.
Familiarità e coerenza 5

15. Figura 3

16. Grafica Euristiche Gravità
Le impostazioni grafiche sono modificabili solo al pre-avvio del gioco (tramite un pan- nello che non
specifica molto se non un banale “Fastest/Fast/Simple/Good/Beautiful/Fantastic”), senza alcuna possibilità
di modifica all’interno del gioco stesso, se non per il Vertical Sync o nel caso si conoscano i comandi della
console interna.
(Figura 4)
Familiarità e controllo 1
Nessuna possibilità di personalizzare il proprio personaggio esteticamente. Flessibilità 2
Non è presente alcun feedback nel caso si provi a distruggere una costruzione o una parte di essa (porta,
scala, finestra) dal punto di vista estetico. La costruzione, nel caso sia distruttibile con quel determinato
oggetto, scompare improvvisamente dopo un certo numero di colpi.
Visibilità 2
Nella zona radioattiva, se si arriva a livelli alti di radiazioni e si perde vita, oltre allo sfarfallio del monitor,
compare un feedback a monitor che indica un danno da destra, indifferentemente da quale lato ci si trovi.
Può confondere il giocatore facendogli credere che stia ricevendo danno da quel lato. (Figura 5)
Coerenza visibilità e
chiarezza
4
Figura 4 Figura 5

17. Sfida Euristiche Gravità
Se si vuole giocare
continuativamente con lo stesso
personaggio si è obbligati a fare
gruppo, nonostante il gioco non
preveda la possibilità di creare party.
Flessibilità 4
Nessuna penalità per chi uccide
giocatori novizi.
Vincolo 4
Non è presente una zona “sicura”,
soprattutto per quei giocatori privi di
armi da fuoco.
Convivialità 4
La mancanza di altri indizi di
orientamento può farti allontanare
troppo dalla strada rendendo il gioco
frustrante, soprattutto per la
mancanza di qualcosa che indichi
che si è in una zona inutile.
Vincolo 5
Ritmo Euristiche Gravità
La ristrettezza della mappa e la
mancanza di un sistema di
navigazione potrebbe spingere i
giocatori ad esplorare aldilà
dell’acqua, per poi scoprire che
entrare in acqua corrisponde a
morte immediata.
Vincolo e ripristino 2
Il ritmo del gioco durante la notte
cala perché le azioni che è
possibile compiere col buio sono
notevolmente ridotte.
Convivialità 4
Passaggio troppo brusco, se non
immediato, da pietra ad armi da
fuoco.
Convivialità 4
Il ritmo cala notevolmente nel
lungo termine (contrasto con altri
mmo).
Convivialità 5

18. 0
2
4
6
8
10
12
Facilità d'uso Tutorial e
obiettivi
Comandi Suono Interfaccia di
gioco
Grafica Sfida Ritmo
N°problemiriscontrati
1 2 3 4 5Gravità

19. Playtest - screening
4 soggetti (2 maschi, 2 femmine)
Età compresa tra i 20 e i 30 anni
Hard-core gamers
Giocatori che giocano da almeno 5 anni a giochi in prima persona

20. Setting, strumenti e compiti
Computer fisso in nostra dotazione
Test effettuati in un’abitazione
privata
Questionario
Gestione interazione con l'utente
durante la fase di gioco (spiegazione
task e supporto durante la fase di gioco)
2
1
3
Annotazione di tutti i pensieri
espressi dal giocatore (think aloud),
associando ad ogni affermazione il
relativo minuto
Osservazione della fase di gioco,
annotando osservazioni relative
soprattutto alle fasi di blocco
dell'utente

21. Il questionario è così composto: 28 item a risposta chiusa (scala Likert da 1, per niente
d'accordo, a 5, totalmente d'accordo), 25 con valore positivo e 3 con valore negativo; due
domande a scelta multipla sugli aspetti più positivi e negativi del gioco e due domande aperte
facoltative.
Dei 28 item a risposta chiusa, 22 misurano queste 8 variabili:
I restanti item (domande 1, 2, 4, 6, 7, 11) insieme a quelli sopra elencati, contribuiscono a
misurare la macro-variabile "divertimento generale".
Il questionario
 Facilità d’uso (domande 10, 13, 15)
 Tutorial e obbiettivi di gioco (domande
5,9)
 Comandi di gioco (domande 3, 23)
 Interfaccia di gioco (domande 12, 16, 17)
 Grafica (domande 19, 25, 27, 28)
 Sfida (domande 8, 14, 18, 20, 22)
 Ritmo (domande 24,26)
 Sonoro (domanda 21)

22. • Spiegazione da parte dei tester delle interfacce di gioco
(schermata principale e menu opzioni)
• Essendo il campione formato da videogiocatori, la tab delle
opzioni non ha riscontrato problemi ad essere spiegata
• Unico problema riscontrato è la sezione «Whitelist» nella tab
«Server»
Le fasi
Fase I

23. • 30 minuti di gioco libero per ogni tester – Think Aloud
Le fasi
Fase II
• Questionario con domande a risposta chiusa per ognuna delle 8
categorie.
Fase III

24. Facilità d’uso
Risultati
"Cerchiamo di nuovo la casa di prima... No, ma.. Non c'è una mappa! E come mi oriento? Come ritrovo la
casa che ho fatto !?"
"Provo a cucinare del pollo...lo metto nell'inventario e provo a prenderlo in mano così da metterlo nel
camp fire... No, ma l'ha mangiato!"
Domande Media
Ho capito subito come nutrirmi all'interno del
gioco
0,25
Ho trovato facile orientarmi all'interno del mondo 1,5
Trovo intuitivo il sistema di posizionamento degli
oggetti
1,25

25. Interfaccia di gioco
Risultati
"Bleeding.. Ah ma sto sanguinando? E perché diamine invece il valore della vita sale?!"
UI
Domande Media
Era semplice tenere sotto controllo le mie
condizioni vitali
3,25
Lo stile grafico del menu è esteticamente piacevole 3
Mi era chiara la quantità di risorse che raccoglievo 3,5

26. Sfida
"Ma una volta scesa la notte è ingiocabile! Come fai a capire dove sei che non si vede niente??"
Domande Media
Mi è capitato di sentirmi frustrato 0,75
Avrei necessitato di più tempo per familiarizzare con il
gioco
0,75
E' stato semplice sopravvivere 1,75
Questo gioco mi è sembrato facile 1,5
Mi piacerebbe iniziare il gioco in una zona sicura 2,5
Risultati

27. Ritmo
"Che lentezza raccogliere della semplice legna.. Ma quando avrò bisogno di grosse quantità quanto
tempo dovrò passare davanti ad un albero?"
Domande Media
Credo che questo gioco possa annoiare sul lungo
termine
0,75
Mi sono divertito durante le fasi notturne 2,25
Mi sono divertito a raccogliere risorse 1,25
Risultati

28. Divertimento generale
Domande Media
Mi sono divertito 4
Trovo innovativo questo genere di giochi 3,75
Consiglierei questo gioco ai miei amici 3,25
Mi sono immedesimato con il personaggio 2,75
Comprerei questo gioco 2,75
Mi trovo a mio agio in questo genere di giochi 3,5
Risultati

29. Grafico riassuntivo delle risposte al questionario
Tabella Riassuntiva dei risultati del questionario
Risultati
Tabella riassuntiva dei risultati del questionario

30. Elementi positivi e negativi a confronto
Risultati

31. Facilità d’uso: aggiunta di una mappa che si compone in automatico
durante le nostre fasi d’esplorazione
Le nostre proposte

32. Tutorial e obiettivi: nessuna aggiunta per non facilitare la scoperta di
modalità di sopravvivenza in gioco
Interfaccia di gioco: una grafica più coerente con l’aspetto del gioco,
necessario un aumento di informazioni fornite (status del giocatore) e
un minor numero di step per il raggiungimento di informazioni
importanti
Comandi di gioco: mapping dei comandi più vicino a quello classico
(es.: tasto «i» per l’inventario)
?
UI
Le nostre proposte

33. Grafica: necessario un miglioramento generale, un’aggiunta di
feedback e una differenziazione più chiara tra le risorse raccoglibili e
non
Sfida: elemento apprezzato durante le sessioni, nessuna proposta
in merito
Ritmo: fasi notturne da ridurre od arricchire
Sonoro: campionare suoni nuovi
Le nostre proposte

34. • I test con gli utenti e la nostra multidisciplinarietà ci hanno
consentito non solo di produrre soluzioni nostre, ma anche di
apprezzare quelle proposte dalla community partendo dalle nostre
considerazioni e suggerimenti
Le proposte della community
• Nel collaborare con la community ci siamo resi conto di quanto
fosse importante una UI più adeguata, infatti gran parte delle
soluzioni proposte erano indirizzate a migliorare questo aspetto

35. Le proposte della community

36. • I problemi più gravi che abbiamo riscontrato nella nostra analisi
euristica riguardavano la facilità d’uso, l’interfaccia di gioco, la
sfida e il ritmo
Conclusioni
• Vengono confermate le nostre ipotesi sugli elementi negativi
eccetto per la sfida, poiché il gioco è stato sì percepito come
estremamente difficile, ma allo stesso tempo come elemento
principale che lo rende divertente
Analisi euristica – riscontro utenti

37. • Gli aspetti più positivi riscontrati erano: tutorial, comandi, sonoro e
grafica
Conclusioni
• Anche per quanto riguarda gli elementi più positivi gli utenti
convergono in linea di massima con la nostra analisi euristica. Un
elemento da noi sottovalutato durante l’analisi euristica è stata la
qualità grafica del prodotto, elemento riportato fra i più negativi
dagli utenti
Analisi euristica – riscontro utenti

38. • A fronte del riscontro con gli utenti possiamo dire che in fase di
analisi euristica, qualsiasi sia la lista di principi utilizzati (generici o
creati ad hoc per i videogiochi), questi andrebbero sempre
riconsiderati in funzione dell’obiettivo finale del videogioco: il
divertimento.
Conclusioni
Nostre considerazioni

39. Alessandro Lagasca, Giacomo Mariani, Roberto Zerbo
Progetto di Ergonomia Cognitiva - Analisi di usabilità di Rust, videogioco in fase alpha
Vi ringraziamo per l’attenzione