• Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
2,480
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
17
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Nutzerbasierte Usability-Tests Klassische User-Tests, Exe-Tracking und Remote-Usability-Tests.
  • 2. User-Test: Grundprinzip › Repräsentative User nutzen eine Anwendung in einem Usability-Labor und werden bei der Nutzung beobachtet. › Typischer Ablauf eines User-Tests: › Rekrutierung: Die Zielgruppe wird definiert und repräsentative User als Probanden rekrutiert. › Testdurchführung: Die Probanden werden zum User-Test eingeladen und nutzen die Anwendung unter Beobachtung. Alle Probleme, die während der Nutzung auftreten, werden notiert. › Auswertung der Ergebnisse: Die Probleme werden interpretiert und es werden konkrete Verbesserungsvorschläge gemacht. › Aufgabenorientierung: User-Tests sind in der Regel aufgabenorientiert, d.h. die Probanden erfüllen „typische“ Aufgaben mit der Anwendung. › Vergleichsdaten: Um die gewonnen daten vergleichen zu können, werden häufig die Angebote von Mitbewerbern mitgetestet. > Best Practices, Worst Practices © 2008 //SEIBERT/MEDIA GMBH
  • 3. User-Test: Daten › Die erhobenen Daten: Bei einem User-Test werden zahlreiche unterschiedliche Daten erhoben, die anschließend ausgewertet werden können. › Vor dem Test: Vorbefragung › Personenspezifische Daten: Alter, Geschlecht, Englischkenntnisse, Online-Erfahrung, etc. › Applikationsspezifische Daten: Erfahrung im Umgang mit der Anwendung, Erfahrung mit vergleichbaren Anwendungen, etc. › Während des Tests: Testdaten › Screen Recording: Der Bildschirm des Testrechners wird aufgenommen, inkl. Mausklicks, Mausbewegungen und Tastenanschläge. So kann die komplette Sitzung nachvollzogen werden. › User Video: Zusätzlich wird der User aufgenommen, um aus dessen Gestik und Mimik zusätzliche Schlüsse ziehen zu können. › Audio Recording: Während der Nutzung spricht der User alles, was ihm zu der Anwendung durch den Kopf schießt, laut aus (Methode lauten Denkens). © 2008 //SEIBERT/MEDIA GMBH
  • 4. User-Test: Daten › Nach dem Test: › Nachbefragung: Online-Befragung mit standardisierten Fragen zu Design, Navigation, Informationsumfang, Hilfe, etc. (System Usability Sale). › Nachbesprechung: Spezielle Usability-Probleme aus dem Test werden direkt im Anschluss noch einmal gesondert besprochen. › Durch die Kombination von Beobachtung und Befragung werden unterschiedliche Daten gewonnen. > Höherer Erkenntnisgewinn © 2008 //SEIBERT/MEDIA GMBH
  • 5. User-Test: Ergebnis › Ergebnis: Das Ergebnis ist ein umfassender Usability-Bericht, der folgende Inhalte umfasst: › Qualitative Analyse: › Aufzählung und detaillierte Beschreibung aller gefundenen Usability-Probleme. › Einschätzung, wie aufwändig die Behebung ist und wie ernst (severe) das Problem ist. › Konkreter Verbesserungsvorschlag. › Beispielfilme für die wichtigsten Probleme. › Quantitative Analyse: › Daten aus dem Screen Recording (Time on Task, Anzahl der Klicks, etc.) › Daten aus der Analyse (Abbrecherquote, Anzahl der Fehler, etc.) › Daten aus der Nachbefragung (Schulnoten für Design, Navigation, Informationsumfang, etc.) © 2008 //SEIBERT/MEDIA GMBH
  • 6. User-Test: Vor- und Nachteile › Vorteile: › Vollständige Information (alle Usability-Probleme werden gefunden) › Hohe Validität (die gefundenen Usability bestehen tatsächlich) › Überzeugendes Instrument (Entscheider glauben an die Ergebnisse) › Nachteile : › Relativ teuer › Relativ zeitintensiv › Anspruchsvolle Testumgebung notwendig © 2008 //SEIBERT/MEDIA GMBH
  • 7. User-Test: Beispiel Time on Task 246 244 250 223 215 200 151 150 99 100 86 74 50 23 20 21 18 0 Aufrufen Suchen Auswählen STA Travel Opodo McFlight Travel Overland © 2008 //SEIBERT/MEDIA GMBH
  • 8. User-Test: Beispiel Nachbefragung 4,5 4 3,5 3 2,5 2 1,5 1 0,5 0 Die Farben der Das Design der Man benoetigt eine Es gibt auf der Die Oberflaeche Die Navigation der Mir war jederzeit Es hat mir Spass Website gefallen Seiten finde ich gut. Einfuehrung bevor Seite ausreichend war alles in allem Seite ist klar, wohin mich gemacht, die Seite mir gut. man die Seite Informationen, wenn einfach zu unkompliziert. Links fuehren zu benutzen. nutzen kann. man mal nicht verwenden. wuerden, bevor ich weiss, wie es weiter sie angeklickt habe. geht. © 2008 //SEIBERT/MEDIA GMBH
  • 9. Eye-Tracking: Grundprinzip › Bei einer Eye-Tracking-Studie werden die Blickbewegungen repräsentativer User mithilfe eines Eye-Trackers aufgezeichnet. › Typischer Ablauf einer Eye-Tracking-Studie: › Der Ablauf gleicht dem bei einem klassischen User-Test, lediglich die erhobenen Daten unterschieden sich. › Beim Eye-Tracking geht es um Aufmerksamkeit. > Aufmerksamkeit als Voraussetzung für das Ausführen bestimmter Aktionen. › Eye-Tracking ermöglicht als einzige Methode zuverlässige Aussagen darüber, ob und wie intensiv verschiedene Oberflächen-Elemente wahrgenommen werden. © 2008 //SEIBERT/MEDIA GMBH
  • 10. Eye-Tracking: Daten › Die erhobenen Daten: Beim Eye-Tracking werden zwei verschiedene Arten von Daten erhoben. › Fixation: Ein bestimmter Punkt auf der Oberfläche wird mit den Augen fokussiert. › Sakkaden: Der Sprung von einer Fixation zur nächsten. › In der Praxis wird Eye-Tracking zudem nicht isoliert eingesetzt, sondern in Kombination mit einem klassischen User-Test. › Alle Daten aus einem klassischen User-Test werden also ebenfalls erhoben. © 2008 //SEIBERT/MEDIA GMBH
  • 11. Eye-Tracking: Ergebnis › Ergebnisse: Beim Eye-Tracking werden die Ergebnisse in der Regel visualisiert (Bilder). › Es entstehen im wesentlichen zwei verschiedene Arten von Ergebnissen: › Blickverdichtungen (Heatmaps, Attention Maps, Areas of Interest): Wo haben die User hingeschaut, wie lange haben die User dort hingeschaut. › Blickverläufe (Scanpath): Wie sind die Blickverläufe der User über einen bestimmten Zeitraum hinweg. › Die Daten können sowohl aggregiert (alle User zusammen) als auch individuell (jeder User einzeln) betrachtet werden. › Einschränkung: Beim Eye-Tracking werden Blicke gemessen, nicht Wahrnehmung! › Die User können Elemente anschauen, ohne diese wahrzunehmen (im Sinne von kognitiv verarbeiten). › Die User können nehmen Elemente auch in der Peripherie des Sehfeldes wahr, das nicht getrackt werden kann. © 2008 //SEIBERT/MEDIA GMBH
  • 12. Eye-Tracking: Vor- und Nachteile › Vorteile: › Bildgebendes Verfahren (keine Befragung oder Beobachtung) › Einzige Methode zur Messung der Aufmerksamkeit › Große Überzeugungskraft › Nachteile: › Teuer und zeitintensiv › Fixation ≠ Aufmerksamkeit › Peripherie des Sehfeldes wird nicht erfasst © 2008 //SEIBERT/MEDIA GMBH
  • 13. Eye-Tracking: Beispiel © 2008 //SEIBERT/MEDIA GMBH
  • 14. Remote Usability-Testing: Grundprinzip › Remote Usability-Tests sind Tests mit Usern, die nicht in einem Labor durchgeführt werden, sondern „aus der Entfernung“. Der User ist zu Hause an seinem eigenen Rechner. › Es gibt zwei unterschiedliche Arten von Remote Usability-Tests: Moderierte Tests vs. Automatisierte Tests. › Moderierte Tests: Wie klassischer User-Test, allerdings ist der User zu Hause und es findet nur ein Screen und Voice Recording statt. › Automatisierte Tests: User nutzen eine Website und geben Kommentare in einen separaten Frame ein. › Vorteile: Die Nutzungssituation ist realistischer, weil die Probanden zu Hause sind und ihren eigenen Rechner nutzen. › Nachteile: An moderierten Tests nehmen nur technisch affine User teil, bei automatisierten Tests ist das Feedback in der Regel sehr „zurückhaltend“. © 2008 //SEIBERT/MEDIA GMBH
  • 15. Remote Usability-Testing: Moderierte Tests › Typischer Ablauf eines moderierten Tests: › Der User lädt eine Software aus dem Internet und installiert diese auf seinem Rechner. Dadurch ist es dem Versuchsleiter möglich, den Screen des Probanden aufzunehmen. › Der User wird angerufen und spricht über ein Headset mit dem Versuchsleiter. Das Telefongespräch wird ebenfalls aufgenommen. › Der User erhält vom Versuchsleiter bestimmte Aufgaben, und erledigt diese unter Anwendung der Methode lauten Denkens. › Die erhobenen Daten: Die erhobenen Daten sind identisch mit denen aus einem klassischen User-Test (ohne User Video) und können genauso ausgewertet werden. © 2008 //SEIBERT/MEDIA GMBH
  • 16. Remote Usability-Testing: Moderierte Tests › Vorteile: › Die Tests sind geografisch nicht beschränkt (regionale, nationale, internationale Tests möglich). › Es gibt keine Verzerrung durch die Laborsituation (der User sitzt an seinem eigenen Rechner). › Nachteile: › Detaillierte Nachbesprechung über das Telefon ist kaum praktikabel. › Der User redet weniger und hat ein geringeres Involvement. © 2008 //SEIBERT/MEDIA GMBH
  • 17. Remote Usability-Testing: Automatisierte Tests › Typischer Ablauf eines automatisierten Tests: › Echte Nutzer werden während einer echten Session um Live-Feedback gebeten. › Es wird ein zusätzlicher Frame geöffnet, in den die User Kommentare (Text) eingeben können. › Die erhobenen Daten: Die Kommentare der User stellen das Datenmaterial dar, das ausgewertet wird. Weitere Informationen stehen nicht zur Verfügung. © 2008 //SEIBERT/MEDIA GMBH
  • 18. Remote Usability-Testing: Automatisierte Tests › Vorteile: › Sehr hohes Involvement (keine Testsituation) › Wenig aufwändig (kein Versuchsleiter) › Sehr viele Probanden › Nachteile: › Man ist noch stärker auf die Verbalisierungsfähigkeit der Probanden angewiesen. › Sehr passive Methode, der User kann nicht „gekitzelt“ werden. › Ähnelt der Methode der Befragung stark. © 2008 //SEIBERT/MEDIA GMBH