IFeL blog

Structure, Dialogue and Autonomy

Objektive und subjektive Nutzerdaten in Usability-Tests

Leave a comment

Am diesjährigen Kongress der Deutschen Gesellschaft für Psychologie hatte ich die Gelegenheit in der Arbeitsgruppe Mensch-Maschine Interaktion: Aktuelle Herausforderungen in der Usability-Forschung unter der Leitung von Dr. Andreas Sonderegger in Vertretung für Dr. Eva Siegenthaler ihre Forschungsergebnisse zu präsentieren. Das Referat unter dem Titel The Relationship Between Eyetracking-Data and User Ratings in Usability Testing stellte Ergebnisse aus unseren IFeL-Studien vor, welche wir im Bereich des E-Reading durchgeführt haben:

Ein gängiges Problem der Usability-Forschung stellt nämlich der Umstand dar, dass die Testergebnisse häufig auf persönlichen Urteilen der Nutzer beruhen. Diese Nutzer-Urteile sind damit subjektiv und werden durch verschiedene unkontrollierbare Variablen beeinflusst, was die Aussagekraft solcher Untersuchungen in Frage stellen kann. Unsere Eyetracking-Untersuchungen zeigen hier auf, dass Nutzer die Lesbarkeit auf verschiedenen E-Reading-Geräten subjektiv gut einschätzen können, wenn sie noch keine Erfahrung im Umgang mit den Geräten gesammelt haben. Wenn allerdings im Rahmen eines Usability-Tests bereits viel mit dem E-Reading-Gerät interagiert wurde, verzerrt sich das Urteil der Nutzer nachweislich – die Übereinstimmung zwischen objektiven Eyetracking-Daten und subjektiven Nutzer-Urteilen nimmt ab. Dies bedeutet konkret, dass je besser die Usability eines Gerätes eingeschätzt wird (positive vorgängige User Experience), umso besser wird auch aktuell die Lesbarkeit auf diesem Gerät beurteilt. Umgekehrt führt eine schlechte, antizipierte Usability zu schlechteren Lesbarkeits-Urteilen.

Die obige Darstellung stellt eben diesen Sachverhalt in verallgemeinerter Form etwas vereinfacht dar. In den Kästchen links stehen exemplarisch einige Variablen, welche die User Experience beeinflussen. Je nachdem, ob die Erfahrung im Umgang mit dem Gerät positiv oder negativ ausfällt, hat das Auswirkungen auf den Zusammenhang zwischen den im Rahmen eines Usability-Tests erfassten objektiven und subjektiven Kennwerten!

Was bringt uns das nun für die Praxis?

  • Eine konkrete Empfehlung besteht darin, dass man – soweit machbar – möglichst objektive Methoden zur Erfassung zentraler Kennwerte verwenden sollte, um solche systematischen Verzerrungen zu vermeiden.
  • Des Weiteren sollte man sich gut überlegen, zu welchem Zeitpunkt in einem Usability-Test Urteile der Nutzer eingeholt werden. Im obigen Lese-Beispiel wäre es demnach nicht ratsam, die subjektiven Ratings zur Lesbarkeit der Geräte erst nach einer eingehenden Interaktion mit dem Gerät einzuholen!
  • Zu guter Letzt: Wer sich nicht sicher ist, ob die User Experience einen Einfluss auf die in Frage stehende Grösse hat und diese auch nicht zuverlässig objektiv erfassen kann (in unserem Beispiel wird etwa die Lesbarkeit von Texten auf e-Reading-Geräten mittels Eye-Tracking erfasst), sollte sicherheitshalber zweimal befragen.
Advertisements

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s