IFeL blog

Structure, Dialogue and Autonomy


Leave a comment

Mobiles Lernen weiterentwickeln

Mobiles Lernen ist für viele bereits Alltag. Auf der Seite der Anbieter erfordert es eine Weiterentwicklung der aktuellen Kombination von Lernkanälen (Präsenz, Online-Übung, Lesen der Fachbücher und Skripte). Im Vordergrund steht dabei das E-Reading / das digitale Lesen, das immer wichtiger wird.
Neben der Entwicklung und Evaluation von interaktiven E-Books arbeiten wir an der Entwicklung und Validierung quantitativer und qualitativer Messinstrumente zur Untersuchung kognitiver und emotionaler Aspekte des Lernens und des Lesens. In erster Linie wenden wir möglichst objektive Methoden wie Blickrichtungsmessungen (Eye Tracking), Emotionsmessungen (Facial Action Coding), Logfile-Analysen und Dual Task-Methoden an. Dies ergänzen wir mit subjektiven Messverfahren wie Ratingskalen, Fragebogen und Lautem Denken.

Zur Weiterentwicklung unseres Forschungsfeldes Mobiles Lernen suchen wir eine/n wissenschaftliche/n Mitarbeiter/in: http://www.ffhs.ch/?action=get_file&id=27&resource_link_id=16c8


Leave a comment

The Human Factor

The International Conference on Human Factors in Computing & Informatics (southCHI 2013) was  an opportunity to present the latest results of the IFeL Usability Lab in the domain of eReading research. In a pilot experiment for our recent eReading study we tested on-screen reading (LED and eInk) under different contrast conditions.

Focusing on the type of contrast (i.e. light text on dark background vs. dark text on light background) and its influence on readability are discussed controversialy in internet forums and blogs related to e-reading and web design.

Most seems to think that a negative contrast (i.e. dark text on light background) is suited best for reading, while others claim positive contrast (i.e. light text, dark background) to be more relaxing for the eyes and less fatiguing.

Since previous research is inconclusive on this matter, we conducted an eye tracking study comparing central eye movements involved in reading.

The results showed two things:

  • First, there was no significant difference in central eye movements involved when reading on-screen-text either dark-on-light or light-on-dark.
  • Second, the subjective readability-ratings showed a significant preference of dark-on-light text materials.

What does this imply for web and e-reading designers? Though we have yet to analyze the follow-up study’s data, it actually seems to make no difference to apply either positive or negative contrast, as long as it is distinctive.
But – the human factor – people seem to prefer reading with negative contrast.


Leave a comment

Objektive und subjektive Nutzerdaten in Usability-Tests

Am diesjährigen Kongress der Deutschen Gesellschaft für Psychologie hatte ich die Gelegenheit in der Arbeitsgruppe Mensch-Maschine Interaktion: Aktuelle Herausforderungen in der Usability-Forschung unter der Leitung von Dr. Andreas Sonderegger in Vertretung für Dr. Eva Siegenthaler ihre Forschungsergebnisse zu präsentieren. Das Referat unter dem Titel The Relationship Between Eyetracking-Data and User Ratings in Usability Testing stellte Ergebnisse aus unseren IFeL-Studien vor, welche wir im Bereich des E-Reading durchgeführt haben:

Ein gängiges Problem der Usability-Forschung stellt nämlich der Umstand dar, dass die Testergebnisse häufig auf persönlichen Urteilen der Nutzer beruhen. Diese Nutzer-Urteile sind damit subjektiv und werden durch verschiedene unkontrollierbare Variablen beeinflusst, was die Aussagekraft solcher Untersuchungen in Frage stellen kann. Unsere Eyetracking-Untersuchungen zeigen hier auf, dass Nutzer die Lesbarkeit auf verschiedenen E-Reading-Geräten subjektiv gut einschätzen können, wenn sie noch keine Erfahrung im Umgang mit den Geräten gesammelt haben. Wenn allerdings im Rahmen eines Usability-Tests bereits viel mit dem E-Reading-Gerät interagiert wurde, verzerrt sich das Urteil der Nutzer nachweislich – die Übereinstimmung zwischen objektiven Eyetracking-Daten und subjektiven Nutzer-Urteilen nimmt ab. Dies bedeutet konkret, dass je besser die Usability eines Gerätes eingeschätzt wird (positive vorgängige User Experience), umso besser wird auch aktuell die Lesbarkeit auf diesem Gerät beurteilt. Umgekehrt führt eine schlechte, antizipierte Usability zu schlechteren Lesbarkeits-Urteilen.

Die obige Darstellung stellt eben diesen Sachverhalt in verallgemeinerter Form etwas vereinfacht dar. In den Kästchen links stehen exemplarisch einige Variablen, welche die User Experience beeinflussen. Je nachdem, ob die Erfahrung im Umgang mit dem Gerät positiv oder negativ ausfällt, hat das Auswirkungen auf den Zusammenhang zwischen den im Rahmen eines Usability-Tests erfassten objektiven und subjektiven Kennwerten!

Was bringt uns das nun für die Praxis?

  • Eine konkrete Empfehlung besteht darin, dass man – soweit machbar – möglichst objektive Methoden zur Erfassung zentraler Kennwerte verwenden sollte, um solche systematischen Verzerrungen zu vermeiden.
  • Des Weiteren sollte man sich gut überlegen, zu welchem Zeitpunkt in einem Usability-Test Urteile der Nutzer eingeholt werden. Im obigen Lese-Beispiel wäre es demnach nicht ratsam, die subjektiven Ratings zur Lesbarkeit der Geräte erst nach einer eingehenden Interaktion mit dem Gerät einzuholen!
  • Zu guter Letzt: Wer sich nicht sicher ist, ob die User Experience einen Einfluss auf die in Frage stehende Grösse hat und diese auch nicht zuverlässig objektiv erfassen kann (in unserem Beispiel wird etwa die Lesbarkeit von Texten auf e-Reading-Geräten mittels Eye-Tracking erfasst), sollte sicherheitshalber zweimal befragen.


Leave a comment

MoodleMoot 2012: Workshop Usability

Welche Usability-Probleme stellen sich bei der Entwicklung von Lernmodulen in Moodle? Und wie macht man diese ausfindig und was kann man dagegen tun? Diesen und ähnlichen Fragen wurde an der MoodleMoot 2012 in Münster (D) im Rahmen des von Andreas Hediger und Yves Bochud durchgeführten Workshops Der Usability-Ansatz in der Entwicklung eines innovativen Moduls nachgegangen.

Im 90-minütigen Workshop erfuhren die Teilnehmer, wie das am IFeL neu entwickelte Modul COSAMUI in Moodle implementiert wurde und wie wir mittels einer Kombination von verschiedenen Testverfahren die Navigation und auch die Instruktion des Moduls geprüft und verbessert haben. Die Testung des Moduls mit bereits wenigen Personen gab Aufschluss zur Verbesserung der Usability, wodurch das Modul für die Nutzer verständlicher und einfacher zu bedienen wird. Zudem zeigte die Testung von COSAMUI auf, dass sich auch relativ komplexe Lernszenarien in Moodle abbilden und durchführen lassen.

Zum Einstieg des Workshops erläuterte Andreas Hediger das Modul COSAMUI, welches im Usability-Test optimiert wurde. Anschliessend gab ich eine Einführung in die Thematik der Usability und erläuterte den methodischen Ansatz des IFeL. In einem zweiten Teil wurde anhand praktischer Beispiele diskutiert und aufgezeigt, wo sich bei diesem Modul Usability-Probleme ergeben haben. Besonders aufschlussreich für die Teilnehmer des Workshops waren die Eyetracking-Aufnahmen, anhand derer sich der Blickpfad der Nutzer genau studieren lässt: So konnten die Teilnehmer bspw. sehen, wie sich ein Nutzer verhält, der im Modul «verloren» geht und sich mit der Navigation nicht zurecht findet. Zudem zeigen die Videoaufnahmen des Usability-Tests auf, was passiert, wenn ein Nutzer aufgrund unklarer Instruktionen verwirrt wird oder sich nicht sicher ist, was er als nächstes zu tun hat.

Eine PDF-Version der Powerpoint-Präsentation des Workshops finden Sie hier.

Die MoodleMoot 2012 in Münster überzeugte mich – neben der schönen Lokalität und der guten Organisation – durch eine breite thematische Abdeckung der angebotenen Referate und Workshops. Im Zentrum des Interesses standen in diesem Jahr aus meiner Sicht Moodle 2.x, Repositories, aber auch die Verwendung von Moodle mit mobilen Endgeräten. Die Evaluation des Tablet-Einsatzes an der FFHS im Herbstsemester 2011/12 wird momentan abgeschlossen und einige Ergebnisse daraus zu gegebener Zeit ebenfalls hier im Blog zugänglich gemacht.


Leave a comment

Published article in «Displays»

Our study Comparing reading processes on e-ink displays and print is now published in the Elsevier journal Displays. In the study we analyze and compare reading behavior on e-reader displays and on printed paper.

The results suggest that reading behavior on e-readers is indeed very similar to reading behavior on print. Participants shared similar proportions of regressive saccades while reading on e-readers and print. Significant differences in fixation duration suggest that e-readers, in some situations, may even provide better legibility.

Link to the article: http://www.sciencedirect.com/science/article/pii/S0141938211000497

Citation: Siegenthaler, E., Wurtz, P, Bergamin P. & Groner, R. (2011). Comparing reading processes on e-ink displays and print. Displays, 32 (5), 268-273. http://dx.doi.org/10.1016/j.displa.2011.05.005.


Leave a comment

Usability Test für Wallis Tourismus

Wallis Tourismus hat seit gestern einen neuen Webauftritt. Neben dem Layout wurden auch die Inhalte neu überarbeitet und harmonisiert. Der Neuauftritt sollte die Website in Hinblick auf Inhalt, Design und Technologie verbessern. Eine attraktive und benutzerfreundliche Website ist die beste Visitenkarte für den Tourismuskanton Wallis.

Mittels einer Usability-Analyse wurde deshalb der neue Webauftritt durch das IFeL Usability-Lab einer neutralen und unabhängigen Begutachtung aus Sicht der Benutzer unterzogen. Dabei wurde abgeklärt, inwieweit der Webauftritt den Erwartungen der Benutzer entspricht. Dies beinhaltete neben dem Layout auch die Funktionalität und die logische Struktur der Navigation und Inhalte.

Die Tests wurden im Oktober 2010 gemeinsam durch das IFeL Usability-Team und der Webverantwortlichen von Wallis Tourismus vor Ort in Sion durchgeführt.
Folgende Fragen sollten insbesondere beantwortet werden:

  • Ist die Navigationsstruktur klar (Begrifflichkeit, logische Anordnung)?
  • Gelingt die Bedienung auf Anhieb?
  • Gibt es Verbesserungsmöglichkeiten in…
    • der Gestaltung
    • der Positionierung
    • der Bezeichnung der Bedienelemente?
Sartseite von Wallis Tourismus vorher (links) und nachher (rechts)

Startseite von Wallis Tourismus vorher (links) und nachher (rechts)

Methoden

Es wurden 6 Probanden aus drei Nutzergruppen rekrutiert (4 weiblich, Altersspanne 25-69 Jahre). Jeweils 2 Probanden waren Mitarbeiter von Wallis Tourismus welche die Website quasi “backstage” kennen, externe Tourismuspartner welche die Website oft nutzen und Privatpersonen ohne tourismusspezifische Vorkenntnisse.  Die Aufgaben beinhalteten einen Card Sorting Test für die Navigationsstruktur sowie das Lösen von Aufgaben (Use Cases) mit Eyetracking am Bildschirm. Im Anschluss an die Aufgaben wurde ein halbstandardisiertes Interview durchgeführt, sowie ein Fragebogen durch die Teilnehmenden ausgefüllt.

Ergebnisse

Die Befunde aus den durchgeführten Tests zeigten in verschiedenen Bereichen Verbesserungsmöglichkeiten:

Card sorting Test

Card sorting test

Navigation:

  • Löschung/Ersetzung unklarer Begriffe
  • Ergänzung mit fehlenden Begriffen
  • Teilweise Neuanordnung der Navigationsstruktur

Use Cases:

Eyetracking

Eyetracking

Die Aufgaben in der Art von „Finden Sie ein Typisches Walliser Spezialitätenrestaurant im Unterwallis. Wie lautet die Telefonnummer?“ oder „Sie haben eine Wallis SkiCard geschenkt bekommen. Finden sie heraus, ob diese übertragbar oder persönlich ist.“ brachten ganz spezifische Stärken und Schwächen des neuen Webauftritts ans Licht. Wichtige Anpassungen die daraus resultierten waren z.B. eine bessere Hervorhebung/Unterscheidung der Sommer- und Winterangebote, oder die Optimierung von Mouse-Over-Effekten, sowie des Seitenscrollings.

Fragebogen

Fragebogen

Interwies & Fragebogen:

Die Fragebogen und Interviews gaben den Teilnehmenden die Möglichkeit allgemeine Urteile und zusätzliche Kommentare zu geben. Im Allgemeinen wurde der neue Webauftritt als attraktiv, nützlich und leicht erlernbar beurteilt. Der Gesamteindruck war gut bis sehr gut. Trotzdem wurden gewisse Stolpersteine und Unklarheiten angesprochen, deren Behebung hilft die Seite weiter zu optimieren. So wurde beispielswiese die Wichtigkeit einer gut funktionierenden Volltextsuche sowie das Bedürfnis der Darstellung von Angeboten auf einer geografischen Landkarte, mehrfach betont. Ein weiterer nicht zu unterschätzender Nutzen war, dass die Teilnehmenden (teilweise Kunden bzw. Partner von Wallis Tourismus) es sehr geschätzt haben, in die Entwicklung der Webseite mit einbezogen zu werden. Dieses partizipative Vorgehen fördert unabhängig vom Webauftritt selbst die Akzeptanz und den gegenseitigen Respekt der Akteure.


Leave a comment

Publikation im Journal of Usability Studies

Wir haben am IFeL die Benutzerfreundlichkeit von fünf verschiedenen e-ink Readern getestet. Dabei haben wir festgestellt, dass die e-reading Geräte noch grosse Mängel in der Benutzefreundlichkeit aufweisen. Zudem konnten wir zeigen, dass der richtige Methodenmix in der Usability-Forschung enorm wichtig ist. Die Studie wurde in der Novemberausgabe der Zeitschirft Journal of Usability Studies veröffentlicht.

Siegenthaler, E., Wurtz, P., & Groner, R. (2010). Improving the Usability of E-Book Readers. Journal of Usability Studies, 6(1), 25-38.