Beobachtung des Nutzers im Usability Test

IDEE UND ZIEL

Beobachtungen im Rahmen der Produktentwicklung finden meist im Rahmen eines Usability Tests statt. Dabei führen repräsentative Nutzer eine vorher definierte typische Aufgabe aus, um Probleme und positive Aspekte des zu testenden Objekts zu identifizieren. Um den Test für Präsentations- und Analysezwecken aufzuzeichnen, wird er oft in speziellen Räumlichkeiten durchgeführt. Im Gegensatz zu subjektiven Methoden, etwa Umfragen, wird das tatsächliche Verhalten der Benutzer in einer konkreten Situation beobachtet, was zu anderen Ergebnissen als die Aussagen des Nutzers selbst führen kann. Ein Einfluss der Laborsituation auf das Verhalten des Testnutzers kann dabei jedoch nicht ausgeschlossen werden.

Umgebung Technischer Aufwand Zeitlicher Aufwand Benötigtes Know-How Nutzer-/ Stakeholder-integration

Reale Umgebung

der Nutzer,

LL-Infrastruktur

passiv,

informierend

KONZEPT UND VORAUSSETZUNGEN

Die Nutzerbeobachtung kann grundsätzlich in zwei Typen, die unstrukturierte, sowie strukturierte Beobachtung unterteilt werden vgl. Tab. 1. Bei ersterer kann der Beobachter relativ frei über die Sequenzen entscheiden. Bei letzterer definiert der Beobachter die Beobachtungseinheit und gibt den Ablauf vor.

 

Tab. 1        Klassifikation der Beobachtungsverfahren anhand der Dimensionen Strukturiertheit und Teilnahme

 

nicht teilnehmend

teilnehmend

unstrukturiert

zufällige Alltagsbeobachtung

explorative, anthropologische Methode

strukturiert

hypothesentestendes Verfahren kontrollierter Beobachtung

Vollständige Teilnahme an Feldaktionen

 Zur Vorbereitung muss sich der Experte mit dem Testobjekt vertraut machen und alle Voraussetzungen für eine gute Beobachtung schaffen. Im Rahmen von Usability Tests wird in der Regel die strukturierte Beobachtung genutzt. Dazu wird ein Testleitfaden erstellt bestehend aus typischen Aufgaben, die die Benutzer an dem Produkt häufig durchführen. In dem Testleitfaden werden die Aufgaben genau formuliert und der Testablauf festgelegt. Ein weiterer wichtiger Teil der Vorbereitungen ist die Rekrutierung der Testpersonen. Testpersonen müssen möglichst der Zielgruppe des Produktes entsprechen, um die Testergebnisse nicht zu verfälschen. Hierzu werden Eigenschaften, die die Testpersonen erfüllen müssen, festgelegt nach denen sie anschließend rekrutiert werden. Die Anzahl der Testpersonen ist ein Thema, welches in Fachkreisen intensiv diskutiert wird. Die Zahlen schwanken zwischen 5-10 Testpersonen, um 80-90% der Usability-Mängel festzustellen. Nachdem die Vorbereitungen abgeschlossen sind, wird zudem häufig ein Pretest durchgeführt, um Fehler im Testaufbau auszumachen und den zeitlichen Rahmen zu testen.

 

Verortung im Living Lab: Beobachtungen können zu verschiedenen Zeitpunkten in der Entwicklung nützlich sein. Die Methode ist besonders für die Phase der Nutzerbeobachtung und des Feldfests geeignet und die Nutzung von Prototypen, Zwischenversionen und fertigen Produkten beobachtet werden.

Forschungsumgebung: Oft finden die Tests in speziell dafür eingerichteten Räumlichkeiten (Usability-Labor) statt. Es gibt aber auch Varianten, die in anderen Umgebungen oder online (Remote-Test) stattfinden können. Auch eine Beobachtung in der realen Umgebung von Nutzern ist möglich.

Nutzer-/Stakeholderintegration: Die Bobachtung sollte von einem geschulten Experten geleitet und ausgewertet werden. Die Nutzer müssen sorgfältig ausgewählt werden, damit sie repräsentativ für die spätere Nutzergruppe sind. Sie sind passiv in den Prozess eingebunden, d.h. es werden lediglich Informationen über den Nutzer gesammelt.

Aufwand: In einem Usability-Test werden Kameras und spezielle Aufzeichnungssoftware eingesetzt, um den Nutzer, dessen Stimme und das Geschehen aufzuzeichnen. Der Aufwand kann auf Grund der hohen Vorbereitungsarbeit als hoch eingestuft werden. Die Dauer einer Beobachtung kann stark variieren. Auch dies kann ein Faktor für einen hohen (zeitlichen) Aufwand sein.

UMSETZUNG IN DER PRAXIS

Strukturierte Beobachtung: Bei Beobachtungen im Rahmen von Usability-Tests befinden sich mindestens ein Testleiter und die Testperson im Usability-Labor. Sie bearbeitet die Aufgaben anhand eines Prototypens. Die Testperson wird angehalten "laut zu denken" (vgl. Think-aloud Methode), da der Testleiter meist nur so den Ursprung der Probleme und die Gedanken der Testperson erfassen kann. Hierbei wird die Testperson dazu aufgefordert, ihre Gedanken und Überlegungen laut zu äußern. Oft werden bei Usability-Tests zusätzlich Interviewfragen eingestreut, um möglichst viele Informationen über das mentale Modell der Testperson zu bekommen. Der Testleiter und ein zweiter Experte protokollieren die Sitzung und überwachen den Ablauf des Tests. Dabei wird darauf geachtet, ob die Beobachtungen des tatsächlichen Verhaltens mit den Intentionen des Probanden übereinstimmen oder divergieren. Eine schwierige Frage ist, wie sehr der Testleiter während eines Tests mit dem Teilnehmer interagiert und wie er sich in unerwarteten Situationen, z.B. bei technischen Problemen, zu verhalten hat.

 

Unstrukturierte Beobachtung: Im Gegensatz zur strukturierten gibt der Forscher kein Beobachtungsschema vor, sondern beschränkt sich auf die Entwicklung eines Leitfadens anhand dessen der Beobachter vorgeht. Letzterer legt selber die Beobachtungssequenzen fest und erstellt jeweils direkt nach einer von ihnen ein Protokoll. Die Bobachtung dient dann weniger dem Testen von Produkten oder Prototypen, sondern wird eher zur Exploration über Nutzungskontexte genutzt.

GRENZEN UND HERAUSFORDERUNGEN

Bei der strukturierten Beobachtung gilt es einige Anforderungen an das Beobachtungsschema zu beachten, um einen ausreichenden Grad an Präzision zu erreichen:

 

  • Die Messung in einem Schema sollte möglichst nur auf einer Dimension erfolgen und nicht auf mehreren gleichzeitig.
  • Jedes beobachtete Ereignis sollte nur einer einzigen Beobachtungskategorie zugeordnet werden können.
  • Ein Kategorienschema muss so erschöpfend sein, dass alle möglichen Beobachtungsereignisse erfasst werden.
  • Konkretion der Kategorien: Die Kategorien müssen beobachtbaren Sachverhalten entsprechen.
  • Begrenzung der Anzahl der Kategorien: Aufgrund der begrenzten Beobachtungs- und Registrierungsfähigkeit sollte ein Beobachtungsschema nicht mehr als 10 Kategorien umfassen.
  • Kategorien sollten auf Grundlage einer theoretischen Konzeption entwickelt werden.

VORTEILE DER NUTZUNG IM LIVING LAB

Vorteile können insbesondere darin gesehen werden, dass im Rahmen von Living Labs Showrooms oder semi-reale Umgebungen für Beobachtungen genutzt werden. Zudem erlaubt die oft lange Dauer von Beobachtungen in Living Labs, den Nutzer hinsichtlich seiner Kenntnisse und Eignung für die Methode besonders gut einschätzen zu können. Diese Methode ist ethnografisch, praxisnah und führt zu klaren Daten und wichtigen Nutzungsfeedback.

 

WEITERFÜHRENDE LITERATUR

  • Martin, B.; Hanington, B. (2012): Universal Methods of Design: 100 Ways to Research Complex Problems, Develop Innovative Ideas, and Design Effective Solutions. Rockport Publishers, Beverly.
  • Langer, W. (2000): Methoden der empirischen Sozialforschung. Vorlesungsdokumentation Sommersemester 2000. Universität Halle. Online verfügbar unter: http://langer.soziologie.uni-halle.de/methoden/meth1_einfuehrung.html (Zugriff am: 06.07.2016).