Während eines Usability-Tests weiss sich ein Usability-Testteilnehmer beim Lösen der Aufgaben mehrfach nicht zu helfen und flucht teilweise. Im anschliessenden Interview antwortet er auf die Frage «Wie ist dein Eindruck der Applikation?»: «Ich finde die Applikation gelungen.»
Solche Situationen treffe ich immer wieder an, wenn der Usability-Testteilnehmer dem Produkt-Team oder dessen Organisation nahe steht. In solchen Fällen ist das Resultat eines Usability-Tests nicht neutral. Deshalb ist es eine Stolperfalle, nahe stehende Personen wie typischerweise Familienangehörige oder Freunde, als Usability-Testteilnehmer zu rekrutieren.
Nachdem ich in meinem letzten Blogartikel den Mythos «Gute Ergebnisse erreicht man nur mit vielen Usability-Testteilnehmern» entkräftet habe, widme ich mich in diesem Blogartikel dieser zweiten Stolperfalle. Ich schildere, weshalb bei solchen Fälle, die Resultate nicht neutral sind und zeige auf, dass es nicht aufwendiger ist, neutrale Usability-Testteilnehmer zu rekrutieren.
Eine Lektion aus der Praxis
«Ich weiss jetzt, wie ich mir ein News-Abonnement aufgrund von Schlagworten einrichten kann, obwohl ich diese Funktion selten brauche. Im Dokumentarchiv suche ich täglich nach Dokumenten. Wie diese Suche funktioniert, verstehe ich immer noch nicht!» Dieses und ähnliche Feedbacks erhielt ich, als ich die Schulungen zu einem Produkt gab. Was hatte dazu geführt, dass wir trotz benutzerzentriertem Vorgehen den Schwerpunkt auf Funktionen setzten, die nicht täglich gebraucht werden und eine Alltagsfunktion vernachlässigten? Wir hatten diejenigen Benutzer zu Usability-Tests eingeladen, welche der Produktentwicklung positiv gegenüberstanden und die Produktentwicklung nach unseren Vorstellungen beeinflussen konnten. Also Personen, die dem Produkt-Team zu nahe standen. Diese Benutzer deckten an den Usability-Tests wichtiges Usability-Verbesserungspotenzial auf, aber ihre Bedürfnisse waren für die Zielgruppe nicht repräsentativ.
Weshalb nahestehende Usability-Testteilnehmer nicht neutral sind
Die Resultate eines Usability-Tests zeigen, wie gut Benutzer aus der Zielgruppe ein Produkt bedienen können und wo Verbesserungspotenzial liegt. Damit dieses neutral ist, muss der Usability-Testteilnehmer die Kritik am Werk ohne Hemmungen aussprechen können. Dies ist nicht gegeben, wenn der Usability-Testteilnehmer einem Mitglied aus dem Produkt-Team oder der Organisation nahe steht. Selbst wenn betont wird, dass auch Kritik willkommen ist und selbst wenn zwischen den Beteiligten generell eine offene Kommunikationskultur herrscht, in welcher auch Unangenehmes angesprochen wird, sind die Resultate des Usability-Tests nicht neutral. Denn Personen nehmen die Arbeit von Individuen, die sie mögen, unbewusst als besser wahr als von solchen, die sie nicht mögen. So könnte es beispielsweise vorkommen, dass ein Usability-Testteilnehmer aufgrund seiner positiven Einstellung nicht wahrnimmt, dass er unnötige Klicks machen musste, um mit dem Produkt das gewünschte Resultat zu erreichen.
Das Gleiche gilt für Benutzer, welche bei der Produktentwicklung involviert sind. Zusätzlich verunmöglichen bei solchen Usability-Testteilnehmern folgende Faktoren die Neutralität des Resultats:
- Oft besteht zu viel Vorwissen zu den Bedienkonzepten.
- Ideen für neue Funktionen oder Änderungen von Funktionen werden aufgrund des Vorwissens zur Budgetsituation nicht genannt.
- Aufgrund der Mitarbeit im Produkt-Team bleiben allfällige Fehlüberlegungen bei der Konzeption unentdeckt.
- In die Produktentwicklung involvierte Benutzer repräsentieren nicht immer die Zielgruppe in ausreichendem Mass.
Rekrutierung neutraler Usability-Testteilnehmer
Um in einem Usability-Test neutrale Resultate zu erhalten, müssen die Usability-Testteilnehmer die Zielgruppe adäquat repräsentieren und gegenüber dem Produkt-Team neutral sein. Entsprechend leiten sich die Kriterien für die Auswahl aus der Zielgruppe des Produkts ab. Beispiele dafür sind für die Bedienung des Produkts notwendiges Fachwissen oder Interessen der Benutzer, welche mit dem Produkt in engem Zusammenhang stehen. Die Neutralität ist gegeben, wenn man die Usability-Testteilnehmer im Markt rekrutiert. Dazu kann man
- einen Pool von Usability-Testteilnehmern aufbauen, indem man auf der Produktwebseite oder Community-Kanälen Werbung dafür macht
- professionelle Rekrutierer beauftragen, wie zum Beispiel TestingTime, mit welchen Christoph Wolf bei einem Usability-Test zusammengearbeitet hat
- aus der Kundenkartei Benutzer für einen Usability-Test anfragen
Ideal ist, wenn der Usability-Testteilnehmer ebenfalls gegenüber der Organisation neutral ist. Bei der Rekrutierung bei bestehenden Kunden ist das oft nicht gegeben. Wenn man häufig Usability-Tests durchführt, kann man dies vernachlässigen. Denn durch die häufige Durchführung steigt die Anzahl Usability-Testteilnehmer und damit die Wahrscheinlichkeit, dass auch kritische Kunden unter den Usability-Testteilnehmern sind. Je seltener man Usability-Tests durchführt, desto wichtiger ist es, zu betrachten, wie stark sich der Usability-Teilnehmer mit der Organisation verbunden fühlt.
Wenn es sich um ein firmeninternes Produkt handelt, erfolgt die Rekrutierung anstatt auf dem Markt beim Auftraggeber. Neben den üblichen Kriterien für Usability-Testteilnehmer ist es hier wichtig, auch Benutzer zu rekrutieren, welche dem Produkt kritisch gegenüberstehen. In meinem Praxisbeispiel haben wir solche Benutzer nicht einbezogen und bei der Schulung bitter lernen müssen, dass das Produkt an den Bedürfnissen eines Grossteils der Benutzer vorbei entwickelt wurde.
Rekrutierung bei Zeitmangel
Falls einem die Zeit für die Rekrutierung im Markt fehlt, gibt es die Option des Guerilla-Usability-Tests. Beim Guerilla-Usability-Test erfolgt der Usability-Test informell an einem öffentlichen Ort, zum Beispiel in einem Café. In diesem Beispiel werden als Usability-Testteilnehmer einige der Gäste angefragt, ob sie sich die Zeit nehmen, ein bis zwei Usability-Testaufgaben zu lösen. Ähnlich kann man bei firmeninternen Produkten vorgehen, indem man bei der Kaffeemaschine Benutzer für einen solchen informellen Usability-Test «abfängt».
Frühzeitige Rekrutierung
Eine frühzeitige Planung von Usability-Tests verringert das Risiko, dass einem die Zeit fehlt, um passende Usability-Testteilnehmer zu rekrutieren. Aufgrund des 360 Grad Mindsets ist es für SwissQ Consultants selbstverständlich im Entwicklungszyklus eines Produkts UX- und Usability-Aktivitäten einzuplanen: Meist erfolgt dies im Konzept zur Businessanalyse sowie im Testkonzept. Diese frühzeitige Planung verschafft die notwendige Zeit, die Usability-Testteilnehmer anhand geeigneter Kriterien zu rekrutieren.
Der zweite Faktor aussagekräftiger Resultate
Um bei einem Usability-Test neutrale Resultate zu erhalten, dürfen die Usability-Testteilnehmer sich gegenüber dem Produktteam, welches das Produkt erarbeitet hat, nicht verbunden fühlen. Ebenfalls zentral für die Aussagekraft der Resultate ist die Auswahl der Aufgabenstellungen. Zu einfache Aufgabenstellungen sind eine weitere Stolperfalle, auf welche ich im nächsten Blogartikel eingehe.
Möchten auch Sie die Chance nutzen, mit geeigneten Methoden eine gute UX und Usability für Ihr Produkt zu erreichen? Gerne bespreche ich mit Ihnen unverbindlich passende Möglichkeiten für Ihre aktuellen Herausforderungen. Schreiben Sie mir auf XING, LinkedIn oder adrian.haefeli@swissq.it.