User Research Daten für die Produktentwicklung kritisch bewerten – die 5 größten Fallstricke und wie Sie diese vermeiden

In der heutigen digitalen Welt ist die korrekte Nutzung und Interpretation von Research-Daten entscheidend für die erfolgreiche Gestaltung von User-Interfaces und Produkten.

Dieser Blogpost beleuchtet fünf häufige Fallstricke, die bei der Arbeit mit solchen Daten auftreten können. Von der Bedeutung der richtigen Datenauswahl über die Herausforderungen bei der Datenauswertung bis hin zu typischen Fehlern im Umgang mit Nutzerrückmeldungen – dieser Artikel bietet praktische Einblicke und wertvolle Tipps, um diese Stolpersteine zu vermeiden.

Ob Sie ein erfahrener UX-Designer, ein Marktforscher oder einfach jemand sind, der an der effektiven Nutzung von Daten interessiert ist, dieser Beitrag gibt Ihnen die Werkzeuge an die Hand, um Ihre Daten sinnvoll und gewinnbringend zu nutzen.

Viel Spaß beim Lesen!

1. Fallstrick: Falsche Nutzung bereits vorhandener Research Daten

Bereits vorhandene Daten sind wertvoll für die Gestaltung von User-Interfaces und Produkten. Der Wert der Daten hängt aber sehr eng mit der Frage zusammen, ob Sie Daten von den richtigen Personen gesammelt haben. Wenn Sie eine interne B2B-Anwendung haben, die individuell durch Admins auf den Rechnern der Nutzenden installiert wird, dann stammen die Daten quasi zwangsweise von den richtigen Personen.

Wenn Sie aber einen Online-Fragebogen erstellen, dann wissen Sie gewöhnlich nicht, ob die Personen, die den Fragebogen beantworten, tatsächlich zu der Nutzergruppe gehören, von der Sie Daten sammeln wollen. Immer, wenn Sie die Personen nicht sehen und nur die Daten übermittelt bekommen, würden wir Ihnen empfehlen, dass Sie Fragen integrieren, die Ihnen im Nachgang ermöglichen, Daten von unpassenden Personen auszufiltern. Zu den Fragen könnten zum Beispiel Alter, Geschlecht, Beruf oder Nutzungsbereitschaft in einem bestimmten Bereich sein. Welche Fragen das genau sind, hängt aber natürlich davon ab, welche Nutzergruppe Sie erreichen wollen.

Tipp: Offene Fragen als Filter

Noch ein Hinweis: Oft ist die Teilnahme an Studien, Tests, Befragungen etc. mit einer Aufwandsentschädigung verbunden. Mit anderen Worten: Die Teilnehmer erhalten Geld, Gutscheine oder Produkte für die Teilnahme. Dadurch kann es geschehen, dass Personen versuchen, zu der Nutzergruppe zu gehören, auch wenn es gar nicht wirklich so ist. Sie versuchen also, sich in Ihre Befragung hineinzuschummeln.

Wir verhindern das weitgehend, indem wir die Fragen zum Ein- oder Ausschluss der Teilnehmer sehr offen formulieren, sodass der antwortenden Person nicht klar ist, was die »richtige« Antwort auf diese Frage ist. Viele Online-Tools unterstützen Sie dabei, Personen mit Einmal-Links zu versorgen bzw. die Befragung abzubrechen, wenn die Teilnahmebedingungen nicht erfüllt sind. Ob das notwendig ist, müssen Sie selbst entscheiden. Hier können Sie eine Flexibilitäts- und Risikomatrix als Hilfestellung nutzen: Je risikobehafteter/unflexibler Ihre Lösung ist, desto besser sollte die Datenqualität sein.

2. Fallstrick: Die (unbeabsichtigte) Interpretation von Research Daten

Gerade bei qualitativen Daten geschieht es leicht, dass Daten nicht objektiv aufgezeichnet werden, sondern schon bei der Dokumentation interpretiert werden. Beispielsweise könnte ein Interview mit einem Nutzer nicht mit einer Kamera aufgezeichnet werden (objektiv), sondern die Interpretation des Gesagten durch den Interviewer stichpunktartig protokolliert werden (eher subjektiv).

Davon würden wir Ihnen in einem ersten Schritt abraten. Versuchen Sie darauf zu achten, dass Sie erst einmal die Daten objektiv sammeln. Das kann live passieren, indem Sie mitschreiben. Das kann aber auch anhand von Aufzeichnungen geschehen. Wenn Sie die Datensammlung dann abgeschlossen haben oder eine Zwischenbilanz ziehen wollen, dann können Sie in den objektiven Daten nach Mustern suchen. Das bedeutet nicht zwangsweise, dass Sie alles Gesagte wörtlich transkribieren. Wir möchten nur darauf hinweisen, dass Sie die Essenz der Beobachtung und die Essenz des Gesagten notieren sollen, nicht aber Ihre eigene Interpretation davon.

Das hat den großen Vorteil, dass Sie die objektiven Daten mehrfach betrachten und interpretieren können. Sie können gegebenenfalls auch zu einem späteren Zeitpunkt mit mehr Wissen die aufgezeichneten objektiven Daten erneut interpretieren. Haben Sie von vornherein nicht die objektiven Daten aufgezeichnet, sondern direkt interpretiert, dann fehlt Ihnen diese Möglichkeit. Vor allem, weil die Interpretation der Daten von der Person abhängt, die die Interpretation vornimmt, verlieren Sie hier Informationen. Die Einschätzung hätte bei verschiedenen Personen unterschiedlich ausfallen können. Es könnte Ihnen also passieren, dass, wenn mehrere Personen in die Datensammlung involviert sind, diese das gleiche Geschehen unterschiedlich interpretieren und Sie dadurch Muster übersehen, die bei den objektiven Daten eigentlich offensichtlich gewesen wären. Wenn Sie selbst die einzige Person sind, die Daten sammelt und damit arbeiten muss, dann ist dieser Punkt nur bedingt wichtig.

Es sei denn, Sie müssen Ihre Rückschlüsse und Ergebnisse im Anschluss vorstellen und verteidigen. Auch dann ist es hilfreich, objektive Daten zu sammeln und erst anschließend zu interpretieren. Dieses Vorgehen erleichtert Ihnen auch die Verteidigung Ihrer Schlussfolgerungen.

3. Fallstrick: Der falsche Vergleichsrahmen

Die Bewertung, die Personen zu einem System, einem Produkt oder einer Dienstleistung abgeben, ist unglaublich stark vom eigenen Vergleichsrahmen abhängig. Wenn Sie keinen Vergleichsrahmen setzen, werden die Personen trotzdem vergleichen. Sie wissen dann nur nicht mit was. Das glauben Sie nicht? Lassen Sie uns das erklären.

An dieser Stelle möchten wir eine persönliche Geschichte mit Ihnen teilen, die Michaela in Ihrer Diplomarbeit (ja, tatsächlich schon so alt) passiert ist. Michaela war schon im Studium auf den Bereich Usability und User Experience spezialisiert und hat sich mit der Frage beschäftigt, ob die Ästhetik eines Gegenstands Einfluss auf die wahrgenommene und tatsächliche Usability des Gegenstands hat. Achtung Spoiler: Nein. Zumindest nicht, soweit der Versuch das zeigen konnte. Aber wissen Sie, was das Problem ist? Wir wissen gar nicht, ob das wirklich so ist. Und jetzt kommen wir zu dem Thema Vergleichsrahmen.

4. Fallstrick: Unzureichend verstandene Wertungen und Aussagen

Vor allem in Interviewsituationen kommt es immer wieder vor, dass eine Aussage getroffen wird, die aber vom Interviewer komplett anders interpretiert wird als vom Interviewten. Daher sollten Sie idealerweise bei Wertungen als Interviewer nachfragen, um die korrekte Interpretation ebenfalls zu erfassen.

5. Fallstrick: Die Daten sind nicht vollständig oder sinnvoll

Vor allem dann, wenn Sie mit quantitativen Daten – also z. B. Fragebogendaten – arbeiten, ist die Frage der Datenqualität sehr entscheidend. Oftmals haben Personen wenig Lust, langwierige Fragebögen auszufüllen. Je länger und umständlicher die Befragung ist, umso eher laufen Sie Gefahr, Personen unterwegs entweder ganz zu verlieren oder zu demotivieren, sodass zwar Kreuzchen gesetzt werden, diese aber keinen Sinn mehr ergeben.

Der erste Check, den Sie in Ihren Daten also vornehmen sollten, ist der, ob alle Fragen beantwortet wurden. Es kann Ihnen durchaus passieren, dass Sie zu Beginn noch 150 Personen haben, die eine Frage beantworten, am Ende aber nur noch 75. Das ist an sich nicht schlimm, wenn Sie davon ausgehen können, dass nicht bestimmte Personen die Umfrage abbrechen, sondern dies »zufällig« geschieht. Sonst kann es Ihnen passieren, dass Sie am Ende nur noch eine bestimmte Art Mensch in der Befragung drin haben, die dann natürlich auch andere Antworten gibt. Je nachdem, wie wichtig das für Sie ist, können Sie entscheiden, ob Sie Personen, die die Umfrage nicht fertig ausgefüllt haben, von der Auswertung ausschließen.

Als Zweites sollten Sie prüfen, ob seltsame Antwortmuster auftauchen. Das ist manuell in der digitalen Zeit tatsächlich schwerer zu prüfen. Im Psychologiestudium wurde noch gelehrt, dass man, wenn man mit Papierfragebögen arbeitet, prüfen soll, ob die Fragebögen nach einem bestimmten Muster (z. B. in X-Form, immer 1 oder immer 5) ausgefüllt werden. Digital fällt das nicht mehr so schnell ins Auge, weil Sie den ausgefüllten Bogen nicht vor sich sehen; die Muster können Sie aber natürlich auch anhand der Zahlen erkennen. Für gewöhnlich werden alle Personen ausgeschlossen, die immer das Gleiche antworten.

Jetzt könnten Sie sagen: »Hey, was ist, wenn die Person wirklich einfach alles toll fand?« Dann würden wir Ihnen sagen: »Dann haben Sie ein Problem mit Ihrem Fragebogendesign.« Für gewöhnlich gestalten Sie Fragebögen so, dass selbst dann, wenn jemand alles toll findet, die Fragen so gestellt sind, dass unterschiedliche Werte angekreuzt werden müssen. Das erreicht man, indem manche Fragen umgedreht werden. (Anstatt »Ich fand es sehr leicht zu bedienen« steht dann »Ich fand es sehr schwer zu bedienen«.) Dadurch wird ein Kreuz an der gleichen Stelle zur gegensätzlichen Aussage. Bei besonders wichtigen Aspekten werden manchmal auch sehr ähnliche Fragen gestellt, bei denen anschließend geprüft wird, ob ähnlich auf die Fragen geantwortet wurde.

Die saubere Fragebogenkonstruktion ist eine Kunst für sich. Wenn Sie sich mehr damit beschäftigen möchten, empfehlen wir Ihnen Literatur zur Marktforschung oder zur Test- und Fragebogenkonstruktion. Aber ganz offen: In den meisten Fällen werden Sie auch mit einer weniger komplexen Befragung zurechtkommen. Das Wichtigste ist, dass Sie sicherstellen, dass die Fragen eindeutig sind und tatsächlich das messen, was Sie messen möchten.

Fazit

Wir fassen noch mal zusammen, was Sie vermeiden sollten:

1. Falsche Nutzung bereits vorhandener Daten: Der Wert von Daten hängt stark davon ab, ob sie von den richtigen Personen gesammelt wurden. Es wird empfohlen, Fragen zu integrieren, die später helfen, unpassende Daten zu filtern, insbesondere bei Online-Umfragen. Offene Fragen können dabei helfen, unehrliche Teilnehmer zu identifizieren.
2. (Unbeabsichtigte) Interpretation von Daten: Es besteht die Gefahr, dass qualitative Daten bereits bei der Dokumentation subjektiv interpretiert werden. Empfohlen wird, Daten zunächst objektiv zu sammeln und später nach Mustern zu suchen, um Mehrdeutigkeiten und Informationsverluste zu vermeiden.
3. Falscher Vergleichsrahmen: Die Einschätzung von Produkten hängt stark vom Vergleichsrahmen der Nutzer ab. Ohne vorgegebenen Rahmen setzen Nutzer eigene Vergleichsmaßstäbe, was zu verzerrten Ergebnissen führen kann. Ein Beispiel aus einer Diplomarbeit zeigt, wie unterschiedliche Designs von Dosenöffnern die wahrgenommene Ästhetik beeinflussten, obwohl die objektive Usability gleich blieb.
4. Unzureichend verstandene Wertungen und Aussagen: In Interviews können Aussagen vom Interviewer anders interpretiert werden als vom Befragten. Durch Nachfragen können Fehlinterpretationen vermieden und ein tieferes Verständnis erlangt werden.
5. Unvollständige oder sinnlose Daten: Bei quantitativen Daten ist die Qualität entscheidend. Es sollte überprüft werden, ob alle Fragen beantwortet wurden und ob es seltsame Antwortmuster gibt. Bei der Fragebogengestaltung sollten Fragen so formuliert werden, dass sie das gewünschte messen und unterschiedliche Antworten erzeugen.

Gerne können Sie sich auch direkt bei uns über unser Kontaktformular melden. Wir freuen uns auf Sie!