User Experience Ergebnisse
Nutzer Unser – Ein User Experience Test für unsere Onlinelernplattform

Im April wurden wir zusammen mit RoomHero und LegalHead in den UX Accelerator von PwC und dem TechQuartier aufgenommen. Ziel des Programms war es, fundierte Informationen über das Erlebnis unserer Nutzer zu erhalten. Dafür haben wir eine Kombination von standardisierten Fragebögen, klassischen Interviews bis hin zur Eyetracking-Technologie genutzt, um eine möglichst breite Datenbasis zu sammeln. In diesem Artikel erfährst Du anhand unserer eigenen Erfahrungen mehr dazu, wie man seine User Experience testen kann. Wir gehen dabei auf Planung, Durchführung und Auswertung ein.

Aber vorab beantworten wir die Frage aller Fragen:

 

Wozu das Ganze?

 

„Nur wenn die wahren Bedürfnisse der Nutzer bei der Konzeption des Produkts berücksichtigt werden, kann es am Markt wirklich erfolgreich sein und mit ähnlichen Angeboten konkurrieren. Gute User Experience ist jedoch kein Zufall. Sie ist vielmehr das Ergebnis sorgfältiger Planung, Analyse, Investition und kontinuierlicher Verbesserung. Üblicherweise ist Feedback, das direkt durch den Nutzer geäußert wird, sehr subjektiv. Das Nutzerfeedback wird durch Wahrnehmungsfilter und andere psychologische Faktoren stark verfälscht und reduziert oder liefert selten ausreichend Kontext, um allein darauf Entscheidungen für Produktverbesserungen aufbauen zu können. Daher verfolgen wir den Ansatz des indirekten Feedbacks durch Beobachtung der tatsächlichen Nutzung eines Produkts innerhalb eines realistischen Anwendungskontextes. Als Ergebnis erhalten wir deutlich detailliertere und objektivere Erkenntnisse und können Entscheidungen für Produktverbesserungen auf Tatsachen aufbauen und nicht alleine auf den Wünschen oder Ideen von Nutzern“ erklärt Florian Geyer von PwC, der uns im UX Accelerator als Mentor begleitet hat.

 

User Experience = Usability – oder?

 

Häufig werden diese beiden Begriffe in einen Topf geworfen. Doch handelt es sich hierbei um ein und dasselbe? Bei der Usability handelt es sich um das Nutzungsverhalten, also inwieweit Dein Produkt dem Nutzer ermöglicht, effektiv und effizient zu seinem Ziel zu gelangen. Dies meint beispielsweise eine intuitive Bedienung der Funktionen. Die User Experience hingegen beschreibt das Nutzungserleben. Dies bezieht sich darauf, inwieweit der Nutzer positive Gefühle bei der Benutzung Deines Produktes hat. Die Nutzer gehen mit Erwartungen an das Produkt heran und verarbeiten ihre Erfahrungen während und nach der Nutzung. Positive Gefühle können beispielsweise durch Gamification-Elemente oder Storytelling geschaffen werden. Auch die Usability spielt für eine gute User Experience eine entscheidende Rolle. Sie alleine reicht jedoch nicht aus, um eine positive User Experience zu schaffen.

 

Wo fange ich jetzt an, wenn ich meine User Experience testen will?

 

Zunächst solltest Du Dein Produkt genau betrachten. Wir haben uns beispielsweise überlegt, in welche Teilbereiche wir unsere Lernplattform zerlegen können. Da gibt es einmal den Registrierungsprozess, die verschiedenen Schritte der Selbstreflexion im Rahmen der Anmeldung, das freie Erkunden der Funktionen, sowie die einzelnen Lektionen unserer Kurse. Oder einfach gesagt: Ganz schön viel für einen einzigen Test!

Wir haben uns für einen Testtag und 90 Minuten Versuchszeit pro Teilnehmer entschieden. Basierend auf diesem Zeitrahmen haben wir uns überlegt, welche Bereiche wir im Rahmen des Testes überprüfen können. Entschieden haben wir uns für drei Bereiche:

  1. Selbstreflexion: Diese umfasst neben Fragen aus der psychologischen Diagnostik und verschiedenen Reflexionsfragen eine Reihe von Aufgaben für den Nutzer. Im Zuge dessen soll der Blick des Nutzers auf die eigenen Potentiale und Herausforderungen geschärft und darüber die intrinsische Motivation gefördert werden. Im Rahmen des UX Tests wollten wir überprüfen, inwieweit uns dies bisher schon gelingt und wie wir die User Experience in diesem Bereich noch optimieren können.
  2. Dashboard: Auf unserem Dashboard finden sich vom Lernkalender, über den Community Stream bis hin zum Chat eine Vielzahl von Funktionen, die das Lernerlebnis unserer Nutzer so interaktiv und individuell wie möglich gestalten sollen. Wir wollten im Rahmen des UX Tests herausfinden, welche Funktionen vom Nutzer besonders genutzt werden, welche weniger und was er sich noch zusätzlich wünscht.
  3. Lektionen: Der Inhalt der einzelnen Lektionen unterscheidet sich zwar in den verschiedenen Kursen, der Aufbau ähnelt sich jedoch weitestgehend: Eine Kombination aus einem oder mehreren Erklärvideos und Realfilmen, sowie Infografiken, Übungen, Transkripten und einem Quiz. Um die Aussagen der Testpersonen vergleichen zu können, haben wir uns entschieden die Lektion “Ideen Umsetzen” für die Bearbeitung im Test vorzugeben.

 

Und wie messe ich was?

 

Es gibt verschiedene Möglichkeiten, die User Experience zu testen. Wir haben uns für eine qualitative Untersuchung entschieden. Das heißt, möglichst viele Informationen von wenigen Nutzern zu sammeln. Hierfür haben wir sowohl standardisierte Fragebögen, als auch einen eigenen teilstrukturierten Interviewleitfaden sowie ein Eyetracking-System genutzt. Das Wichtigste ist, dass Deine Testperson immer laut ausspricht, was sie gerade denkt – Thinking Out Loud. Damit Deine Testperson sich durch die Beobachtung nicht unwohl fühlt, ist es ratsam die Beobachter räumlich von Moderator und Testperson zu trennen. Wir haben das so gemacht:

Unser Versuchsaufbau wurde auf zwei Räume aufgeteilt. Im Rechten findet die eigentliche Durchführung statt, während im Linken die Beobachter das Geschehen über einen Livestream verfolgen.

 

Auf was sollte ich bei der Durchführung achten?

 

Allem voran ist die Verpflegung zu nennen. Dank unserer fantastischen Praktikantin Lea, waren wir alle gut versorgt und haben damit auch bei den Kollegen von PwC einen bleibenden Eindruck hinterlassen. Wir haben uns entschieden insgesamt fünf Testpersonen für den Tag einzuladen. Mit kurzen Besprechungspausen zwischen den Testpersonen kamen wir somit schnell auf über zehn Stunden Durchführung. Da kann schon einmal die Konzentration zwischenzeitlich nachlassen. Deshalb ist es ratsam genug Beobachter dabei zu haben, damit man sich einmal abwechseln kann und immer mindestens zwei frische Köpfe der Testdurchführung folgen.

Die Beobachter folgen der Bearbeitung der ersten Aufgabe über den Livestream. Das große Bild zeigt die Übertragung des Eye-Tracking, das kleine am rechten unteren Bildschirmrand zeigt das Gesicht der Testperson.

 

Um die Learnings festzuhalten, wurden die Beobachtungen während des Tests auf Post-Its geschrieben. Um diese zielgenau sammeln zu können, haben wir Screenshots der einzelnen Abschnitte ausgedruckt und in ihrer Reihenfolge an Whiteboards gehängt. Nach dem Test gingen wir mit unserem Probanden anhand der Screenshots dann noch einmal unsere Beobachtungen durch und stellten gezielte Rückfragen. Dies war auch eine gute Möglichkeit eine erste Reaktion auf spontane Lösungsideen einzuholen, welche wir in einem separaten Ideenspeicher festgehalten haben.

Du solltest unterscheiden zwischen dem, was die User Experience tatsächlich negativ beeinflusst, und dem was der persönliche Geschmack Deiner Testperson ist (z.B. Kritik an Farben, Bildern, Icons). Normalerweise wirst Du feststellen, dass nach drei Personen einige Punkte immer wieder auftauchen. Daher liefert auch bereits ein UX Test mit drei Teilnehmern hilfreiche Erkenntnisse.

In der Nachbesprechung werden die Beobachtungen noch einmal in den eigenen Worten der Beobachter zusammengefasst, Rückfragen gestellt und erste Lösungsideen diskutiert.

 

Was setze ich um und wann?

 

Du solltest die Änderungen, die sich aus deinem Test ergeben nach zwei Kriterien priorisieren: Aufwand und Wirkung. Beginne mit den Aufgaben, die schnell umzusetzen sind und einen hoch positiven Effekt auf die User Experience haben – den sogenannten Quick-Wins. Aufgaben, die einen hohen Umsetzungsaufwand haben, aber nur ein geringer Gewinn für die User Experience sind, kannst Du vernachlässigen (Thankless Tasks).

Die Vierfeldertafel zeigt eine Kategorisierung der gewonnenen Erkenntnisse unter Berücksichtigung des Umsetzungsaufwandes und des Mehrwertes für die User Experience.

 

Fazit

 

Ein Test der User Experience ist für jeden ratsam, der seinem Nutzer ein möglichst positives Erlebnis bieten will. Viele der Punkte waren uns bereits vorher bekannt, doch kam auch eine Vielzahl neuer Themen und Ideen auf. Insgesamt haben wir über 150 Punkte gesammelt, von denen wir einige zur weiteren Verbesserung unserer User Experience umsetzen wollen. Ein UX Test kann und sollte nichts einmaliges sein, sondern in zeitlichen Abständen immer wieder erfolgen. Auch für die Entwicklung neuer Funktionen oder das Testen von A-B-Varianten kann ein UX Test eine sinnvolle Ergänzung sein. Dies ermöglicht es, sein Produkt von Anfang an, an den Bedürfnissen der Zielgruppe auszurichten.

 

Wollt Ihr auch dabei sein?

 

Für den UX Accelerator können sich alle Startups bewerben, die Teil der TechQuartier Community sind oder Mitglied werden wollen. Da sich unser Labor in den Räumlichkeiten des TechQuartiers in Frankfurt befindet, richtet sich das Angebot also vor allem an die lokale Startup-Community. Die einzige Voraussetzung ist, dass es bereits ein Produkt zum Testen gibt.

 

Und wie fanden unsere UX Mentoren eigentlich unser E-Learning EnjoyCLS.com?

 

Florian Geyer und Christoph Weigel von PwC standen uns während des gesamten Testings zur Seite und ziehen abschließend folgende Bilanz zu unserem Produkt: „Wir finden die Idee von EnjoyCLS sehr gut, Online-Trainings mit persönlichem Coaching zu kombinieren und sind uns sicher, dass die Themen aktuell rund um kreatives Problemlösen und Innovation sehr relevant für viele Unternehmen sind. Es ist deutlich zu erkennen, dass insbesondere die Lerninhalte durch ein Expertenteam zusammengestellt und aus pädagogischer Sicht dementsprechend gut durchdacht worden sind.“

 

Das Team von Creative learning space ist jedenfalls hoch motiviert mit den neuen Erkenntnissen das Lernerlebnis im Bereich Innovation und Entrepreneurship kontinuierlich an den Bedürfnissen des Nutzers zu orientieren und danken dem Team vom UX Accelerator für diese tolle Möglichkeit.