Welche Untersuchung dir weiterhilft, hängt davon ab, was du noch nicht weißt. Wenn unklar ist, wo Menschen bei einer Aufgabe hängen bleiben, kann ein Nutzertest diesen Weg sichtbar machen. Möchtest du dagegen die Wirkung festgelegter Varianten auf eine messbare Handlung vergleichen, brauchst du einen entsprechend geplanten A/B-Test.

Wenn der Grund für einen Abbruch offen ist

Du weißt, dass Besucher zur Variantenauswahl gelangen, aber nicht, warum sie danach zurückgehen. Ein moderierter Nutzertest kann zeigen, welche Information eine Person sucht, was sie missversteht und an welcher Stelle sie Unterstützung braucht.

Damit du ihre eigene Auswahl beobachten kannst, erhält die Person eine realistische Aufgabe, etwa ein Ersatzteil für ein beschriebenes Gerät zu finden. Die Moderation verrät weder den passenden Filter noch den Weg zur Kompatibilitätsliste. Sonst würdest du eher sehen, ob eine Anleitung befolgt wird, als wie die Auswahl selbstständig gelingt.

Das Ergebnis besteht aus nachvollziehbaren Beobachtungen. Du kannst daraus einen Entwurf ableiten und erneut prüfen. Aus einem kleinen qualitativen Test lässt sich jedoch keine prozentuale Kaufsteigerung für den gesamten Shop berechnen. NN/g ordnet Forschungsmethoden nach den Fragen und Daten ein, die sie bearbeiten.

Wenn zwei Varianten verglichen werden sollen

Bei einem A/B-Test werden geeignete Einheiten zufällig Varianten zugeordnet. Vorher muss feststehen, welche Handlung zählt, wer in den Versuch gelangt und wann die Beobachtung vollständig ist. Eine Variante kann dann beispielsweise gegen die bestehende Produktseite verglichen werden.

Damit der Vergleich die festgelegte Frage beantwortet, müssen technische Ausspielung und Messung verlässlich sein. Wenn bestätigte Käufe zählen sollen, genügt ein Klick auf „Kaufen“ nicht; auch dürfen wiederkehrende Browser nicht beliebig zwischen Varianten wechseln. Das benötigte Besucherbudget und der Auswertungsplan gehören deshalb vor den Start.

Die Frage lautet hier nicht, ob Testpersonen eine neue Erklärung mögen. Untersucht wird ein festgelegter Unterschied im Verhalten unter den Bedingungen des Versuchs. Weshalb eine Person ihre Entscheidung getroffen hat, bleibt damit häufig offen.

Technische Fehler zuerst beheben

Wenn die Variantenauswahl nachweislich den falschen Artikel in den Warenkorb legt, reproduziere und behebe den Fehler. Dafür brauchst du keinen A/B-Test. Ist dagegen nur die Abbruchrate auffällig, fehlt noch die Erklärung: An dieser Stelle setzt die Beobachtung der Auswahlaufgabe an.

Erst verstehen, dann die verbleibende Frage prüfen

Die Methoden lassen sich auch nacheinander einsetzen: Aus der beobachteten Ersatzteilsuche kann eine verständlichere Kompatibilitätsangabe entstehen, deren Nutzung ein weiterer Nutzertest prüft. Danach bleibt gegebenenfalls die Frage, ob sich eine Shop-Kennzahl verändert. Dafür braucht es einen gesondert geplanten Vergleich, weil die bisherigen Beobachtungen diese Wirkung noch nicht messen.

Ob dieser in deinen Zeitraum passt, zeigt der Ratgeber zum Besucherbudget für Varianten. Die Stichprobe wird dort als Planungsfrage behandelt, nicht als pauschale Mindestzahl für jeden Shop.

Bei unserem Nutzertest vereinbaren wir zuerst die Aufgabe, die beobachtet werden soll. Für eine spätere Bewertung einer Änderung gibt es die Wirkungsanalyse; beide gehören zu unseren CRO-Leistungen.