Drei neue Produktseiten sind fertig. Jetzt sollen A, B und C gleichzeitig gegeneinander antreten. Für einen kleinen Shop lautet die erste Frage: Erreicht jeder Arm innerhalb eines brauchbaren Zeitraums überhaupt die benötigte Zahl auswertbarer Einheiten?
Ein dritter Arm verteilt vorhandenen Traffic auf mehr Gruppen. Er liefert keine zusätzlichen Besucher. Ob sich der Versuch lohnt, hängt deshalb schon vor dem Start an deiner Entscheidung, den geplanten Vergleichen und der Empfindlichkeit der Auswertung.
Rechne mit dem Zulauf auf der getesteten Seite
Nimm nicht sämtliche Shopbesuche als Grundlage. Relevant sind die Einheiten, die unter den festgelegten Bedingungen tatsächlich in diesen Versuch aufgenommen werden, zum Beispiel erstmals zugeordnete Browser. Wöchentlich wiederkehrende Browser sind bei stabiler browserbasierter Zuteilung keine ständig neuen unabhängigen Einheiten.
Fiktive Kapazitätsrechnung: Pro Woche erreichen 600 neue, geeignete und auswertbare Einheiten den Versuch. Bei gleicher Verteilung sind das etwa 200 je Arm. Würde eine vorherige fachliche Planung 8.000 Einheiten je Arm verlangen, wären ungefähr 40 Wochen Einschreibung nötig. Mit zwei gleich großen Armen wären es bei demselben Zulauf rund 27 Wochen.
Die 8.000 sind hier eine frei gewählte Rechenannahme, keine berechnete Stichprobenempfehlung. Auch die reale Dauer kann abweichen, wenn der Zulauf schwankt. Wenn das Angebot in zwölf Wochen grundlegend wechselt, passt schon diese Kapazitätsrechnung nicht zum geplanten Experiment.
Die benötigte Stichprobe hängt an der Frage
Für eine binäre Zielgröße wie „mindestens ein bestätigter Kauf innerhalb des Fensters“ braucht die Planung unter anderem eine Ausgangsrate, die kleinste relevante Veränderung, ein Fehlerniveau und die gewünschte Teststärke. Minitab dokumentiert diese Abhängigkeiten für den Vergleich zweier Anteile. Drei Arme brauchen zusätzlich einen passenden Vergleichsplan.
Schreibe eine relative Veränderung aus: Von 2 auf 2,2 Prozent sind 10 Prozent relativ, aber nur 0,2 Prozentpunkte absolut. Wer diese Größen verwechselt, plant einen anderen Versuch. Die kleinste relevante Veränderung ist eine Planungsgröße; sie verspricht nicht, dass die neue Seite diesen Effekt erreicht.
Für A/B/C musst du außerdem entscheiden, ob B gegen A und C gegen A reichen oder ob B auch gegen C geprüft werden soll. Zwei Verbesserungen gegenüber A beweisen noch keinen Unterschied zwischen B und C. NIST erklärt, warum mehrere gewöhnliche Einzelvergleiche die gemeinsame Fehlerkontrolle verändern. Lass Verfahren, Vergleiche und Stichprobe zusammen planen.
Einschreibung und Auswertung haben unterschiedliche Enden
Das Ende der Aufnahme neuer Einheiten ist nicht zwingend der Auswertungstag. Wenn ein bestätigter Kauf innerhalb von sieben Tagen nach Einstieg zählt, braucht auch die zuletzt aufgenommene Einheit diese sieben Tage. Das ist ein fiktives Zeitfenster; für deinen Kauf- oder Anfrageprozess muss es fachlich passen.
Lege außerdem einen Kalenderzeitraum fest, der typische Nutzung abbildet. Ein besonders starker Aktionstag allein beantwortet keine Frage zum gewöhnlichen Sortiment. Eine pauschale Regel wie „nach zwei Wochen fertig“ berücksichtigt weder Stichprobe noch verzögerte Abschlüsse.
Bei einer Auswertung mit vorher festgelegtem Endpunkt wartest du mit der statistischen Erfolgsentscheidung bis zu diesem Punkt. Ein für wiederholte Zwischenentscheidungen geeignetes sequenzielles Verfahren muss entsprechend geplant sein. Die aktuelle Optimizely-Dokumentation unterscheidet diese beiden Ansätze. Eine defekte Kasse darfst du natürlich sofort abschalten; dokumentiere den Sicherheitsabbruch getrennt von einem statistischen Gewinner.
Wenn der Test nicht in deinen Zeitraum passt
Streiche eine Variante nur aus einem sachlichen Grund vor dem Start. Du kannst zunächst auch eine konkrete Kaufhürde beobachten oder einen Prototyp qualitativ untersuchen. Das beantwortet andere Fragen und wird nicht nachträglich als Kaufsteigerung ausgegeben. Einen laufenden Versuch bis zur ersten hübschen Zahl zu verlängern, löst das Planungsproblem nicht.
Die Shop-Diagnose hilft, einen begrenzten Kaufweg und vorhandene Daten in eine nächste Untersuchung zu übersetzen. Die Durchführung eines beliebigen A/B/C-Tests ist damit nicht zugesagt. Für eine vorgelagerte Methodenentscheidung lies Welche Frage UX Research klären soll.