Ein Test soll Besucher gleichmäßig auf A und B verteilen. Im Bericht stehen nach einiger Zeit 700 Einheiten in A und 300 in B. B hat die höhere Bestellrate. Bevor du die neue Seite übernimmst, braucht die ungleiche Verteilung eine Erklärung.
Dieses fiktive Beispiel zeigt einen möglichen Sample Ratio Mismatch, kurz SRM: Die beobachteten Gruppengrößen passen auffällig schlecht zur geplanten Zuteilung. Microsoft Research beschreibt SRM als Warnsignal für unterschiedliche Datenprobleme. Es beweist weder eine bestimmte Fehlerursache noch die Überlegenheit einer Variante.
Was bekommt eine Variante zugeteilt?
Schreibe vor dem Start auf, welche Einheit ausgelost wird. Ein Browser, ein angemeldetes Konto und eine Sitzung sind verschiedene Einheiten. Bei einem browserbasierten Test ist eine Person auf zwei Geräten möglicherweise zweimal enthalten. Nenne die erfassten Browser daher nicht einfach „eindeutige Menschen“.
Bei einer Produktseite könnte derselbe Browser während des gesamten Versuchs dieselbe Variante erhalten. Ein erneuter Seitenaufruf soll dann dieselbe Variante zeigen und keine weitere Versuchseinheit anlegen. Ob das eigene System diese Regel tatsächlich einhält, muss die Entwicklung am konkreten Aufbau prüfen. Eine stabile Zuordnung ist eine technische Eigenschaft, kein Nachweis vollständiger Erfassung.
Die Optimizely-Dokumentation erklärt, wie ein Experiment eine Kennung einem Wertebereich und damit einer Variante zuordnet. Daraus folgt für deine Prüfung: Kennung, Experimentversion und Verteilungsregeln müssen zusammenpassen. Eine geänderte Kennung oder eine Änderung während des Versuchs kann die ursprüngliche Zuordnung verändern.
Drei Zähler nebeneinanderlegen
Bitte die Entwicklung um eine kleine Übersicht für jede Variante:
| Zähler | Frage an die Implementierung |
|---|---|
| Zugeordnete Einheiten | Wie oft wurde eine gültige Einheit erstmals ausgelost? |
| Erfasster Einstieg in den Test | Wann wird die Einheit für die Auswertung aufgenommen? |
| Bestätigte Zielereignisse | Welcher fachliche Vorgang zählt innerhalb des festgelegten Fensters? |
Diese Zähler sind nicht austauschbar. Eine technisch zugeteilte Variante kann beim Rendern scheitern. Werden solche Fälle nur in B aus der Analyse entfernt, vergleichst du später unterschiedlich ausgewählte Gruppen. Lege die Einschlussregel vorher fest; entferne nachträglich keine unbequemen Fälle, um wieder 50/50 zu erhalten.
Ein ungefähr gleiches Verhältnis ist bei kleiner Stichprobe ebenfalls kein Beleg für eine fehlerfreie Zuteilung. Zufall erzeugt Abweichungen. Eine fachlich passende SRM-Prüfung berücksichtigt deshalb die Gruppengröße und die vorgegebene Verteilung, statt einen pauschalen Toleranzwert zu verwenden.
Bei A/B/C gilt das vereinbarte Verhältnis
Für drei gleich große Arme ist das Soll ungefähr ein Drittel je Variante. Für einen bewusst anders geplanten Versuch könnten es 50/25/25 sein. Prüfe nicht jedes Experiment gegen 50/50. Halte auch fest, welcher Anteil der grundsätzlich geeigneten Einheiten überhaupt am Versuch teilnimmt.
Wenn die Übersicht ungewöhnlich aussieht, suche zuerst nach einem konkreten Zeitpunkt: Wurde B später aktiviert? Zählt ein Variantenwechsel doppelt? Fehlt der Einstieg nur bei einem Seitentyp? Ein Vergleich nach Tag oder Browser kann die Suche eingrenzen. Er macht einen beschädigten Gesamtversuch nicht automatisch wieder auswertbar.
Einen Fehler dokumentieren, dann neu planen
Speichere Sollverteilung, beobachtete Zähler und bekannte Änderungen im Versuchsjournal. Bei ungeklärtem SRM bleibt die Ergebnisentscheidung offen. Falls ein Neustart nötig ist, bekommt er eine nachvollziehbare neue Versuchsversion; alte und neue Daten werden nicht still zusammengeschoben.
Für die Abgrenzung fachlicher Zähler hilft der vorhandene Ratgeber Warum Analytics und Shopsystem andere Zahlen zeigen. Der Analytics-Datencheck kann vorhandene Schlüsselereignisse und Datenlücken untersuchen. Eine Reparatur der Versuchszuteilung muss gesondert im Umfang geklärt werden.