Im Gesamtbericht ist kein klarer Gewinner erkennbar. Du filterst nach Gerät, danach nach Browser und schließlich nach Besucherquelle. Bei mobilen Besuchern sieht B gut aus. Diese Beobachtung ist ein Anlass für eine neue Frage. Sie ist noch keine belastbare Regel, B nur mobil auszurollen.
Optimizely dokumentiert Filter nach Gerät, Browser und Besucherquelle. Wenn du solche Ausschnitte erst nach dem Blick auf die Ergebnisse auswählst, ordnen wir diese Suche als explorativ ein. Speichere interessante Unterschiede mit ihrem Suchweg, statt den am Ende gefundenen Ausschnitt als ursprüngliches Testziel darzustellen.
Die Gruppe wird kleiner, die Suche größer
Mit jedem Filter sinkt häufig die Zahl der beobachteten Einheiten. Gleichzeitig hast du mehr Gelegenheiten, einen zufällig auffälligen Unterschied zu finden. Zu „mobil“ kommen etwa drei Browsergruppen, mehrere Quellen und unterschiedliche Zielereignisse. Eine einzelne schöne Prozentzahl zeigt diesen Suchraum nicht.
Notiere deshalb, welche Auswertungen du tatsächlich angesehen hast. Der Umgang mit mehreren Vergleichen gehört zur statistischen Planung. Das Office of Evaluation Sciences trennt explorative Fragen von vorab festgelegten Hypothesen, die es gemeinsam gegen Fehlalarme absichert. Eine Korrektur für die ursprünglich geplanten zwei Vergleiche deckt nicht automatisch jede spätere Suche ab.
Zwei Unterschiede sind noch kein Unterschied zwischen Gruppen
Fiktives Beispiel mit bestätigten Zielen: In der mobilen Gruppe hat A 25 Erfolge unter 500 Einheiten, B 35 unter 500. Das sind 5 und 7 Prozent. Am Desktop stehen A mit 30 von 500 und B mit 31 von 500 gegenüber, also 6 und 6,2 Prozent.
Der beobachtete Unterschied beträgt mobil 2 Prozentpunkte und am Desktop 0,2 Prozentpunkte. Die Differenz dieser beiden Effekte beträgt 1,8 Prozentpunkte. Das ist zunächst nur eine Rechnung mit den Beispieldaten.
Für die Aussage „Die Änderung wirkt auf Mobilgeräten anders“ braucht es eine passende Analyse des Unterschieds zwischen den Effekten, beispielsweise einen vorab geplanten Interaktionstest. „Mobil signifikant, Desktop nicht signifikant“ wäre dafür allein kein Beleg. Zeige außerdem die Unsicherheit und Gruppengrößen. Die Beispielzahlen liefern hier bewusst keinen statistischen Gewinner.
War das Segment schon vor der Änderung bekannt?
Ein Gerätetyp beim Einstieg ist eine andere Grundlage als „hat den Warenkorb erreicht“. Ob jemand den Warenkorb erreicht, kann gerade durch die getestete Seite beeinflusst werden. Wenn du anschließend nur diese Menschen vergleichst, wählst du möglicherweise in A und B unterschiedliche Gruppen aus.
Microsoft Research empfiehlt für gewöhnliche Segmentvergleiche stabile Merkmale, die nicht durch die Behandlung verändert werden. Für einen kleinen Shop lässt sich daraus ableiten: Lege ein Merkmal und seinen Erfassungszeitpunkt vorab fest. Prüfe auch dann die Verteilung und bekannte Zuordnungslücken. Ein Gerätewechsel während des Versuchs kann die Einordnung komplizierter machen.
Verhaltensgruppen nach dem Einstieg sind als Beschreibung weiterhin interessant. Beschrifte sie entsprechend. Sie beantworten nicht ohne weitere Annahmen die kausale Frage, wie dieselbe Zielgruppe auf A oder B reagiert hätte.
Aus dem Fund einen prüfbaren nächsten Versuch machen
Schreibe eine konkrete Hypothese, etwa: „Die längere Versandinformation verdrängt auf kleinen Displays die Auswahl; eine kompaktere Fassung könnte den Abschluss beeinflussen.“ Der vermutete Grund muss an der Oberfläche überprüfbar sein. Eine passende Gegenbeobachtung wäre ebenso relevant.
Für einen neuen Versuch legst du vor dem Start die mobile Zielgruppe, die Hauptkennzahl, die relevante Effektgröße und den Auswertungsplan fest. Nutze neue Beobachtungen; die Daten, in denen du die Idee gefunden hast, gelten nicht gleichzeitig als unabhängige Bestätigung. Bei zu wenig Zulauf kann eine qualitative Untersuchung die vermutete Bedienhürde klären, aber keine Kaufsteigerung beweisen.
Im Bericht bleibt der ursprüngliche Gesamtversuch mit seinem Ergebnis erhalten. Ergänze den Segmentfund als explorative Beobachtung und benenne die offene Folgefrage. Der Analytics-Datencheck hilft bei der Plausibilität vorhandener Ereignisse und Datenlücken; eine vollständige statistische Versuchsberatung ist gesondert abzugrenzen. Der Ratgeber Doppelte Tracking-Ereignisse zeigt einen vorgelagerten technischen Prüfpunkt.