Du entfernst zwei Felder aus dem Anfrageformular. In Variante B gehen mehr Anfragen ein. Der Vertrieb meldet gleichzeitig mehr Fälle außerhalb des Angebots. Beide Beobachtungen können stimmen. Für die Entscheidung braucht der Versuch eine vorher definierte Zielgröße und einen Blick auf die spätere Qualität.
Eine eingegangene Anfrage ist zunächst ein Kontaktanlass. Sie wird durch die Versuchszuteilung weder zum Kauf noch zu Umsatz. Google Analytics führt generate_lead und purchase als unterschiedliche Ereignisse. Entscheidend bleibt, welchen tatsächlichen Geschäftsstand dein eigener Auslöser abbildet.
Qualität vor dem Start beschreiben
Lege gemeinsam mit der zuständigen Person fest, wann eine Anfrage als passend gilt. Beispielsweise: Die gesuchte Leistung wird angeboten, das Projekt liegt im bedienten Gebiet und die Kontaktangaben erlauben eine Antwort. Verwende nur Kriterien, die zum Geschäft gehören und sich für beide Varianten gleich anwenden lassen.
Wenn möglich, beurteilt die bearbeitende Person die Anfrage ohne Kenntnis der Variante. Andernfalls kann schon die Erwartung an das neue Formular die Einordnung beeinflussen. Halte die Regeln während des Versuchs fest. Ein später geändertes Verständnis von „qualifiziert“ gehört als Änderung ins Protokoll.
Unterscheide diese Größen:
| Größe | Was sie beantwortet |
|---|---|
| Eingegangene Anfragen je zugeteilter Einheit | Wie häufig entsteht ein gespeicherter Kontakt? |
| Qualifizierte Anfragen je zugeteilter Einheit | Wie häufig entsteht ein nach gleicher Regel passender Kontakt? |
| Qualifizierter Anteil unter den Anfragen | Welche Zusammensetzung haben die eingegangenen Kontakte? |
| Bestätigte Abschlüsse je zugeteilter Einheit | Wie häufig entsteht später der definierte Geschäftsabschluss? |
Der qualifizierte Anteil allein reicht nicht: Eine Variante könnte weniger Anfragen erzeugen und dadurch einen höheren Anteil erreichen, ohne mehr passende Kontakte zu bringen. Microsoft Research beschreibt die Gefahr, lokale Kennzahlen ohne den Gesamtzusammenhang zu interpretieren.
Ein Beispiel mit gegenläufigen Zählern
Fiktive Gruppen mit vollständig abgewarteter Nachbeobachtung: Je 1.000 zugeteilte Einheiten liefern in A 40 Anfragen, davon 20 qualifizierte und zehn spätere Abschlüsse. In B entstehen 60 Anfragen, davon 18 qualifizierte und acht Abschlüsse.
Die Anfragerate steigt von 4 auf 6 Prozent. Die Rate qualifizierter Anfragen liegt bei 2 beziehungsweise 1,8 Prozent, die Abschlussrate bei 1 beziehungsweise 0,8 Prozent. Das sind beschreibende Zahlen. Sie belegen für sich weder einen statistisch gesicherten Unterschied noch eine dauerhafte Verschlechterung.
Falls vorab die qualifizierten Kontakte als primäres Ziel festgelegt waren, darfst du den Versuch nicht nachträglich allein wegen der vielen Eingänge zum Erfolg erklären. Falls die Zielgrößen vorher unklar waren, dokumentiere diese Grenze und formuliere einen neuen Vergleichsplan.
Späte Abschlüsse fair zuordnen
Ein Kontakt vom ersten Versuchstag hatte länger Zeit als einer vom letzten Tag. Definiere deshalb ein gleich langes Nachbeobachtungsfenster ab Einstieg und warte die offenen Fenster ab. Ob etwa 30 Tage reichen, hängt vom realen Vertriebszyklus ab; diese Zahl ist keine allgemeine Empfehlung.
Zähle einen späteren Abschluss zur ursprünglich zugeteilten Einheit und Variante, soweit eine zulässige, verlässliche Verknüpfung vorhanden ist. Ohne diese Verbindung bleiben Abschlüsse auf Variantenebene unbekannt. Ersetze fehlende Zuordnungen nicht durch den durchschnittlichen Auftragswert aller Kunden. Bei wiederholten Anfragen derselben Einheit muss ebenfalls vorher klar sein, ob mindestens ein Kontakt oder die Anzahl der Kontakte ausgewertet wird.
Geldwerte brauchen einen bestätigten Geschäftsstand
Verbindliche Aufträge, Zahlungen, Stornos und Erstattungen sind gesonderte Zustände. Lege fest, welche davon ein Bericht enthält. Ein unverbindlicher Anfragepreis ist kein realisierter Umsatz. Beim Werkzeug für Analytics & A/B-Tests sind für Umsatzauswertungen derzeit manuelle, durch Mitarbeitende bestätigte Bestellimporte vorgesehen; eine fertige automatische Shopify- oder WooCommerce-Bestellanbindung ist damit nicht zugesagt.
Wenn die Angebotsseite viele unpassende Kontakte erzeugt, kann der Anfragen-Check Verständlichkeit und Anfrageweg untersuchen. Für eine reine Szenariorechnung mit ausdrücklich angenommener Abschlussquote gibt es den getrennten Ratgeber Was eine Website-Anfrage wert ist. Er ersetzt keine Auswertung deines Versuchs.