Bevor du eine neue Variante bauen lässt, sollte klar sein, welches Problem sie lösen soll und warum du gerade diese Änderung für hilfreich hältst. Eine Testhypothese macht diesen Zusammenhang nachvollziehbar: Sie verbindet deine Beobachtung mit einer vermuteten Erklärung und der geplanten Änderung. Im Versuchsplan legst du anschließend fest, woran du die Wirkung beurteilst und welche unerwünschten Folgen gegen die Übernahme sprechen würden.
Beobachtung und Erklärung getrennt halten
In einem gedachten Nutzertest finden mehrere Teilnehmende die Kompatibilitätsangabe für ein Ersatzteil erst, nachdem die Moderation danach fragt. Daraus entsteht die Vermutung, dass die Information an ihrer jetzigen Stelle vor der Auswahl übersehen wird.
Wenn die vermutete Ursache die Platzierung ist, könnte der Entwurf dieselben fachlichen Angaben direkt an der Auswahl zeigen. Bleiben die Inhalte gleich, lässt sich die Frage nach der Platzierung gezielter untersuchen. Werden gleichzeitig Preis, Lieferumfang und Bilder geändert, prüfst du dagegen ein größeres Paket und kannst dessen Wirkung nicht mehr dieser einen Erklärung zuordnen.
Ein erster Nutzertest kann klären, ob die neue Darstellung überhaupt verstanden wird. Der statistische Vergleich einer Zielgröße ist eine weitere Frage.
Eine kurze Hypothesenkarte ausfüllen
Fülle die Karte für genau die Änderung aus, die du untersuchen möchtest. Bleibt etwa die Zielgröße offen, fehlt noch ein Teil der Versuchsplanung.
| Feld | Inhalt für die Planung |
|---|---|
| Ausgangspunkt | Beobachtung mit Fundstelle und Herkunft |
| Vermutung | Warum könnte die Aufgabe an dieser Stelle stocken? |
| Veränderung | Was unterscheidet B konkret von A? |
| Betroffene Gruppe | Wer erreicht die veränderte Stelle unter welchen Bedingungen? |
| Zielgröße | Welcher bestätigte Vorgang soll sich verändern? |
| Schutzgrößen | Welche unerwünschten Folgen müssen beobachtet werden? |
| Entscheidung | Nach welchem vorab geplanten Verfahren wird ausgewertet? |
Microsofts Experimentation-Team beschreibt die Verbindung von Hypothese, Erfolgsmetriken und Schutzgrößen. Die konkrete Karte muss zu deinem Produkt und zur vorhandenen Messung passen.
Die Zielgröße an die Geschäftsfrage binden
Mehr Klicks auf die Kompatibilitätsangabe könnten bedeuten, dass sie besser auffällt. Sie könnten aber auch Ausdruck zusätzlicher Unsicherheit sein. Wenn die Geschäftsfrage passende Käufe betrifft, reicht der Klick allein als Erfolgsgröße nicht.
Welche Messung du brauchst, hängt vom bestätigten Vorgang und seinem Zeitfenster ab. Bei Bestellungen muss die Erfassung den tatsächlichen Abschluss abbilden, während bei Anfragen zusätzlich wichtig sein kann, ob sie sich bearbeiten lassen. Weil diese Ergebnisse erst später vorliegen können, gehört auch ihre Zuordnung zur richtigen Gruppe in den Plan, ohne dafür unnötige personenbezogene Daten zu sammeln.
Schutzgrößen können etwa fehlerhafte Auswahlen oder technische Fehler betreffen. Lege fest, welche Abweichung kritisch ist und wer dann handelt. Wenn diese Bewertungsfrage noch offen ist, lässt sie sich in einer Wirkungsanalyse als Teil unserer CRO-Arbeit klären.
Auch ein offenes Ergebnis braucht einen Platz
Für deine Entscheidung nach dem Versuch reicht die Möglichkeit „B gewinnt“ nicht aus. Es kann ebenso ein Ergebnis ohne ausreichende Aussage entstehen oder ein Fehler zum Abbruch führen. Dann bleibt die Frage gegebenenfalls offen: Ein unklarer Vergleich beweist keine Gleichheit, und eine nachträglich günstiger gewählte Kennzahl bestätigt die ursprüngliche Vermutung nicht.
Stichprobe, Laufzeit und Auswertungsverfahren müssen zusammenpassen. Prüfe anhand des Leitfadens zu mehreren Testvarianten, ob der geplante Vergleich in dein Besucherbudget passt. Falls nicht, kann die Hypothese als offene Frage im Backlog bleiben. Sie muss nicht allein deshalb ausgespielt werden, weil der Entwurf fertig ist.
