A/B-Test-Rechner

A/B-Test auswerten: Signifikanz, Power und die bayesianische Lesart

Zwei Versionen einer Seite, zwei zufällige Hälften deiner Besucher, am Ende zwei Conversion-Rates. Das Problem: Auch zwei identische Seiten liefern unterschiedliche Zahlen, rein durch Zufall. Dieser Rechner trennt echte Gewinner von Glückstreffern, und zwar auf beide Arten, die die Statistik kennt.

Die frequentistische Sicht liefert das klassische Testprotokoll: Conversion-Rates, relativer Uplift, z-Wert, p-Wert, beobachtete Power und die Verteilungskurven beider Varianten. Die bayesianische Sicht beantwortet die Frage, die du eigentlich stellst: Wie wahrscheinlich ist B tatsächlich besser als A? Sie zeigt die wahrscheinlichen Uplifts als Verteilung und rechnet auf Wunsch gleich den Business Case: erwarteter Gewinn, erwartetes Risiko und der risikogewichtete Mehrumsatz, wenn du B ausrollst.

Vor dem Test: die Stichprobe planen

Die meisten A/B-Tests scheitern nicht an der Idee, sondern an der Stichprobe. Wer einen kleinen Uplift auf einer Seite mit wenig Traffic nachweisen will, braucht mehr Besucher, als er in einem Quartal bekommt.

Der Planungsmodus rechnet es vor: heutige Conversion-Rate und erwartete Verbesserung rein, Mindest-Stichprobe pro Variante raus. Mit deinem Wochentraffic wird daraus eine Testdauer, und wenn du nur eine begrenzte Zahl Wochen hast, sagt dir der Rechner, welche Verbesserung du in dieser Zeit überhaupt nachweisen kannst.

Häufige Fragen

Was heisst statistisch signifikant?

Signifikant bei 95 % Konfidenz heisst: Gäbe es in Wahrheit keinen Unterschied zwischen A und B, würde ein Abstand dieser Grösse höchstens in 5 von 100 Tests auftreten. Der Unterschied ist also mit hoher Wahrscheinlichkeit deine Änderung, nicht der Zufall.

Einseitig oder zweiseitig testen?

Einseitig fragt nur, ob B besser ist als A, und ist der übliche Fall beim A/B-Test. Zweiseitig fragt, ob B anders ist als A, egal in welche Richtung, und braucht dafür etwas mehr Evidenz. Wenn du unsicher bist: einseitig.

Was sagt die bayesianische Zahl?

Der p-Wert beantwortet eine Umweg-Frage (wie überraschend wären diese Daten, wenn nichts passiert wäre?). Die bayesianische Wahrscheinlichkeit beantwortet die direkte: Wie wahrscheinlich ist B wirklich besser? Viele Teams handeln ab 95 %.

Warum schwanken die Business-Case-Zahlen hier nicht?

Die meisten Rechner, etwa der bekannte von ABTestguide, simulieren den Business Case per Monte Carlo: Sie würfeln tausende mögliche wahre Conversion-Rates aus und mitteln die Umsatz-Ergebnisse. Im Prinzip richtig, aber jedes Neuladen liefert dort leicht andere Beträge, weil neu gewürfelt wird. Dieser Rechner nutzt die exakte Formel für genau diesen Erwartungswert (die partielle Erwartung der Normalverteilung). Gleiche Eingaben, gleiche Zahl, jedes Mal. Kein Simulationsrauschen, dem du hinterherrätst.

Warum soll ich nicht täglich nachschauen und beim ersten grünen Wert stoppen?

Weil der p-Wert unterwegs schwankt. Wer jeden Tag prüft und beim ersten signifikanten Wert stoppt, fischt sich seine falschen Positiven selbst heraus. Stichprobe vorher festlegen, Test durchlaufen lassen, einmal urteilen.