Testen

A/B-Test-Signifikanz-Rechner

Variante B hat mehr Conversions als A. Aber ist sie wirklich besser, oder war es Zufall? Der Rechner prüft das mit einem Test für zwei Anteile und zeigt p-Wert, Unterschied und Konfidenzintervall.

Deine Zahlen

Ergebnis

Conversion-Rate A

3 %

Conversion-Rate B

3,6 %

Unterschied B zu A

+20 %
p-Wert
0,018
Konfidenzintervall für den Unterschied
+3,5 % bis +36,5 %
z-Wert
2,38

Signifikant bei 95 %: B schneidet besser ab. Ohne echten Unterschied sähe man einen so großen Abstand nur in 1,75 % der Fälle.

Rechnet nur in deinem Browser. Nichts wird gespeichert oder gesendet.

So rechnet der Test

Conversion-Rate = Conversions ÷ Besucher

Unterschied = (Rate B − Rate A) ÷ Rate A

z = (Rate B − Rate A) ÷ Standardfehler

p-Wert = Wahrscheinlichkeit für einen mindestens so großen Abstand, wenn A und B gleich gut wären

Der p-Wert beantwortet genau eine Frage: Wie wahrscheinlich wäre ein so großer Unterschied, wenn beide Varianten in Wahrheit gleich gut wären? Liegt er unter 5 %, gilt das Ergebnis bei 95 % Konfidenzniveau als signifikant. Das Konfidenzintervall zeigt, in welchem Bereich der echte Unterschied wahrscheinlich liegt.

Beispiel

Variante A hat 10.000 Besucher und 300 Conversions, also 3 %. Variante B kommt bei 10.000 Besuchern auf 360 Conversions, also 3,6 %. Das ist ein Plus von 20 %. Der p-Wert liegt bei 0,018, das Ergebnis ist bei 95 % signifikant. Das Konfidenzintervall für den Unterschied reicht von +3,5 % bis +36,5 %.

Die häufigsten Fehler

  • Zu früh schauen und stoppen: Wer täglich nachsieht und beim ersten signifikanten Wert aufhört, erklärt viel öfter einen Zufall zum Sieger. Leg die Stichprobe vorher fest, etwa mit dem Stichprobenrechner, und werte erst dann aus.
  • Zu kurz testen: Lass Tests über ganze Wochen laufen, damit alle Wochentage gleich oft vorkommen.
  • Zu viele Varianten auf einmal: Mit jeder zusätzlichen Variante steigt die Chance, dass eine zufällig gewinnt.
  • Nur auf die Rate schauen: Eine Variante mit mehr Käufen, aber kleinerem Warenkorb kann weniger Umsatz bringen.

Häufige Fragen

Was bedeutet „signifikant bei 95 %“?

Dass ein so großer Unterschied bei zwei gleich guten Varianten in weniger als 5 % der Fälle vorkäme. Es heißt nicht, dass B mit 95 % Wahrscheinlichkeit besser ist.

Welcher Test steckt dahinter?

Ein zweiseitiger z-Test für zwei Anteile mit gepoolter Rate. Das Konfidenzintervall nutzt den ungepoolten Standardfehler. Bei sehr wenigen Conversions ist diese Näherung ungenau, der Rechner weist dann darauf hin.

Kann ich mehr als zwei Varianten vergleichen?

Vergleiche dann jede Variante mit der Kontrolle und verlange ein strengeres Niveau, etwa 99 % statt 95 %. So sinkt das Risiko, dass eine Variante nur zufällig vorn liegt.

Mehr als eine Kennzahl

Cloudcopy Direct rechnet den ganzen Funnel: Aus deinem Shop-Link werden Angebot, Order-Bump, Upsells, Seiten, E-Mails und Ads, jeder Vorschlag mit maximalem Klickpreis.

So funktioniert Cloudcopy