Testen

Stichprobenrechner für A/B-Tests

Bevor ein A/B-Test startet, sollte feststehen, wie lange er läuft. Der Rechner zeigt, wie viele Besucher pro Variante nötig sind, um einen Unterschied einer bestimmten Größe zuverlässig zu erkennen.

Deine Zahlen

Relativ zur aktuellen Rate: 15 % heißt von 3,0 % auf 3,45 %.

Optional

Ergebnis

Besucher pro Variante

24.193

48.386 Besucher insgesamt

Besucher insgesamt (A + B)
48.386
Conversions pro Variante (etwa)
726
Laufzeit
25 Tage
Laufzeit in vollen Wochen
4 Wochen

Erst nach 24.193 Besuchern je Variante auswerten – vorher täuschen Zwischenstände leicht.

Rechnet nur in deinem Browser. Nichts wird gespeichert oder gesendet.

So rechnet der Rechner

n pro Variante = (z(1 − α/2) × √(2 × p̄ × (1 − p̄)) + z(Power) × √(p₁ × (1 − p₁) + p₂ × (1 − p₂)))² ÷ (p₂ − p₁)²

p₂ = p₁ × (1 + Unterschied) und p̄ = (p₁ + p₂) ÷ 2

Vier Dinge bestimmen die Zahl: die aktuelle Conversion-Rate, der kleinste Unterschied, den du erkennen willst, das Konfidenzniveau (Schutz vor falschen Siegern) und die Teststärke (Chance, einen echten Unterschied auch zu finden). Kleine Unterschiede und niedrige Raten brauchen sehr viele Besucher.

Beispiel

Bei 3 % Conversion-Rate willst du einen Unterschied von 15 % erkennen, also von 3 % auf 3,45 %. Bei 95 % Konfidenz und 80 % Teststärke brauchst du 24.193 Besucher pro Variante, zusammen 48.386. Mit 2.000 Besuchern am Tag dauert das 25 Tage, auf volle Wochen gerundet 4 Wochen.

So wird dein Test schneller

  • Größere Unterschiede testen: Halbierst du den kleinsten Unterschied, brauchst du etwa viermal so viele Besucher. Teste mutige Varianten statt Details.
  • Früher im Funnel messen: Klicks auf „In den Warenkorb“ passieren öfter als Käufe und liefern schneller Ergebnisse. Prüf aber, ob sie wirklich mit Käufen zusammenhängen.
  • Nicht vorher auswerten: Zwischenstände schwanken stark. Wer bei einem schönen Zwischenstand stoppt, kürt zu oft einen Zufall zum Sieger.

Häufige Fragen

Warum volle Wochen?

Weil sich das Verhalten über die Woche ändert. Ein Test von Mittwoch bis Sonntag misst andere Besucher als einer über ganze Wochen.

Was ist die Teststärke?

Die Wahrscheinlichkeit, einen echten Unterschied der gewählten Größe auch als signifikant zu erkennen. Bei 80 % übersiehst du einen echten Unterschied in einem von fünf Tests.

Was mache ich, wenn ich nicht genug Besucher habe?

Teste größere Änderungen, miss ein häufigeres Ziel oder nimm ein niedrigeres Konfidenzniveau in Kauf. Dann steigt aber das Risiko, einem Zufall zu folgen.

Mehr als eine Kennzahl

Cloudcopy Direct rechnet den ganzen Funnel: Aus deinem Shop-Link werden Angebot, Order-Bump, Upsells, Seiten, E-Mails und Ads, jeder Vorschlag mit maximalem Klickpreis.

So funktioniert Cloudcopy