So rechnet der Rechner
n pro Variante = (z(1 − α/2) × √(2 × p̄ × (1 − p̄)) + z(Power) × √(p₁ × (1 − p₁) + p₂ × (1 − p₂)))² ÷ (p₂ − p₁)²
p₂ = p₁ × (1 + Unterschied) und p̄ = (p₁ + p₂) ÷ 2
Vier Dinge bestimmen die Zahl: die aktuelle Conversion-Rate, der kleinste Unterschied, den du erkennen willst, das Konfidenzniveau (Schutz vor falschen Siegern) und die Teststärke (Chance, einen echten Unterschied auch zu finden). Kleine Unterschiede und niedrige Raten brauchen sehr viele Besucher.
Beispiel
Bei 3 % Conversion-Rate willst du einen Unterschied von 15 % erkennen, also von 3 % auf 3,45 %. Bei 95 % Konfidenz und 80 % Teststärke brauchst du 24.193 Besucher pro Variante, zusammen 48.386. Mit 2.000 Besuchern am Tag dauert das 25 Tage, auf volle Wochen gerundet 4 Wochen.
So wird dein Test schneller
- Größere Unterschiede testen: Halbierst du den kleinsten Unterschied, brauchst du etwa viermal so viele Besucher. Teste mutige Varianten statt Details.
- Früher im Funnel messen: Klicks auf „In den Warenkorb“ passieren öfter als Käufe und liefern schneller Ergebnisse. Prüf aber, ob sie wirklich mit Käufen zusammenhängen.
- Nicht vorher auswerten: Zwischenstände schwanken stark. Wer bei einem schönen Zwischenstand stoppt, kürt zu oft einen Zufall zum Sieger.
Häufige Fragen
Warum volle Wochen?
Weil sich das Verhalten über die Woche ändert. Ein Test von Mittwoch bis Sonntag misst andere Besucher als einer über ganze Wochen.
Was ist die Teststärke?
Die Wahrscheinlichkeit, einen echten Unterschied der gewählten Größe auch als signifikant zu erkennen. Bei 80 % übersiehst du einen echten Unterschied in einem von fünf Tests.
Was mache ich, wenn ich nicht genug Besucher habe?
Teste größere Änderungen, miss ein häufigeres Ziel oder nimm ein niedrigeres Konfidenzniveau in Kauf. Dann steigt aber das Risiko, einem Zufall zu folgen.