A/B Test Calculator

Ein A/B-Test-Rechner bestimmt, ob der Unterschied zwischen zwei Varianten statistisch signifikant ist oder nur Zufall. Sie geben Besucher und Conversions für jede Variante ein, und der Rechner sagt Ihnen den p-Wert (Wahrscheinlichkeit, dass das Ergebnis zufällig ist), das Konfidenzniveau (wie sicher Sie sein können) und ob Sie mehr Daten benötigen, bevor Sie einen Gewinner ausrufen. Vermarkter verwenden ihn, um Landing-Page-Tests, E-Mail-Betreffzeilen, Anzeigen-Creatives und Preisexperimente zu validieren, bevor Änderungen ausgerollt werden. Produktteams verwenden ihn, um zu bestätigen, dass Funktionsänderungen die Konversionsraten verbessern. Die Alternative ist, die Zahlen zu überfliegen oder zu warten, bis eine Variante „offensichtlich" besser ist, was zu falschen Positiven (Ausrollen einer Variante, die nicht wirklich gewonnen hat) oder verschwendeter Zeit (Tests über den Punkt der bereits erreichten Signifikanz hinaus) führt. Verwenden Sie den Konversionsrate-Rechner nach Bestätigung der Signifikanz, um prozentuale Lifts in projizierte Umsätze zu übersetzen. Verwenden Sie den CTR-Rechner zusammen mit diesem Tool, wenn Sie E-Mail- oder Anzeigen-Kampagnen testen, bei denen die Klickrate genauso wichtig ist wie die endgültige Konversion.

Statistische Signifikanz wird mit einem Zwei-Proportionen-z-Test berechnet, der Konversionsraten zwischen Varianten vergleicht. Der Rechner nimmt Besucher und Conversions für Variante A und Variante B, berechnet jede Konversionsrate, dann berechnet der z-Score (wie viele Standardabweichungen die beiden Raten voneinander entfernt sind). Der z-Score wird in einen p-Wert umgewandelt, das ist die Wahrscheinlichkeit, dass der Unterschied zufällig passiert ist. Ein p-Wert unter 0,05 bedeutet weniger als 5 % Chance, dass das Ergebnis zufällig ist, also können Sie dem Unterschied trauen, dass er real ist. Die meisten A/B-Test-Rechner verwenden einen 95 %-Konfidenz-Schwellenwert (p-Wert < 0,05), obwohl einige Teams 90 % Konfidenz (p-Wert < 0,10) für schnellere Entscheidungen bei Tests mit niedriger Traffic akzeptieren. Die Mathematik produziert auch Konfidenzintervalle, die den Bereich zeigen, in dem die wahre Konversionsrate für jede Variante wahrscheinlich liegt. Wenn die Intervalle sich nicht überlappen, ist der Unterschied signifikant. Sie müssen dies nicht manuell berechnen; fügen Sie Ihre Zahlen in dieses Tool ein und es führt den z-Test sofort durch. Nach Bestätigung der Signifikanz, verwenden Sie den Konversionsrate-Rechner, um die geschäftliche Auswirkung zu prognostizieren.

Eine gute Stichprobengröße hängt von Ihrer Basis-Konversionsrate, dem minimal erkennbaren Effekt (kleinster Lift, der erkannt werden soll) und Ihrem gewünschten Konfidenzniveau ab. Bei den meisten Tests benötigen Sie mindestens 1.000 Conversions insgesamt (in beiden Varianten), um 95 % Konfidenz zu erreichen. Wenn Ihre Konversionsrate 2 % beträgt, sind das 50.000 Besucher pro Variante (100.000 insgesamt). Wenn Ihre Konversionsrate 10 % beträgt, benötigen Sie 10.000 Besucher pro Variante (20.000 insgesamt). Je kleiner der erwartete Lift, desto mehr Besucher benötigen Sie. Eine 50 % Verbesserung erkennen (2 % auf 3 %) erfordert weniger Besucher als eine 10 % Verbesserung erkennen (2 % auf 2,2 %). Dieser Rechner zeigt die empfohlene Stichprobengröße basierend auf Ihren aktuellen Daten, damit Sie wissen, ob Sie weitertesten oder es ausrufen sollten. Zu früh zu stoppen produziert unzuverlässige Ergebnisse. Tests über die erforderliche Stichprobengröße hinaus zu führen verschwendet Zeit ohne die Genauigkeit zu verbessern. Wenn Sie nicht genug Traffic haben, um in einer angemessenen Zeitspanne (sagen wir, zwei Wochen) Signifikanz zu erreichen, testen Sie eine größere Änderung oder akzeptieren Sie einen niedrigeren Konfidenz-Schwellenwert wie 90 %. Verwenden Sie den CTR-Rechner, um Traffic nach Quelle zu analysieren, damit Sie wissen, welche Kanäle genug Volumen für gültiges Testen bringen.

Der p-Wert ist die Wahrscheinlichkeit, dass der beobachtete Unterschied zwischen Varianten zufällig statt als echte Wirkung passiert ist. Ein p-Wert von 0,03 bedeutet, dass es eine 3 % Chance gibt, dass der Unterschied zufällig ist, oder gleichwertig, 97 % Konfidenz, dass Variante B tatsächlich besser als Variante A funktioniert. Der Standard-Schwellenwert ist p < 0,05, das bedeutet, dass Sie mindestens 95 % Konfidenz benötigen, um einen Gewinner auszurufen. Wenn der p-Wert 0,12 ist, gibt es eine 12 % Chance, dass der Unterschied nur Rauschen ist, also testen Sie weiter. Niedrigere p-Werte bedeuten stärkere Beweise. Ein p-Wert von 0,001 bedeutet 99,9 % Konfidenz, was selten in Marketing-Tests ist, aber häufig in wissenschaftlichen Experimenten. Wenn Sie einen Test bei p = 0,15 stoppen, weil eine Variante voraus ist, haben Sie eine 15 % Chance, eine Änderung auszurollen, die nicht wirklich funktioniert. Deshalb kennzeichnen Rechner Ergebnisse als „nicht signifikant", wenn p > 0,05. Der p-Wert ändert sich, wenn Sie mehr Daten sammeln. Ein Test könnte mit p = 0,20 nach 500 Besuchern beginnen, auf p = 0,08 bei 2.000 Besuchern fallen und schließlich p = 0,04 bei 5.000 Besuchern durchbrechen. Verwenden Sie diesen Rechner täglich während Ihres Tests, um zu sehen, wann Sie die Signifikanz-Schwelle durchbrechen. Nach Erreichen der Signifikanz, verwenden Sie den Konversionsrate-Rechner, um die Umsatzauswirkung zu schätzen, bevor Sie die Gewinnervariante implementieren.

Führen Sie einen A/B-Test durch, bis Sie statistische Signifikanz erreichen (p-Wert < 0,05) und die empfohlene Stichprobengröße treffen, oder bis zwei volle Wochen verstrichen sind, damit Sie Wochenverkehrsmuster erfassen. Die meisten Tests benötigen 1.000 bis 5.000 Conversions pro Variante, was sich in ein bis vier Wochen abhängig vom Datenverkehrsvolumen übersetzt. Zu früh zu stoppen, weil eine Variante nach drei Tagen voraus ist, riskiert falsche Positive. Für immer zu testen, weil Sie 99,9 % Konfidenz wollen, verschwendet Zeit bei sinkenden Renditen. Die richtige Stopp-Regel ist Signifikanz plus Stichprobengröße plus Zeitabdeckung. Signifikanz bestätigt, dass der Unterschied real ist. Stichprobengröße bestätigt, dass Sie genug Daten haben. Zeitabdeckung bestätigt, dass Sie Wochentags- und Wochenendverkehr gesehen haben, der oft unterschiedlich konvertiert. Wenn Ihr Test nach fünf Tagen Signifikanz erreicht, aber Ihr Traffic variiert je nach Wochentag, lassen Sie ihn 14 Tage laufen. Wenn es drei Wochen sind und Sie sind noch weit von Signifikanz entfernt, sind die Varianten wahrscheinlich zu ähnlich. Rufen Sie es unentschieden aus und testen Sie eine größere Änderung. Verwenden Sie diesen Rechner täglich, um p-Wert- und Stichprobengrößen-Fortschritt zu verfolgen. Sobald beide Schwellenwerte erfüllt sind, stoppen Sie den Test und verwenden Sie den Konversionsrate-Rechner, um die Auswirkung des Ausrollens der Gewinnervariante zu prognostizieren.

Ein Konfidenzintervall zeigt den Bereich, in dem die wahre Konversionsrate wahrscheinlich liegt. Wenn Variante A ein 95 %-Konfidenzintervall von 3,5 % bis 4,5 % hat, bedeutet das, dass Sie zu 95 % sicher sind, dass die echte Konversionsrate irgendwo in diesem Bereich liegt. Enge Intervalle (wie 4,0 % bis 4,2 %) bedeuten, dass Sie die wahre Rate genau kennen, weil Sie viele Daten haben. Breite Intervalle (wie 2 % bis 8 %) bedeuten hohe Unsicherheit, weil die Stichprobengröße zu klein ist. Beim A/B-Testing vergleichen Sie die Intervalle für beide Varianten. Wenn das Intervall von Variante A 3,5 % bis 4,5 % ist und das von Variante B 4,8 % bis 5,8 %, überlappen sich die Bereiche nicht, was einen signifikanten Unterschied bestätigt. Wenn Variante A 3,5 % bis 4,5 % ist und Variante B 4,0 % bis 5,0 %, überlappen sie, was bedeutet, dass der Unterschied Rauschen sein könnte. Der Rechner zeigt Konfidenzintervalle automatisch neben p-Werten an. Beide Metriken erzählen Ihnen die gleiche Geschichte aus verschiedenen Winkeln. Ein sich nicht überlappendes Konfidenzintervall entspricht normalerweise p < 0,05. Überlappende Intervalle entsprechen normalerweise p > 0,05. Verwenden Sie die Intervalle, wenn Sie Ergebnisse an nicht-technische Stakeholder erklären, weil „die Bereiche überlappen sich nicht" leichter zu verstehen ist als „p-Wert von 0,03". Nach Bestätigung der Signifikanz über Intervalle oder p-Wert, verwenden Sie den Konversionsrate-Rechner, um den Lift in erwartete Umsätze zu übersetzen.

Ja, Sie können einen A/B-Test mit ungleichen Stichprobengrößen durchführen, aber gleiche Splits (50/50-Traffic) sind besser, um schneller Signifikanz zu erreichen. Wenn Variante A 10.000 Besucher bekommt und Variante B 2.000 Besucher, funktioniert der Rechner immer noch, aber das Konfidenzintervall für Variante B wird breiter sein, weil die kleinere Stichprobengröße höhere Unsicherheit bedeutet. Ungleiche Splits treten auf, wenn Sie eine riskante Änderung testen und die Exposition begrenzen möchten. Sie könnten 90 % des Traffics zum bewährten Kontrolleur und 10 % zur neuen Variante senden, um zu vermeiden, dass die Conversions in die Luft gehen, wenn der Test schiefgeht. Der Kompromiss ist, dass der Test länger Signifikanz erreicht, weil die kleinere Variante Daten langsamer sammelt. Wenn Sie zwei gleich sichere Varianten testen, teilen Sie den Traffic gleichmäßig auf, um die Testdauer zu minimieren. Wenn Sie etwas Riskantes testen (wie einen völlig neuen Checkout-Ablauf), neigen Sie den Traffic zum Kontrolleur, bis frühe Daten bestätigen, dass die neue Variante nicht kaputt ist. Dieser Rechner handhabt ungleiche Splits automatisch; geben Sie einfach die tatsächlichen Besucher- und Conversion-Zahlen für jede Variante ein. Nach dem Test, verwenden Sie den Konversionsrate-Rechner, um die Volltraffic-Auswirkung zu modellieren, bevor Sie die Gewinnervariante auf 100 % der Nutzer ausrollen.

A/B-Testing vergleicht zwei Versionen einer Variablen (wie Überschrift A gegen B). Multivariates Testing vergleicht mehrere Variablen gleichzeitig (wie Überschrift A gegen B, Buttonfarbe Rot gegen Blau und Bild X gegen Y, alles auf einmal). A/B-Testing ist einfacher und erfordert weniger Traffic. Wenn Sie 10.000 Besucher pro Woche haben, können Sie einen A/B-Test durchführen und in ein bis zwei Wochen Ergebnisse erhalten. Multivariates Testing teilt den Traffic über alle Kombinationen (im Beispiel oben sind das 2 Überschriften × 2 Buttonfarben × 2 Bilder = 8 Kombinationen), also benötigen Sie 8x den Traffic, um in der gleichen Zeitspanne Signifikanz zu erreichen. Verwenden Sie A/B-Testing, wenn Sie eine Hypothese über eine spezifische Änderung haben. Verwenden Sie multivariates Testing, wenn Sie Wechselwirkungen zwischen Variablen testen möchten (wie „Funktioniert Überschrift A besser mit Rot oder Blau Button?"). Die meisten Teams bleiben bei A/B-Tests, weil der Traffic begrenzt ist und das Testen einer Variablen auf einmal einfacher zu implementieren und zu analysieren ist. Dieser Rechner ist für A/B-Tests (zwei Varianten) gebaut. Wenn Sie multivariaten Tests durchführen, benötigen Sie ein spezialisiertes Tool, das mehr als zwei Gruppen handhabt. Nach Bestimmung, welche einzelne Änderung am besten per A/B-Testing funktioniert, verwenden Sie den CTR-Rechner, um die Leistung nach Verkehrsquelle oder Gerät zu unterteilen.

Interpretieren Sie A/B-Test-Ergebnisse, indem Sie der Reihe nach drei Dinge überprüfen: statistische Signifikanz, Überlappung des Konfidenzintervalls und praktische Auswirkung. Schauen Sie zuerst auf den p-Wert. Wenn er unter 0,05 liegt, ist der Unterschied statistisch signifikant und Sie können dem Ergebnis trauen. Wenn er über 0,05 liegt, hat der Test noch keine Signifikanz erreicht, also führen Sie ihn weiter durch oder folgern Sie, dass die Varianten zu ähnlich sind. Zweitens, überprüfen Sie die Konfidenzintervalle. Wenn sie sich nicht überlappen, ist der Unterschied real. Wenn sie überlappen, könnte eine Variante voraus erscheinen, aber die wahren Raten könnten identisch sein. Drittens, berechnen Sie praktische Auswirkung mit dem Konversionsrate-Rechner. Ein 0,1 % Lift könnte statistisch signifikant sein, aber wirtschaftlich bedeutungslos, wenn Sie nur 1.000 Besucher pro Monat erhalten. Ein 2 % Lift auf 100.000 monatliche Besucher ist sowohl signifikant als auch wertvoll. Berücksichtigen Sie auch die Kosten der Implementierung. Wenn Variante B ein vollständiges Seiten-Redesign zum Ausrollen erfordert, muss der Lift die Engineering-Zeit rechtfertigen. Wenn es eine einzeilige Kopienänderung ist, rollen Sie sie selbst bei einem kleinen Lift aus. Vermeiden Sie häufige Interpretationsfehler wie einen Gewinner basierend auf Konversionsrate allein auszurufen (p-Wert ignoriert), zu früh zu stoppen, weil eine Variante voraus ist, oder für immer zu testen, weil Sie 99 % Konfidenz wollen, wenn 95 % ausreicht.

Der minimal erkennbare Effekt (MDE) ist der kleinste Konversionsrate-Lift, den Sie zuverlässig mit Ihrer Stichprobengröße und Ihrem Signifikanzschwellenwert erkennen können. Wenn Ihre Basis-Konversionsrate 4 % ist und Ihr MDE 0,5 Prozentpunkte ist, können Sie eine Änderung von 4 % auf 4,5 % (ein 12,5 % relativer Lift) mit 95 % Konfidenz erkennen. Kleinere Effekte erfordern mehr Besucher. Eine 0,1-Prozentpunkt-Änderung erkennen (4 % auf 4,1 %) könnte 10x die Stichprobengröße benötigen. Die meisten Teams legen MDE basierend auf dem fest, was sich lohnt zu implementieren. Wenn ein 10 % relativer Lift den Umsatz deutlich beeinflussen würde, legen Sie MDE auf 0,4 Prozentpunkte fest (4 % auf 4,4 %). Wenn nur ein 25 % Lift die Engineering-Kosten rechtfertigt, legen Sie MDE auf 1 Prozentpunkt fest (4 % auf 5 %). Dieser Rechner fragt nicht explizit nach MDE; stattdessen zeigt er die empfohlene Stichprobengröße basierend auf dem Unterschied, den Sie in echten Daten sehen. Wenn der Rechner sagt, dass Sie 50.000 Besucher pro Variante benötigen, um Signifikanz zu erreichen, und Sie erhalten nur 5.000 pro Monat, würde der Test 10 Monate dauern. Zu diesem Zeitpunkt testen Sie entweder eine größere Änderung (größer MDE) oder akzeptieren einen niedrigeren Konfidenz-Schwellenwert (90 % statt 95 %). Verwenden Sie den Konversionsrate-Rechner, um die Umsatzauswirkung bei verschiedenen Lift-Größen zu modellieren, damit Sie wissen, welcher MDE es wert ist, getestet zu werden.

Ein Ergebnis, das statistisch nicht signifikant ist, bedeutet, dass die bisher gesammelten Daten nicht bestätigen können, dass der beobachtete Unterschied zwischen Varianten real statt zufällig ist. Es bedeutet nicht, dass Variante B schlechter ist oder dass der Test fehlgeschlagen ist. Es bedeutet, dass Sie nicht genug Beweise haben, um einen Gewinner auszurufen. Ein p-Wert über 0,05 (zum Beispiel 0,12 oder 0,18) sagt, dass es mehr als 5 % Chance gibt, dass der Unterschied, den Sie sehen, zufällig passiert ist, was zu unsicher ist, um eine Entscheidung zu treffen.

Es gibt drei häufige Gründe für ein nicht signifikantes Ergebnis. Erstens, Ihre Stichprobengröße ist zu klein und Sie benötigen mehr Besucher. Der Rechner zeigt, wie viele weitere Sie benötigen. Zweitens, der Unterschied zwischen Varianten ist tatsächlich klein und das Erkennen erfordert viel größere Traffic-Volumen als Sie haben. Drittens, beide Varianten funktionieren tatsächlich gleich, und es gibt keinen echten Gewinner.

Wenn das Ergebnis nach Erreichen der empfohlenen Stichprobengröße nicht signifikant ist, behandeln Sie es als unentschieden. Rollen Sie Variante B nicht aus und hoffen Sie, dass sich der Trend fortsetzt. Kehren Sie Ihre ursprüngliche Variante nicht um. Rufen Sie es unentschieden aus und testen Sie stattdessen eine größere, bedeutsamere Änderung. Verwenden Sie den Konversionsrate-Rechner, um zu modellieren, welche Lift-Größe wirklich den Umsatz verschieben würde, dann entwerfen Sie Ihren nächsten Test um dieses Ziel herum, anstatt inkrementelle Änderungen zu testen, die unrealistische Stichprobengrößen zum Erkennen erfordern.

Ja, A/B-Testing funktioniert zuverlässig, wenn es richtig implementiert wird. Das Kernprinzip ist solide: Teilen Sie den Traffic zufällig zwischen zwei Varianten, messen Sie Ergebnisse und verwenden Sie Statistiken, um zu bestimmen, ob ein Unterschied real ist. Die Methode ist die gleiche, die pharmazeutische Versuche, wirtschaftliche Studien und landwirtschaftliche Forschung verwenden, angewendet auf Webseiten und Marketing-Kopie.

Der Ausfallmodus ist nicht die Methode selbst, sondern wie Teams sie anwenden. A/B-Testing schlägt fehl, wenn Tests zu früh stoppen, wenn Teams den Test während der Durchführung ändern, wenn Stichprobengrößen zu klein sind oder wenn Ergebnisse bei p-Werten über 0,05 als signifikant erklärt werden. Dies sind Ausführungsfehler, keine Methodenfehler.

Beweis, dass A/B-Testing echte Ergebnisse erzeugt: Google, Amazon und Microsoft führen jährlich Tausende von Experimenten durch und schreiben einen wesentlichen Teil ihrer Produktverbesserungen Tests zu, die statistisch signifikante Gewinne zeigten. Booking.com führt angeblich über 25.000 Experimente pro Jahr über sein gesamtes Produkt durch. Wenn die Statistik richtig angewendet wird, replizieren validierte Gewinne konsistent.

Das praktische Problem für kleinere Teams ist Traffic. Wenn Ihre Website 5.000 Besucher pro Monat erhält, ein Test, der 20.000 Besucher pro Variante braucht, wird acht Monate dauern. In dieser Zeit kontaminieren externe Faktoren wie Saisonalität und Algorithmus-Änderungen die Ergebnisse. Für Traffic-arme Websites konzentrieren Sie sich auf das Testen von Änderungen mit großen erwarteten Effekten (über 20 % relativer Lift) und verwenden Sie den CTR-Rechner, um zu identifizieren, welche Verkehrsquellen groß genug sind, um gültige Experimente darauf durchzuführen.