A/B Test Calculator

Un calculateur de test A/B détermine si la différence entre deux variantes est statistiquement significative ou simplement du hasard. Vous entrez le nombre de visiteurs et de conversions pour chaque variante, et le calculateur vous indique la valeur p (probabilité que le résultat soit aléatoire), le niveau de confiance (le degré de certitude), et si vous avez besoin de plus de données avant de déclarer un gagnant. Les spécialistes du marketing l'utilisent pour valider les tests de page d'atterrissage, les lignes d'objet des emails, les créatifs publicitaires et les expériences de tarification avant de mettre en ligne des changements. Les équipes produit l'utilisent pour confirmer que les changements de fonctionnalités améliorent les taux de conversion. L'alternative est d'estimer les chiffres ou d'attendre jusqu'à ce qu'une variante soit « clairement » meilleure, ce qui conduit à des faux positifs (mettre en ligne une variante qui n'a pas réellement gagné) ou à du temps gaspillé (tester après que la significativité ait déjà été atteinte). Utilisez le calculateur de taux de conversion après la détermination de la significativité pour traduire les gains en pourcentage en revenus projetés. Utilisez le calculateur CTR aux côtés de cet outil quand vous testez des emails ou des campagnes publicitaires où le taux de clic importe autant que la conversion finale.

La significativité statistique est calculée à l'aide d'un test z pour deux proportions qui compare les taux de conversion entre variantes. Le calculateur prend le nombre de visiteurs et de conversions pour la variante A et la variante B, calcule chaque taux de conversion, puis calcule le z-score (le nombre d'écarts-types séparant les deux taux). Le z-score se convertit en valeur p, qui est la probabilité que la différence soit due au hasard aléatoire. Une valeur p inférieure à 0,05 signifie moins de 5 % de chance que le résultat soit aléatoire, donc vous pouvez faire confiance au fait que la différence est réelle. La plupart des calculateurs de test A/B utilisent un seuil de confiance de 95 % (valeur p < 0,05), bien que certaines équipes acceptent 90 % de confiance (valeur p < 0,10) pour des décisions plus rapides sur les tests avec peu de trafic. Les calculs produisent également des intervalles de confiance, montrant la plage où le vrai taux de conversion se situe probablement pour chaque variante. Si les intervalles ne se chevauchent pas, la différence est significative. Vous n'avez pas besoin de calculer cela manuellement ; collez vos chiffres dans cet outil et il exécute le test z instantanément. Après confirmation de la significativité, utilisez le calculateur de taux de conversion pour projeter l'impact commercial.

Une bonne taille d'échantillon dépend de votre taux de conversion de base, de l'effet minimum détectable (le plus petit gain valant la peine d'être détecté), et de votre niveau de confiance souhaité. Pour la plupart des tests, vous avez besoin d'au moins 1 000 conversions au total (entre les deux variantes) pour atteindre 95 % de confiance. Si votre taux de conversion est 2 %, cela signifie 50 000 visiteurs par variante (100 000 au total). Si votre taux de conversion est 10 %, vous avez besoin de 10 000 visiteurs par variante (20 000 au total). Plus l'amélioration attendue est faible, plus vous avez besoin de visiteurs. Détecter une amélioration de 50 % (2 % à 3 %) nécessite moins de visiteurs que de détecter une amélioration de 10 % (2 % à 2,2 %). Ce calculateur affiche la taille d'échantillon recommandée basée sur vos données actuelles, donc vous savez si vous devez continuer à tester ou l'arrêter. S'arrêter trop tôt produit des résultats peu fiables. Continuer les tests après la taille d'échantillon requise gaspille du temps sans améliorer la précision. Si vous n'avez pas assez de trafic pour atteindre la significativité en un délai raisonnable (disons deux semaines), testez un changement plus important ou acceptez un seuil de confiance inférieur comme 90 %. Utilisez le calculateur CTR pour analyser le trafic par source pour savoir quels canaux apportent suffisamment de volume pour des tests valides.

La valeur p est la probabilité que la différence observée entre les variantes soit due au hasard plutôt qu'à un effet réel. Une valeur p de 0,03 signifie qu'il y a 3 % de chance que la différence soit aléatoire, ou de manière équivalente, 97 % de confiance que la variante B fonctionne réellement mieux que la variante A. Le seuil standard est p < 0,05, ce qui signifie que vous avez besoin d'au moins 95 % de confiance pour appeler un gagnant. Si la valeur p est 0,12, il y a 12 % de chance que la différence ne soit que du bruit, donc vous continuez les tests. Des valeurs p plus basses signifient des preuves plus fortes. Une valeur p de 0,001 signifie 99,9 % de confiance, ce qui est rare dans les tests marketing mais courant dans les expériences scientifiques. Si vous arrêtez un test à p = 0,15 parce qu'une variante est en avance, vous avez 15 % de chance de mettre en ligne une modification qui ne fonctionne pas réellement. C'est pourquoi les calculateurs marquent les résultats comme « non significatifs » quand p > 0,05. La valeur p change à mesure que vous collectez plus de données. Un test pourrait commencer avec p = 0,20 après 500 visiteurs, baisser à p = 0,08 à 2 000 visiteurs, et finalement franchir p = 0,04 à 5 000 visiteurs. Utilisez ce calculateur quotidiennement pendant votre test pour voir quand vous franchissez le seuil de significativité. Après atteinte de la significativité, utilisez le calculateur de taux de conversion pour estimer l'impact sur les revenus avant de mettre en œuvre le gagnant.

Exécutez un test A/B jusqu'à atteindre la significativité statistique (valeur p < 0,05) et frapper la taille d'échantillon recommandée, ou jusqu'à ce que deux semaines complètes passent pour capturer les schémas de trafic hebdomadaires. La plupart des tests nécessitent 1 000 à 5 000 conversions par variante, ce qui se traduit par une à quatre semaines selon le volume de trafic. S'arrêter tôt parce qu'une variante est en avance après trois jours risque les faux positifs. Continuer indéfiniment parce que vous voulez 99,9 % de confiance gaspille du temps sur les rendements décroissants. La bonne règle d'arrêt est significativité plus taille d'échantillon plus couverture temporelle. La significativité confirme que la différence est réelle. La taille d'échantillon confirme que vous avez suffisamment de données. La couverture temporelle confirme que vous avez vu le trafic des jours de la semaine et du week-end, qui se convertissent souvent différemment. Si votre test atteint la significativité après cinq jours mais que votre trafic varie selon le jour de la semaine, laissez-le fonctionner 14 jours. S'il y a trois semaines et vous êtes nulle part près de la significativité, les variantes sont probablement trop similaires. Appelez-le une égalité et testez un changement plus important. Utilisez ce calculateur quotidiennement pour suivre la progression de la valeur p et de la taille d'échantillon. Une fois que les deux seuils sont atteints, arrêtez le test et utilisez le calculateur de taux de conversion pour projeter l'impact de mettre en ligne le gagnant.

Un intervalle de confiance montre la plage où le vrai taux de conversion se situe probablement. Si la variante A a un intervalle de confiance à 95 % de 3,5 % à 4,5 %, cela signifie que vous êtes 95 % confiant que le vrai taux de conversion se situe quelque part dans cette plage. Les intervalles étroits (comme 4,0 % à 4,2 %) signifient que vous connaissez le vrai taux précisément parce que vous avez beaucoup de données. Les intervalles larges (comme 2 % à 8 %) signifient une incertitude élevée parce que la taille d'échantillon est trop petite. Dans les tests A/B, vous comparez les intervalles pour les deux variantes. Si l'intervalle de la variante A est 3,5 % à 4,5 % et celui de la variante B est 4,8 % à 5,8 %, les plages ne se chevauchent pas, ce qui confirme une différence significative. Si la variante A est 3,5 % à 4,5 % et la variante B est 4,0 % à 5,0 %, elles se chevauchent, ce qui signifie que la différence pourrait être du bruit. Le calculateur affiche automatiquement les intervalles de confiance aux côtés des valeurs p. Les deux métriques vous racontent la même histoire sous des angles différents. Un intervalle de confiance non chevauchant correspond généralement à p < 0,05. Les intervalles qui se chevauchent correspondent généralement à p > 0,05. Utilisez les intervalles quand vous expliquez les résultats aux parties prenantes non techniques parce que « les plages ne se chevauchent pas » est plus facile à comprendre que « valeur p de 0,03 ». Après confirmation de la significativité via les intervalles ou la valeur p, utilisez le calculateur de taux de conversion pour traduire le gain en revenu attendu projeté.

Oui, vous pouvez exécuter un test A/B avec des tailles d'échantillon inégales, mais les divisions égales (trafic 50/50) sont meilleures pour atteindre la significativité plus rapidement. Si la variante A obtient 10 000 visiteurs et la variante B 2 000 visiteurs, le calculateur fonctionne toujours, mais l'intervalle de confiance pour la variante B sera plus large car une taille d'échantillon plus petite signifie une incertitude plus élevée. Les divisions inégales surviennent quand vous testez un changement risqué et voulez limiter l'exposition. Vous pourriez envoyer 90 % du trafic à la variante éprouvée et 10 % à la nouvelle variante pour éviter de couler les conversions si le test va mal. Le compromis est que le test prend plus longtemps pour atteindre la significativité parce que la variante plus petite accumule lentement des données. Si vous testez deux variantes également sûres, divisez le trafic équitablement pour minimiser la durée du test. Si vous testez quelque chose de risqué (comme un flux de paiement complètement nouveau), biaiser le trafic vers la variante éprouvée jusqu'à ce que les données initiales confirment que la nouvelle variante n'est pas cassée. Ce calculateur gère les divisions inégales automatiquement ; entrez simplement le nombre réel de visiteurs et de conversions pour chaque variante. Après le test, utilisez le calculateur de taux de conversion pour modéliser l'impact à trafic complet avant de déployer le gagnant auprès de 100 % des utilisateurs.

Le test A/B compare deux versions d'une variable (comme le titre A vs titre B). Le test multivarié compare plusieurs variables simultanément (comme le titre A vs B, la couleur du bouton rouge vs bleu, et l'image X vs Y, tout à la fois). Le test A/B est plus simple et nécessite moins de trafic. Si vous avez 10 000 visiteurs par semaine, vous pouvez exécuter un test A/B et obtenir des résultats en une à deux semaines. Le test multivarié divise le trafic entre toutes les combinaisons (dans l'exemple ci-dessus, c'est 2 titres × 2 couleurs de bouton × 2 images = 8 combinaisons), donc vous avez besoin de 8x le trafic pour atteindre la significativité dans le même délai. Utilisez le test A/B quand vous avez une hypothèse sur un changement spécifique. Utilisez le test multivarié quand vous voulez tester les interactions entre variables (comme « Le titre A fonctionne-t-il mieux avec le bouton rouge ou bleu ? »). La plupart des équipes s'en tiennent aux tests A/B parce que le trafic est limité et tester une variable à la fois est plus facile à mettre en œuvre et analyser. Ce calculateur est construit pour les tests A/B (deux variantes). Si vous exécutez des tests multivariés, vous aurez besoin d'un outil spécialisé qui gère plus de deux groupes. Après détermination du changement simple qui fonctionne mieux via le test A/B, utilisez le calculateur CTR pour décomposer les performances par source de trafic ou appareil.

Interprétez les résultats d'un test A/B en vérifiant trois choses dans l'ordre : significativité statistique, chevauchement d'intervalle de confiance, et impact pratique. D'abord, regardez la valeur p. Si elle est inférieure à 0,05, la différence est statistiquement significative et vous pouvez faire confiance au résultat. Si elle est supérieure à 0,05, le test n'a pas encore atteint la significativité, donc continuez à l'exécuter ou concluez que les variantes sont trop similaires. Deuxièmement, vérifiez les intervalles de confiance. S'ils ne se chevauchent pas, la différence est réelle. S'ils se chevauchent, une variante pourrait sembler être en avance mais les vrais taux pourraient être les mêmes. Troisièmement, calculez l'impact pratique en utilisant le calculateur de taux de conversion. Un gain de 0,1 % pourrait être statistiquement significatif mais économiquement sans sens si vous n'obtenez que 1 000 visiteurs par mois. Un gain de 2 % sur 100 000 visiteurs mensuels est à la fois significatif et valable. Considérez également le coût de la mise en œuvre. Si la variante B nécessite une refonte complète du site pour être mise en ligne, le gain doit justifier le temps d'ingénierie. S'il s'agit d'un changement de copie d'une ligne, mettez-le en ligne même pour un petit gain. Évitez les erreurs courantes d'interprétation comme appeler un gagnant basé uniquement sur le taux de conversion (en ignorant la valeur p), arrêter trop tôt parce qu'une variante est en avance, ou continuer indéfiniment parce que vous voulez 99 % de confiance quand 95 % est suffisant.

L'effet minimum détectable (MDE) est le plus petit gain de taux de conversion que vous pouvez fiablement détecter compte tenu de votre taille d'échantillon et du seuil de significativité. Si votre taux de conversion de base est 4 % et votre MDE est 0,5 point de pourcentage, vous pouvez détecter un changement de 4 % à 4,5 % (un gain relatif de 12,5 %) avec 95 % de confiance. Les effets plus petits nécessitent plus de visiteurs. Détecter un changement de 0,1 point de pourcentage (4 % à 4,1 %) pourrait nécessiter 10x la taille d'échantillon. La plupart des équipes définissent MDE basé sur ce qui vaut la peine d'être mis en œuvre. Si un gain relatif de 10 % aurait un impact significatif sur les revenus, définissez MDE à 0,4 point de pourcentage (4 % à 4,4 %). Si seul un gain de 25 % justifie le coût d'ingénierie, définissez MDE à 1 point de pourcentage (4 % à 5 %). Ce calculateur ne demande pas explicitement MDE ; à la place il affiche la taille d'échantillon recommandée basée sur la différence que vous voyez dans les données réelles. Si le calculateur dit que vous avez besoin de 50 000 visiteurs par variante pour atteindre la significativité et vous n'obtenez que 5 000 par mois, votre test prendrait 10 mois. À ce stade, testez un changement plus important (MDE plus grand) ou acceptez un seuil de confiance inférieur (90 % au lieu de 95 %). Utilisez le calculateur de taux de conversion pour modéliser l'impact sur les revenus à différentes tailles de gain pour savoir quel MDE vaut la peine d'être testé.

Un résultat qui n'est pas statistiquement significatif signifie que les données collectées jusqu'à présent ne peuvent pas confirmer que la différence observée entre les variantes est réelle plutôt qu'aléatoire. Cela ne signifie pas que la variante B est pire ou que le test a échoué. Cela signifie que vous n'avez pas encore assez de preuves pour appeler un gagnant. Une valeur p supérieure à 0,05 (par exemple, 0,12 ou 0,18) dit qu'il y a plus de 5 % de chance que la différence que vous voyez soit due au hasard, ce qui est trop incertain pour prendre une décision.

Il y a trois raisons courantes pour un résultat non significatif. D'abord, votre taille d'échantillon est trop petite et vous avez besoin de plus de visiteurs. Le calculateur indique combien il vous en faut de plus. Deuxièmement, la différence entre variantes est véritablement petite et la détecter nécessite beaucoup plus de volume de trafic que vous n'avez. Troisièmement, les deux variantes ont réellement les mêmes performances, et il n'y a pas de gagnant réel.

Si le résultat n'est pas significatif après atteinte de la taille d'échantillon recommandée, traitez-le comme une égalité. Ne mettez pas en ligne la variante B en espérant que la tendance se maintienne. Ne renversez pas non plus votre variante originale. Appelez-le une égalité et testez plutôt un changement plus grand et plus significatif. Utilisez le calculateur de taux de conversion pour modéliser quelle taille de gain affecterait réellement les revenus, puis concevez votre prochain test autour de cet objectif plutôt que de tester des changements progressifs qui nécessitent des tailles d'échantillon irréalistes à détecter.

Oui, les tests A/B fonctionnent de manière fiable quand ils sont mis en œuvre correctement. Le principe fondamental est solide : divisez aléatoirement le trafic entre deux variantes, mesurez les résultats, et utilisez les statistiques pour déterminer si une différence est réelle. La méthode est la même que celle utilisée par les essais pharmaceutiques, les études économiques et la recherche agricole, appliquée aux pages web et à la copie marketing.

Le mode de défaillance n'est pas la méthode elle-même mais comment les équipes l'appliquent. Les tests A/B échouent quand les tests s'arrêtent trop tôt, quand les équipes changent le test en cours d'exécution, quand les tailles d'échantillon sont trop petites, ou quand les résultats sont déclarés significatifs à des valeurs p supérieures à 0,05. Ce sont des erreurs d'exécution, pas des défaillances de méthode.

Des preuves que les tests A/B produisent des résultats réels : Google, Amazon et Microsoft exécutent des milliers d'expériences par an et attribuent une part importante de leurs améliorations de produit aux tests qui ont montré des gains statistiquement significatifs. Booking.com exécute reportedly plus de 25 000 expériences par an dans son produit. Quand les statistiques sont correctement appliquées, les gains validés se répliquent de manière cohérente.

Le problème pratique pour les petites équipes est le trafic. Si votre site reçoit 5 000 visiteurs par mois, un test qui a besoin de 20 000 visiteurs par variante prendra huit mois. Pendant ce temps, des facteurs externes comme la saisonnalité et les changements d'algorithme contaminent les résultats. Pour les sites avec peu de trafic, concentrez-vous sur le test de changements avec des effets attendus importants (au-dessus d'un gain relatif de 20 %) et utilisez le calculateur CTR pour identifier quelles sources de trafic sont assez grandes pour exécuter des expériences valides dessus.