A/B Test Calculator

Uma calculadora de teste A/B determina se a diferença entre duas variantes é estatisticamente significativa ou apenas acaso aleatório. Você insere visitantes e conversões para cada variante, e a calculadora informa o p-valor (probabilidade de o resultado ser aleatório), nível de confiança (o quão certo você pode estar) e se você precisa de mais dados antes de chamar um vencedor. Profissionais de marketing a usam para validar testes de landing page, linhas de assunto de email, criativos de anúncios e experimentos de preço antes de lançar mudanças. Equipes de produto a usam para confirmar que mudanças de recurso melhoram as taxas de conversão. A alternativa é avaliar os números a olho nu ou esperar até que uma variante seja "obviamente" melhor, o que leva a falsos positivos (lançar uma variante que não venceu de verdade) ou tempo desperdiçado (testar além do ponto onde a significância já foi atingida). Use a calculadora de taxa de conversão após determinar significância para traduzir aumentos percentuais em receita projetada. Use a calculadora de CTR junto com esta ferramenta quando testar campanhas de email ou anúncios onde taxa de clique importa tanto quanto conversão final.

Significância estatística é calculada usando um teste z de duas proporções que compara taxas de conversão entre variantes. A calculadora pega visitantes e conversões para a Variante A e Variante B, calcula cada taxa de conversão, então calcula o z-score (quantos desvios padrão separados os dois índices estão). O z-score se converte em p-valor, que é a probabilidade de a diferença ter ocorrido por acaso aleatório. Um p-valor abaixo de 0,05 significa menos de 5% de chance de o resultado ser aleatório, então você pode confiar que a diferença é real. A maioria das calculadoras de teste A/B usa um limite de 95% de confiança (p-valor < 0,05), embora algumas equipes aceitem 90% de confiança (p-valor < 0,10) para decisões mais rápidas em testes de baixo tráfego. A matemática também produz intervalos de confiança, mostrando o intervalo onde a verdadeira taxa de conversão provavelmente cai para cada variante. Se os intervalos não se sobrepõem, a diferença é significativa. Você não precisa calcular isto manualmente; cole seus números nesta ferramenta e ela executa o teste z instantaneamente. Após confirmar significância, use a calculadora de taxa de conversão para projetar impacto empresarial.

Um bom tamanho de amostra depende de sua taxa de conversão de baseline, do efeito mínimo detectável (menor aumento que vale a pena detectar) e seu nível de confiança desejado. Para a maioria dos testes, você precisa de pelo menos 1.000 conversões totais (através de ambas as variantes) para atingir 95% de confiança. Se sua taxa de conversão é 2%, isso significa 50.000 visitantes por variante (100.000 total). Se sua taxa de conversão é 10%, você precisa de 10.000 visitantes por variante (20.000 total). Quanto menor o aumento esperado, mais visitantes você precisa. Detectar um aumento de 50% (2% para 3%) requer menos visitantes do que detectar um aumento de 10% (2% para 2,2%). Esta calculadora mostra o tamanho de amostra recomendado baseado em seus dados atuais, então você sabe se deve continuar testando ou chamar. Parar muito cedo produz resultados não confiáveis. Testar além do tamanho de amostra requerido desperdiça tempo sem melhorar a precisão. Se você não tiver tráfego suficiente para atingir significância em um período de tempo razoável (digamos, duas semanas), teste uma mudança maior ou aceite um limite de confiança menor como 90%. Use a calculadora de CTR para analisar tráfego por fonte para que você saiba quais canais trazem volume suficiente para testes válidos.

O p-valor é a probabilidade de a diferença observada entre variantes ter ocorrido por acaso aleatório em vez de um efeito real. Um p-valor de 0,03 significa há 3% de chance de a diferença ser aleatória, ou equivalentemente, 97% de confiança que a Variante B realmente tem melhor desempenho que a Variante A. O limite padrão é p < 0,05, significando que você precisa de pelo menos 95% de confiança para chamar um vencedor. Se o p-valor é 0,12, há 12% de chance de a diferença ser apenas ruído, então você continua testando. P-valores mais baixos significam evidência mais forte. Um p-valor de 0,001 significa 99,9% de confiança, o que é raro em testes de marketing mas comum em experimentos científicos. Se você parar um teste em p = 0,15 porque uma variante está na frente, você tem 15% de chance de lançar uma mudança que não funciona de verdade. Por isso calculadoras marcam resultados como "não significativo" quando p > 0,05. O p-valor muda conforme você coleta mais dados. Um teste pode começar com p = 0,20 após 500 visitantes, cair para p = 0,08 em 2.000 visitantes, e finalmente cruzar p = 0,04 em 5.000 visitantes. Use esta calculadora diariamente durante seu teste para ver quando você cruza o limite de significância. Após atingir significância, use a calculadora de taxa de conversão para estimar impacto de receita antes de implementar o vencedor.

Execute um teste A/B até atingir significância estatística (p-valor < 0,05) e atingir o tamanho de amostra recomendado, ou até duas semanas completas passarem para que você capture padrões de tráfego semanal. A maioria dos testes precisa de 1.000 a 5.000 conversões por variante, o que se traduz em uma a quatro semanas dependendo do volume de tráfego. Parar cedo porque uma variante está na frente após três dias risco falsos positivos. Rodar para sempre porque você quer 99,9% de confiança desperdiça tempo em retornos diminuindo. A regra de parada correta é significância mais tamanho de amostra mais cobertura de tempo. Significância confirma que a diferença é real. Tamanho de amostra confirma que você tem dados suficientes. Cobertura de tempo confirma que você viu tráfego de dia da semana e fim de semana, que frequentemente converte diferentemente. Se seu teste atingir significância após cinco dias mas seu tráfego varia por dia da semana, deixe rodar para 14 dias. Se foram três semanas e você não está perto de significância, as variantes são provavelmente muito similares. Chame-a de empate e teste uma mudança maior. Use esta calculadora diariamente para rastrear progresso de p-valor e tamanho de amostra. Uma vez que ambos os limites são atingidos, pare o teste e use a calculadora de taxa de conversão para projetar o impacto de lançar o vencedor.

Um intervalo de confiança mostra o intervalo onde a verdadeira taxa de conversão provavelmente cai. Se a Variante A tem um intervalo de confiança de 95% de 3,5% a 4,5%, isso significa que você está 95% confiante de que a verdadeira taxa de conversão está em algum lugar daquele intervalo. Intervalos apertados (como 4,0% a 4,2%) significam que você conhece a verdadeira taxa precisamente porque você tem muitos dados. Intervalos amplos (como 2% a 8%) significam alta incerteza porque o tamanho de amostra é muito pequeno. Em testes A/B, você compara os intervalos para ambas as variantes. Se o intervalo da Variante A é 3,5% a 4,5% e da Variante B é 4,8% a 5,8%, os intervalos não se sobrepõem, o que confirma uma diferença significativa. Se a Variante A é 3,5% a 4,5% e a Variante B é 4,0% a 5,0%, eles se sobrepõem, significando que a diferença pode ser ruído. A calculadora mostra intervalos de confiança automaticamente junto com p-valores. Ambas as métricas contam a mesma história de ângulos diferentes. Um intervalo de confiança não sobreposto geralmente corresponde a p < 0,05. Intervalos sobrepostos geralmente correspondem a p > 0,05. Use os intervalos ao explicar resultados a stakeholders não-técnicos porque "os intervalos não se sobrepõem" é mais fácil de entender do que "p-valor de 0,03." Após confirmar significância via intervalos ou p-valor, use a calculadora de taxa de conversão para traduzir o aumento em receita esperada.

Sim, você pode executar um teste A/B com tamanhos de amostra desiguais, mas divisões iguais (tráfego 50/50) são melhores para atingir significância mais rapidamente. Se a Variante A obtém 10.000 visitantes e a Variante B obtém 2.000 visitantes, a calculadora ainda funciona, mas o intervalo de confiança para a Variante B será mais amplo porque tamanho de amostra menor significa maior incerteza. Divisões desiguais acontecem quando você está testando uma mudança arriscada e quer limitar a exposição. Você pode enviar 90% do tráfego para o controle comprovado e 10% para a nova variante para evitar tancar conversões se o teste correr mal. A troca é que o teste leva mais tempo para atingir significância porque a variante menor acumula dados lentamente. Se você está testando duas variantes igualmente seguras, divida o tráfego uniformemente para minimizar duração do teste. Se você está testando algo arriscado (como um fluxo de checkout completamente novo), incline o tráfego em direção ao controle até que dados iniciais confirmem que a nova variante não está quebrada. Esta calculadora lida com divisões desiguais automaticamente; apenas digite os números reais de visitantes e conversões para cada variante. Após o teste, use a calculadora de taxa de conversão para modelar o impacto em tráfego completo antes de lançar o vencedor para 100% dos usuários.

Testes A/B comparam duas versões de uma variável (como Título A vs Título B). Testes multivariados comparam múltiplas variáveis simultaneamente (como Título A vs B, Cor de Botão Vermelho vs Azul, e Imagem X vs Y, tudo ao mesmo tempo). Testes A/B são mais simples e requerem menos tráfego. Se você tem 10.000 visitantes por semana, você pode executar um teste A/B e obter resultados em uma a duas semanas. Testes multivariados dividem o tráfego em todas as combinações (no exemplo acima, isso é 2 títulos × 2 cores de botão × 2 imagens = 8 combinações), então você precisa 8x o tráfego para atingir significância no mesmo período de tempo. Use testes A/B quando você tem uma hipótese sobre uma mudança específica. Use testes multivariados quando você quer testar interações entre variáveis (como "O Título A funciona melhor com botão Vermelho ou Azul?"). A maioria das equipes fica em testes A/B porque o tráfego é limitado e testar uma variável por vez é mais fácil de implementar e analisar. Esta calculadora foi construída para testes A/B (duas variantes). Se você está executando testes multivariados, você vai precisar de uma ferramenta especializada que liide com mais de dois grupos. Após determinar qual mudança única funciona melhor via teste A/B, use a calculadora de CTR para decompor desempenho por fonte de tráfego ou dispositivo.

Interprete resultados de testes A/B verificando três coisas em ordem: significância estatística, sobreposição de intervalo de confiança e impacto prático. Primeiro, olhe o p-valor. Se está abaixo de 0,05, a diferença é estatisticamente significativa e você pode confiar no resultado. Se está acima de 0,05, o teste ainda não atingiu significância, então continue executando-o ou conclua que as variantes são muito similares. Segundo, verifique os intervalos de confiança. Se eles não se sobrepõem, a diferença é real. Se eles se sobrepõem, uma variante pode parecer na frente mas as verdadeiras taxas podem ser as mesmas. Terceiro, calcule impacto prático usando a calculadora de taxa de conversão. Um aumento de 0,1% pode ser estatisticamente significativo mas economicamente insignificante se você conseguir apenas 1.000 visitantes por mês. Um aumento de 2% em 100.000 visitantes mensais é significante e valioso. Também considere o custo de implementação. Se a Variante B requer um redesenho de site completo para lançar, o aumento precisa justificar o tempo de engenharia. Se é uma mudança de uma linha de código, lance-a mesmo para um pequeno aumento. Evite erros comuns de interpretação como chamar um vencedor baseado apenas em taxa de conversão (ignorando p-valor), parar muito cedo porque uma variante está na frente, ou testar para sempre porque você quer 99% de confiança quando 95% é suficiente.

O efeito mínimo detectável (MDE) é o menor aumento de taxa de conversão que você pode detectar de forma confiável dado seu tamanho de amostra e limite de significância. Se sua taxa de conversão de baseline é 4% e seu MDE é 0,5 ponto percentual, você pode detectar uma mudança de 4% para 4,5% (um aumento relativo de 12,5%) com 95% de confiança. Efeitos menores requerem mais visitantes. Detectar uma mudança de 0,1 ponto percentual (4% para 4,1%) pode precisar de 10x o tamanho de amostra. A maioria das equipes define MDE baseado no que vale a pena implementar. Se um aumento de 10% relativo impactaria significativamente a receita, defina MDE para 0,4 pontos percentuais (4% para 4,4%). Se apenas um aumento de 25% justifica o custo de engenharia, defina MDE para 1 ponto percentual (4% para 5%). Esta calculadora não pede MDE explicitamente; em vez disso mostra tamanho de amostra recomendado baseado na diferença que você está vendo em dados reais. Se a calculadora diz que você precisa de 50.000 visitantes por variante para atingir significância e você consegue apenas 5.000 por mês, seu teste levaria 10 meses. Naquele ponto, ou teste uma mudança maior (MDE maior) ou aceite um limite de confiança menor (90% em vez de 95%). Use a calculadora de taxa de conversão para modelar impacto de receita em diferentes tamanhos de aumento para que você saiba qual MDE vale a pena testar.

Um resultado que não é estatisticamente significativo significa que os dados coletados até agora não conseguem confirmar que a diferença observada entre variantes é real em vez de aleatória. Não significa que a Variante B é pior ou que o teste falhou. Significa que você ainda não tem evidência suficiente para chamar um vencedor. Um p-valor acima de 0,05 (por exemplo, 0,12 ou 0,18) diz há mais de 5% de chance de a diferença que você vê ter ocorrido por acaso, o que é muito incerto para tomar uma decisão.

Há três razões comuns para um resultado não significativo. Primeiro, seu tamanho de amostra é muito pequeno e você precisa de mais visitantes. A calculadora mostra quantos mais você precisa. Segundo, a diferença entre variantes é genuinamente pequena e detectá-la requer muito maior volume de tráfego do que você tem. Terceiro, ambas as variantes realmente têm o mesmo desempenho, e não há vencedor real.

Se o resultado não é significativo após atingir o tamanho de amostra recomendado, trate-o como um empate. Não lance a Variante B esperando que a tendência se mantenha. Não reverta sua variante original também. Chame-a de empate e teste uma mudança maior, mais significativa ao invés de testar mudanças incrementais que requerem tamanhos de amostra irrealistas para detectar. Use a calculadora-de-taxa-de-conversão-marketing para modelar qual tamanho de aumento realmente moveria receita, então projete seu próximo teste em torno daquele alvo em vez de testar mudanças incrementais que requerem tamanhos de amostra irrealistas para detectar.

Sim, testes A/B funcionam de forma confiável quando implementados corretamente. O princípio central é sólido: divida aleatoriamente o tráfego entre duas variantes, meça resultados, e use estatística para determinar se qualquer diferença é real. O método é o mesmo que testes de fase farmacêutica, estudos econômicos, e pesquisa agrícola usam, aplicado a páginas web e cópia de marketing.

O modo de falha não é o método em si mas como as equipes o aplicam. Testes A/B falham quando testes param muito cedo, quando equipes alteram o teste durante a execução, quando tamanhos de amostra são muito pequenos, ou quando resultados são declarados significativos em p-valores acima de 0,05. Estes são erros de execução, não falhas de método.

Evidência de que testes A/B produzem resultados reais: Google, Amazon e Microsoft executam milhares de experimentos por ano e atribuem uma quota significativa de suas melhorias de produto a testes que mostraram vitórias estatisticamente significativas. Booking.com reportedly executa mais de 25.000 experimentos por ano através de seu produto. Quando a estatística é aplicada corretamente, vitórias validadas replicam consistentemente.

A questão prática para equipes menores é tráfego. Se seu site recebe 5.000 visitantes por mês, um teste que precisa de 20.000 visitantes por variante levará oito meses. Naquele tempo, fatores externos como sazonalidade e mudanças de algoritmo contaminam os resultados. Para sites de baixo tráfego, foque em testar mudanças com efeitos esperados grandes (acima de 20% aumento relativo) e use a calculadora-de-ctr para identificar quais fontes de tráfego são grandes o suficiente para executar experimentos válidos.