Teste A/B em páginas: o que testar primeiro

Se você quer saber o que testar primeiro em um teste A/B, a resposta curta é: a oferta e a primeira dobra da página. Não é a cor do botão, não é a fonte, não é o ícone do formulário. É aquilo que o visitante lê nos primeiros três segundos e que decide se ele fica ou vai embora.

A resposta longa é o que vem neste artigo. Porque a maioria dos testes A/B que rodam por aí não são testes. São trocas de opinião com cara de ciência: duas versões no ar por uma semana, cada uma recebendo tráfego diferente, encerradas na hora em que o dono da empresa gostou do número que viu. Isso não gera aprendizado. Gera convicção falsa, que é pior do que não saber nada.

Aqui vamos alinhar o que é um teste A/B de verdade, a ordem de prioridade do que testar, os erros que invalidam tudo, quanto tráfego você precisa para confiar no resultado e quando faz mais sentido testar na página ou no anúncio. É o mesmo critério que usamos nas páginas e contas que gerimos na D'avila.

O que é um teste A/B de verdade

Teste A/B é comparar duas versões de uma página mudando uma variável por vez, dividindo o tráfego de forma aleatória e igual entre elas, e só declarar vencedora quando a diferença atinge significância estatística. Cada pedaço dessa frase importa, e é onde quase todo mundo escorrega.

Uma variável por vez. Se a versão B tem headline nova, botão novo e formulário mais curto, e ela ganha, você não sabe o que causou a vitória. Pode ter sido a headline. Pode ter sido o formulário. Pode ser que o botão novo esteja até atrapalhando e os outros dois elementos estejam carregando o resultado. Você gastou tráfego e saiu sem aprendizado replicável.

Existe exceção: o teste de redesign, em que você compara uma página inteira contra outra completamente diferente. É válido quando a página atual está muito ruim e não vale a pena otimizar por partes. Mas aí você aceita o trade-off: descobre qual página ganha, não descobre por quê.

Tráfego dividido de forma aleatória e simultânea. As duas versões precisam rodar ao mesmo tempo, com o mesmo tipo de visitante, distribuído por sorteio. Rodar a versão A em junho e a versão B em julho não é teste A/B, é comparação de meses diferentes, com sazonalidade, campanhas e concorrência diferentes contaminando tudo.

Significância estatística. Conversão tem variação natural. Uma página que converte 3% ao mês pode converter 2,1% numa semana e 3,8% na outra sem que nada tenha mudado. Significância é o cálculo que diz se a diferença entre A e B é grande o suficiente, com amostra suficiente, para não ser só esse ruído. O padrão de mercado é trabalhar com 95% de confiança.

Teste A/B é uma das ferramentas dentro de um processo maior de otimização de conversão. Se você ainda não tem esse processo estruturado, vale ler antes o que é CRO e como funciona a otimização de conversão, porque teste sem processo vira loteria.

A ordem certa do que testar primeiro

A regra que organiza tudo: teste primeiro o que o visitante vê primeiro e o que pesa mais na decisão dele. O impacto potencial de um teste é proporcional a quantas pessoas são expostas à mudança e ao peso daquilo na decisão de compra. Por isso a ordem abaixo não é gosto pessoal, é matemática de exposição.

1. A oferta e a proposta de valor

Antes de qualquer elemento visual, teste o que você está oferecendo e como está enquadrando. "Orçamento em 24 horas" contra "diagnóstico do seu projeto". "Fale com um especialista" contra "receba uma simulação". Parcelamento em destaque contra desconto à vista. A oferta é a variável de maior alavancagem que existe numa página, porque muda a decisão, não a estética.

Se a oferta é fraca, nenhum teste de layout salva. É como otimizar a vitrine de uma loja que vende o produto errado. Comece aqui, sempre.

2. A headline da primeira dobra

A primeira dobra é vista por 100% dos visitantes. O rodapé, por 20% ou menos. Qualquer mudança na headline é exposta a todo mundo que chega, o que faz dela o teste de maior alcance possível dentro da página.

Teste ângulos diferentes, não sinônimos. "Reformas residenciais em Maringá" contra "Sua reforma entregue no prazo, com contrato" são ângulos distintos: um descreve o serviço, o outro ataca o medo de atraso. Trocar "reformas" por "obras" é cosmética, e cosmética raramente move ponteiro.

3. Prova e tratamento de objeções

Depois que a promessa está afiada, teste como você a sustenta. Depoimentos perto do formulário contra depoimentos no meio da página. Números de operação contra logos de clientes. Uma seção de perguntas frequentes que ataca a objeção principal contra uma que não existe. A estrutura completa do que uma página precisa ter está detalhada na anatomia de uma landing page que converte.

4. O formulário e a fricção do CTA

Aqui entram os testes de atrito: 3 campos contra 5 campos, formulário contra botão de WhatsApp, formulário em etapas contra formulário único, texto do botão orientado a valor contra texto genérico. São testes que costumam dar resultado mensurável porque mexem diretamente no custo percebido de agir.

Um alerta de quem já viu esse filme: reduzir campo aumenta volume de leads, mas pode reduzir qualidade. Se o comercial começar a reclamar do lead, o teste "vencedor" pode estar perdendo dinheiro. Meça até a venda, não até o clique.

5. Hierarquia, layout e ordem das seções

Vídeo na primeira dobra contra imagem estática. Preço visível contra preço sob pedido. Seção de prova antes ou depois da explicação do serviço. Página longa contra página curta. São testes válidos, mas vêm depois, porque mexem na embalagem de uma mensagem que já precisa estar certa.

6. Microdetalhes, incluindo a famosa cor do botão

Cor de botão, sombra de card, ícone, espaçamento. É o que todo mundo testa primeiro e deveria testar por último. Esses testes até produzem diferenças ocasionais, mas quase sempre pequenas demais para atingir significância com o tráfego que uma PME tem. Gastar seu tráfego limitado testando verde contra laranja é usar munição escassa no alvo que vale menos.

Erros que invalidam o teste

Um teste mal conduzido é pior que nenhum teste, porque te dá uma certeza errada para tomar decisões futuras. Esses são os erros que mais vemos em contas que chegam até nós.

Parar o teste na hora em que ele "está ganhando"

É o erro número um. Você olha o painel no dia 4, a versão B está 30% acima, declara vitória e implementa. Só que nos primeiros dias qualquer teste oscila de forma selvagem, e essa vantagem tende a derreter conforme a amostra cresce. Chama-se espiar o resultado, e espiar com decisão no gatilho destrói a validade estatística. Defina a amostra necessária antes de começar e só decida quando ela for atingida.

Testar várias variáveis achando que é um teste só

Já falamos, mas vale repetir pelo estrago que causa: mudou mais de uma coisa, perdeu a capacidade de atribuir causa. Ou você roda um teste de redesign assumido, ou muda uma variável por vez.

Rodar as versões em períodos diferentes

Versão A na primeira quinzena, versão B na segunda. Parece razoável e é inválido. Promoção de concorrente, feriado, mudança no algoritmo do Meta, matéria na TV sobre o seu setor: qualquer um desses eventos afeta um período e não o outro. Teste A/B exige simultaneidade.

Mudar a campanha de tráfego no meio do teste

Se durante o teste você troca criativo, público ou verba na campanha que abastece a página, muda o perfil de quem chega, e as duas versões passam a ser avaliadas por públicos diferentes ao longo do tempo. Congele a fonte de tráfego durante o teste ou aceite que o resultado sai contaminado.

Encerrar o teste no meio de um ciclo semanal

Segunda-feira converte diferente de sábado. Se o teste começa numa quarta e termina numa segunda, um dia da semana pesou duas vezes. Rode sempre em semanas completas: 7, 14, 21 dias. Isso elimina o viés de dia da semana de graça, sem cálculo nenhum.

Otimizar pela métrica errada

Taxa de clique no botão subiu, mas lead qualificado caiu. Lead subiu, mas venda caiu. A métrica do teste deve ser a mais próxima possível do dinheiro que a página existe para gerar. E isso exige rastreamento confiável de ponta a ponta: se o seu Pixel e a sua API de conversões não registram direito o que acontece depois do clique, você está testando no escuro. É exatamente o problema que o nosso serviço de rastreamento de clientes resolve antes de qualquer programa de testes começar.

Ignorar que o vencedor de ontem regride amanhã

Mesmo um teste válido tende a mostrar, na implementação, um ganho menor do que o medido. Parte do efeito medido é sorte da amostra. Não é motivo para desconfiar de tudo, é motivo para não sair projetando faturamento sobre o número exato do teste.

Se a sua página está com esse sintoma, o conserto começa antes do design, na decisão do que a página precisa provar. A D'avila constrói landing pages partindo dessa pergunta.

Quanto tráfego você precisa para confiar no resultado

Essa é a pergunta que separa quem pode rodar teste A/B clássico de quem precisa de outra estratégia. A resposta depende de três números: a taxa de conversão atual da página, o tamanho da melhoria que você quer detectar e o nível de confiança exigido.

A lógica é contraintuitiva: quanto menor a diferença que você quer detectar, mais tráfego precisa. Detectar um salto de 3% para 4,5% de conversão (melhoria relativa de 50%) exige algumas poucas milhares de visitas por versão. Detectar um ganho sutil de 3% para 3,3% (melhoria de 10%) pode exigir dezenas de milhares de visitas por versão. É por isso que microtestes de cor de botão são inviáveis para a maioria das empresas: a diferença que eles geram é pequena demais para ser detectada com o tráfego disponível.

Para não decorar fórmula, use uma calculadora de tamanho de amostra (qualquer ferramenta séria de teste tem uma embutida) e grave estas referências práticas:

Pense em conversões, não em visitas. Um teste começa a ter chão estatístico na casa de 100 conversões por versão, e fica confortável a partir de 200 a 300 por versão. Se a sua página gera 50 leads por mês, um teste honesto leva meses, não semanas.

Duração mínima de duas semanas completas, mesmo com tráfego alto. Menos que isso, você captura um recorte de comportamento que pode não representar o mês.

Duração máxima na casa de 4 a 6 semanas. Testes muito longos sofrem contaminação de cookies apagados, sazonalidade e mudanças externas.

E se o seu tráfego não dá para isso? Não force um teste A/B que nunca vai fechar. Faça apostas maiores: teste mudanças grandes (oferta, primeira dobra, redesign), que geram diferenças grandes e detectáveis com menos amostra. Ou concentre os testes onde o volume está, que geralmente é o anúncio, não a página. O que nos leva ao próximo ponto.

Teste na página ou teste no anúncio

Página e anúncio são dois laboratórios diferentes, com custos e velocidades diferentes, e saber qual usar para cada hipótese economiza meses.

O anúncio é o laboratório rápido. No Meta Ads, você coloca 4 criativos com ângulos diferentes e em poucos dias sabe qual promessa atrai clique e lead mais barato. O volume de impressões de uma campanha é ordens de grandeza maior que o de visitas de uma landing page, então a leitura fecha mais rápido. Sobre quantas variações rodar e como estruturar isso, já detalhamos em quantos criativos testar por campanha.

A página é o laboratório profundo. O anúncio testa a promessa; a página testa se a promessa se sustenta até a conversão. Formulário, prova, tratamento de objeção, ordem de argumentos: isso só se testa na página. É mais lento, mas o aprendizado é mais durável, porque criativo cansa em semanas e uma página vencedora trabalha por meses.

O fluxo maduro usa os dois em sequência. Descobre o ângulo vencedor no anúncio, onde testar é barato e rápido. Leva o ângulo vencedor para a headline da página, garantindo consistência entre o que a pessoa clicou e o que ela encontra. Aí roda os testes de página sobre essa base: prova, formulário, estrutura. Anúncio e página dizendo a mesma coisa é um dos fatores mais subestimados de conversão, e quebra sempre que os dois são otimizados por gente que não conversa entre si.

Um cuidado técnico: não rode teste de criativo e teste de página simultaneamente na mesma campanha sem isolamento. Se os dois mudam ao mesmo tempo, os resultados se cruzam e você não atribui nada a ninguém. Sequencie ou separe os públicos.

Como a D'avila roda teste A/B contínuo para os clientes

Tudo que está neste artigo é operação nossa do dia a dia, não teoria. Na D'avila, teste A/B não é um projeto avulso que se contrata uma vez: é parte embutida do serviço, dos dois lados do funil.

No serviço de criação de landing pages, a página entregue não é o fim do trabalho, é a versão 1. A partir dela mantemos um backlog de hipóteses priorizado exatamente pela ordem deste artigo: oferta e primeira dobra primeiro, microdetalhes por último, cada teste com amostra definida antes de começar e leitura por conversão real, não por clique.

Na gestão de tráfego pago, o ciclo de teste de criativos roda em paralelo, alimentando as páginas com os ângulos que provaram atrair o lead mais barato. E como as duas frentes ficam sob o mesmo teto, a mensagem do anúncio e a da página andam sempre juntas, com o rastreamento fechado até a venda para que o teste seja julgado pelo que importa.

Se a sua página está no ar há meses sem nunca ter sido testada, ou se os seus testes até acontecem mas nunca fecham conclusão, fale com a gente. A primeira conversa serve para diagnosticar onde está a maior alavancagem do seu funil e o que testar primeiro no seu caso específico.