Teste A/B: ser ou não ser

Sem dor, sem ganho e sem pistas. Para transformar o tráfego que seus anúncios trazem em vendas, você precisa otimizar constantemente seu site melhorando a experiência do usuário, alterando o comportamento do usuário e aumentando sua taxa de conversão. Mas como você pode ter certeza de que as mudanças implementadas trarão os resultados esperados? É para isso que servem os testes A/B. No artigo, contamos o que é o teste A/B, como realizá-lo e quais nuances vale a pena prestar atenção.

O teste A/B em marketing é o mesmo que o teste A/B – uma comparação de duas variantes de uma página de site que diferem em apenas um parâmetro. O objetivo do teste A/B é determinar qual dessas duas opções é mais eficaz e traz mais conversões.

Digamos que você venda software. Você tem uma página de destino com uma descrição do produto e um botão na parte inferior da página para assinar uma versão de avaliação. Para aumentar o número de assinantes, você decide adicionar mais um botão na página de destino para quem já conhece seu produto ou prefere experimentá-lo imediatamente sem ler os detalhes.

Para verificar se sua hipótese está correta – que você obterá mais assinantes adicionando outro botão – você cria uma cópia da landing page original e adiciona um botão a ela. Então você divide os visitantes da página em dois grupos: um que mostrará a página original (variante A), outro que mostrará a página atualizada (variante B). Ao final do teste, você compara os indicadores de desempenho (no nosso exemplo, o número de assinaturas) e determina o vencedor.

Vejamos algumas das principais coisas que os testes A/B (ou testes de divisão) nos ajudam a alcançar.

1. Entenda melhor seus usuários e dê a eles o que eles querem . Não importa há quanto tempo você esteja fazendo comércio eletrônico e marketing online, seria um erro confiar apenas em sua experiência pessoal.

Mesmo que pareça que você possa prever o comportamento dos usuários do site e entender exatamente como organizar o conteúdo para que eles passem o mais rápido possível pelo funil de vendas, faça um teste A/B. Os resultados podem te surpreender.

Como mostra a prática, nossas suposições nem sempre coincidem com a realidade. Portanto, não podemos decidir o que é melhor para nossos clientes com base apenas em nossas próprias crenças.

2. Confie nos dados sobre a opinião de especialistas. Um segundo desafio, que surge do primeiro, é a viabilidade de realizar alterações no local e minimizar os riscos envolvidos.

Muitas vezes, as hipóteses são baseadas em opiniões pessoais que podem não coincidir com as opiniões do público. Como resultado, as alterações introduzidas sem o teste A/B não têm o efeito desejado – ou pior, reduzem as conversões.

Portanto, quando você se deparar com a questão do que usar para a tomada de decisões – dados ou opinião de especialistas – sempre escolha dados.

3. Personalize a comunicação com os clientes. Os clientes usam dispositivos diferentes, vêm de fontes diferentes, interagem de maneira diferente com seu site, navegam e compram produtos diferentes...

Os serviços de análise da web, como Google Analytics e Yandex.Metrics, ajudam você a combinar esses dados e sistematizar o conhecimento sobre os usuários. Os profissionais de marketing coletam informações sobre quais páginas os usuários visitaram e o que eles fizeram nelas. Isso possibilita dividir o público em várias dezenas ou centenas de segmentos e aprender, por exemplo, como se comportam os usuários que vêm de tráfego orgânico ou pago.

Mas nem sempre usamos essas informações corretamente e nem sempre extraímos o máximo benefício delas. Um exemplo simples: a maioria dos projetos online ainda mostra o mesmo conteúdo para todos os usuários, independentemente de seu comportamento e origem de tráfego:

Se você estiver fazendo isso, um teste A/B pode ajudá-lo a corrigir a situação e personalizar o conteúdo do seu site.

Agora vamos dar uma olhada nos principais estágios (e nuances) do teste A/B:

A primeira coisa que você precisa fazer é identificar uma lista de pontos fracos em seu site. Para fazer isso, você pode:

• Explore dados no Google Analytics e em outros sistemas de análise da web para ver quais páginas têm altas taxas de falha, baixa profundidade de rolagem e baixas taxas de conversão.
• Use o Webvisor e clique em mapas de calor para entender como os usuários interagem com os elementos do seu site.
• Analise casos de suporte ou entreviste clientes ativos para ver o que eles estão perdendo no site.

Por exemplo, digamos que você veja o funil de comércio eletrônico avançado no Google Analytics e veja que poucas pessoas adicionam um determinado item ao carrinho de compras. Ao mesmo tempo, você tem um ponto de venda offline e sabe que esse produto é popular. Nesse caso, provavelmente algo está errado com sua loja online.

Depois de decidir o que consertar, você precisa pensar exatamente como consertará. Sem uma hipótese A/B, o teste não faz sentido – o valor de suas descobertas será pequeno. Você deve entender claramente o objetivo do experimento, qual elemento da página da Web você testará e quais resultados quantitativos deseja alcançar.

Ao formular a hipótese, recue em seu funil de conversão. Pergunte a si mesmo: O que devo alterar em uma parte da página para mover o usuário pelo funil mais rapidamente?" Verifique uma hipótese por teste; caso contrário, será difícil definir qual alteração afetou o resultado final em que grau.

O que pode ser testado:

• Cor, tamanho, texto e localização dos botões de conversão
• Títulos — altere o texto; torná-lo mais curto, mais interessante e mais relevante
• Formulários — reduza o número de campos ou adicione dicas de ferramentas e exemplos de preenchimento
• Landing — altere a estrutura da página, fonte ou paleta de cores
• Conteúdo — adicione fotos e vídeos de alta qualidade, apelos à ação, ofertas promocionais, a palavra “grátis” etc.

Sua escolha de indicadores de desempenho depende de sua hipótese e dos objetivos que deseja alcançar. Estes podem ser receita, número de compras, taxa de conversão, tamanho médio de cheque, aplicativos e assinaturas, taxa de falha, etc.

O próximo passo é garantir que você tenha todas as métricas necessárias implementadas e registradas, com base nas quais você tirará conclusões ao final do teste. Em nosso trabalho, encontramos casos em que os clientes identificaram pontos fracos e formularam hipóteses, mas não prescreveram corretamente um sistema de métricas para que possam entender que a taxa de conversão mudou exatamente por causa de uma alteração em um botão, por exemplo, e não por causa de outros fatores.

Considere os seguintes fatores antes de executar sua experiência:

• Tamanho mínimo da amostra. Para garantir que os resultados do seu teste sejam estatisticamente significativos e confiáveis, determine o número necessário de participantes. Você pode fazer isso com calculadoras online gratuitas, como Abtasty e Optimizely. Digamos que a taxa de conversão da sua página de destino original seja de 5% e você espera que a versão de teste da página atinja 7%. O efeito mínimo visível neste caso será de 40%. Digite esses números em uma calculadora e você verá que precisa de um mínimo de 1964 pessoas por variante:

• Fatores externos: sazonalidade, feriados, compartilhamentos, clima, taxa de câmbio etc. Para que os fatores externos não distorçam os resultados da experiência, é importante mostrar as duas versões da página em paralelo durante o mesmo período.
• Teste as conversões de macro primeiro. Se você definir uma meta para visitar uma determinada página, é provável que os usuários a alcancem, mas não façam uma transação ou não realizem outra ação direcionada. É sempre necessário pensar no seu funil como um todo para entender quais ações do usuário no site são de maior prioridade.
• Considere o tipo de dispositivo. Se você iniciar uma experiência em todo o tráfego do seu site e tiver versões para dispositivos móveis e computadores, verifique a aparência da opção de teste em dispositivos móveis.
• Exclua o tráfego interno para que as ações de seus funcionários no site não distorçam as estatísticas. Isso pode ser feito no Google Analytics por meio da filtragem de endereços IP.

Depois de considerar esses fatores, você pode executar o teste. Um pouco mais tarde, falaremos sobre as ferramentas que você pode usar para fazer isso.

Ao final do experimento, analise os resultados. Por exemplo, digamos que a taxa de conversão original em sua página de destino era de 3%, você supôs que poderia aumentá-la para 5% e a variante de teste mostrou 3,5%. A taxa de conversão aumentou, mas apenas ligeiramente. Agora você precisa decidir se deve introduzir a mudança no site ou tentar outra hipótese.

Você pode verificar se os resultados do teste de divisão têm significância estatística usando uma calculadora online ou métodos estatísticos.

Leia mais sobre poder estatístico, tamanho da amostra, intervalos de confiança, significância estatística e como medi-los em nosso artigo sobre estatísticas em análise da web ou como se tornar um verdadeiro cientista de dados.
Se o processo for bem-sucedido e você tiver recebido dados confiáveis, traga o vencedor da página de destino ao site e prossiga com a próxima experiência.

Possíveis erros ao analisar os resultados:

• Avaliação prematura de resultados. Recomendamos realizar um teste de divisão por pelo menos 14 dias. Você pode abrir uma exceção a essa regra se a tarefa estiver ativada, estiver testando pequenas alterações que não afetam a funcionalidade global do site (por exemplo, você alterou a cor de um botão) e estiver usando Google Optimize. Se você vir em seu relatório do Optimize que a nova opção vence com uma probabilidade de 80 a 90%, poderá interromper o experimento. É improvável que os indicadores mudem drasticamente.
• Avaliar os resultados com um limite de validade inferior a 95% é outra métrica dos relatórios do Optimize. Ao realizar um experimento, o Google Optimize considera a validade do resultado final. Se estiver abaixo de 95%, o Optimize recomendará a continuação do experimento. Você pode ver esse limite na guia com um experimento ativo.
• Ignorando os resultados do teste como menores. Quem não quer dobrar as conversões de uma só vez?! Mesmo um aumento tão modesto (à primeira vista) da taxa de conversão de 2 a 3% não é um resultado ruim, no entanto. Especialmente se as alterações na página de destino forem pequenas.
• Não verificar os indicadores globais do seu site. Afinal, você precisa verificar os indicadores globais do seu site, não apenas os que você escolheu como parte do experimento. Um único parâmetro pode não ser suficiente para avaliar o efeito das mudanças. Por exemplo, o tamanho médio do cheque pode diminuir e a receita total pode aumentar aumentando a taxa de conversão. Portanto, monitore todos os KPIs interligados.

Para executar um teste A/B, você deve criar uma versão de teste da página, segmentar seu público e calcular as métricas de destino para cada segmento separadamente. Se você tiver habilidades de programação e recursos suficientes, poderá executar um teste A/B manualmente. Mas é mais fácil e conveniente fazê-lo com a ajuda de ferramentas especiais.

Preparamos uma pequena tabela comparando ferramentas populares de teste de divisão:

Na OWOX BI, usamos o Google Optimize para testes, por isso vamos nos concentrar mais nos recursos dessa ferramenta.

O Optimize é um serviço online que está conectado ao seu site e permite que você experimente diferentes formas de exibir conteúdo.

O Optimize permite que você use os dados acumulados no Google Analytics para oferecer a um usuário a versão da página que será mais conveniente para ele e mais lucrativa para o seu negócio.

• Completude dos dados . Para configurar e analisar um experimento, é possível usar propósitos e segmentos do Google Analytics. Você pode trabalhar com métricas usuais do Google Analytics que você conhece e adora.
• Amplas oportunidades de personalização. Depois de concluir com sucesso um teste, você pode configurar uma demonstração de conteúdo diferente usando públicos e variáveis ​​do Google Analytics que são implementados, por exemplo, em dataLayer no Google Tag Manager. Se os experimentos permitirem que você melhore a produtividade do seu site para o usuário médio, a personalização com base nas informações sobre os usuários permitirá que você obtenha retornos mais altos em cada segmento.
• Integração com outros produtos do Google para segmentação e análise mais aprofundadas (Google Ads, Data Studio, Gerenciador de tags etc.)
• Uma interface conveniente que é fácil de entender . O editor visual permite configurar e iniciar novos experimentos sem o envolvimento de desenvolvedores. Reduz significativamente o tempo para a realização de um experimento.
• Afeta minimamente a velocidade de carregamento da página.
• Não é necessário resumir dados manualmente, preparar relatórios e aplicar fórmulas estatísticas para verificar os resultados. O Google Optimize faz tudo sozinho.

• Até agora, o Google Optimize não pode ser usado para testar aplicativos móveis.

• Você não pode agendar testes. Ou seja, se você deseja preparar dezenas de testes, mas não pode iniciá-los ao mesmo tempo por algum motivo - ou se há restrições na versão gratuita quanto ao número de testes simultâneos, ou se não deseja experimentar dezenas de opções no mesmo público, isso pode se tornar um problema. Você precisará iniciar cada teste manualmente na interface. Esta não é uma falha crítica, mas, no entanto, você pode fazer isso em alguns outros serviços.
  

O Google Optimize funciona de forma semelhante a outras ferramentas para realizar experimentos e personalização:

1. Primeiro, você precisa criar variações de páginas, pop-ups e outros objetos que você mostrará ao usuário.
2. Então você precisa determinar as metas (métricas) pelas quais você determinará a opção vencedora. Essas podem ser as métricas incorporadas ao Optimize — número de visualizações de página, duração da sessão, transações, receita e taxa de falhas — ou qualquer meta personalizada do Google Analytics.
3. Depois disso, você precisa identificar o público que participará do experimento e iniciar o experimento. Nesse estágio, você deve decidir quanto risco pode correr mostrando a opção de teste aos usuários. Você pode distribuir o tráfego entre duas opções igualmente ou, por exemplo, fazer uma divisão 20/80. Além disso, nesta fase, você precisa escolher para qual parte do público você mostrará o experimento. Mostrar a todos, ou pegar 20% e distribuir suas duas opções entre eles? Por que você pode querer fazer isso? Caso você tenha uma loja grande, não tem certeza de sua hipótese e não quer arriscar metade do tráfego.

Além dos testes A/B clássicos, no Optimize você pode executar testes multivariados (nos quais você tem vários elementos alterados em várias combinações) e redirecionados (para páginas com URLs e designs diferentes).

Você pode saber mais sobre a interface e as configurações do Google Optimize em nosso artigo sobre como realizar seu primeiro teste A/B com o Google Optimize.

Com os relatórios do Google Optimize, você pode monitorar os resultados durante o experimento e analisar os dados coletados imediatamente após o término.

Termos nos relatórios do Optimize:

• Melhoria — o intervalo provável para a taxa de conversão
• Probabilidade de ser a melhor — a probabilidade de que esta opção seja melhor do que todas as outras
• Probabilidade de superar a linha de base — a probabilidade de que essa opção traga uma taxa de conversão melhor que a original
• Taxa de conversão — a taxa de conversão média prevista
• Conversões — o número de sessões com conversões

Como é determinado o vencedor
O Google Optimize usa a inferência Bayesiana para gerar estatísticas. Sem entrar em detalhes, isso significa que, durante a experiência, você pode ver nos relatórios do Optimize a probabilidade de a variante B ser a vencedora antes do final da experiência. Se a probabilidade atingir um certo nível, é possível terminar o experimento antes do previsto e economizar tempo e dinheiro.

Além disso, a equipe do Google planeja implementar um mecanismo de redistribuição de tráfego em favor da melhor opção antes do final do experimento. Isso economizará dinheiro, pois menos usuários verão uma opção ineficaz durante o teste.

Se você integrar o Optimize à sua conta do Google Analytics, poderá navegar e analisar os resultados dos testes na interface do Google Analytics na seção Comportamento/Experiências :

Se sua experiência foi bem-sucedida, você pode implantar a opção vencedora em seu site.

• O Optimize 360 ​​prova ser uma solução precisa sem codificação para testar a experiência do usuário em seu site
• Como realizar seu primeiro teste A/B: automatize o processo com o Google Optimize
• Estatísticas em web analytics, ou como se tornar um verdadeiro cientista de dados
• Webinar gratuito: Google Optimize para testes e personalização
• Tutoriais em vídeo
• Glossário de termos
• Apresentando o editor visual
• Implantar otimizar
• Otimize a Central de Ajuda
• Diferenças nos relatórios do Optimize e do Google Analytics
• Editor Visual

PS Se você precisar de ajuda para executar testes A/B e criar métricas personalizadas para sua empresa, envie um email para [email protected] ou preencha o formulário de contato em nosso site.