7 problemas comuns que atrapalham o sucesso do teste de e-mail A/B/n

Sempre que começo a trabalhar com novos clientes que enfrentam grandes problemas com seu email marketing, uma das primeiras coisas que analiso é como eles conduzem seus testes de email.

O teste A/B/n é a melhor maneira que conheço para estruturar campanhas eficazes e medir se as estratégias e táticas de e-mail de uma marca estão tendo sucesso ou falhando. Mas, com muita frequência, as equipes lutam para configurar os testes corretamente e medir os resultados com precisão. Isso geralmente leva a experimentos de e-mail ineficazes e resultados ruins.

Se o seu programa de testes não for confiável, você não saberá se as estratégias e táticas escolhidas estão funcionando ou falhando. Não culpe o próprio canal de e-mail se seus esforços de e-mail não fornecerem os resultados que você precisa. Em vez disso, observe como você testa e mede os resultados.

7 problemas comuns de teste e como corrigi-los

Estes surgem com mais frequência no meu trabalho com clientes. As soluções para alguns desses desafios exigirão uma mudança total de mentalidade. Para outros, apenas aprender a maneira correta de configurar testes pode resolver muitos de seus problemas atuais.

Essa é a parte boa do teste. Para cada problema, há uma maneira de corrigi-lo. Toda vez que você resolve um problema por meio de testes, você dá mais um passo para colocar seu programa de e-mail no caminho certo.

1. Teste sem hipótese

Muitos profissionais de marketing por e-mail pegam os rudimentos do teste usando as ferramentas que seus ESPs fornecem, principalmente para configurar testes A/B básicos em recursos simples, como linhas de assunto.

No entanto, essa abordagem pontual e pontual é como aprender a dirigir um carro sem saber ler um mapa. Você pode ligar o carro muito bem. Mas você precisa de habilidades de mapa para planejar uma jornada que o levará aonde deseja ir com o menor número de engarrafamentos e desvios.

Sim, você pode deixar o Google Maps fazer o trabalho de planejamento para você. Mas todos os dados – o que você fornece e o que eles extraem de outras fontes – devem estar alinhados corretamente. Se você digitar o destino errado ou dirigir em uma zona morta, poderá acabar a quilômetros de onde deseja estar.

Isso é o que acontece com seu programa de e-mail quando você não testa ou testa incorretamente. Sua hipótese é seu roteiro para testes. Ele estabelece o que você acha que pode acontecer e orienta suas escolhas para variáveis, segmentos de teste, métricas de sucesso e até como usar os resultados.

2. Usando o cálculo de conversão errado

Isso está relacionado à jornada do cliente e ao objetivo do teste.

Quando você faz um teste de divisão A/B padrão em uma página de destino de um site, geralmente usa “transações/sessões da web” como seu cálculo de conversão para ver o quão bem a página está convertendo. Isso faz sentido porque você não sabe o caminho que seus clientes fizeram para chegar lá no site, então você se concentra nessa parte específica da jornada, pois ela ignora tudo o que acontece antes dela.

No e-mail, sabemos o caminho que nossos clientes seguiram para ir do e-mail até a página de destino. Nós os colocamos nele e queremos otimizá-lo. Queremos entender o quão bem nosso e-mail foi convertido, então precisamos usar “transações/e-mails entregues” para calcular nossa conversão. Isso leva em consideração toda a jornada de e-mail e não apenas analisa o quão bem a página de destino foi convertida.

Como você pode ver nesses dois exemplos de clientes, a conversão seguiu com o que as aberturas e cliques significavam. Os profissionais de marketing usam o cálculo de “sessões/compras de página” por vaidade, pois gera uma porcentagem maior. No entanto, isso significa que você pode estar otimizando para o resultado errado.

Segmentos de teste por meio de campanhas de negócios como de costume

Testando programas automatizados

3. Medindo o sucesso com as métricas erradas

Um plano de teste viável precisa de métricas relevantes para medir o sucesso com precisão. As métricas erradas podem inflar ou desinflar seus resultados. Isso, por sua vez, pode induzir você a otimizar para a variante perdedora em vez da vencedora.

A taxa de abertura, por exemplo, tem sido uma métrica de sucesso popular desde que aprendemos a usá-la nos primórdios do email HTML. Mas é uma métrica falha e não confiável, especialmente agora que o recurso Mail Privacy Protection da Apple mascara a verdadeira taxa de abertura de uma campanha. Mas mesmo que as aberturas fossem sempre precisas, a taxa de abertura ainda não é necessariamente a métrica certa.

Os cliques, por exemplo, são uma medida de engajamento mais precisa, mas não revelam quanto dinheiro sua campanha gerou. Se seu objetivo é apenas obter cliques, vá em frente e use a taxa de cliques. Mas se você for recompensado pela receita da campanha, precisará usar uma métrica de receita, como número de compras ou valor da cesta.

4. Testes sem significância estatística

Se os resultados do seu teste forem estatisticamente significativos, isso significa que as diferenças entre os grupos de teste (o grupo de controle, que permaneceu inalterado e o grupo que recebeu uma variável, como uma chamada à ação ou linha de assunto diferente) não ocorreram devido a acaso, erro ou eventos incontáveis.

Ter um pequeno número de resultados pode prejudicar o teste de significância, seja porque você pode testar apenas uma fração de sua população ou porque o teste não foi executado por tempo suficiente para gerar resultados suficientes. É por isso que os testes devem ser executados o maior tempo possível (para automações) e atingir um tamanho de amostra estatisticamente significativo (para campanhas).

A maioria dos testes usa um fator de significância de 5%. Isso significa que sua variável fez diferença em pelo menos 95 de cada 100 resultados em seu teste, e os cinco resultados restantes podem ser aleatórios.

Resultados que não são estatisticamente significativos podem levar você a assumir conclusões erradas e interpretar mal os resultados do teste e os resultados de sua campanha. Alcançar 95% de significância estatística indica um risco de 5% de concluir que existe uma diferença quando não há diferença real.

Tudo o que você precisa saber sobre a capacidade de entrega de marketing por e-mail que seus clientes desejam e que as caixas de entrada não bloquearão. Obtenha a Tabela Periódica de Email Marketing da MarTech.

Clique aqui para conferir!

5. Parando com um teste

O filósofo Heráclito disse: “Nenhum homem jamais pisa no mesmo rio duas vezes, pois não é o mesmo rio e ele não é o mesmo homem”.

O mesmo vale para suas campanhas de e-mail. Sua base de assinantes está sempre ganhando novos assinantes e perdendo antigos, e os clientes não reagem sempre da mesma forma a todas as campanhas. Uma campanha que funcionou bem uma vez pode fracassar na próxima.

Se você executar apenas um teste e aplicar os resultados a todas as campanhas futuras, perderá essas mudanças sutis, mas importantes. É por isso que você deve fazer testes em cada campanha, testando tudo mais de uma vez para excluir anomalias.

Isso lhe dará tendências que você pode consultar para aprender verdades gerais sobre seu público e indicar mudanças importantes nas atitudes e no comportamento. Use-os para ajustar ou revisar as abordagens de suas campanhas.

6. Testando apenas um elemento em uma campanha

O teste de linha de assunto é onipresente, principalmente porque muitas plataformas de e-mail criam testes de divisão de linha de assunto A/B em suas plataformas. Esse é um ótimo começo, mas fornece apenas parte de uma imagem e muitas vezes é enganoso. Uma linha de assunto vencedora que é medida pela taxa de abertura nem sempre prevê uma campanha de alcance de metas.

Essa é uma razão pela qual desenvolvi a prática chamada Teste Holístico, que vai além do teste de canal único, único e de variável única.

Aqui está um exemplo de uma hipótese baseada em motivação que você pode usar como parte de um teste holístico. Ele nomeia a métrica apropriada (conversões) e incorpora fatores relacionados à cópia, como linhas de assunto, títulos, blocos de cópia, chamadas para ações e até páginas de destino:

Contanto que as mudanças nas variáveis ​​suportem a hipótese, então, usando múltiplas variáveis, você está tornando o teste mais robusto. A diferença entre este e um teste multivariado é que todas as variáveis ​​suportam a hipótese e, quando o vencedor é anunciado, podemos aplicar o que aprendemos.

7. Não usar o que você aprendeu para melhorar o e-mail

Não testamos para ver o que acontece em uma única campanha ou para satisfazer a curiosidade. Testamos para descobrir como nossos programas estão funcionando e o que os melhorará – agora e a longo prazo. Testamos para determinar se estamos gastando dinheiro em coisas que nos ajudam a alcançar nossos objetivos.

Testamos para descobrir tendências e mudanças em nosso público que podemos aplicar em outros canais de marketing – porque nosso público de e-mail é nossa população de clientes em um microcosmo. Não deixe os resultados dos seus testes definharem em sua plataforma de e-mail ou em um caderno de equipe.

Um plano de ação para testar para refinar uma campanha de e-mail seria assim:

O teste é mais importante do que nunca. Você está pronto?

A pandemia do COVID-19 alterou o conhecimento dos profissionais de marketing por e-mail sobre nossos clientes. Em 2020, precisávamos de testes para detectar o que os clientes queriam, o que mudou e o que permaneceu igual em suas respostas às nossas campanhas.

A pandemia está recuando em muitas áreas, mas ameaçando aumentar novamente em outras. Os testes nos ajudarão a ficar à frente de novas mudanças e colocar esses insights para funcionar imediatamente. Isso mantém nossos programas de e-mail relevantes e valorizados para os clientes e eleva o perfil do e-mail como uma ferramenta confiável para ajudar nossas empresas a alcançar o sucesso.

Mencionei anteriormente que seu banco de dados de e-mail é um microcosmo de sua base de clientes. Resultados de testes precisos podem revelar mudanças no pensamento e motivação do cliente que você pode usar para testar e atualizar suas mídias sociais, seu site, SMS marketing e até mesmo offline em marketing direto.

Não consigo pensar em nenhuma outra ferramenta no kit de marketing que seja mais versátil, econômica e adaptável do que o e-mail. Testes precisos e atualizados mantêm esta ferramenta confiável e antiga brilhante e nova.

As opiniões expressas neste artigo são do autor convidado e não necessariamente da MarTech. Os autores da equipe estão listados aqui.