O teste A/B está morto?

“Hoje, os testes A/B estão prosperando – tem sido uma grande melhoria em relação aos testes não A/B”, disse George Khachatryan, CEO da empresa de IA OfferFit, em um webinar recente. “Ao mesmo tempo, as pessoas que realizam esses testes todos os dias reconhecem que é muito mais difícil do que parece.”

Projetar testes A/B, determinar tamanhos de amostras e implantá-los consome muito tempo e recursos, e analisar as descobertas requer altos níveis de precisão. Em suma, as tarefas manuais exigidas pelos testes A/B podem sobrecarregar os profissionais de marketing.

“Quando você está executando um programa de experimentação completo, nunca é suficiente executar um teste A/B”, disse Khachatryan. “Quando você executa um, obtém insights valiosos e, inevitavelmente, deseja obter mais. Então você acaba correndo mais.”

Ele acrescentou: “Aqueles que estão fazendo isso na prática percebem que se torna uma rápida explosão no número de testes de que precisam – torna-se inviável muito cedo nessa curva exponencial”.

Os profissionais de marketing precisam de uma solução que permita testar um número crescente de variáveis ​​de campanha e, ao mesmo tempo, dar-lhes tempo suficiente para analisar os dados. Felizmente, os testes A/B estão evoluindo.

Expandindo o poder dos testes A/B

No webinar, Khachatryan destacou o “problema de bandidos multi-armados” que está afetando os testes A/B modernos. Na versão tradicional desse cenário, uma pessoa em um cassino deve determinar quais máquinas caça-níqueis (os “bandidos de um braço só” que roubam seu dinheiro) terão os melhores pagamentos e, em seguida, descobrir qual ordem será a ideal. Com o teste A/B, as variáveis ​​são os bandidos multi-armados, e o profissional de marketing deve descobrir quais são os mais eficazes para que possa alocar mais recursos para as áreas com bom desempenho.

“Você pode pensar em [um bandido multi-armado] como um teste A/B inteligente”, disse ele. “Ele navegará pela troca exploração-exploração – começará a puxar aleatoriamente essas dez alças, mas, à medida que for, realocará recursos dinamicamente para que, se algo parecer ruim, pare de puxar.”

Ele acrescentou: “Esses bandidos de vários braços são projetados para experimentar a quantidade certa para que você esteja aprendendo, mas também aproveitando o que já aprendeu”.

Embora esses modelos multi-armados, ou A/B, tenham servido bem aos profissionais de marketing ao longo dos anos, há uma nova iteração da estrutura que é mais precisa e eficaz. De acordo com Khachatryan, esses são “bandidos contextuais”.

“Ele faz o que um bandido multi-armado faz, mas leva em conta contextos diferentes”, disse ele. “Então, se você tiver dois clientes diferentes, com características diferentes, ele saberá puxar alavancas diferentes.”

Os frameworks contextuais de bandidos são essencialmente experimentação automatizada e personalização em escala. É um modelo que pode automatizar completamente o processo e é o que todo profissional de marketing deve adotar para melhorar a eficácia da campanha em escala.

A experimentação automatizada é o futuro

Muitos dos gigantes da tecnologia já adotaram estruturas contextuais de bandidos, mas os profissionais de marketing devem observar que essa tecnologia ainda é incrivelmente nova. As marcas devem alocar tempo e recursos suficientes para facilitar o processo de transição, porque, segundo Khachatryan, é o “futuro da experimentação”.

“No passado, o teste A/B manual funcionava com uma menção de cada vez”, disse ele. “Com esses bandidos contextuais, você pode configurá-lo para testar várias dimensões simultaneamente.”

Seja testando a eficácia da linha de assunto do email, taxas de cliques de call-to-action ou tempos ideais de postagem de artigos, os profissionais de marketing têm muitos dados experimentais para acompanhar. As soluções de teste automatizado podem tornar esses processos mais gerenciáveis, diminuindo o tempo gasto em tarefas manuais, substituindo-as por experimentação automatizada contínua.

“Você pode pensar nisso como a próxima iteração de experimentação ou programas de teste e aprendizado”, disse Khachatryan. “Quando um profissional de marketing configura esse sistema de experimentação automatizada contínua, ele cria essa interação onde você pode ver o que acontece, obter insights e usar esses insights para obter novas ideias.”

Ele acrescentou: “Então você ainda tem o ciclo ágil de teste e aprendizado, mas é acelerado”.

O tempo dirá com que rapidez os profissionais de marketing adotam essas tecnologias de experimentação automatizada. Mas, com o alto nível de substituições de tecnologia de marketing que ocorreram no ano passado, há uma boa chance de mais marcas assinarem mais cedo ou mais tarde.

Assista a esta apresentação do webinar no Digital Marketing Depot.