Il test A/B è morto?

"Oggi, i test A/B stanno prosperando: è stato un enorme miglioramento rispetto ai test non A/B", ha affermato George Khachatryan, CEO della società di intelligenza artificiale OfferFit, in un recente webinar. "Allo stesso tempo, le persone che eseguono questi test ogni giorno riconoscono che è molto più difficile di quanto possa sembrare".

La progettazione di test A/B, la determinazione delle dimensioni dei campioni e la loro distribuzione richiede molto tempo e risorse e l'analisi dei risultati richiede elevati livelli di precisione. Tutto sommato, le attività manuali richieste dai test A/B possono rappresentare un pesante onere per i professionisti del marketing.

"Quando esegui un programma di sperimentazione completo, non è mai abbastanza per eseguire un test A/B", ha detto Khachatryan. “Quando ne esegui uno, ottieni informazioni preziose e, inevitabilmente, vuoi ottenere di più. Quindi finisci per correre di più.

Ha aggiunto: "Coloro che stanno facendo questo pratico si rendono conto che diventa solo una rapida esplosione del numero di test di cui hanno bisogno: diventa impossibile molto presto su questa curva esponenziale".

Gli esperti di marketing hanno bisogno di una soluzione che consenta loro di testare un numero crescente di variabili della campagna dando loro contemporaneamente tempo sufficiente per analizzare i dati. Fortunatamente, i test A/B si stanno evolvendo.

Ampliare la potenza del test A/B

Nel webinar, Khachatryan ha evidenziato il "problema dei banditi multi-armati" che sta interessando i moderni test A/B. Nella versione tradizionale di questo scenario, una persona in un casinò deve determinare quali slot machine (i "banditi con un braccio solo" che rubano i tuoi soldi) avranno le vincite migliori, quindi capire quale ordine sarà ottimale. Con i test A/B, le variabili sono i banditi multi-armati e il marketer deve scoprire quali sono più efficaci in modo da poter allocare più risorse alle aree che funzionano bene.

"Puoi pensare a [un bandito multi-armato] come un test A/B intelligente", ha detto. "Affronterà il compromesso esplorazione-sfruttamento: inizierà a tirare in modo casuale quelle dieci maniglie, ma man mano che procede, riallocherà dinamicamente le risorse in modo che se qualcosa non va bene, smetterà di tirare."

Ha aggiunto: "Questi banditi multibraccio sono progettati per sperimentare la giusta quantità in modo da imparare ma anche sfruttare ciò che hai già imparato".

Mentre questi modelli multi-armati, o A/B, hanno servito bene i marketer nel corso degli anni, c'è una nuova iterazione del framework che è più accurata ed efficace. Secondo Khachatryan, questi sono "banditi contestuali".

"Fa quello che fa un bandito multi-armato, ma tiene conto di contesti diversi", ha detto. "Quindi, se hai due clienti diversi, con caratteristiche diverse, saprà tirare leve diverse".

I framework contestuali dei banditi sono essenzialmente sperimentazioni automatizzate e personalizzazioni su larga scala. È un modello in grado di automatizzare completamente il processo ed è ciò a cui ogni marketer dovrebbe orientarsi per migliorare l'efficacia della campagna su larga scala.

La sperimentazione automatizzata è il futuro

Molti dei giganti della tecnologia hanno già adottato framework contestuali di bandit, ma gli esperti di marketing dovrebbero notare che questa tecnologia è ancora incredibilmente nuova. I marchi dovrebbero allocare tempo e risorse sufficienti per facilitare il processo di transizione, perché, secondo Khachatryan, è il "futuro della sperimentazione".

"In passato, i test A/B manuali funzionavano con una menzione alla volta", ha affermato. "Con questi banditi contestuali, puoi configurarlo per testare simultaneamente più dimensioni".

Che si tratti di testare l'efficacia della riga dell'oggetto dell'e-mail, le percentuali di clic degli inviti all'azione o i tempi di pubblicazione degli articoli ottimali, gli esperti di marketing hanno molti dati sperimentali con cui stare al passo. Le soluzioni di test automatizzate possono rendere questi processi più gestibili diminuendo il tempo dedicato alle attività manuali, sostituendoli con la sperimentazione automatizzata continua.

"Puoi pensare a questo come alla prossima iterazione di sperimentazione o programmi di prova e apprendimento", ha detto Khachatryan. "Quando un marketer imposta questo sistema di sperimentazione automatizzata continua, crea questa interazione in cui puoi vedere cosa succede, ottenere approfondimenti e quindi utilizzare tali intuizioni per ottenere nuove idee".

Ha aggiunto: "Quindi hai ancora il ciclo agile di test e apprendimento, ma è accelerato".

Il tempo dirà quanto velocemente i marketer adotteranno queste tecnologie di sperimentazione automatizzata. Ma, con l'alto livello di sostituzioni di tecnologie di marketing che hanno avuto luogo nell'ultimo anno, ci sono buone probabilità che più marchi firmeranno prima piuttosto che dopo.

Guarda questa presentazione del webinar al Digital Marketing Depot.