Les tests A/B sont-ils morts ?

"Aujourd'hui, les tests A/B sont en plein essor - c'est une énorme amélioration par rapport aux tests non-A/B", a déclaré George Khachatryan, PDG de la société d'intelligence artificielle OfferFit, lors d'un récent webinaire. "En même temps, les personnes qui effectuent ces tests chaque jour reconnaissent que c'est beaucoup plus difficile qu'il n'y paraît."

Concevoir des tests A/B, déterminer la taille des échantillons et les déployer prend beaucoup de temps et de ressources, et l'analyse des résultats nécessite des niveaux de précision élevés. Dans l'ensemble, les tâches manuelles requises par les tests A/B peuvent imposer une lourde charge aux spécialistes du marketing.

"Lorsque vous exécutez un programme d'expérimentation complet, il n'est jamais suffisant d'exécuter un test A/B", a déclaré Khachatryan. "Lorsque vous en exécutez un, vous obtenez des informations précieuses et vous souhaitez inévitablement en acquérir davantage. Donc, vous finissez par courir plus.

Il a ajouté: «Ceux qui font cela sur le tas se rendent compte que cela devient juste une explosion rapide du nombre de tests dont ils ont besoin – cela devient irréalisable très tôt sur cette courbe exponentielle.»

Les spécialistes du marketing ont besoin d'une solution qui leur permette de tester un nombre croissant de variables de campagne tout en leur laissant suffisamment de temps pour analyser les données. Heureusement, les tests A/B évoluent.

Augmenter la puissance des tests A/B

Dans le webinaire, Khachatryan a souligné le "problème de bandit multi-armé" qui affecte les tests A/B modernes. Dans la version traditionnelle de ce scénario, une personne dans un casino doit déterminer quelles machines à sous (les "bandits manchots" qui volent votre argent) vont avoir les meilleurs gains, puis déterminer quel ordre sera optimal. Avec les tests A/B, les variables sont les bandits à plusieurs bras, et le spécialiste du marketing doit découvrir lesquels sont les plus efficaces afin de pouvoir allouer plus de ressources aux domaines performants.

"Vous pouvez considérer [un bandit multi-armé] comme un test A/B intelligent", a-t-il déclaré. "Il naviguera dans le compromis exploration-exploitation - il commencera à tirer au hasard ces dix poignées, mais au fur et à mesure, il réaffectera dynamiquement les ressources de sorte que si quelque chose semble mauvais, il cessera de tirer."

Il a ajouté: "Ces bandits à plusieurs bras sont conçus pour expérimenter juste ce qu'il faut afin que vous appreniez mais aussi que vous profitiez de ce que vous avez déjà appris."

Bien que ces modèles multi-bras, ou A/B, aient bien servi les spécialistes du marketing au fil des ans, il existe une nouvelle itération du cadre qui est plus précise et efficace. Selon Khachatryan, ce sont des "bandits contextuels".

"Il fait ce que fait un bandit multi-armé, mais il prend en compte différents contextes", a-t-il déclaré. "Donc, si vous avez deux clients différents, avec des caractéristiques différentes, il saura tirer des leviers différents."

Les cadres de bandit contextuels sont essentiellement une expérimentation automatisée et une personnalisation à grande échelle. C'est un modèle qui peut complètement automatiser le processus, et c'est ce vers quoi chaque spécialiste du marketing devrait s'orienter pour améliorer l'efficacité des campagnes à grande échelle.

L'expérimentation automatisée est l'avenir

De nombreux géants de la technologie ont déjà adopté des cadres de bandit contextuels, mais les spécialistes du marketing doivent noter que cette technologie est encore incroyablement nouvelle. Les marques doivent allouer suffisamment de temps et de ressources pour faciliter le processus de transition, car, selon Khachatryan, c'est "l'avenir de l'expérimentation".

"Dans le passé, les tests A/B manuels fonctionnaient avec une seule mention à la fois", a-t-il déclaré. "Avec ces bandits contextuels, vous pouvez le configurer pour tester simultanément plusieurs dimensions."

Qu'il s'agisse de tester l'efficacité de la ligne d'objet des e-mails, les taux de clics des incitations à l'action ou les délais de publication optimaux des articles, les spécialistes du marketing disposent de nombreuses données expérimentales à suivre. Les solutions de test automatisées peuvent rendre ces processus plus gérables en réduisant le temps consacré aux tâches manuelles, en les remplaçant par une expérimentation automatisée continue.

"Vous pouvez considérer cela comme la prochaine itération d'expérimentation ou de programmes de test et d'apprentissage", a déclaré Khachatryan. "Lorsqu'un spécialiste du marketing met en place ce système d'expérimentation automatisée continue, cela crée cette interaction où vous pouvez voir ce qui se passe, obtenir des informations, puis utiliser ces informations pour obtenir de nouvelles idées."

Il a ajouté : "Vous avez donc toujours le cycle de test et d'apprentissage agile, mais il est accéléré."

Le temps nous dira à quelle vitesse les spécialistes du marketing adopteront ces technologies d'expérimentation automatisées. Mais, avec le niveau élevé de remplacements de technologies marketing qui ont eu lieu au cours de l'année écoulée, il y a de fortes chances que davantage de marques s'inscrivent plus tôt que tard.

Regardez cette présentation de webinaire à Digital Marketing Depot.