A/B testing : être ou ne pas être

Pas de douleur, pas de gain et pas de pistes. Pour transformer le trafic généré par vos annonces en ventes, vous devez constamment optimiser votre site en améliorant l'expérience utilisateur, en modifiant le comportement des utilisateurs et en augmentant votre taux de conversion. Mais comment s'assurer que les changements que l'on met en place produiront les résultats attendus ? C'est à cela que servent les tests A/B. Dans l'article, nous vous expliquons ce qu'est le test A/B, comment le réaliser et à quelles nuances il convient de prêter attention.

Les tests A/B en marketing sont identiques aux tests fractionnés - une comparaison de deux variantes d'une page de site Web qui diffèrent par un seul paramètre. L'objectif des tests A/B est de déterminer laquelle de ces deux options est la plus efficace et apporte le plus de conversions.

Disons que vous vendez des logiciels. Vous avez une landing page avec une description du produit et un bouton en bas de la page pour vous abonner à une version d'essai. Pour augmenter le nombre d'abonnés, vous décidez d'ajouter un bouton supplémentaire sur la page de destination pour ceux qui connaissent déjà votre produit ou préfèrent l'essayer tout de suite sans lire les détails.

Pour vérifier si votre hypothèse est correcte - que vous obtiendrez plus d'abonnés en ajoutant un autre bouton - vous créez une copie de la page de destination d'origine et y ajoutez un bouton. Ensuite, vous divisez les visiteurs de la page en deux groupes : l'un qui verra la page d'origine (variante A), l'autre qui verra la page mise à jour (variante B). A la fin du test, vous comparez les indicateurs de performance (dans notre exemple, le nombre d'abonnements) et déterminez le gagnant.

Examinons quelques-unes des principales choses que les tests A/B (ou tests fractionnés) nous aident à réaliser.

1. Mieux comprendre vos utilisateurs et leur donner ce qu'ils veulent . Peu importe depuis combien de temps vous pratiquez le commerce électronique et le marketing en ligne, ce serait une erreur de vous fier uniquement à votre expérience personnelle.

Même s'il semble que vous puissiez prédire le comportement des utilisateurs du site Web et comprendre exactement comment organiser le contenu afin qu'ils se déplacent le plus rapidement possible dans l'entonnoir des ventes, effectuez un test A/B. Les résultats pourraient vous surprendre.

Comme le montre la pratique, nos hypothèses ne coïncident pas toujours avec la réalité. Par conséquent, nous ne pouvons pas décider ce qui est le mieux pour nos clients en nous basant uniquement sur nos propres convictions.

2. Fiez-vous aux données plutôt qu'à l'opinion d'experts. Un deuxième défi, qui découle du premier, est la faisabilité d'apporter des changements sur le site et de minimiser les risques encourus.

Souvent, les hypothèses sont basées sur des opinions personnelles qui peuvent ne pas coïncider avec les opinions du public. Par conséquent, les changements introduits sans test A/B n'ont pas l'effet escompté — ou pire, ils réduisent les conversions.

Par conséquent, lorsque vous êtes confronté à la question de savoir quoi utiliser pour la prise de décision (données ou avis d'experts), choisissez toujours des données.

3. Personnalisez la communication avec les clients. Les clients utilisent différents appareils, proviennent de différentes sources, interagissent différemment avec votre site, naviguent et achètent différents produits...

Les services d'analyse Web tels que Google Analytics et Yandex.Metrics vous aident à combiner ces données et à systématiser les connaissances sur les utilisateurs. Les spécialistes du marketing collectent des informations sur les pages visitées par les utilisateurs et sur ce qu'ils y ont fait. Cela permet de diviser l'audience en plusieurs dizaines ou centaines de segments et d'apprendre, par exemple, comment se comportent les utilisateurs issus du trafic organique ou payant.

Mais nous n'utilisons pas toujours ces informations correctement et n'en tirons pas toujours le maximum d'avantages. Un exemple simple : la plupart des projets en ligne affichent toujours le même contenu pour tous les utilisateurs, quels que soient leur comportement et leur source de trafic :

Si vous faites cela, un test fractionné peut vous aider à résoudre la situation et à personnaliser le contenu de votre site.

Voyons maintenant les principales étapes (et nuances) des tests fractionnés :

La première chose que vous devez faire est d'identifier une liste de faiblesses sur votre site. Pour ce faire, vous pouvez :

• Explorez les données de Google Analytics et d'autres systèmes d'analyse Web pour voir quelles pages ont des taux d'échec élevés, une faible profondeur de défilement et de faibles taux de conversion.
• Utilisez Webvisor et cliquez sur les cartes thermiques pour comprendre comment les utilisateurs interagissent avec les éléments de votre site.
• Analysez les cas de support ou interrogez les clients actifs pour voir ce qui leur manque sur le site.

Par exemple, supposons que vous regardiez l'entonnoir de commerce électronique amélioré dans Google Analytics et que vous constatiez que très peu de personnes ajoutent un certain article au panier. En même temps, vous avez un point de vente hors ligne et vous savez que ce produit est populaire. Dans ce cas, il est fort probable que quelque chose ne va pas avec votre boutique en ligne.

Une fois que vous avez décidé quoi réparer, vous devez réfléchir exactement à la façon dont vous allez le réparer. Sans hypothèse A/B, les tests n'ont aucun sens - la valeur de vos résultats sera faible. Vous devez clairement comprendre le but de l'expérience, quel élément de la page Web vous allez tester et quels résultats quantitatifs vous souhaitez obtenir.

Lors de la formulation de l'hypothèse, repoussez votre entonnoir de conversion. Demandez-vous : que dois-je changer dans une partie de la page pour déplacer l'utilisateur plus rapidement dans l'entonnoir ? » Vérifiez une hypothèse par test ; sinon, il sera difficile de définir quel changement a affecté le résultat final dans quelle mesure.

Que peut-on tester :

• Couleur, taille, texte et emplacement des boutons de conversion
• Titres — modifier le texte ; le rendre plus court, plus intéressant et plus pertinent
• Formulaires - réduisez le nombre de champs ou ajoutez des info-bulles et remplissez des exemples
• Landing — modifier la structure de la page, la police ou la palette de couleurs
• Contenu - ajoutez des photos et des vidéos de haute qualité, des appels à l'action, des offres promotionnelles, le mot "gratuit", etc.

Votre choix d'indicateurs de performance dépend de votre hypothèse et des objectifs que vous souhaitez atteindre. Il peut s'agir de revenus, du nombre d'achats, du taux de conversion, de la taille moyenne des chèques, des applications et des abonnements, du taux d'échec, etc.

L'étape suivante consiste à vous assurer que toutes les métriques nécessaires sont mises en œuvre et enregistrées, sur la base desquelles vous tirerez des conclusions à la fin du test. Dans notre travail, nous avons rencontré des cas où des clients ont identifié des faiblesses et formulé des hypothèses, mais n'ont pas correctement prescrit un système de métriques pour comprendre que le taux de conversion a changé précisément à cause d'un changement de bouton, par exemple, et non à cause d'autres facteurs.

Tenez compte des facteurs suivants avant d'exécuter votre test :

• Taille minimale de l'échantillon. Pour vous assurer que les résultats de votre test sont statistiquement significatifs et fiables, déterminez le nombre requis de participants. Vous pouvez le faire avec des calculatrices en ligne gratuites telles que Abtasty et Optimizely. Supposons que le taux de conversion de votre page de destination d'origine soit de 5 % et que vous vous attendiez à ce que la version de test de la page atteigne 7 %. L'effet visible minimum dans ce cas sera de 40%. Entrez ces chiffres dans une calculatrice et vous verrez que vous avez besoin d'un minimum de 1964 personnes par variante :

• Facteurs externes : saisonnalité, vacances, actions, météo, taux de change, etc. Pour que les facteurs externes ne faussent pas les résultats de l'expérience, il est important d'afficher les deux versions de la page en parallèle pendant la même période.
• Testez d'abord les conversions de macros. Si vous vous fixez pour objectif de visiter une certaine page, il est probable que les utilisateurs l'atteindront mais n'effectueront pas de transaction ou n'effectueront pas d'autre action ciblée. Il est toujours nécessaire de penser à votre entonnoir dans son ensemble pour comprendre quelles actions des utilisateurs sur le site sont les plus prioritaires.
• Considérez le type d'appareil. Si vous démarrez un test sur tout le trafic vers votre site Web et que vous disposez de versions mobiles et de bureau, vérifiez à quoi ressemble l'option de test sur les appareils mobiles.
• Excluez le trafic interne afin que les actions de vos employés sur le site Web ne faussent pas les statistiques. Cela peut être fait dans Google Analytics au moyen du filtrage des adresses IP.

Après avoir pris en compte ces facteurs, vous pouvez exécuter le test. Un peu plus tard, nous vous parlerons des outils que vous pouvez utiliser pour ce faire.

À la fin de l'expérience, analysez les résultats. Par exemple, supposons que le taux de conversion d'origine sur votre page de destination était de 3 %, vous avez supposé que vous pouviez l'augmenter à 5 % et la variante de test affichait 3,5 %. Le taux de conversion a augmenté, mais légèrement. Vous devez maintenant décider d'introduire le changement sur le site ou d'essayer une autre hypothèse.

Vous pouvez vérifier si les résultats du test fractionné ont une signification statistique en utilisant une calculatrice en ligne ou des méthodes statistiques.

En savoir plus sur la puissance statistique, la longueur de l'échantillon, les intervalles de confiance, la signification statistique et comment les mesurer dans notre article sur les statistiques dans l'analyse Web, ou comment devenir un véritable scientifique des données.
Si le processus réussit et que vous avez reçu des données fiables, amenez le gagnant de la page de destination sur le site et passez à l'expérience suivante.

Erreurs possibles lors de l'analyse des résultats :

• Évaluation prématurée des résultats. Nous recommandons d'effectuer un test fractionné pendant au moins 14 jours. Vous pouvez faire une exception à cette règle si la tâche est activée, vous testez des modifications mineures qui n'affectent pas la fonctionnalité globale du site (par exemple, vous avez changé la couleur d'un bouton) et vous utilisez Google Optimiser. Si vous constatez dans votre rapport Optimize que la nouvelle option l'emporte avec une probabilité de 80 à 90 %, vous pouvez arrêter le test. Il est peu probable que les indicateurs changent radicalement.
• L'évaluation des résultats à un seuil de validité inférieur à 95 % est une autre statistique des rapports Optimize. Lorsque vous effectuez un test, Google Optimize tient compte de la validité du résultat final. S'il est inférieur à 95 %, Optimize recommande de poursuivre le test. Vous pouvez voir ce seuil dans l'onglet avec une expérience active.
• Ignorer les résultats des tests comme étant mineurs. Qui ne veut pas doubler les conversions d'un coup ? ! Cependant, même une augmentation du taux de conversion aussi modeste (à première vue) de 2 à 3 % n'est pas un mauvais résultat. Surtout si les changements sur la page de destination étaient minimes.
• Ne pas vérifier les indicateurs globaux de votre site. Après tout, vous devez vérifier les indicateurs globaux de votre site, pas seulement ceux que vous avez choisis dans le cadre de l'expérience. Un seul paramètre peut ne pas être suffisant pour évaluer l'effet des changements. Par exemple, la taille moyenne des chèques peut diminuer et le revenu total peut augmenter en augmentant le taux de conversion. Par conséquent, surveillez tous les KPI interconnectés.

Pour exécuter un test A/B, vous devez créer une version test de la page, segmenter votre audience et calculer les métriques cibles pour chaque segment séparément. Si vous avez des compétences en programmation et suffisamment de ressources, vous pouvez exécuter un test A/B manuellement. Mais il est plus facile et plus pratique de le faire à l'aide d'outils spéciaux.

Nous avons préparé un petit tableau comparant les outils de test fractionnés populaires :

Chez OWOX BI, nous utilisons Google Optimize pour les tests, nous allons donc nous concentrer davantage sur les fonctionnalités de cet outil.

Optimize est un service en ligne qui est connecté à votre site Web et vous permet d'expérimenter différentes manières d'afficher du contenu.

Optimize vous permet d'utiliser les données que vous avez accumulées dans Google Analytics pour proposer à un utilisateur la version de la page qui lui sera la plus pratique et la plus rentable pour votre entreprise.

• Complétude des données . Pour mettre en place et analyser une expérience, il est possible d'utiliser des finalités et des segments de Google Analytics. Vous pouvez travailler avec les métriques habituelles de Google Analytics que vous connaissez et aimez.
• De nombreuses possibilités de personnalisation. Après avoir réussi un test, vous pouvez configurer une démonstration de différents contenus à l'aide d'audiences et de variables Google Analytics qui sont implémentées, par exemple, dans dataLayer dans Google Tag Manager. Si les expériences vous permettent d'améliorer la productivité de votre site Web pour l'utilisateur moyen, la personnalisation basée sur les informations sur les utilisateurs vous permettra d'obtenir des rendements plus élevés dans chaque segment.
• Intégration avec d'autres produits Google pour un ciblage et une analyse plus approfondis (Google Ads, Data Studio, Tag Manager, etc.)
• Une interface pratique et facile à comprendre . L'éditeur visuel vous permet de configurer et de démarrer de nouvelles expériences sans l'intervention de développeurs. Cela réduit considérablement le temps de réalisation d'une expérience.
• Affecte au minimum la vitesse de chargement des pages.
• Il n'est pas nécessaire de résumer manuellement les données, de préparer des rapports et d'appliquer des formules statistiques pour vérifier les résultats. Google Optimize fait tout lui-même.

• Jusqu'à présent, Google Optimize ne peut pas être utilisé pour tester des applications mobiles.

• Vous ne pouvez pas programmer des tests. Autrement dit, si vous souhaitez préparer des dizaines de tests mais que vous ne pouvez pas les démarrer en même temps pour une raison quelconque - ou s'il existe des restrictions dans la version gratuite sur le nombre de tests simultanés, ou si vous ne voulez pas essayer des dizaines d'options sur le même public, cela pourrait devenir un problème. Vous devrez lancer chaque test manuellement dans l'interface. Ce n'est pas une lacune critique, mais vous pouvez néanmoins le faire dans d'autres services.
  

Google Optimize fonctionne de la même manière que d'autres outils de réalisation de tests et de personnalisation :

1. Tout d'abord, vous devez créer des variantes de pages, des fenêtres contextuelles et d'autres objets que vous montrerez à l'utilisateur.
2. Ensuite, vous devez déterminer les objectifs (métriques) par lesquels vous déterminerez l'option gagnante. Il peut s'agir des statistiques intégrées à Optimize (nombre de pages vues, durée de la session, transactions, revenus et taux d'échec) ou de tout objectif personnalisé de Google Analytics.
3. Après cela, vous devez identifier le public qui participera à l'expérience et lancer l'expérience. À ce stade, vous devez décider du risque que vous pouvez prendre en montrant l'option de test aux utilisateurs. Vous pouvez répartir le trafic entre deux options de manière égale ou, par exemple, faire une répartition 20/80. De plus, à ce stade, vous devez choisir à quelle partie du public vous montrerez l'expérience. Montrez à tout le monde, ou prenez 20% et répartissez vos deux options entre eux ? Pourquoi pourriez-vous vouloir faire cela ? Si vous avez un grand magasin, vous n'êtes pas sûr de votre hypothèse et vous ne voulez pas risquer la moitié du trafic.

En plus des tests A/B classiques, dans Optimize, vous pouvez exécuter des tests multivariés (dans lesquels vous avez plusieurs éléments changeants dans plusieurs combinaisons) et des tests redirigés (pour les pages avec des URL et des conceptions différentes).

Vous pouvez en savoir plus sur l'interface et les paramètres de Google Optimize dans notre article sur la façon de réaliser votre premier test A/B avec Google Optimize.

Grâce aux rapports de Google Optimize, vous pouvez surveiller les résultats pendant votre expérience et analyser les données collectées immédiatement après sa fin.

Termes dans les rapports Optimize :

• Amélioration - la plage probable du taux de conversion
• Probabilité d'être la meilleure — la probabilité que cette option soit meilleure que toutes les autres
• Probabilité de battre la ligne de base - la probabilité que cette option apporte un taux de conversion meilleur que l'original
• Taux de conversion — le taux de conversion moyen prévu
• Conversions — le nombre de sessions avec conversions

Comment le gagnant est déterminé
Google Optimize utilise l'inférence bayésienne pour générer des statistiques. Sans entrer dans les détails, cela signifie qu'au cours du test, vous pouvez voir dans les rapports Optimize la probabilité que la variante B soit gagnante avant la fin du test. Si la probabilité atteint un certain niveau, il est possible de terminer l'expérience plus tôt que prévu et d'économiser du temps et de l'argent.

De plus, l'équipe de Google prévoit de mettre en place un mécanisme de redistribution du trafic en faveur de la meilleure option avant la fin de l'expérimentation. Cela vous fera économiser de l'argent, car moins d'utilisateurs verront une option inefficace pendant le test.

Si vous intégrez Optimize à votre compte Google Analytics, vous pourrez parcourir et analyser les résultats des tests dans l'interface Google Analytics dans la section Comportement / Expériences :

Si votre expérience a réussi, vous pouvez déployer l'option gagnante sur votre site Web.

• Optimize 360 ​​s'avère être une solution sans codage précise pour tester l'expérience utilisateur sur votre site
• Comment effectuer votre premier test A/B : automatisez le processus avec Google Optimize
• Les statistiques en web analytics, ou comment devenir un vrai data scientist
• Webinaire gratuit : Google Optimize pour les tests et la personnalisation
• Tutoriels vidéos
• Glossaire des termes
• Présentation de l'éditeur visuel
• Déployer Optimiser
• Optimiser le centre d'aide
• Différences entre les rapports Optimize et Google Analytics
• Éditeur visuel

PS Si vous avez besoin d'aide pour exécuter des tests A/B et créer des métriques personnalisées pour votre entreprise, envoyez-nous un e-mail à [email protected] ou remplissez le formulaire de contact sur notre site.