Comment éviter l'échantillonnage et collecter des données complètes pour des analyses avancées

Vous êtes-vous déjà demandé comment éviter l'échantillonnage et les limites dans les rapports standards de Google Analytics ? Comment obtenir des données complètes pour les rapports marketing ? Il existe plusieurs solutions, telles que :

• Passez à Google Analytics 360 payant et paramétrez l'export des données brutes vers Google BigQuery (GBQ).
• Utilisez Google Analytics App+WEB. Le produit est toujours en version bêta et vous permet de télécharger gratuitement les données de comportement des utilisateurs sur Google BigQuery.
• Utilisez d'autres services qui collectent des données du site Web vers Google BigQuery.

Chacune de ces solutions a ses spécificités et ses limites. Dans l'article, nous expliquons ces fonctionnalités en détail et décrivons comment se déplacer avec OWOX BI.

La principale limite de Google Analytics 360 est son coût élevé. Les actions utilisateur les plus récentes apparaissent dans les tableaux BigQuery en plus de 15 minutes. Pour définir un tel taux de rafraîchissement des données, vous devrez payer en plus : par défaut, le tableau des sessions est mis à jour trois fois par jour.

Dans certaines situations, vous devez payer un supplément pour le traitement des demandes dans Google BigQuery. La table d'exportation de GA 360 contient de nombreux niveaux d'imbrication et des champs qui peuvent être vides dans 80 % des cas. Plus il y a de niveaux d'imbrication dans la table, plus les requêtes sont coûteuses. Si vous avez de nombreux rapports à mettre à jour quotidiennement ou hebdomadairement, le traitement des données entraînera la plupart de vos coûts GBQ.

App+Web collecte les données dans une autre structure que Google Analytics standard. Si dans GA, tout est basé sur les sessions, dans App+Web — sur les utilisateurs et les événements. Cela pourrait être un problème pour de nombreux analystes et spécialistes du marketing qui se sont habitués à GA - ils doivent explorer une nouvelle structure de données, refaire le système de métriques pour le site Web et reconstruire les rapports existants. D'autres services qui collectent des données du site Web vers GBQ dans leur propre structure peuvent également rencontrer ce problème.

Comme l'exportation de GA 360 et App+Web vers Google BigQuery est une représentation des données collectées dans Google Analytics, elle ne fournit pas de mise à jour rétrospective des enregistrements. Par exemple, un retour d'achat sera généralement enregistré comme une session distincte qui ne sera pas associée à une session de paiement. Le revenu correct de cette commande doit donc être recalculé manuellement.

Aucune des solutions mentionnées ne peut transférer les coûts de votre campagne publicitaire au niveau de la session dans Google BigQuery. Cela signifie que vous ne saurez pas combien vous avez dépensé pour attirer un segment spécifique d'utilisateurs. Vous ne pouvez pas calculer le ROI et le DRR pour différentes cohortes, groupes de produits et pages de destination.

Connaissant ces limites, chez OWOX, nous avons décidé d'améliorer l'expérience de traitement des données brutes pour tout type d'entreprise. Nous avons mené des centaines d'entretiens sur les produits et reçu les demandes suivantes :

1. Les données du site Web doivent être entièrement collectées dans Google BigQuery sous une forme non agrégée.
2. Les données sur le comportement des utilisateurs doivent être transmises à Google BigQuery en mode quasi temps réel.
3. Les tables de session dans Google BigQuery doivent contenir des données sur les coûts publicitaires.
4. La structure de la table doit être compacte et aussi complète que possible pour utiliser les requêtes de données de manière optimale.
5. Les données doivent être synchronisées par des paramètres clés dans la période historique.
6. Il doit être possible de comparer les données GBQ avec les données GA si des écarts importants apparaissent.

Nous avons examiné toutes ces demandes et développé notre propre flux de données de site Web dans Google BigQuery.

Examinons de plus près comment OWOX BI contourne les restrictions de Google Analytics et de l'exportation BigQuery standard et comment les entreprises peuvent en bénéficier.

L'idée de l'échantillonnage est de créer des rapports sur des échantillons de données, et non sur l'ensemble du volume de données disponibles. Si l'échantillon est trop petit, vous ne pouvez pas faire confiance à un rapport construit sur un tel échantillon. Avec OWOX BI, vous pouvez collecter des données complètes non échantillonnées pour créer des rapports plus précis et prendre des décisions fondées sur des données.

Chaque action de l'utilisateur sur le site Web (affichage de la page, clic sur le bouton, affichage de la bannière ou passation de commande) est transmise à GA par un message distinct — hit. Vous devez considérer qu'il n'y a aucune restriction sur le nombre de résultats au moment de la collecte des données.

L'interface GA applique une limite d'accès au traitement des données et à la création de rapports. Ainsi, vous obtenez soit un échantillonnage de données, soit des tableaux agrégés (ligne autre dans le rapport). De plus, si vous souhaitez utiliser un segment ou créer un rapport manuel, celui-ci est généralement affiché sous forme d'échantillon.

Le service copie le contenu du hit lorsqu'il quitte votre site Web, puis l'envoie à votre projet dans Google BigQuery. Ainsi, vous obtenez des données brutes non échantillonnées avec un nombre illimité de hits collectés et traités.

Supposons que vous soyez obligé de collecter le trafic de la page promotionnelle, les données des partenaires publicitaires ou les statistiques de la page de destination pour chaque marque/fabricant dans des propriétés Google Analytics distinctes afin de collecter des données plus précieuses. Quoi qu'il en soit, pour respecter les limitations GA, vous devez désactiver le trafic qui vous est précieux. Lorsque vous pouvez collecter ces données dans une seule table dans Google BigQuery au moyen d'OWOX BI. Il vous fournit une base de solutions stratégiques et une vision globale de l'efficacité du site Web et des campagnes publicitaires.

Avec OWOX BI, vous pouvez rapidement envoyer un e-mail déclenché ou détecter une anomalie dans les données de site Web collectées dans Google BigQuery, car les données comportementales des utilisateurs apparaissent dans votre projet en 1 à 5 minutes.

Toutes les données collectées quotidiennement ne sont reflétées dans GA qu'après 48 heures (dans GA 360 - après 4 heures). Les rapports en temps réel affichent un nombre limité de paramètres et de mesures et ne vous permettent pas de personnaliser les actions des utilisateurs.

L'export standard de GA 360 vers GBQ peut fonctionner selon deux modes :

• Téléchargez des données une fois toutes les 8 heures environ gratuitement (vous payez pour une licence GA 360 et un stockage de données dans GBQ).
• Téléchargez des données toutes les 15 minutes (vous devez payer un supplément pour chaque téraoctet traité).

App+WEB crée deux tables :

• Transitionnel — il contient des enregistrements d'événements pour la journée en cours. Le tableau est mis à jour toutes les 15 minutes et supprimé après la génération du tableau d'une journée complète.
• Tableau avec des données pour toute la journée — il est généré une fois par jour.

OWOX BI envoie immédiatement les données du site Web à votre projet GBQ. Vous recevez des données complètes non agrégées sur le comportement des utilisateurs dans les 1 à 5 minutes suivant l'événement.

En surveillant l'activité des utilisateurs sur le site Web en temps réel, vous pouvez stimuler les ventes avec des campagnes par e-mail et des offres personnelles. Par exemple, lorsqu'un utilisateur a ajouté un article à un panier mais n'a rien acheté ou n'a pas signé le dépôt sur le site Web.

Cela peut également vous aider à détecter et à corriger les problèmes sur le site Web à temps : vous pouvez recevoir des notifications des déclencheurs sur les erreurs de code du site Web et la diminution du trafic ou des conversions.

Avec OWOX BI, vous obtenez une vue d'ensemble de l'activité des utilisateurs sur votre site Web, même s'ils passent des commandes composées de plus de 15 articles ou parcourent de grandes listes d'articles.

Il y a une limite dans GA sur la taille du hit transféré - 8 Ko. Par exemple, si un message de transaction dépasse cette limite, il n'entre pas dans GA.

Dans OWOX BI, la taille maximale des hits transférés vers Google BigQuery est augmentée à 16 Ko.

Un hit peut dépasser 8 Ko contenant des informations sur une liste de produits, lorsque vous suivez la navigation de l'utilisateur sur les pages du catalogue avec Enhanced Ecommerce. Cela arrive si :

• Plus de 10 articles sont envoyés en un seul coup;
• Chaque élément a un paramètre supplémentaire.

Dans ce cas, le hit emballé n'entrera pas dans GA. Cependant, vous pouvez le trouver dans les données brutes de GBQ et créer un rapport plus précis sur les listes de produits consultées grâce à OWOX BI.

Supposons que vous souhaitiez collecter plus d'informations sur le client et le produit lui-même, ainsi que les demandes de produits bancaires. Avec OWOX BI, vous disposez de statistiques de conversion plus précises.

OWOX BI calcule la valeur de chaque session. Il vous permet de calculer le ROAS pour les utilisateurs nouveaux et anciens. Vous pouvez également effectuer les actions suivantes :

• Comparez la rentabilité des cohortes créées des clients qui ont vu la bannière et ceux qui ne l'ont pas vue.
• Découvrez combien vous dépensez et gagnez sur chacun des groupes de produits.
• Évaluez l'efficacité de la publicité pour différentes régions, pages de destination, versions mobiles et applications.

Vous pouvez charger manuellement les coûts publicitaires de différents services publicitaires dans GA. Cependant, vous ne savez pas combien vous avez dépensé pour attirer un client ou un segment d'utilisateur particulier, car les données de coût dans GA sont agrégées et liées aux campagnes publicitaires.

App+WEB ne vous permet pas non plus de transférer les coûts des campagnes publicitaires au niveau de la session/de l'utilisateur dans Google BigQuery.

OWOX BI télécharge automatiquement les coûts publicitaires sur Google Analytics et Google BigQuery en les répartissant sur les sessions en fonction des balises UTM. C'est pourquoi vous connaissez le coût de chaque session sur 5 balises UTM principales (source, support, campagne, mot-clé, contenu) et vous pouvez créer des rapports sur le CPC, le CPA, le CPO et le CRR sur des données brutes. Il améliore la précision de vos rapports et aide à allouer votre budget marketing plus efficacement.

Avec OWOX BI, vous pouvez savoir combien vous avez dépensé pour chaque session et regrouper les coûts et les revenus par utilisateur, cohorte ou page de destination.

Par exemple, vous souhaitez comprendre quels groupes de produits doivent être promus pour générer plus de profit, car un produit qui attire un utilisateur n'est pas obligatoirement le même produit que celui que l'utilisateur achète. Vous devez regrouper vos coûts publicitaires numériques en catégories pour trouver les catégories de produits les plus efficaces à promouvoir. Cela peut être fait avec OWOX BI en transférant les données de coût de GA vers GBQ et en répartissant les coûts sur toutes les sessions avec des balises UTM. Dans ce cas, les coûts et les revenus seront des propriétés de la session.

Avec OWOX BI, aucune action supplémentaire n'est nécessaire pour évaluer le remboursement des commandes, les retours d'achat ou pour savoir ce qu'un nouvel abonné a fait sur votre site au cours des trois derniers mois. Notre service vous permet de mettre à jour rétrospectivement les données téléchargées dans Google BigQuery.

Dans le GA standard, vous ne pouvez mettre à jour rétrospectivement le statut de la commande que si moins de 4 heures se sont écoulées entre la commande et le paiement. Dans le cas contraire, le paiement est enregistré dans GA comme une nouvelle session. Par exemple, si vous ajoutez un retour le 3 avril pour la transaction effectuée le 18 mars, dans le rapport du 18 mars, vous verrez toujours le montant total de la transaction. En conséquence, la répartition de la valeur sur les canaux ne sera pas correcte à cause de cette erreur.

Le protocole de mesure n'est actuellement pas disponible sur App+Web. Il vous empêche de mettre à jour rétrospectivement le statut de la commande ou de télécharger des informations utilisateur.

Dans les tableaux qu'OWOX BI remplit avec des données dans Google BigQuery, vous pouvez mettre à jour rétrospectivement les informations suivantes :

• Détails de la transaction — vous pouvez saisir un retour, un retour partiel ou modifier la somme pour une période de 30 jours.
• Informations sur l'utilisateur - si un utilisateur s'est connecté ou s'est connecté à un site Web, son ID utilisateur sera rembobiné et nommé pour les sessions apparues au cours des 30 derniers jours avant la date d'authentification.
• Données de coût pour 90 jours (dans les champs adCost, attributeAdCost), y compris les coûts de tous les services publicitaires importés dans Google Analytics.

Si l'utilisateur avec ID utilisateur a demandé un crédit aujourd'hui, cet ID utilisateur apparaît dans toutes les sessions précédentes à partir du même appareil. Vous pouvez utiliser ces sessions pour estimer le chemin d'un utilisateur vers votre commande, pour attribuer les revenus des campagnes publicitaires de manière plus précise et pour prédire la conversion des autres utilisateurs.

Avec OWOX BI, il vous est plus facile de prendre en compte les retours et de mesurer l'efficacité des campagnes publicitaires —- les tableaux de streaming vous montrent toujours le montant actuel de la commande. Si le retour a eu lieu un autre jour, vous n'avez pas besoin de le rechercher dans les tables de l'autre jour.

Si vous envisagez de créer un rapport ROPO (Research Online Purchase Offline), il est plus facile d'effectuer des calculs lorsque l'ID utilisateur est affecté au nombre maximum de sessions historiques du client.

Comme mentionné ci-dessus, la table d'exportation standard de Google Analytics 360 vers Google BigQuery comporte trop de champs imbriqués et vides, ce qui augmente le coût de traitement de ces données.

OWOX BI vous aide à optimiser les coûts de stockage et de traitement des données dans GBQ. Il y a moins de champs vides dans les tables de flux, moins de niveaux d'imbrication, de sorte que les tables elles-mêmes et leurs requêtes « pèsent » moins.

OWOX BI vous aide à éviter les limitations GA sur la collecte de données. Si vous prévoyez de suivre toutes les activités des utilisateurs, de l'affichage de la bannière à la sélection de services supplémentaires dans la commande, tous les appels supplémentaires peuvent être envoyés directement à Google BigQuery.

Toutes les informations sur l'interaction de l'utilisateur avec votre site Web sont transmises à Google Analytics via des appels séparés - des messages au serveur GA.

Au moment de la création du hit, OWOX BI remplace l'adresse d'envoi des données depuis la ressource GA par l'adresse de votre projet dans Google BigQuery. Nous pouvons dupliquer tous les hits adressés à GA dans les tables GBQ ou bloquer (totalement ou partiellement) toutes les données dans GA et envoyer les hits uniquement aux tables GBQ.

Cette solution présente les avantages suivants :

1. Vous obtenez des données non échantillonnées du site Web dans la structure bien connue de Google Analytics 360, avec des milliers de requêtes SQL qui ont déjà été écrites pour cela. Cela vous fait gagner du temps et réduit le temps consacré aux consultations régulières des analystes.
2. Vous pouvez configurer la collecte de données sans réduire la vitesse de chargement de votre site Web. C'est possible car OWOX BI duplique les hits GA plutôt que de surcharger votre GTM avec un compteur JS séparé.
3. Nous garantissons le SLA dans le contrat et disposons des fonctionnalités nécessaires pour surveiller la qualité des données et stocker automatiquement les informations si votre projet Google Analytics et Google Cloud échoue. Vous pouvez être sûr de la qualité des données de vos rapports sans efforts supplémentaires.

Avec OWOX BI, il est également possible de collecter des données sur le comportement des utilisateurs sans le compteur Google Analytics JS. Nous pouvons collecter des données sur les visites de votre site Web dans Google BigQuery avec notre code de suivi.

Si vous envisagez de collecter des données sensibles à partir du site Web (type de client, détails, paramètres de commande), vous devez les envoyer directement à Google BigQuery où la norme de sécurité Tier 4 réglemente la protection des informations. Toute information sensible peut être transmise sous forme hachée ou cryptée.

Disons qu'il y a plus de 1 000 bannières sur votre site. Vous prévoyez de suivre les vues et les clics pour chacun d'eux et de mesurer leur impact sur l'achat dans la session en cours ou les suivantes. Si vous suivez les vues réelles de chaque bannière, la quantité de données envoyées à GA dépassera la limite de 20 à 25 %.

Avec OWOX BI, vous pouvez envoyer toutes les statistiques des bannières directement à Google BigQuery (en contournant GA) et obtenir des informations sur l'efficacité des campagnes promotionnelles internes. Ainsi, vous ne perdez aucune information en raison de l'échantillonnage et de l'agrégation des données dans GA standard, et du dépassement des limites dans GA 360.

Avec OWOX BI, vous pouvez transférer un nombre illimité de paramètres utilisateur et de dimensions du site Web vers Google BigQuery. Il vous permet de segmenter les utilisateurs selon n'importe quelle fonctionnalité et de créer des rapports plus détaillés pour une analyse approfondie.

Google Analytics impose également des restrictions sur le nombre de métriques personnalisées collectées sur le site Web : 20 pour la version standard et 200 pour le GA 360. App+Web a également des limites assez strictes : 500 événements, 25 paramètres d'événement et 25 propriétés utilisateur.

OWOX User ID vous aide à optimiser vos coûts de promotion et de remarketing si vous disposez d'un réseau de sites Web aux audiences croisées. Vous pouvez également évaluer l'effet post-affichage des bannières et des publicités multimédias.

À l'aide de cookies tiers, OWOX BI place le même identifiant sur différents sites Web (il peut s'agir de votre autre site Web sur un domaine différent ou d'une publicité média sur une plateforme publicitaire indépendante). Ensuite, cet ID regroupe les sessions de plusieurs sites Web et vous pourrez analyser vos audiences croisées.

Si votre groupe d'entreprises se compose de plusieurs marques et de leurs sites Web, OWOX BI peut mesurer l'intersection de vos audiences et vous montrer comment optimiser le budget des campagnes de remarketing et de sensibilisation.

D'après notre expérience, la précision de la détermination de la position géographique (Geo) d'un utilisateur dans OWOX BI est, en moyenne, 20 % plus élevée que dans des rapports GA similaires.

GA définit une géolocalisation à l'aide de l'API Google. Cette méthode n'est pas toujours fiable car elle peut ne pas être prise en charge ou être bloquée dans certains navigateurs ou par des actions de l'utilisateur (notamment grâce au RGPD).

OWOX BI détermine la géolocalisation à l'aide d'un autre service Google - Cloud Load Balancing. Ce service est spécialisé dans l'équilibrage de la charge du réseau et la liaison des données géographiques au sein d'une adresse IP spécifique. En conséquence, le streaming ne nécessite aucune autorisation de l'utilisateur ; nous évitons les blocages et obtenons ainsi des géodonnées plus précises.

isTrueDirect est un paramètre qui spécifie si la session fait référence à un accès direct au site Web (trafic direct) ou doit être attribuée à une autre source.

La variable isTrueDirect dans GA est vraie lorsque :

• Il s'agissait d'un lien direct vers le site Web (l'utilisateur tapait l'adresse du site Web ou utilisait le signet).
• Si la source, le canal et les paramètres de campagne correspondent parfaitement pour deux visites consécutives. GA définit la deuxième session comme un trafic direct, bien qu'il soit initié par la publicité.

Dans les tables OWOX BI, nous définissons isTrueDirect = true uniquement dans le cas d'un accès direct au site Web. Il vous permet d'évaluer avec précision la notoriété de la marque et d'estimer correctement le coût d'une session particulière.

Les rapports avec le paramètre isTrueDirect vous aident à mesurer l'efficacité des annonces de notoriété de la marque. La croissance des entrées directes au début du parcours utilisateur permet d'évaluer l'apport des campagnes offline et de proximité pour votre marketing.

Contrairement à Google Analytics, vous pouvez collecter et utiliser les données client PII, y compris les e-mails et les numéros de téléphone dans Google BigQuery. Ne perdez pas les utilisateurs qui n'ont pas atteint la fin de l'entonnoir mais qui ont essayé de laisser une demande sur le site Web. Le téléphone ou le courrier électronique dans GBQ peut être utilisé pour segmenter les utilisateurs et leur envoyer des commentaires.

GA n'autorise pas le transfert de données personnelles sous forme non cryptée. Sinon, votre compte sera bloqué.

Dans les tables OWOX BI, nous utilisons les paramètres &tel et &email (ils ne sont pas pris en charge dans GA) pour transmettre les données personnelles à BigQuery de manière simple à utiliser.

Vous pouvez collecter des données sur les utilisateurs qui ont essayé de demander un prêt ou un autre service sur le site Web, mais pour une raison quelconque, ils n'ont pas pu soumettre de formulaire. Ensuite, le centre d'appels peut contacter ces clients et les aider à terminer la procédure par téléphone.

Si vous ne collectez pas l'ID utilisateur dans vos systèmes en ligne et hors ligne, le numéro de téléphone et l'e-mail peuvent être utilisés pour lier les données en ligne et hors ligne de vos utilisateurs.

Si vous n'avez pas d'analyste qui travaille avec des données brutes, utilisez le Report Builder dans notre Smart Data. Vous pouvez choisir des modèles prêts ou créer des tableaux de bord personnalisés sans aucune connaissance SQL. Smart Data vous permet de fusionner les données de streaming et de CRM pour obtenir une base fiable d'analyse et de prise de décision.

Nous ajoutons régulièrement de nouveaux rapports introuvables dans Google Analytics :

• Suivi des partenaires CPA.
• Analyse ROPO.
• Chemins de conversion des utilisateurs.
• Remboursement des commandes dans CRM.
• Efficacité du suivi des appels.

Vous pouvez essayer gratuitement toutes les fonctionnalités d'OWOX BI Smart Data.

Si vous avez besoin de rapports spéciaux selon les besoins de votre entreprise et votre système comptable, une équipe d'analystes OWOX BI peut vous aider. Inscrivez-vous à une démo pour demander un rendez-vous et connaître les détails.