Como evitar a amostragem e coletar dados completos para análises avançadas

Você já se perguntou como evitar amostragem e limites nos relatórios padrão do Google Analytics? Como você pode obter dados completos para relatórios de marketing? Existem várias soluções, como:

• Mude para o Google Analytics 360 pago e configure a exportação de dados brutos para o Google BigQuery (GBQ).
• Use o aplicativo Google Analytics+WEB. O produto ainda está na versão beta e permite que você baixe dados de comportamento do usuário para o Google BigQuery gratuitamente.
• Use outros serviços que coletam dados do site para o Google BigQuery.

Cada uma dessas soluções tem suas especialidades e limitações. No artigo, explicamos esses recursos em detalhes e descrevemos como usar o OWOX BI.

A principal limitação do Google Analytics 360 é seu alto custo. As ações do usuário mais recentes aparecem nas tabelas do BigQuery em mais de 15 minutos. Para definir essa taxa de atualização de dados, você terá que pagar adicionalmente: por padrão, a tabela de sessões é atualizada três vezes ao dia.

Em algumas situações, você precisa pagar mais pelo processamento de solicitações no Google BigQuery. A tabela de exportação do GA 360 contém muitos níveis de aninhamento e campos que podem ficar em branco em 80% dos casos. Quanto mais níveis de aninhamento estiverem na tabela, mais caras serão as consultas. Se você tiver muitos relatórios para atualizar diariamente ou semanalmente, o processamento de dados causará a maior parte dos seus custos de GBQ.

App+Web coleta dados em outra estrutura que não o padrão do Google Analytics. Se em GA, tudo é baseado em sessões, em App+Web — em usuários e eventos. Pode ser um problema para muitos analistas e profissionais de marketing que se acostumaram com o GA – eles precisam explorar uma nova estrutura de dados, refazer o sistema de métricas do site e reconstruir os relatórios existentes. Outros serviços que coletam dados do site para GBQ em estrutura própria também podem ter esse problema.

Como a exportação do GA 360 e App+Web para o Google BigQuery é uma representação dos dados coletados no Google Analytics, ela não fornece uma atualização retrospectiva dos registros. Por exemplo, uma devolução de compra normalmente será registrada como uma sessão separada que não será associada a uma sessão de pagamento. Portanto, a receita correta desse pedido deve ser recalculada manualmente.

Nenhuma das soluções mencionadas pode transferir os custos de sua campanha publicitária no nível da sessão para o Google BigQuery. Isso significa que você não saberá quanto gastou atraindo um segmento específico de usuários. Você não pode calcular ROI e DRR para diferentes coortes, grupos de produtos e páginas de destino.

Sabendo dessas limitações, nós da OWOX decidimos melhorar a experiência de processamento de dados brutos para qualquer tipo de negócio. Realizamos centenas de entrevistas de produtos e recebemos as seguintes solicitações:

1. Os dados do site devem ser totalmente coletados no Google BigQuery de forma não agregada.
2. Os dados de comportamento do usuário devem ser entregues ao Google BigQuery quase em tempo real.
3. As tabelas de sessão no Google BigQuery devem conter dados de custos de publicidade.
4. A estrutura da tabela deve ser compacta e o mais completa possível para usar as consultas de dados de maneira otimizada.
5. Os dados devem ser sincronizados por parâmetros-chave no período histórico.
6. Deve haver a possibilidade de comparar os dados do GBQ com os dados do GA se ocorrerem discrepâncias significativas.

Consideramos todas essas solicitações e desenvolvemos nosso próprio streaming de dados do site para o Google BigQuery.

Vamos dar uma olhada em como o OWOX BI ignora as restrições do Google Analytics e a exportação padrão do BigQuery e como as empresas podem se beneficiar disso.

A ideia da amostragem é construir relatórios sobre amostras dos dados, não todo o volume de dados disponíveis. Se a amostra for muito pequena, você não poderá confiar em um relatório criado com base nessa amostra. Com o OWOX BI, você pode coletar dados completos sem amostragem para criar relatórios mais precisos e tomar decisões informadas por dados.

Cada ação do usuário no site (visualização de página, clique no botão, visualização de banner ou pedido) é transmitida ao GA por uma mensagem separada — hit. Deve-se considerar que não há restrições quanto ao número de acertos no momento da coleta de dados.

A interface do GA aplica um limite de ocorrências ao processamento de dados e relatórios. Assim, você obtém amostragem de dados ou tabelas agregadas (linha outra no relatório). Além disso, se você quiser usar um segmento ou criar um relatório manual, ele será exibido principalmente em um formulário de amostra.

O serviço copia o conteúdo do hit quando ele sai do seu site e o envia para seu projeto no Google BigQuery. Assim, você obtém dados brutos sem amostragem com hits coletados e processados ​​ilimitados.

Digamos que você seja forçado a coletar tráfego da página promocional, dados de parceiros de publicidade ou estatísticas da página de destino para cada marca/fabricante em propriedades separadas do Google Analytics para coletar dados mais valiosos. De qualquer forma, para atender às limitações do GA, você precisa desativar o tráfego valioso para você. Quando você pode coletar esses dados em uma única tabela no Google BigQuery por meio do OWOX BI. Ele fornece uma base para soluções estratégicas e uma visão abrangente da eficácia do site e da campanha publicitária.

Com o OWOX BI, você pode enviar rapidamente um e-mail acionado ou detectar uma anomalia nos dados coletados do site no Google BigQuery, pois os dados comportamentais do usuário aparecem em seu projeto em 1 a 5 minutos.

Todos os dados coletados diariamente refletem em GA só depois de 48 horas (em GA 360 — depois de 4 horas). Os relatórios em tempo real exibem um número limitado de parâmetros e métricas e não permitem que você personalize as ações do usuário.

A exportação padrão do GA 360 para GBQ pode operar em dois modos:

• Faça upload de dados uma vez a cada 8 horas aproximadamente gratuitamente (você paga por uma licença do GA 360 e armazenamento de dados em GBQ).
• Carregue dados a cada 15 minutos (você tem que pagar mais por cada terabyte processado).

App+WEB cria duas tabelas:

• Transitional — contém registros de eventos para o dia atual. A tabela é atualizada a cada 15 minutos e excluída após a geração da tabela de dia inteiro.
• Tabela com dados do dia inteiro — é gerada uma vez por dia.

OWOX BI envia dados imediatamente do site para o seu projeto GBQ. Você recebe dados comportamentais do usuário não agregados completos dentro de 1 a 5 minutos após a ocorrência do evento.

Ao monitorar a atividade do usuário no site em tempo real, você pode estimular as vendas com campanhas de e-mail de gatilho e ofertas pessoais. Por exemplo, quando um usuário adicionou um item a um carrinho de compras, mas não comprou nada ou não assinou o depósito no site.

Também pode ajudá-lo a detectar e corrigir problemas no site a tempo: você pode receber notificações de gatilhos sobre erros de código do site e diminuição de tráfego ou conversões.

Com o OWOX BI, você obtém uma visão ampla da atividade do usuário em seu site, mesmo que eles façam pedidos com mais de 15 itens ou naveguem em grandes listas de itens.

Há um limite no GA para o tamanho do hit transferido — 8 KB. Por exemplo, se uma mensagem de transação exceder esse limite, ela não entrará no GA.

No OWOX BI, o tamanho máximo do hit transferido para o Google BigQuery é aumentado para 16 KB.

Um hit pode exceder 8 KB contendo informações sobre uma lista de produtos quando você acompanha a navegação do usuário nas páginas do catálogo com o comércio eletrônico avançado. Acontece se:

• Mais de 10 itens são enviados em um hit;
• Cada item tem um parâmetro adicional.

Nesse caso, o hit compactado não entrará no GA. No entanto, você pode encontrá-lo nos dados brutos no GBQ e criar um relatório mais preciso nas listas de produtos visualizadas graças ao OWOX BI.

Digamos que você queira coletar mais informações sobre o cliente e o próprio produto, juntamente com solicitações de produtos bancários. Com o OWOX BI, você tem estatísticas de conversão mais precisas.

OWOX BI calcula o valor de cada sessão. Ele permite calcular o ROAS para usuários novos e recorrentes. Além disso, você pode fazer as seguintes ações:

• Compare a lucratividade das coortes criadas entre os clientes que viram o banner e os que não viram.
• Descubra quanto você gasta e ganha em cada um dos grupos de produtos.
• Avalie a eficácia da publicidade para diferentes regiões, páginas de destino, versões para dispositivos móveis e aplicativos.

Você pode carregar manualmente os custos de anúncios de diferentes serviços de publicidade no GA. No entanto, você não sabe quanto gastou para atrair um determinado cliente ou segmento de usuário porque os dados de custo no GA são agregados e vinculados a campanhas publicitárias.

App+WEB também não permite que você transfira os custos da campanha publicitária no nível de sessão/usuário para o Google BigQuery.

OWOX BI carrega automaticamente os custos de anúncios para o Google Analytics e Google BigQuery, distribuindo-os entre as sessões de acordo com as tags UTM. É por isso que você conhece o custo de cada sessão em 5 tags UTM principais (origem, mídia, campanha, palavra-chave, conteúdo) e pode criar relatórios sobre CPC, CPA, CPO e CRR em dados brutos. Melhora a precisão do seu relatório e ajuda a alocar seu orçamento de marketing com mais eficiência.

Com o OWOX BI, você pode descobrir quanto gastou em cada sessão e agrupar custos e receitas por determinado usuário, coorte ou página de destino.

Por exemplo, você deseja entender quais grupos de mercadorias devem ser promovidos para gerar mais lucro, pois um produto que atrai um usuário não é obrigatório o mesmo produto que o usuário compra. Você precisa agrupar seus custos de anúncios digitais em categorias para encontrar as categorias de produtos mais eficazes para promover. Isso pode ser feito com o OWOX BI transferindo dados de custo de GA para GBQ e distribuindo custos em todas as sessões com tags UTM. Nesse caso, tanto os custos quanto as receitas serão propriedades da sessão.

Com o OWOX BI, não há necessidade de ações adicionais para avaliar o resgate de pedidos, devoluções de compras ou para descobrir o que um novo assinante tem feito em seu site nos últimos três meses. Nosso serviço permite que você atualize retrospectivamente os dados carregados no Google BigQuery.

No GA padrão, você só pode atualizar retrospectivamente o status do pedido se tiverem passado menos de 4 horas desde o pedido até o pagamento. Caso contrário, o pagamento é registrado no GA como uma nova sessão. Por exemplo, se você adicionar uma devolução em 3 de abril para a transação feita em 18 de março, no relatório de 18 de março, ainda verá a soma total da transação. Assim, a distribuição do valor pelos canais não será correta devido a esse erro.

No momento, o Protocolo de avaliação não está disponível no App+Web. Ele impede a atualização retrospectiva do status do pedido ou o download de informações do usuário.

Nas tabelas que o OWOX BI preenche com dados no Google BigQuery, você pode atualizar retrospectivamente as seguintes informações:

• Detalhes da transação — você pode inserir uma devolução, devolução parcial ou alterar a soma por um período de 30 dias.
• Informações do usuário — se um usuário tiver feito login ou logado em um site, sua ID de usuário será rebobinada e indicada para sessões que apareceram nos últimos 30 dias antes da data de autenticação.
• Dados de custo por 90 dias (nos campos adCost, attributeAdCost), incluindo custos de todos os serviços de publicidade importados para o Google Analytics.

Se o usuário com User ID solicitou crédito hoje, este User ID aparecerá em todas as sessões anteriores do mesmo dispositivo. Você pode usar essas sessões para estimar o caminho de um usuário até seu pedido, atribuir receita de campanhas publicitárias de maneira mais precisa e prever a conversão de outros usuários.

Com o OWOX BI, é mais fácil considerar devoluções e medir a eficácia das campanhas publicitárias — as tabelas de streaming sempre mostram a soma do pedido atual. Se o retorno foi em outro dia, não é necessário procurá-lo nas tabelas do outro dia.

Se você planeja construir um relatório de ROPO (Research Online Purchase Offline), é mais fácil fazer cálculos quando o User ID é designado para o número máximo de sessões históricas do cliente.

Conforme mencionado acima, a tabela de exportação padrão do Google Analytics 360 para o Google BigQuery tem muitos campos aninhados e vazios, o que aumenta o custo de processamento desses dados.

OWOX BI ajuda você a otimizar custos de armazenamento e processamento de dados em GBQ. Há menos campos em branco nas tabelas de streaming, menos níveis de aninhamento, de modo que as próprias tabelas e suas consultas “pesam” menos.

OWOX BI ajuda você a evitar limitações de GA na coleta de dados. Se você planeja rastrear todas as atividades do usuário, desde a visualização do banner até a seleção de serviços adicionais no pedido, todos os hits adicionais podem ser enviados diretamente ao Google BigQuery.

Todas as informações sobre a interação do usuário com seu site são transmitidas ao Google Analytics por meio de hits separados — mensagens para o servidor GA.

No momento da criação do hit, o OWOX BI substitui o endereço para envio de dados do recurso GA pelo endereço do seu projeto no Google BigQuery. Podemos duplicar todas as ocorrências endereçadas ao GA em tabelas GBQ ou bloquear (total ou parcialmente) todos os dados no GA e enviar ocorrências apenas para tabelas GBQ.

Esta solução tem as seguintes vantagens:

1. Você obtém dados sem amostragem do site na conhecida estrutura do Google Analytics 360, com milhares de consultas SQL que já foram escritas para ele. Ele economiza seu tempo e diminui o tempo gasto em consultorias regulares de analistas.
2. Você pode configurar a coleta de dados sem diminuir a velocidade de carregamento do seu site. Isso é possível porque o OWOX BI duplica os hits GA em vez de sobrecarregar seu GTM com um contador JS separado.
3. Garantimos SLA no contrato e temos a funcionalidade necessária para monitorar a qualidade dos dados e armazenar informações automaticamente caso seu projeto do Google Analytics e Google Cloud falhe. Você pode ter certeza da qualidade dos dados de seus relatórios sem esforços adicionais.

Com o OWOX BI, também é possível coletar dados de comportamento do usuário sem o contador JS do Google Analytics. Podemos coletar dados de hits do seu site no Google BigQuery com nosso código de rastreamento.

Se você planeja coletar dados confidenciais do site (tipo de cliente, detalhes, parâmetros do pedido), envie-os diretamente para o Google BigQuery, onde o padrão de segurança Tier 4 regula a proteção das informações. Qualquer informação sensível pode ser transmitida em formato hash ou criptografado.

Digamos que haja mais de 1.000 banners em seu site. Você planeja rastrear visualizações e cliques para cada um deles e medir como isso afetou a compra nas sessões atuais ou seguintes. Se você acompanhar as visualizações reais de cada banner, a quantidade de dados enviados ao GA excederá o limite em 20 a 25%.

Com o OWOX BI, você pode enviar todas as estatísticas de banner diretamente para o Google BigQuery (ignorando o GA) e obter insights sobre a eficácia das campanhas promocionais internas. Assim, você não perde nenhuma informação devido à amostragem e agregação de dados no GA padrão e ao ultrapassar os limites do GA 360.

Com o OWOX BI, você pode transferir um número ilimitado de parâmetros e dimensões do usuário do site para o Google BigQuery. Ele permite que você segmente os usuários por qualquer recurso e crie relatórios mais detalhados para uma análise aprofundada.

O Google Analytics também tem restrições quanto ao número de métricas personalizadas coletadas do site: 20 para a versão padrão e 200 para o GA 360. App+Web também tem limites bastante rígidos: 500 eventos, 25 parâmetros de evento e 25 propriedades do usuário.

O ID de usuário OWOX ajuda você a otimizar seus custos de promoção e remarketing se você tiver uma rede de sites com públicos-alvo cruzados. Você também pode avaliar o efeito pós-visualização de banners e anúncios de mídia.

Com a ajuda de cookies de terceiros, o OWOX BI coloca o mesmo identificador em diferentes sites (pode ser seu outro site em um domínio diferente ou publicidade de mídia em uma plataforma de publicidade independente). Em seguida, esse ID reúne sessões de vários sites e você poderá analisar seus públicos de interseção.

Se o seu grupo de empresas é composto por várias marcas e seus sites, o OWOX BI pode medir a interseção de seus públicos e mostrar como otimizar o orçamento para campanhas de remarketing e divulgação.

Em nossa experiência, a precisão de determinar a posição geográfica (Geo) de um usuário no OWOX BI é, em média, 20% maior do que em relatórios GA semelhantes.

O GA define uma geolocalização usando a API do Google. Esse método nem sempre é confiável porque pode não ser suportado ou bloqueado em alguns navegadores ou por ações do usuário (especialmente graças ao GDPR).

OWOX BI determina a geolocalização usando outro serviço do Google — Cloud Load Balancing. Este serviço é especializado em balancear a carga da rede e vincular dados geográficos em um endereço IP específico. Assim, o streaming não requer nenhuma permissão do usuário; evitamos o bloqueio e assim obtemos geodados mais precisos.

isTrueDirect é um parâmetro que especifica se a sessão se refere ao acesso direto ao site (tráfego direto) ou deve ser atribuída a outra fonte.

A variável isTrueDirect no GA é verdadeira quando:

• Era um link direto para o site (o usuário digitava o endereço do site ou usava o marcador).
• Se os parâmetros de origem, canal e campanha corresponderem totalmente em duas visitas consecutivas. O GA define a segunda sessão como tráfego direto, embora seja iniciada por publicidade.

Nas tabelas OWOX BI, definimos isTrueDirect = true somente no caso de acesso direto ao site. Ele permite que você avalie o reconhecimento da marca com precisão e estime o custo de uma determinada sessão corretamente.

Os relatórios com o parâmetro isTrueDirect ajudam a medir a eficácia dos anúncios de reconhecimento da marca. O crescimento das entradas diretas no início da jornada do usuário possibilita avaliar a contribuição das campanhas off-line e de divulgação para o seu marketing.

Ao contrário do Google Analytics, você pode coletar e usar dados de PII do cliente, incluindo e-mail e números de telefone no Google BigQuery. Não perca usuários que não chegaram ao final do funil, mas tentaram deixar um pedido no site. Telefone ou e-mail no GBQ podem ser usados ​​para segmentar usuários e enviar feedback.

O GA não permite a transferência de dados pessoais de forma não criptografada. Caso contrário, sua conta será bloqueada.

Nas tabelas OWOX BI, usamos os parâmetros &tel e &email (não são compatíveis com GA) para transmitir os dados pessoais ao BigQuery de maneira fácil de usar.

Você pode coletar dados sobre usuários que tentaram solicitar um empréstimo ou outro serviço no site, mas, por algum motivo, não conseguiram enviar um formulário. Em seguida, o call center pode entrar em contato com esses clientes e ajudá-los a finalizar o procedimento pelo telefone.

Se você não coletar a ID de usuário em seus sistemas online e offline, o número de telefone e o e-mail poderão ser usados ​​para vincular dados online e offline de seus usuários.

Se você não tiver um analista que trabalhe com dados brutos, use o Report Builder em nosso Smart Data. Você pode escolher modelos prontos ou criar painéis personalizados sem nenhum conhecimento de SQL. O Smart Data permite mesclar dados de streaming e CRM para obter uma base confiável para análise e tomada de decisões.

Adicionamos regularmente novos relatórios que não podem ser encontrados no Google Analytics:

• Monitoramento de parceiros CPA.
• Análise ROPO.
• Caminhos de conversão do usuário.
• Resgate de pedidos no CRM.
• Eficiência no rastreamento de chamadas.

Você pode experimentar todos os recursos do OWOX BI Smart Data gratuitamente.

Se você precisar de relatórios especiais de acordo com as necessidades do seu negócio e sistema contábil, uma equipe de analistas de BI da OWOX pode ajudá-lo. Inscreva-se para uma demonstração para solicitar uma reunião e descobrir os detalhes.