Como exportar dados brutos do Google Analytics

Por que você precisa coletar dados brutos sem amostragem? Para obter dados completos para relatórios de marketing e estimar corretamente a eficiência da publicidade. Neste artigo, exploraremos como você pode coletar dados brutos e onde armazená-los.

O Google Analytics é líder indiscutível entre os serviços de análise da web. É gratuito, fácil de trabalhar e fornece informações sobre os principais KPIs de negócios online. No entanto, existem limitações no sistema que impedem que você se aprofunde nos dados e os explore por todos os lados.

1. Os dados que você vê nos relatórios do Google Analytics são sempre agregados e esse processo está além do controle.
2. Amostragem, que pode distorcer seriamente seus dados e levar a decisões de negócios erradas.
3. Os relatórios podem conter apenas um número limitado e apenas combinações específicas de parâmetros e índices.
4. Limite em um número de linhas.
5. Tempo de processamento de dados — Se você usa uma versão gratuita do Google Analytics, precisa aguardar de 24 a 48 horas para que o sistema conclua o processamento de dados.

Felizmente, a maioria desses problemas pode ser resolvida com dados brutos. Bem legal, hein? Vamos descobrir como obter dados brutos.

Configure a coleta automática de dados brutos por meio do OWOX BI Pipeline — todos os hits enviados do seu site para o Google Analytics são enviados para o Google BigQuery em paralelo. Graças a isso, cada hit fica disponível no GBQ em poucos minutos.

As tabelas com dados de sessão são formadas de acordo com o algoritmo OWOX BI — esse processo é descrito em detalhes em nossa central de ajuda. Ao mesmo tempo, OWOX BI utiliza uma estrutura de dados compatível com a estrutura GA, sob a qual são escritos muitos exemplos de consultas SQL. Isso economiza o tempo de sua equipe preparando relatórios.

A coleta de dados brutos de hits com o OWOX BI oferece os seguintes benefícios:

• Os dados de comportamento do usuário são transferidos para o Google BigQuery em tempo real e sem restrições quanto ao número de hits.
• No Google Analytics, o número de parâmetros do usuário é limitado: 20 na versão padrão e 200 na versão paga. Mas no GBQ você pode coletar quantos parâmetros personalizados quiser e criar relatórios mais profundos para análises detalhadas.
• Você pode construir relatórios em GBQ sem amostragem e restrições quanto ao número e compatibilidade de parâmetros e dimensões, para qualquer período.
• Ao contrário do Google Analytics, no BigQuery você pode coletar e usar dados pessoais de clientes, incluindo endereços de e-mail e números de telefone.
• OWOX BI calcula o valor de cada sessão. Graças a isso, você pode calcular o ROI/ROAS para usuários novos e recorrentes. E você pode avaliar a eficácia da publicidade para diferentes regiões, grupos de produtos, páginas de destino, versões para dispositivos móveis e aplicativos.
• O serviço permite atualizar retrospectivamente dados sobre custos, usuários e transações já carregados no GBQ. Você pode levar em consideração os pedidos adquiridos, as devoluções após a compra ou, por exemplo, descobrir o que o novo assinante estava fazendo em seu site 30 dias antes do registro.
• Todos os dias, o OWOX BI compara os dados em seu BigQuery com as informações do GA e relata discrepâncias significativas. Você não perde nenhum dado importante que rastreadores de terceiros não podem fornecer.

Como configurar a coleta de dados brutos de um site no Google BigQuery usando OWOX BI:

1. Use sua conta do Google para fazer login.
2. Escolha quais dados você deseja coletar no GBQ, forneça acessos e crie um pipeline de dados.
3. Copie o código de rastreamento e publique-o no site da maneira que for conveniente para você.

Você pode fazer download de instruções detalhadas sobre como configurar o upload de dados brutos do site para o BigQuery.

O Google Analytics permite que você recupere informações usando APIs. Em particular, a Core Reporting API permite que você acesse dimensões e métricas para a visualização de relatórios escolhida de fora da interface do GA.

Além disso, há uma solução alternativa que permitirá que você acesse dados para cada hit e facilite a integração de dados. Isso pode ser feito usando a funcionalidade da API junto com dimensões personalizadas no Google Analytics.

As dimensões personalizadas podem ser usadas para capturar, analisar e visualizar informações que não são apresentadas no Google Analytics por padrão. Você pode usar dimensões personalizadas como chaves para combinar informações do GA e de outros sistemas, bem como para aprimorar seus relatórios com informações relevantes para sua empresa. Por exemplo, você pode salvar o ID do usuário do seu banco de dados e usá-lo para integrar ações offline e online.

Exemplos de dimensões personalizadas:

1. Carimbo de data e hora do hit — uma dimensão personalizada com escopo de hit que captura o timestamp exato quando o hit ocorreu, no formato aaaa-mm-ddThh: mm: ss com o deslocamento de fuso horário.
2. ID de sessão — uma dimensão personalizada com escopo de sessão que coleta um valor único e aleatório, usado para identificar hits que pertencem à mesma sessão.
3. ID do cliente — uma dimensão personalizada com escopo de sessão que coleta o valor exclusivo atribuído ao dispositivo do cliente do cookie _ga.
4. User ID — uma dimensão personalizada com escopo de hit que coleta o valor que representa um usuário que fez login em seu site, permitindo que você identifique todas as sessões e hits desse usuário específico.

O crédito por esta lista de exemplos vai para Simo Ahava por sua excelente postagem sobre como melhorar a coleta de dados com dimensões personalizadas e o Gerenciador de tags do Google.

Por que uma API não é uma solução perfeita?

A API do Google Analytics resolverá o problema de amostragem? Depende de quanto tráfego seu site recebe. Se o tráfego não for muito alto e você escolher um período de relatório curto, a amostragem poderá ser evitada. Por outro lado, você terá que executar centenas de consultas para obter dados sem amostragem.

Como as informações serão exportadas do Google Analytics, também serão aplicadas todas as condições de processamento de dados do GA, incluindo a compatibilidade de dimensões e métricas e o tempo de processamento de dados. Mas para startups e pequenos projetos, a API pode funcionar como uma solução temporária. Simo Ahava tem um ótimo post em seu blog onde explora o que pode ser considerado falhas do esquema de dados do Google Analytics.

Também há limites e cotas específicos para a API do Google Analytics, como o número de dimensões e métricas em uma consulta e a quantidade de dados que você pode extrair por dia.

Além disso, você precisará de espaço para armazenar as informações exportadas. Isso nos leva a uma abordagem mais sofisticada que certamente será vantajosa para o seu negócio.

O Google Analytics 360 não é uma ferramenta barata, mas você recebe o que paga e muito mais. Além de se beneficiar dos recursos avançados da plataforma paga, os usuários do Google Analytics 360 podem exportar dados brutos em nível de sessão e hit do Google Analytics para o Google BigQuery por meio de integração nativa.

Existem duas opções de exportação que você pode escolher:

1. Dados exportados continuamente . Com esta opção, a cada dia você obtém um arquivo exportado com os dados do Google Analytics do dia anterior e três outros arquivos exportados com os dados do dia atual. Os dados dos serviços vinculados do Google também estão disponíveis.
2. Exporte dados continuamente . Essa opção permite que você obtenha dados mais recentes com exportações para o Google BigQuery a cada 10 a 15 minutos. Nesse caso, o Google BigQuery cobra US$ 0,05 a mais por cada gigabyte de dados processados. Observe que os dados de serviços vinculados ao Google Analytics — como DoubleClick for Publishers, AdSense e AdX — só podem ser exportados para o dia anterior, diariamente.

Quando você vincula inicialmente uma visualização do Google Analytics ao Google BigQuery, o Google Analytics 360 exporta automaticamente 10 bilhões de hits ou 13 meses de dados históricos para o BigQuery. Isso não é um grande negócio para aqueles que têm lutado com a amostragem todo esse tempo?

E aqui está a cereja do bolo: os usuários do Google Analytics 360 recebem US$ 500 por mês em crédito para cobrir o custo de importação, armazenamento e processamento de dados no Google BigQuery.

Você também pode clonar os hits que está enviando para o Google Analytics e processar essas informações clonadas em algum lugar fora do GA. Para isso, você pode tentar armazenar hits em seus próprios servidores ou usar uma solução baseada em nuvem. Os dados com escopo de hit sozinhos não fornecerão dados de origem, mídia ou campanha, nem fornecerão informações sobre o custo do anúncio ou o local. No entanto, essa abordagem permitirá que você obtenha acessos brutos assim que forem enviados do seu site e os use para fins que não exigem dados no nível da sessão, como enviar e-mails transacionais oportunos e identificar problemas com o desempenho do site.

Se você não quiser gastar tempo e dinheiro projetando seu próprio conector, uma equipe de analistas de BI da OWOX pode ajudá-lo. Inscreva-se para uma demonstração para solicitar uma reunião e descobrir os detalhes sobre como a OWOX pode atender às suas necessidades de negócios.

Seja você uma pequena startup ou uma grande empresa, há vários fatores a serem considerados ao escolher um sistema de armazenamento de dados. Seja qual for a opção escolhida, aqui está um resumo rápido do que você deve procurar:

• Capacidades de processamento de dados . Coletar dados brutos é bom e tudo, mas se você não conseguir processá-los e extrair as informações de que precisa, esses dados não serão úteis para você.
• A capacidade de dimensionar de forma flexível com base em seus requisitos de negócios . À medida que sua empresa cresce, você deseja que seu armazém se adapte de acordo.
• Padrões de alta segurança . Você precisa ter certeza de que seus preciosos dados estão protegidos e totalmente sob seu controle.
• Custo razoável .

Felizmente para todos nós, não há necessidade de reinventar a roda, especialmente porque bons serviços já estão disponíveis, como o Google BigQuery, um data warehouse baseado no Google Cloud Platform projetado para análise de dados.

O Google BigQuery permite armazenar e processar bilhões de linhas (isto é, gigabytes e petabytes de dados!) usando a sintaxe do tipo SQL. Velocidade de processamento incrível? Verificar. Escalabilidade? Verificar. Segurança de dados incomparável? Verificar. O serviço fornece tudo o que você precisa para análise avançada de grandes quantidades de dados.

O Google BigQuery é um serviço pago, mas você paga apenas pela quantidade de dados armazenados e processados. Os primeiros 10 gigabytes armazenados e 1 terabyte processado por mês são gratuitos. Depois disso, o Google cobra US$ 0,02 por cada gigabyte armazenado e US$ 5 por cada terabyte processado. De acordo com os termos de serviço no momento da redação, os novos usuários do BigQuery também recebem um crédito de US$ 300 para gastar em 12 meses.

Por que o Google BigQuery não é uma solução perfeita?

Se você é completamente novo no GBQ, talvez precise entender como as informações são organizadas neste serviço.

Em primeiro lugar, lembre-se de que o GBQ suporta campos aninhados e repetidos. Como os dados do Google Analytics são organizados em uma estrutura hierárquica de hits, sessões e usuários, talvez seja necessário aprender a consultar os dados para acessar valores desses campos aninhados e repetidos.

Confira essas referências convenientes para cláusulas JOIN e FLATTEN: talvez você precise usá-las muito. Outra coisa a ter em mente ao usar o BigQuery é que algumas métricas disponíveis na interface do Google Analytics não serão calculadas automaticamente, como o total de usuários e o total de eventos.

Exportar dados brutos do Google Analytics é mais fácil do que parece à primeira vista. Se você decidir investir em uma solução pronta para uso ou criar a sua própria, depende de você. Só não deixe esse grande ativo ficar sem uso.

Aproveite os dados que você coleta. Procure novos insights. Integrar. Experimentar. Conheça o ritmo do seu site e conecte-se com os clientes quando eles mais precisam de você. E lembre-se de que você sempre pode fazer perguntas na seção de comentários abaixo. Responderemos com prazer!

E se você quiser saber mais sobre o Google Analytics e outras ferramentas de análise, assine nossa newsletter. Todos os meses, você receberá dicas úteis para profissionais de marketing e analistas modernos.