Como fazer upload de dados do Facebook para o Google BigQuery

O Facebook é a rede social mais popular do mundo, com mais de 2,6 bilhões de usuários ativos mensais. Não surpreendentemente, tornou-se um canal promocional obrigatório para muitas empresas. Mais de 7 milhões de anunciantes promovem seus serviços nesta plataforma. Além disso, o Facebook possui as outras três maiores plataformas de mídia social: Instagram, WhatsApp e Facebook Messenger.

Outra razão para a popularidade do Facebook e do Instagram entre os anunciantes é o baixo preço de atingir um público e a capacidade de segmentar públicos com precisão.

O Facebook oferece ferramentas para empresas e profissionais de marketing para trabalhar com campanhas publicitárias: Facebook Ads Manager, Facebook Pixel e Facebook Analytics.

Por padrão, o Gerenciador de Anúncios fornece informações sobre cobertura, visualizações, cliques, custos de anúncios e assim por diante. E se você instalar o pixel do Facebook em seu site e configurar o rastreamento de eventos, poderá descobrir o comportamento dos usuários que acessam seu site clicando em um anúncio.

Você pode acompanhar todos os tipos de conversões em qualquer dispositivo que seu anúncio traga para seu site e ver quanto custa uma ação desejada. Os relatórios do Facebook mostram todos os cliques, registros, pedidos, compras, etc.

Os dados armazenados no perfil de publicidade do Facebook podem informar sobre a eficácia de apenas uma fonte. Mas e se um usuário chegar até você a partir do tráfego orgânico, depois retornar ao seu site, clicar em um link no Facebook e fizer uma compra depois de receber um e-mail? Como você pode avaliar a eficácia do canal do Facebook neste caso? Você não saberá como ele interage com outras fontes de marketing e como elas afetam o negócio como um todo até que você consolide seus dados.

Nas grandes empresas, o marketing não se limita ao Facebook, e as vendas podem ser online e offline. Portanto, é necessário combinar os dados do Facebook Ads Manager com os dados do seu site, outros serviços de publicidade e seu CRM para ter uma visão geral: quanto dinheiro é gasto em publicidade, quais canais de publicidade são mais eficazes e o financeiro resultados.

Ao fazer upload de dados de custos de serviços de publicidade para o Google BigQuery, você pode associar custos às atividades do usuário no site, chamadas para a central de atendimento, e-mails e pedidos comprados do sistema CRM. Isso ajuda você a configurar análises avançadas e avaliar o impacto de todos os esforços de marketing, online e offline, no desempenho dos negócios.

Os dados dos serviços de marketing enviados ao Google BigQuery podem ser usados ​​para calcular seu modelo de atribuição e, em seguida, o BigQuery pode transmitir os resultados aos sistemas para gerenciamento automático de lances. Além disso, no Google BigQuery, você pode criar públicos-alvo de usuários com base em dados combinados e resultados de cálculos de atribuição e, em seguida, enviar automaticamente esses públicos-alvo para serviços de publicidade. Por fim, você pode usar os dados coletados no BigQuery para criar os relatórios necessários sem restrições.

As plataformas de nuvem mais populares são Amazon Redshift, Google BigQuery e Microsoft Azure. Eles têm vantagens comuns sobre um data warehouse convencional:

• Você não precisa manter servidores e conectar novos quando a carga aumenta. O armazenamento em nuvem é dimensionado automaticamente.
• As plataformas de nuvem são mais rápidas que o armazenamento tradicional e redistribuem automaticamente a carga.
• Você não precisa instalar um servidor em seu computador para entrar no armazenamento em nuvem. Basta abrir seu navegador e fazer login na nuvem.

Escolhemos o Google BigQuery e o recomendamos aos nossos clientes pelos seguintes motivos:

• O Google é líder no número de fontes de dados para profissionais de marketing: anúncios, análises, Search Console, YouTube. Todos esses serviços se integram perfeitamente ao BigQuery.
• Ele processa grandes quantidades de dados rapidamente.
• É fácil começar a usar o BigQuery sem a ajuda de administradores de banco de dados. Basta criar uma conta do Google Cloud.
• Você paga apenas pelos serviços que usa.
• Existem serviços e soluções prontas para fazer upload de dados para o Google BigQuery sem a ajuda de desenvolvedores.

O Google BigQuery não tem uma ferramenta integrada para importar dados do Facebook Ads Manager. Você pode resolver esse problema de várias maneiras: fazendo upload de dados manualmente, escrevendo seus próprios scripts ou usando serviços especializados como OWOX BI. Vamos dar uma olhada em cada uma dessas opções.

Você pode fazer upload de dados de custo do perfil de publicidade do Facebook em arquivos separados e enviá-los manualmente por meio da interface do BigQuery. As desvantagens deste método são óbvias: muito trabalho desnecessário e nenhuma automação.

Você também pode escrever scripts que carregarão os dados necessários de um serviço de marketing. No entanto, você precisará monitorar e oferecer suporte constantemente a esses scripts. Você também terá que gastar recursos do desenvolvedor para combinar dados de contas diferentes e em datas diferentes, verificar a qualidade dos dados e responder rapidamente a possíveis alterações nas APIs de serviços de publicidade. Além disso, você precisará atualizar os dados retrospectivamente se eles forem alterados nos anúncios do Facebook, converter os custos de todas as fontes de publicidade em uma única moeda etc. Se você não fizer isso, dados de baixa qualidade podem levar a soluções abaixo do ideal. custar muito ao seu negócio.

Com o OWOX BI, você pode configurar a importação automática de custos de diferentes serviços de publicidade para o Google Analytics e carregar dados de custo para armazenamento em nuvem em um fluxo de dados. Se você usar esse método, considere as limitações do Google Analytics:

• Um máximo de 90 MB pode ser carregado em um único conjunto de dados por dia.
• Você pode baixar no máximo 50 arquivos por dia por recurso.
• O Google Analytics pode levar até 24 horas para processar os dados enviados e disponibilizá-los nos relatórios.
• Ao fazer upload de uma grande quantidade de dados, pode haver problemas com a API do Google Analytics.
• Você não pode fazer upload de mais parâmetros do que o esquema do conjunto de dados de custo do Google Analytics pode conter.

OWOX BI tem fluxos de dados diretos do Facebook, Instagram e LinkedIn, com os quais você pode fazer upload de dados brutos de todas as suas campanhas no BigQuery. Esses esquemas de dados contêm de 80 a 200 parâmetros, o que garante uma alta granularidade de dados para seus relatórios.

Quais são os benefícios da integração direta do Facebook com o Google BigQuery?

OWOX BI oferece uma solução completa pronta para uso — você não precisa fazer nada manualmente. O serviço coleta todos os dados que você precisa em um formato conveniente e monitora sua qualidade e relevância.

Se os dados históricos forem alterados nos anúncios do Facebook, o OWOX BI atualizará os dados carregados no BigQuery automaticamente. Além disso, se necessário, você pode fazer upload de seus dados históricos dos últimos seis meses. Isso ajudará você a avaliar a dinâmica da campanha.

Como a importação de dados de custo ocorre sem a participação do Google Analytics:

1. Você obtém os dados mais rapidamente: os custos são enviados diretamente para o BigQuery e você não precisa esperar mais 24 horas para que o Google Analytics os processe.
2. Os dados são baixados sem limites do Google Analytics de 90 MB e 50 downloads por dia.
3. Você pode fazer download de estatísticas de várias contas de anúncios em uma única tabela do BigQuery simplesmente especificando o mesmo conjunto de dados ao criar um stream.
4. Os dados da fonte de publicidade são compilados em uma tabela única no Google BigQuery. Isso simplifica muito a compilação de consultas e análise de dados baixados.
5. Os dados de custo são enviados ao BigQuery em duas moedas. Um campo armazena os custos na moeda original do serviço de publicidade. Você pode especificar a outra moeda para converter os dados de custo ao criar o fluxo. Os custos convertidos são úteis para relatórios em que os dados de diferentes fontes devem ser convertidos em uma única moeda.

1. Certifique-se de que seus links de publicidade tenham tags UTM.
2. Na página inicial do OWOX BI, clique em Criar pipeline:

3. Como fonte, selecione Anúncios do Facebook :

4. Como destino, selecione Google BigQuery :

Se você não tem um projeto no Google BigQuery, saiba como começar a trabalhar com armazenamento em nuvem e criar um conjunto de dados.

5. Selecione uma conta do Facebook (ou conceda acesso a uma nova conta do Facebook) da qual você deseja exportar os dados de custo do anúncio:

Sob nenhuma circunstância o OWOX BI altera as configurações de sua conta ou campanhas publicitárias!

Para a maioria das plataformas de publicidade, o OWOX BI solicita acesso apenas para leitura de dados. Esse nível de acesso é suficiente para obtermos estatísticas e informações sobre marcação de links em seus anúncios. Mas nem todos os serviços de publicidade têm o nível de acesso ou trabalho que esperamos. Por exemplo, para importar dados brutos do Facebook para o Google BigQuery usando o OWOX BI, você precisa da permissão ads_management.

6. Selecione uma conta conectada ou conceda acesso a uma conta do Google BigQuery onde você deseja armazenar os dados exportados:

7. Selecione um projeto do Google BigQuery e um conjunto de dados para o qual você deseja enviar seus dados (ou crie um novo):

Observação! Para configurar a coleta de dados, sua Conta do Google deve receber os papéis de Editor de dados do BigQuery e Usuário do BigQuery para o projeto de destino. Caso contrário, o BigQuery não permitirá que você faça upload de dados.

Para verificar/conceder essas permissões, acesse a página Identity and Access Management em seu projeto do Google Cloud Platform. Leia mais na documentação do Google.

8. Especifique as configurações para seu pipeline:

• Selecione a data a partir da qual você deseja fazer upload dos dados de custo. Você pode configurar uma data futura ou passada. Se você estiver escolhendo uma data passada, saiba mais sobre as limitações na importação de dados históricos.
• Escolha a fonte/mídia que você deseja aplicar aos dados importados por padrão. Os valores padrão que você especificar para a origem/canal UTM serão gravados nas tabelas de dados de custo somente se o OWOX BI não receber os valores reais do parâmetro UTM. Para obter mais informações sobre por que você deve especificar valores padrão para origem/canal UTM nas configurações do pipeline, consulte a Ajuda.

Importante! A qualquer momento, você pode alterar as configurações de origem/mídia na página do pipeline para qualquer valor, exceto google/orgânico. Os valores especificados serão aplicados aos novos dados importados após fazer alterações e dados históricos na janela de atualização.

9. Clique em Criar pipeline .

Feito! Os dados do dia anterior aparecerão na tabela no conjunto de dados especificado diariamente às 00:00 (UTC). Dependendo da quantidade de dados e dos recursos da API do serviço de publicidade, a importação de dados pode levar até 24 horas. Veja este artigo para a estrutura da tabela.

Se as informações em um serviço de publicidade forem alteradas retrospectivamente, o OWOX BI atualizará todos os dados enviados ao BigQuery dentro da janela de atualização estabelecida.

No perfil de publicidade do Facebook e nos sistemas de análise da web, você pode analisar os fundamentos do desempenho da publicidade. Por exemplo, você pode analisar CTR, CPC, CPA, CR, sessões, profundidade de visualização, taxa de rejeição, RPC e ROAS. Para pequenas empresas com um pequeno número de canais de publicidade, isso é suficiente.

Se você tem muitos pontos de contato com os clientes, tem lojas offline e deseja ver todo o caminho até a compra, no entanto, deve pensar em configurar análises avançadas e criar um painel atualizado automaticamente com todas as métricas que lhe interessam. Isso permitirá que você tenha sempre informações atualizadas à mão, faça uma avaliação abrangente da eficácia da publicidade e tome decisões importantes com mais rapidez.