Como monitorar a qualidade de seus dados quando você tem dezenas de sites: um estudo de caso da FxPro

A FxPro é uma das principais corretoras on-line do mundo e fornece aos comerciantes acesso a mercados financeiros, de ações, metais, energia e outros há 15 anos.

Com quatro plataformas de negociação online disponíveis para web e mobile, a FxPro tem uma base de usuários de mais de 870.000 traders.

A empresa ganhou mais de 70 prêmios internacionais, incluindo vários prêmios anuais, como “melhor provedor forex”, “melhor corretor forex”, “melhor ferramenta/serviço” e “melhor plataforma”.

A FxPro trabalha com o OWOX BI há vários anos. Eles começaram consolidando dados em armazenamento em nuvem de diferentes fontes e criando relatórios com base nesses dados. Agora, os analistas OWOX BI consultam a FxPro para testar hipóteses, construir estratégias de marketing orientadas por dados e implementar produtos OWOX BI e Google.

Neste artigo, os especialistas em marketing da FxPro compartilham a história de como o OWOX BI os ajudou a implementar o monitoramento de dados e relatórios de anomalias em dezenas de sites e serviços localizados.

Na FxPro, coletamos e analisamos dados sobre todas as ações de nossos usuários em nossos sites e aplicativos móveis iOS e Android. Graças a esses dados, podemos:

• controlar a qualidade dos dados gerenciando contas de negociação e operações com fundos, verificando documentos carregados, atualizando automaticamente os dados no Calendário e monitorando as ações de negociação nos mercados.
• analisar a qualidade do tráfego adquirido pelos principais indicadores de negócios: cadastros, depósitos, taxas de conversão, etc.
• analisar a eficiência de curto e longo prazo dos canais de tráfego pago.
• analisar a eficiência do tráfego de SEO.

Com 870.000 usuários, precisamos considerar uma enorme quantidade de dados e um grande número de fatores comportamentais. Além disso, nosso site possui versões em 28 idiomas, a maioria em domínios dedicados e cada domínio deve ser monitorado de forma independente.

Ter dados precisos e completos é crucial para tomar decisões de marketing. Combinados com a velocidade de recuperação de dados, esses fatores afetam diretamente a qualidade do serviço que prestamos.

Dados incompletos ou imprecisos podem levar a conclusões erradas ao analisar canais de aquisição de tráfego. Isso, por sua vez, pode levar a investir em canais ineficazes e não conseguir novos usuários – ou simplesmente perder dinheiro.

Além disso, não obter dados a tempo afeta nossa capacidade de reagir a problemas emergentes no trabalho de nossos serviços e sites.

Como um corretor de forex global, a incapacidade de reagir pode levar a danos materiais e de reputação.

Para evitar isso, precisamos:

• coletar todos os dados de comportamento do usuário de todos os nossos sites e aplicativos móveis e armazenar esses dados em um só lugar. Os dados coletados devem ser completos, brutos e sem amostragem.
• analisar os dados coletados usando uma única ferramenta.
• obtenha atualizações e alertas oportunos sobre possíveis anomalias e discrepâncias de dados discriminadas por site, aplicativo e país.

Aqui está como fazemos isso.

Coletamos dados brutos e sem amostragem de comportamento do usuário e os armazenamos no Google BigQuery. Para coletar esses dados, usamos o OWOX BI.

Os dados do site são coletados com o pipeline de streaming de dados do site da OWOX BI. Os dados de aplicativos para dispositivos móveis são coletados por meio do pipeline AppsFlyer → Google BigQuery. Todos esses dados são enviados ao BigQuery quase em tempo real.

Também usamos o OWOX BI para coletar dados de cliques e custos de anúncios no Google Analytics de plataformas de aquisição de tráfego, como Facebook e Twitter. Eventualmente, esses dados também vão do Google Analytics para o BigQuery.

Como resultado, todos os nossos dados críticos são consolidados em um lugar onde podemos moldá-los conforme a necessidade usando consultas SQL. Depois que os dados são coletados e moldados, podemos passá-los para ferramentas de visualização de dados como Google Data Studio e PowerBI.

Coletar todos os dados de que precisamos em um só lugar é apenas metade do trabalho.

Não menos importante é:

1) obter relatórios legíveis e acionáveis ​​com base nesses dados

2) monitorar a qualidade, precisão e integridade desses dados

Os analistas de BI da OWOX resolveram essas duas tarefas para nós. O primeiro foi resolvido com a implementação de relatórios do Google Data Studio, o segundo com o Planilhas Google.

Com o OWOX BI, conectamos os dados armazenados no BigQuery ao Google Data Studio e criamos um relatório complexo que é atualizado automaticamente quando há alterações nos dados de origem.

O relatório apresenta sete painéis:

1. Métricas gerais — número de sessões, taxas de conversão e rejeição, visualizações de página e receita:

2. Dinâmica das principais métricas por canal de tráfego:

3. Dinâmica das principais métricas por e-mail e outras fontes de tráfego:

4. Dinâmica das principais métricas por tipo de dispositivo do usuário (celular/computador/tablet):

5. Taxa de conversão por país:

6. Taxa de conversão por domínio do site:

7. Taxa de conversão por objetivo de marketing para canais de anúncios, tipos de dispositivos, países, domínios de sites e versões de navegadores:

Os analistas de BI da OWOX configuraram um sistema de monitoramento de dados usando o Google Sheets e o Apps Script. Este sistema verifica automaticamente os dados e nos notifica sobre possíveis anomalias e comportamentos inesperados.

Aqui está como funciona.

Os dados usados ​​para criar relatórios no Data Studio também estão conectados ao Planilhas Google, onde várias verificações programadas são executadas automaticamente. O Planilhas Google verifica as principais métricas do site, incluindo número de sessões, taxas de conversão e churn, número de visualizações de página, eventos e transações, bem como receita total e média.

Após a verificação dos dados, recebemos um relatório de e-mail automatizado descrevendo todas essas métricas acompanhadas de uma breve visão geral do status dos dados e das possíveis causas de anomalias nos dados.

Veja um exemplo de tal relatório:

Essas mesmas revisões de dados curtas também aparecem nos painéis do Data Studio. No entanto, graças aos alertas por e-mail, nossos analistas nem precisam abrir o Data Studio regularmente para saber sobre possíveis anomalias.

Assim que recebemos uma notificação, nossa equipe FxPro verifica os dados imediatamente e decide se há problemas com os dados e, em caso afirmativo, como resolvê-los.

• Graças aos recursos de coleta de dados do OWOX BI, às possibilidades de visualização do Google Data Studio e ao sistema de alerta personalizado flexível configurado pelos analistas do OWOX, nossos departamentos de SEO, PPC e TI podem obter facilmente todas as informações necessárias sobre os principais indicadores de qualidade para serviços FxPro .
• Agora podemos coletar todos os dados de que precisamos sobre o comportamento de nossos usuários em mais de 170 países, monitorar a eficiência de nossos anúncios online e SEO e acompanhar a estabilidade geral de nossos serviços.
• O relatório atualizado automaticamente e facilmente personalizável no Data Studio pode ser lido e usado por qualquer especialista em FxPro, independentemente de sua proficiência técnica. O sistema de alerta automatizado nos permite reagir a qualquer anomalia de dados em tempo hábil.

Este artigo foi escrito em colaboração com especialistas da FxPro.

Negocie com responsabilidade. Os CFDs são instrumentos complexos e apresentam um alto risco de perder dinheiro rapidamente devido à alavancagem. 70,25% das contas de investidores de varejo perdem dinheiro ao negociar CFDs com este provedor. Você deve considerar se entende como os CFDs funcionam e se pode correr o alto risco de perder seu dinheiro.

FxPro Group Limited é a holding da FxPro Financial Services Ltd, FxPro UK Limited e FxPro Global Markets Ltd. A FxPro UK Limited é autorizada e regulamentada pela Financial Conduct Authority ( registro nº 509956 FxPro Financial Services Ltd é autorizada e regulamentada pelo Chipre Securities and Exchange Commission ( licença nº 078/07 ) e autorizada pela Financial Sector Conduct Authority ('FSCA') ( autorização nº 45052 ). A FxPro Global Markets Ltd é autorizada e regulamentada pelo SCB ( licença nº SIA-F184 ).