如何从 Google Analytics 导出原始数据

为什么需要收集原始的非抽样数据？ 获取完整的营销报告数据，正确估算广告效率。 在本文中，我们将探讨如何收集原始数据以及将其存储在何处。

谷歌分析是网络分析服务中无可争议的领导者。 它是免费的、易于使用的，它提供了有关在线业务关键 KPI 的见解。 但是，系统中存在一些限制，阻止您深入了解数据并从各个方面进行探索。

1. 您在 Google Analytics（分析）报告中看到的数据始终是汇总的，而且这个过程是无法控制的。
2. 抽样，这会严重扭曲您的数据并导致错误的业务决策。
3. 报告只能包含有限数量的参数和关键数据的特定组合。
4. 限制行数。
5. 数据处理时间——如果您使用免费版的 Google Analytics，您需要等待长达 24-48 小时，系统才能完成数据处理。

幸运的是，这些问题中的大多数都可以通过原始数据来解决。 很酷吧？ 让我们弄清楚如何获取原始数据。

通过 OWOX BI Pipeline 设置自动原始数据收集 - 从您的网站发送到 Google Analytics 的所有点击都并行发送到 Google BigQuery。 多亏了这一点，每一次点击都可以在几分钟内在 GBQ 中获得。

带有会话数据的表格是根据 OWOX BI 算法形成的——这个过程在我们的帮助中心中有详细描述。 同时，OWOX BI采用了与GA结构兼容的数据结构，在其下编写了很多SQL查询的例子。 这可以节省您的团队准备报告的时间。

使用 OWOX BI 收集原始命中数据可为您带来以下好处：

• 用户行为数据实时传输到 Google BigQuery，不限制点击次数。
• 在 Google Analytics 中，用户参数的数量是有限的：标准版 20 个，付费版 200 个。 但在 GBQ 中，您可以收集任意数量的自定义参数，并构建更深入的报告以进行详细分析。
• 您可以在 GBQ 中构建任何时期的报表，而不受参数和维度的数量和兼容性的采样和限制。
• 与 Google Analytics 不同，在 BigQuery 中，您可以收集和使用个人客户数据，包括电子邮件地址和电话号码。
• OWOX BI 计算每个会话的值。 因此，您可以计算新用户和回访用户的 ROI/ROAS。 并且您可以评估针对不同地区、产品组、登陆页面、移动版本和应用程序的广告效果。
• 该服务允许您追溯更新已上传到 GBQ 的成本、用户和交易数据。 您可以考虑购买的订单、购买后的退货，或者，例如，了解新订阅者在注册前 30 天在您的网站上做了什么。
• OWOX BI 每天都会将 BigQuery 中的数据与 GA 中的信息进行比较，并报告显着差异。 您不会丢失任何第三方跟踪器无法提供的重要数据。

如何使用 OWOX BI 从 Google BigQuery 中的网站收集原始数据：

1. 使用您的 Google 帐户登录。
2. 选择您要在 GBQ 中收集的数据、提供访问权限并创建数据管道。
3. 复制跟踪代码并以您方便的方式将其发布在网站上。

您可以下载有关如何设置将原始数据从网站上传到 BigQuery 的详细说明。

Google Analytics 允许您使用 API 检索信息。 特别是，Core Reporting API 允许您从 GA 界面外部访问所选报告视图的维度和指标。

此外，还有一种解决方法可以让您访问每个命中的数据并促进数据集成。 这可以通过使用 API 功能和 Google Analytics 中的自定义维度来实现。

自定义维度可用于捕获、分析和可视化默认情况下未在 Google Analytics（分析）中显示的信息。 您可以使用自定义维度作为键来组合来自 GA 和其他系统的信息，并使用与您的业务相关的信息来增强您的报告。 例如，您可以保存数据库中的用户 ID 并将其用于集成离线和在线操作。

自定义维度的示例：

1. 命中时间戳——一个命中范围的自定义维度，用于捕获命中发生时的确切时间戳，格式为 yyyy-mm-ddThh: mm: ss 格式，带有时区偏移量。
2. 会话 ID — 一个会话范围的自定义维度，它收集一个唯一的随机值，用于识别属于同一会话的命中。
3. 客户端 ID — 一个会话范围的自定义维度，它从 _ga cookie 中收集分配给客户端设备的唯一值。
4. 用户 ID — 一个点击范围的自定义维度，它收集代表已登录到您网站的用户的值，允许您识别该特定用户的所有会话和点击。

此示例列表的功劳归功于 Simo Ahava，因为他发表了关于使用自定义维度和 Google 跟踪代码管理器改进数据收集的精彩文章。

为什么 API 不是完美的解决方案？

Google Analytics API 会解决抽样问题吗？ 这取决于您的网站获得了多少流量。 如果流量不太高并且您选择较短的报告周期，则可以避免采样。 另一方面，您必须运行数百个查询才能获取非抽样数据。

由于信息将从 Google Analytics 导出，所有 GA 数据处理条件，包括维度和指标的兼容性以及数据处理时间，也将适用。 但对于初创公司和小型项目，API 可能会作为临时解决方案。 Simo Ahava 在他的博客上有一篇很棒的文章，他在其中探讨了可以被认为是 Google Analytics 数据模式的缺陷。

Google Analytics API 也有特定的限制和配额，例如查询中的维度和指标数量以及您每天可以提取的数据量。

此外，您需要空间来存储导出的信息。 这为我们带来了一种更复杂的方法，肯定会证明对您的业务有利。

Google Analytics 360 不是一个便宜的工具，但你得到你所支付的以及更多。 除了受益于付费平台的高级功能外，Google Analytics 360 用户还可以通过原生集成将原始点击和会话级数据从 Google Analytics 导出到 Google BigQuery。

您可以选择两种导出选项：

1. 数据不断导出。 使用此选项，您每天都会获得一个与前一天的 Google Analytics 数据一起导出的文件，以及与当天的数据一起导出的另外三个文件。 也可以使用来自链接的 Google 服务的数据。
2. 连续导出数据。 此选项允许您通过每 10 到 15 分钟导出到 Google BigQuery 来获取更新的数据。 在这种情况下，Google BigQuery 会为处理的每 GB 数据额外收取 0.05 美元的费用。 请注意，与 Google Analytics（分析）关联的服务（例如 DFP、AdSense 和 AdX）中的数据只能每天导出前一天的数据。

当您最初将 Google Analytics（分析）视图链接到 Google BigQuery 时，Google Analytics 360 会自动将 100 亿次点击或 13 个月的历史数据导出到 BigQuery。 对于那些一直在努力采样的人来说，这不是很好吗？

最重要的是：Google Analytics 360 用户每月可获得 500 美元的信用额度，用于支付在 Google BigQuery 中导入、存储和处理数据的成本。

您也可以克隆您发送到 Google Analytics 的匹配，并在 GA 之外的某处处理克隆的信息。 为此，您可以尝试将命中存储在您自己的服务器上或使用基于云的解决方案。 单独的命中范围数据不会为您提供来源、媒介或活动数据，也不会为您提供广告成本或位置信息。 但是，这种方法将允许您在从您的网站发送原始点击后立即获得它们，并将它们用于不需要会话级数据的目的 - 例如发送及时的交易电子邮件和识别网站性能问题。

如果您不想花费时间和金钱来设计自己的连接器，OWOX BI 分析师团队可以为您提供帮助。 注册演示以请求会议并了解有关 OWOX 如何满足您的业务需求的详细信息。

无论您是小型初创公司还是大型企业，在选择数据存储系统时都需要考虑许多因素。 无论您选择哪个选项，以下是您应该寻找的内容的简要概述：

• 数据处理能力。 收集原始数据固然好，但如果您无法处理它并提取您需要的信息，那么这些数据对您毫无用处。
• 能够根据您的业务需求灵活扩展。 随着业务的增长，您会希望您的仓库做出相应的调整。
• 高安全标准。 您必须确信您的宝贵数据受到保护并完全在您的控制之下。
• 合理的费用。

对我们所有人来说幸运的是，没有必要重新发明轮子，特别是因为像 Google BigQuery 这样的优质服务已经存在，这是一个基于 Google Cloud Platform 的数据仓库，专为数据分析而设计。

Google BigQuery 允许使用类似 SQL 的语法存储和处理数十亿行（即千兆字节和 PB 级的数据！）。 惊人的处理速度？ 查看。 可扩展性？ 查看。 无与伦比的数据安全性？ 查看。 该服务提供对大量数据进行高级分析所需的一切。

Google BigQuery 是一项付费服务​​，但您只需为存储和处理的数据量付费。 每月存储的前 10 GB 和处理的 1 TB 是免费的。 之后，谷歌对存储的每千兆字节收费 0.02 美元，每处理 1 兆字节收费 5 美元。 根据撰写本文时的服务条款，新的 BigQuery 用户还可以获得 300 美元的赠金，可在 12 个月内使用。

为什么 Google BigQuery 不是一个完美的解决方案？

如果您对 GBQ 完全不熟悉，您可能需要了解此服务中信息的组织方式。

首先，请记住 GBQ 支持嵌套和重复字段。 由于 Google Analytics（分析）数据被组织成点击、会话和用户的层次结构，您可能需要学习如何查询数据以访问这些嵌套和重复字段中的值。

查看 JOIN 和 FLATTEN 子句的这些方便参考：您可能需要大量使用它们。 使用 BigQuery 时要记住的另一件事是，Google Analytics（分析）界面中的某些可用指标不会自动计算，例如用户总数和事件总数。

从 Google Analytics 导出原始数据比乍看之下要容易。 您是决定投资开箱即用的解决方案还是创建自己的解决方案取决于您自己。 只是不要让这个伟大的资产闲置。

利用您收集的数据。 寻找新的见解。 整合。 实验。 了解您网站的脉搏，并在客户最需要您时与他们联系。 请记住，您可以随时在下面的评论部分提出问题。 我们很乐意回应！

如果您想了解有关 Google Analytics 和其他分析工具的更多信息，请订阅我们的时事通讯。 每个月，您都会获得对现代营销人员和分析师有用的提示。