A/B 测试：成为或不成为

没有痛苦，没有收获，也没有线索。 要将您的广告带来的流量转化为销售，您需要通过改善用户体验、改变用户行为和提高转化率来不断优化您的网站。 但是你如何确保你实施的改变会带来预期的结果呢？ 这就是 A/B 测试的目的。 在文章中，我们告诉你什么是 A/B 测试，如何进行，以及哪些细微差别值得关注。

营销中的 A/B 测试与拆分测试相同——比较网站页面的两个变体，它们仅相差一个参数。 A/B 测试的目标是确定这两个选项中哪一个更有效并带来更多转化。

假设您销售软件。 您有一个带有产品描述的登录页面，页面底部有一个按钮，用于订阅试用版。 为了增加订阅者的数量，您决定在登录页面上为那些已经了解您的产品或者更愿意在不阅读详细信息的情况下立即尝试的人添加一个按钮。

要检查您的假设是否正确（即您将通过添加另一个按钮来获得更多订阅者），您可以创建原始登录页面的副本并为其添加一个按钮。 然后，您将页面访问者分为两组：一组将显示原始页面（变体 A），另一组将显示更新的页面（变体 B）。 在测试结束时，您比较性能指标（在我们的示例中为订阅数量）并确定获胜者。

让我们看看 A/B 测试（或拆分测试）帮助我们实现的一些主要目标。

1. 更好地了解您的用户并为他们提供他们想要的东西。 无论您从事电子商务和在线营销多久，仅依靠您的个人经验都是错误的。

即使您似乎可以预测网站用户的行为并准确了解如何组织内容以使他们尽快通过销售渠道，也要进行 A/B 测试。 结果可能会让你大吃一惊。

实践表明，我们的假设并不总是与现实相符。 因此，我们不能仅根据我们自己的信念来决定什么对我们的客户最好。

2. 依赖数据而非专家意见。 第二个挑战源于第一个挑战，是在现场进行更改并将所涉及的风险降至最低的可行性。

通常，假设是基于可能与观众观点不一致的个人观点。 因此，在没有 A/B 测试的情况下引入的更改不会产生预期的效果——或者更糟的是，它们会降低转化率。

因此，当您面临决策使用什么（数据或专家意见）的问题时，请始终选择数据。

3.个性化与客户的沟通。 客户使用不同的设备，来自不同的来源，与您的网站进行不同的交互，浏览和购买不同​​的商品......

Google Analytics 和 Yandex.Metrics 等 Web 分析服务可帮助您组合这些数据并将有关用户的知识系统化。 营销人员收集有关用户访问了哪些页面以及他们在这些页面上做了什么的信息。 这使得将受众划分为数十或数百个细分市场并了解例如来自自然流量或付费流量的用户的行为方式成为可能。

但我们并不总是正确地使用这些信息，也不总是从中获得最大的利益。 一个简单的例子：大多数在线项目仍然向所有用户展示相同的内容，无论他们的行为和流量来源如何：

如果您这样做，拆分测试可以帮助您解决问题并个性化您网站上的内容。

现在让我们看一下拆分测试的主要阶段（和细微差别）：

您需要做的第一件事是确定您网站上的弱点列表。 为此，您可以：

• 探索谷歌分析和其他网络分析系统中的数据，看看哪些页面的失败率高、滚动深度低、转化率低。
• 使用 Webvisor 并单击热图来了解用户如何与您网站的元素进行交互。
• 分析支持案例或采访活跃客户，看看他们在网站上缺少什么。

例如，假设您查看 Google Analytics（分析）中的增强型电子商务渠道，发现很少有人将某个商品添加到购物车中。 同时，你有一个线下销售点，你知道这个产品很受欢迎。 在这种情况下，您的在线商店很可能有问题。

一旦你决定要修复什么，你就需要考虑如何修复它。 如果没有 A/B 假设，测试就毫无意义——你的发现的价值会很小。 你应该清楚地了解实验的目的，你将测试网页的哪些元素，以及你想要达到什么样的量化结果。

在制定假设时，请反击您的转化漏斗。 问问自己：我应该在页面的某个部分进行哪些更改以使用户更快地通过渠道？”每次测试检查一个假设；否则，将很难定义哪些更改对最终结果的影响程度。

可以测试什么：

• 转换按钮的颜色、大小、文本和位置
• 标题 — 更改文本； 让它更短、更有趣、更相关
• 表单 - 减少字段数量或添加工具提示并填写示例
• Landing — 更改页面结构、字体或调色板
• 内容——添加高质量的照片和视频、行动呼吁、促销优惠、“免费”一词等。

您对绩效指标的选择取决于您的假设和您想要实现的目标。 这些可以是收入、购买数量、转换率、平均支票大小、应用程序和订阅、失败率等。

下一步是确保您已实施和记录所有必要的指标，在​​此基础上您将在测试结束时得出结论。 在我们的工作中，我们遇到过这样的案例：客户已经识别出弱点并形成假设，但没有正确规定一个指标系统，因此他们可以理解转化率的变化正是由于按钮的变化，而不是因为其他因素。

在运行实验之前考虑以下因素：

• 最小样本量。 为确保您的测试结果具有统计意义且可信，请确定所需的参与者数量。 您可以使用免费的在线计算器（例如 Abtasty 和 Optimizely）来做到这一点。 假设您的原始着陆页的转化率为 5%，而您预计该页面的测试版将达到 7%。 在这种情况下，最小可见效果将是 40%。 将这些数字输入计算器，您会发现每个变体至少需要 1964 人：

• 外部因素：季节性、节假日、股票、天气、货币汇率等。所以外部因素不会扭曲实验结果，重要的是在同一时期同时显示两个版本的页面。
• 首先测试宏转换。 如果您设定了访问某个页面的目标，用户很可能会实现它但不会进行交易或不会采取其他目标操作。 始终有必要将您的渠道作为一个整体来考虑，以了解网站上的哪些用户操作具有最高优先级。
• 考虑设备的类型。 如果您开始对网站的所有流量进行实验，并且您有移动版和桌面版，请检查测试选项在移动设备上的外观。
• 排除内部流量，这样您的员工在网站上的行为就不会扭曲统计数据。 这可以通过 IP 地址过滤在 Google Analytics 中完成。

在考虑了这些因素之后，您就可以运行测试了。 稍后，我们将告诉您可用于执行此操作的工具。

实验结束时，分析结果。 例如，假设您的目标网页上的原始转化率为 3%，您假设可以将其提高到 5%，而测试变体显示为 3.5%。 转化率有所提高，但只是略有增加。 现在您需要决定是在网站上引入更改还是尝试其他假设。

您可以使用在线计算器或统计方法检查拆分测试的结果是否具有统计意义。

在我们关于网络分析统计的文章中阅读有关统计功效、样本长度、置信区间、统计显着性以及如何衡量它们的更多信息，或者如何成为一名真正的数据科学家。
如果该过程成功并且您收到了可靠的数据，请将着陆页获胜者带到该网站并继续进行下一个实验。

分析结果时可能出现的错误：

• 过早地评估结果。 我们建议进行至少 14 天的拆分测试。 如果任务已开启，您可以对此规则进行例外处理，您正在测试不影响站点全局功能的微小更改（例如，您更改了按钮的颜色），并且您正在使用谷歌优化。 如果您在优化报告中看到新选项以 80-90% 的概率获胜，您可以停止实验。 这些指标不太可能发生巨大变化。
• 以低于 95% 的有效性阈值评估结果是 Optimize 报告中的另一个指标。 当您进行实验时，Google 优化工具会考虑最终结果的有效性。 如果低于 95%，Optimize 会建议继续实验。 您可以在带有活动实验的选项卡中看到此阈值。
• 忽略测试结果是次要的。 谁不想一次翻倍转换？！ 然而，即使是这种适度（乍一看）2-3% 的转化率增长也不是一个坏结果。 特别是如果着陆页上的更改很小。
• 不检查您网站的全局指标。 毕竟，您需要检查您的全局站点指标，而不仅仅是您在实验中选择的那些。 单个参数可能不足以评估更改的效果。 例如，通过提高转换率，平均支票大小可能会减少，总收入可能会增加。 因此，监控所有相互关联的 KPI。

要运行 A/B 测试，您必须创建页面的测试版本，细分受众，并分别计算每个细分的目标指标。 如果您有编程技能和足够的资源，您可以手动运行 A/B 测试。 但在特殊工具的帮助下更容易、更方便。

我们准备了一个小表来比较流行的拆分测试工具：

在 OWOX BI，我们使用 Google Optimize 进行测试，因此我们将更多地关注该工具的功能。

Optimize 是一项连接到您的网站的在线服务，可让您尝试不同的内容显示方式。

Optimize 允许您使用您在 Google Analytics（分析）中积累的数据为用户提供对他们最方便且对您的业务最有利可图的页面版本。

• 数据的完整性。 要设置和分析实验，可以使用 Google Analytics 中的用途和细分。 您可以使用您熟悉和喜爱的 Google Analytics（分析）中的常用指标。
• 充足的个性化机会。 成功完成测试后，您可以使用已实现的 Google Analytics 受众和变量配置不同内容的演示，例如，在 Google Tag Manager 的 dataLayer 中。 如果实验可以让您为普通用户提高网站的生产力，那么基于用户信息的个性化将使您在每个细分市场中获得更高的回报。
• 与其他 Google 产品集成以进行更深入的定位和分析（Google Ads、Data Studio、跟踪代码管理器等）
• 方便的界面，易于理解。 可视化编辑器允许您在没有开发人员参与的情况下配置和开始新的实验。 它显着减少了进行实验的时间。
• 对页面加载速度的影响最小。
• 无需手动汇总数据、准备报告和应用统计公式来检查结果。 谷歌优化自己做所有事情。

• 到目前为止，Google Optimize 不能用于测试移动应用程序。

• 您无法安排测试。 也就是说，如果您想准备数十个测试但由于某种原因无法同时启动它们 - 或者如果免费版本对同时测试的数量有限制，或者您不想尝试同一个观众有几十个选项，这可能会成为一个问题。 您需要在界面中手动启动每个测试。 这不是一个严重的缺点，但是您可以在其他一些服务中做到这一点。
  

Google Optimize 的工作原理与其他用于进行实验和个性化的工具类似：

1. 首先，您需要创建将向用户显示的页面、弹出窗口和其他对象的变体。
2. 然后，您需要确定用于确定获胜选项的目标（指标）。 这些可以是优化中内置的指标——页面浏览量、会话持续时间、交易、收入和失败率——或者来自谷歌分析的任何自定义目标。
3. 之后，您需要确定将参与实验的受众并启动实验。 在这个阶段，您必须通过向用户展示测试选项来决定您可以承担多少风险。 您可以在两个选项之间平均分配流量，例如，进行 20/80 拆分。 另外，在这个阶段，您必须选择将实验展示给哪一部分观众。 向所有人展示，还是拿 20% 并在他们之间分配您的两个选项？ 你为什么要这样做？ 如果您有一家大型商店，您不确定自己的假设，并且您不想冒一半流量的风险。

除了经典的 A/B 测试之外，在 Optimize 中，您还可以运行多变量测试（其中您有多个组合中的多个变化元素）和重定向测试（针对具有不同 URL 和设计的页面）。

您可以在我们关于如何使用 Google Optimize 进行首次 A/B 测试的文章中了解有关 Google Optimize 界面和设置的更多信息。

借助 Google 优化工具中的报告，您可以在实验期间监控结果并在实验结束后立即分析收集的数据。

优化报告中的术语：

• 改进——转化率的可能范围
• 最好的概率——这个选项比所有其他选项更好的概率
• 超越基线的概率——这个选项带来比原来更好的转化率的概率
• 转化率——预测的平均转化率
• Conversions — 有转化的会话数

如何确定获胜者
Google Optimize 使用贝叶斯推理来生成统计数据。 无需赘述，这意味着在实验期间，您可以在优化报告中看到变体 B 在实验结束前成为获胜者的概率。 如果概率达到一定水平，就有可能提前完成实验，节省时间和金钱。

此外，谷歌团队计划在实验结束前实施流量再分配机制，以支持最佳选择。 这将为您节省资金，因为在测试期间看到无效选项的用户会更少。

如果您将优化工具与您的 Google Analytics（分析）帐户集成，您将能够在 Google Analytics（分析）界面的行为/实验部分中浏览和分析测试结果：

如果您的实验成功，您可以在您的网站上部署获胜选项。

• Optimize 360​​ 被证明是用于测试您网站上的用户体验的准确无编码解决方案
• 如何进行第一次 A/B 测试：使用 Google Optimize 自动化流程
• 网络分析中的统计数据，或如何成为真正的数据科学家
• 免费网络研讨会：用于测试和个性化的 Google Optimize
• 视频教程
• 专业术语
• 介绍可视化编辑器
• 部署优化
• 优化帮助中心
• 优化工具和谷歌分析报告的差异
• 可视化编辑器

PS 如果您在运行 A/B 测试和为您的业务创建自定义指标方面需要帮助，请发送电子邮件至[email protected] 或填写我们网站上的联系表。