终极电子商务 A/B 测试指南：策略、策略、工具、数据科学和案例研究

已发表: 2019-05-23

网络空间中的每个人都听说过“A/B 拆分测试”这个词。但是，许多营销人员和零售商在进行自己的测试时犹豫不决。

他们不确定如何协调拆分测试过程的所有不同部分，从头脑风暴到软件选择再到结果分析。

虽然 A/B 拆分测试并不像大多数人想象的那么容易，但它远非困难。花一些时间来实施结构良好且经过测试的 A/B 拆分测试流程将对您的在线商店产生巨大的积极影响。

虽然 A/B 拆分测试并不像大多数人想象的那么容易，但它远非困难。花一些时间来实施结构良好且经过测试的 A/B 拆分测试流程将对您的在线商店产生巨大的积极影响。点击推文

在本指南中，您将获得一个用于进行拆分测试的简单公式。您还将了解常见错误，查看一些实际案例研究，并获得有关要测试哪些现场和非现场元素的实用和具体提示。

您将在本文中找到：

什么是 A/B 测试？
如何进行 A/B 测试：概述
一、分析
2. 建议
3. 原型和设计
4. 代码和测试
5. 结果
如何计算您的 A/B 拆分测试样本量
您应该拆分测试哪些产品页面元素？
应避免的 11 大电子商务 A/B 拆分测试错误
电子商务最佳 A/B 拆分测试工具回顾
电子商务 A/B 测试案例研究的例子
1. 布达佩斯
2. 保留
3. 4F
结论

开始吧！

什么是 A/B 测试？

A/B 测试涉及将流量吸引到两种不同的内容——如广告、电子邮件、网页等——以查看哪一种表现更好。 通常，测试主题之间的唯一区别是单个元素，例如标题、CTA（号召性用语）、图像、副本等。或者，拆分测试可以在两种完全不同的内容类型之间进行，例如 Facebook广告、营销电子邮件，甚至整个销售渠道。

那么 A/B 测试中的变体“A”和“B”通常代表什么？无论何时运行测试，您都需要一组“地面水平”或“控制”结果。 “A”通常包含您当前的结果或测试变体的第一次迭代。 “B”是您将与“A”的结果进行比较的变体。

A/B 测试的通用示例。（来源）
例如，假设产品页面每天接待数百名访问者。您决定运行拆分测试，在其中在“添加到购物车”按钮旁边添加有关次日送达的通知。因此，使用您的 A/B 测试软件，您可以创建一个相似的页面并在两个页面之间平均分配流量并测量结果。当前页面是测试主题“A”。变体是测试对象“B”。

或者，您可能正在为促销电子邮件活动做准备，在该活动中，您将订阅者引导到登录页面以输入免费赠品。您已经建立了两个登陆页面——“A”和“B”——但你想看看哪个吸引了更多的进入者。同样，使用您的拆分测试软件，您将一半的电子邮件流量驱动到页面“A”和一半到页面“B”。即使你还没有任何结果，“A”是控制页面，“B”是挑战者。

用这个增长黑客你的电子商务转化率、销售额和利润
115 点电子商务优化清单

获取免费电子书

“多变量测试”的工作原理相同，但涉及测试包含多个更改的变体。 目的是确定哪种变量组合效果最好。例如，在 A/B 拆分测试中，您可以针对红色按钮测试绿色 CTA 按钮。在多变量测试中，您可能会同时更改颜色和 CTA 文本。在具有两个页面更改的测试中，这将创建四个变体：

颜色一，文字一，
颜色一和文字二，
颜色二和文字一，
和颜色二和文字二。

多变量测试的好处是它消除了一个接一个地运行大量拆分测试的需要。缺点是它需要大量流量。

如何进行 A/B 测试：概述

让我们看一下进行 A/B 拆分测试的基本公式。在这个阶段不要太担心 A/B 测试的技术方面。有一系列工具可用于简化和自动化从页面创建到结果解释的所有工作，我们稍后将概述最佳应用程序和解决方案。

A/B 拆分测试通常在现场或场外进行。 现场测试涵盖产品页面、登录页面、结账表格等内容。现场测试也可能在应用程序的页面上进行——例如，如果您有一个移动购物或忠诚度计划应用程序。基本上，“现场测试”适用于您网站上具有单一目标和相应主要 CTA 的任何页面。

场外测试适用于广告（尤其是付费广告）、电子邮件、社交媒体帖子、推送通知等的变体。

使用相同的流量样本同时运行测试是必不可少的。流量和时间段构成了可能扭曲结果的两个最大变量。例如，如果一个在万圣节和另一个在母亲节进行测试，则在比较两个变体的结果时绝对没有任何好处。

使用相同的流量样本同时运行测试是必不可少的。流量和时间段构成了可能扭曲结果的两个最大变量。点击推文

使用以下过程来构建您自己的 A/B 测试：

一、分析

在此阶段，您确定目标并确定要拆分测试的页面元素的优先级。

目标将围绕提高您的关键转化指标，而“转化”可能是点击、注册或销售。 您甚至可以选择“更广泛”的成功指标，例如参与度或覆盖面，尤其是在测试广告时。无论如何，您都需要一个明确的指标来衡量变体的相对成功或失败。

设定目标后，您可以研究并确定要运行的测试的优先级。您应该研究那些对您的目标最重要的页面模板（产品页面、类别页面、结账表格等），然后确定哪些具有最大的改进潜力。 查看跳出率高、转化率异常低、参与度低、放弃率高等的页面。

一旦确定了既重要又具有潜力的页面，就应该根据运行测试的难易程度对它们进行排名。 最好，尤其是在实施新策略时，选择最容易实现的目标，随着您获取更多数据而进行更复杂的测试。 这种方法将在最短的时间内提供最大的回报。

您选择的测试元素可能是号召性用语、广告文案中的标题、登陆页面上的图片、电子邮件中的主题行或社交媒体帖子中的折扣广告。要记住的关键是测试对象通常应该构成一个元素，其他所有内容保持不变。 此规则的例外是当您测试两个单独的变体时，例如由独特的电子邮件和页面组成的登录页面或销售渠道。

2. 建议

在确定要运行哪些测试后，您需要集思广益并形成假设。

问一个问题， “哪些更改可能会为页面带来更好的结果，为什么？”

假设是对页面或元素为何表现不佳以及如何改进它的评估。 当您运行 A/B 测试时，您实际上是在测试一个假设。

例如，您可能会得出结论，您当前的产品页面 CTA 不够突出，访问者很难找到它们。解决这个问题的方法是为 CTA 按钮使用更亮的颜色。

制定假设的最佳方法是使用以下简单模板：如果……，则……，因为……。

让我们看一个例子：

如果将有关低库存的信息添加到 CTA 旁边的产品页面，则添加到购物车的比率（以及转化率）将会增加，因为建立紧急性的元素会促使访问者采取行动。

3. 原型和设计

在形成假设后，许多人跳入并开始组织测试。但必须正确地集思广益并验证不同的设计选项，确保整个团队都参与其中并考虑到所有想法。

您应该从创建提议更改的松散线框开始，集思广益尽可能多的可能性。在验证看起来最有希望的那些之后，您可以创建完整的原型用于实现目的。

4. 代码和测试

首先计算您的样本量。 你的“样本量”是你需要的流量，以最终说明结果的任何差异不是偶然的。我们将在下一节深入讨论这个主题。如果您目前没有为特定页面带来大量流量，或者您的网站处于开发阶段，您可以随时购买流量。 为此目的存在许多服务。

然后，在基础工作到位后，您可以选择正确的工具并开始测试。 不同的工具服务于不同的测试需求。 对于单个页面元素，只需要一个简单的 Web 编辑器即可。 对于更复杂的拆分测试，例如比较不同的销售渠道，可能需要复杂的工具。专用软件也可用于电子邮件营销和广告活动。

如果您有专门的开发团队来实施现场代码，那么您在上一步中创建的设计在这里将证明是无价的。

5. 结果

测试完成后，您可以评估结果并制定新的拆分测试。 评估有两个目的：确定获胜者并为未来的测试产生新的想法。 有时结果将是不确定的，导致您修改或放弃您最初的假设。在其他情况下，结果会非常重要，以至于提示在其他相关页面上进行类似测试或尝试原始更改的更高级变体。

拆分测试最好作为长期策略的一部分进行。您的目标应该是在数周和数月内进行大量小的更改。所有这些变化加起来都会显着并持续地提高您的整体转化率。

如何计算您的 A/B 拆分测试样本量

一旦理解了基本概念，计算最小样本量就相对容易了。

以下是您需要了解的一些术语：

基线转化率– 当前页面的转化率。
最小可检测效果——最小可检测效果是您感到兴奋的基线转化率的最小百分比变化：它可以是 2%、3%、5% 或 10%。在 A/B 测试中，它应该很少超过 10%。当然，较小的提升更容易实现，但更难证明，因为您将需要更多用户。 另一方面，使用较少的用户更容易证明更大的提升。但是通常很难想出一个会产生如此深远影响的测试想法。
统计显着性– 统计显着性是您对结果“确定”的程度。在电子商务环境中，您应该瞄准 80% 到 95% 的统计显着性。
显着性水平——显着性水平是统计显着性的倒数。 例如，5% 的显着性水平意味着结果有 5% 的可能性是由于随机机会造成的。 5% 到 20% 的显着性水平是正常的。
统计功效– 通常被 A/B 拆分测试者排除在外， “统计功效”是描述测试找到最小可检测效果的概率的百分比，假设它存在。 例如，假设您将最小可检测效果设置为 5%，将统计功效设置为 80%，并且在测试结束时，您的替代版本没有获胜。你有 80% 的把握认为失败的版本不会好 5% 或更多。

使用 Evan Miller 的这个计算器来计算你的最小样本，如果你想了解更多信息，请阅读这篇关于统计显着性的文章

您应该拆分测试哪些产品页面元素？

产品页面完全符合挑选测试候选人的标准。它们是电子商务网站上最重要和访问量最高的页面之一。它们也很容易拆分测试。

以下是一些对转化率影响最大的产品页面元素：

标题- 标题是客户登陆产品页面时首先看到的内容。它标识项目并将其与其他产品区分开来。您可以通过包括（或排除）品牌名称、关键特性和 USP 以及对通用产品名称的不同版本进行抽样来进行试验。
图片– 产品图片会显着影响转化。特别是旗舰产品图像——客户在滚动浏览后续图像之前首先看到的图像——具有很大的分量。运行此图像的不同变体，以查看哪一个客户最有吸引力。
描述– 有说服力的描述会迫使客户点击主要的 CTA。通过在副本中添加有说服力的元素来尝试描述可以产生有趣的结果。考虑引用奖项、媒体提及、名人代言、杰出评论等。
价格——几乎每个页面的访问者都会查看价格。可以测试多种变化，包括颜色、尺寸、位置和价格旁边包含的任何信息 - 例如折扣前的原始划线价格或促销价格的截止日期。
功能选项- 通常，访问者需要在购买前选择颜色和尺寸等项目功能。如果这些选项不清楚或难以使用，就会给买家带来很多摩擦。不明确的库存水平也会导致不确定性。
交货信息——运输时间和成本是决策过程中的另一个主要因素。您可以通过以正确的方式显示送货信息来消除疑虑，甚至可以通过突出显示免费、当日或次日送货来提高购买意愿。
CTA——这是一个很大的问题。谈到 CTA 时，三个特征最重要：形状、大小和颜色。 CTA 应该从页面上的其他元素中脱颖而出，并且易于点击，尤其是在移动设备上。
星级- 在线购买者喜欢评论。考虑测试标题下方显示的星级评分的变体，并让客户轻松浏览产品页面上专门用于评论的部分。
建立紧迫感的功能——建立紧迫感的元素——比如倒数计时器、限时交付、特殊折扣价格等——可以显着提高页面的转化率。了解有关在产品页面上建立紧迫感的更多信息。

如果您想查看一些表现最佳的产品页面的示例，以及有关如何提高转化率的想法，请查看我们关于该主题的帖子。

如果您正在寻找其他测试灵感，我们已经编写了网络上（或任何地方，就此而言）最全面的电子商务优化清单。立即免费下载！

应避免的 11 大电子商务 A/B 拆分测试错误”

如果没有正确完成，拆分测试可能会浪费大量时间和金钱。

避免犯以下错误：

不影响转化的拆分测试页面 – 不显着影响转化的拆分测试页面没有用。在时间和资源有限的情况下，研究并确定最佳测试候选者的优先级至关重要。
在一个测试中拆分测试多个元素——如果您使用多个元素运行测试，您将无法知道哪些变化导致了积极的结果。这会对您未来制定假设的能力产生负面影响，并且还可能导致您运行测试的页面的结果不太理想。
使用小样本量——如果你不坚持良好的数据科学——计算一个统计显着性在 80% 到 95% 之间的样本量——你的结果将是不确定的。从长远来看，这很可能会导致您的目标发生微不足道的变化。
“借用”你所有的测试想法——竞争对手研究和使用案例研究来告知你的假设是一种很好的做法。当你只从他们那里产生测试想法时，这是一个错误。您的许多最佳结果可能来自您的竞争对手尚未进行的测试。
零星的拆分测试——正如一句老话：拆分测试是为了生活，而不仅仅是为了圣诞节。为了获得最大的转化收益，以及能够适应不断变化的消费者行为的策略，应该以长期可持续的方式进行测试。
设计和开发过程之间缺乏分离——在集思广益（设计）和实施它们（开发和编码）时，任务之间应该有明确的区别。通常，零售商会混淆这些角色，导致无效的头脑风暴或粗制滥造的实施。即使一个人负责两项工作，也必须确保他们拥有适当的技能组合。
基于预感和假设的假设——每个拆分测试团队都会有一套关于什么是“好的测试想法”的假设。但重要的是尽可能保持开放的心态，并提出看似违反直觉的假设。拆分测试的全部目的是识别积极的原始变化。流程应该尽可能地挑战潜在的假设，并鼓励设计师跳出框框思考。
未能形成正确的假设——了解积极变化背后的原因很重要。如果你在没有任何先见之明的情况下产生想法，你就会让自己处于劣势。了解成功结果的基础使您能够更清楚地了解客户群随着时间的推移的行为，并在未来产生可靠的假设。
结果分析不充分——因此 CTA“B”的转化率为 10%，而 CTA“A”的转化率为 5%。故事就这样结束了吧？不！测试数据包含有关客户的有用见解，包括有关高转化率细分、峰值转化时间、页面障碍等的信息。使用 Google Analytics 之类的分析平台真正深入了解测试结果。
忽视小收益——零售商通常期望获得巨大的收益，并且通常认为 2% 或 3% 的变化微不足道。在某种程度上，这是可以理解的。网络上超级成功的案例研究占主导地位，这使我们有条件尝试并反映相同的结果。但这是一个错误。小的增加，当它们具有强大的统计显着性时，与更大的结果一样有效。具有高统计功效的测试可以检测到很小的影响，并且都同样有效。
“偷看”结果– 过早停止拆分测试（在您达到所需的测试用户数量之前）是一个很大的禁忌。通常，测试人员会根据测试中的结果得出一种变体相对于另一种变体的功效。当您这样做时，您会忽略在测试过程中可能出现的差异，并且在某些时候，变体任意地超越彼此是很常见的。
电子商务最佳 A/B 拆分测试工具回顾
A/B 拆分测试应涵盖营销和销售活动的大部分方面。 它不应该仅限于您的网站。大多数专用应用程序，例如用于电子邮件营销、Facebook 广告、社交媒体等的应用程序，都将附带自己的 A/B 拆分测试工具。

此列表概述了在您的电子商务网站上运行拆分测试的最佳工具。此外，在 A/B 拆分测试方面，没有一个全面的“最佳”工具。针对不同类型的在线商店设计了不同的解决方案，软件的最佳选择取决于一系列因素，包括规模、行业、首选营销方法等。

以下是我们对排名前五的电子商务 A/B 拆分测试工具的概述：

VWO – VWO 是网络上最受欢迎的电子商务工具之一，用于进行分析、开发新想法和运行测试。 作为一个平台，它具有运行优化活动所需的所有功能，并且用途广泛——为企业和小型企业（以及介于两者之间的所有企业）提供了一系列选项。 VWO 将 eBay 列入其客户名单。
Optimizely – 国际电子商务领域的另一个大牌，Optimizely 是“大牌”在线零售商的最爱。该软件包括用于进行 A/B 测试的强大功能包，允许对样本进行分割、预测、定位和分析。它非常适合在移动设备和桌面设备上使用。
谷歌优化——谷歌优化的一大卖点是它与谷歌分析的无缝集成，尽管“卖点”可能是错误的词，因为它是免费的。 Optimize 是一个完整的 A/B 测试平台，并拥有自己的可视化编辑器。它发现了大量追随者，主要是在较小的公司中，这是可以理解的，因为它缺乏竞争对手的许多企业级功能。有一个付费版本 Optimize 360，用户可以在以后升级到该版本。
AB Tasty – AB Tasty 专为大型企业设计，配备全套测试工具，包括功能丰富的分析平台、可视化编辑器和用于运行测试的自动化实施功能。
Swiftswap – 如果不包括 Growcode 的软件Swiftswap ，我们就无法编制一份顶级测试工具列表。 Swiftswap 的独特之处在于它使用人工智能来通知和简化测试过程。它与所有电子商务平台集成。它还旨在为电子商务商店提供快速且一致的优化更改，并作为 Growcode 外包优化包的一部分提供。