A/B 测试死了吗？

“今天，A/B 测试正在蓬勃发展——与非 A/B 测试相比，这是一个巨大的进步，”人工智能公司 OfferFit 的首席执行官 George Khachatryan 在最近的一次网络研讨会上说。 “与此同时，每天进行这些测试的人都意识到这比看起来要困难得多。”

设计 A/B 测试、确定样本大小并部署它们会占用大量时间和资源，而分析结果需要高精度。 总而言之，A/B 测试所需的手动任务会给营销人员带来沉重的负担。

“当你运行一个完整的实验程序时，运行一个 A/B 测试是远远不够的，”Khachatryan 说。 “当你运行一个时，你会获得宝贵的见解，并且不可避免地想要获得更多。 所以你最终会跑得更多。”

他补充说：“那些亲身实践的人意识到，他们需要的测试数量迅速激增——在这条指数曲线的早期，它变得不可行。”

营销人员需要一种解决方案，让他们能够测试越来越多的活动变量，同时给他们足够的时间来分析数据。 幸运的是，A/B 测试正在发展。

扩展 A/B 测试的力量

在网络研讨会中，Khachatryan 强调了影响现代 A/B 测试的“多臂强盗问题”。 在这种情况的传统版本中，赌场的人必须确定哪些老虎机（偷你钱的“单臂强盗”）将获得最佳支付，然后确定哪个顺序将是最佳的。 对于 A/B 测试，变量是多臂强盗，营销人员必须发现哪些最有效，以便他们可以将更多资源分配到表现良好的领域。

“你可以把 [a multi-armed bandit] 想象成一个智能 A/B 测试，”他说。 “它将在探索和利用之间进行权衡——它会开始随机拉动这十个手柄，但随着它的进行，它会动态地重新分配资源，这样如果看起来很糟糕，它就会停止拉动。”

他补充说：“这些多臂强盗旨在进行适量的实验，让你在学习的同时还能利用你已经学到的东西。”

尽管这些多臂或 A/B 模型多年来为营销人员提供了很好的服务，但该框架的新迭代更加准确和有效。 根据 Khachatryan 的说法，这些是“背景强盗”。

“它和多臂强盗一样，但它考虑到了不同的情况，”他说。 “所以，如果你有两个不同的客户，具有不同的特征，它就会知道拉不同的杠杆。”

上下文老虎机框架本质上是大规模的自动化实验和个性化。 这是一个可以完全自动化流程的模型，也是每个营销人员应该朝着大规模提高活动效果的方向发展。

获取数字营销人员所依赖的每日通讯。

处理中...请稍候。

订阅

见条款。

自动化实验是未来

许多科技巨头已经采用了上下文强盗框架，但营销人员应该注意，这项技术仍然是令人难以置信的新事物。 品牌应该分配足够的时间和资源来简化过渡过程，因为根据 Khachatryan 的说法，这是“实验的未来”。

“过去，手动 A/B 测试一次只提及一次，”他说。 “使用这些上下文强盗，您可以将其设置为同时测试多个维度。”

无论是测试电子邮件主题行的有效性、号召性用语点击率，还是最佳文章发布时间，营销人员都有大量实验数据需要跟上。 自动化测试解决方案可以通过减少手动任务所花费的时间来使这些过程更易于管理，取而代之的是持续的自动化实验。

“您可以将其视为下一次实验迭代，或测试和学习计划，”Khachatryan 说。 “当营销人员建立这个持续自动化实验系统时，它会创造这种相互作用，你可以看到发生了什么，获得洞察力，然后利用这些洞察力获得新的想法。”

他补充说，“所以你仍然有敏捷的测试和学习周期，但它已经加速了。”

时间会证明营销人员采用这些自动化实验技术的速度有多快。 但是，随着过去一年发生的高水平营销技术更换，更多品牌很可能会尽快签约。

在 Digital Marketing Depot 观看此网络研讨会演示文稿。