A/B 測試死了嗎？

“今天，A/B 測試正在蓬勃發展——與非 A/B 測試相比，這是一個巨大的進步，”人工智能公司 OfferFit 的首席執行官 George Khachatryan 在最近的一次網絡研討會上說。 “與此同時，每天進行這些測試的人都意識到這比看起來要困難得多。”

設計 A/B 測試、確定樣本大小並部署它們會佔用大量時間和資源，而分析結果需要高精度。 總而言之，A/B 測試所需的手動任務會給營銷人員帶來沉重的負擔。

“當你運行一個完整的實驗程序時，運行一個 A/B 測試是遠遠不夠的，”Khachatryan 說。 “當你運行一個時，你會獲得寶貴的見解，並且不可避免地想要獲得更多。 所以你最終會跑得更多。”

他補充說：“那些親身實踐的人意識到，他們需要的測試數量迅速激增——在這條指數曲線的早期，它變得不可行。”

營銷人員需要一種解決方案，讓他們能夠測試越來越多的活動變量，同時給他們足夠的時間來分析數據。 幸運的是，A/B 測試正在發展。

擴展 A/B 測試的力量

在網絡研討會中，Khachatryan 強調了影響現代 A/B 測試的“多臂強盜問題”。 在這種情況的傳統版本中，賭場的人必須確定哪些老虎機（偷你錢的“單臂強盜”）將獲得最佳支付，然後確定哪個順序將是最佳的。 對於 A/B 測試，變量是多臂強盜，營銷人員必鬚髮現哪些最有效，以便他們可以將更多資源分配到表現良好的領域。

“你可以把 [a multi-armed bandit] 想像成一個智能 A/B 測試，”他說。 “它將在探索和利用之間進行權衡——它會開始隨機拉動這十個手柄，但隨著它的進行，它會動態地重新分配資源，這樣如果看起來很糟糕，它就會停止拉動。”

他補充說：“這些多臂強盜旨在進行適量的實驗，讓你在學習的同時還能利用你已經學到的東西。”

儘管這些多臂或 A/B 模型多年來為營銷人員提供了很好的服務，但該框架的新迭代更加準確和有效。 根據 Khachatryan 的說法，這些是“背景強盜”。

“它和多臂強盜一樣，但它考慮到了不同的情況，”他說。 “所以，如果你有兩個不同的客戶，具有不同的特徵，它就會知道拉不同的槓桿。”

上下文老虎機框架本質上是大規模的自動化實驗和個性化。 這是一個可以完全自動化流程的模型，也是每個營銷人員應該朝著大規模提高活動效果的方向發展。

獲取數字營銷人員所依賴的每日通訊。

處理中...請稍候。

訂閱

見條款。

自動化實驗是未來

許多科技巨頭已經採用了上下文強盜框架，但營銷人員應該注意，這項技術仍然是令人難以置信的新事物。 品牌應該分配足夠的時間和資源來簡化過渡過程，因為根據 Khachatryan 的說法，這是“實驗的未來”。

“過去，手動 A/B 測試一次只提及一次，”他說。 “使用這些上下文強盜，您可以將其設置為同時測試多個維度。”

無論是測試電子郵件主題行的有效性、號召性用語點擊率，還是最佳文章發佈時間，營銷人員都有大量實驗數據需要跟上。 自動化測試解決方案可以通過減少手動任務所花費的時間來使這些過程更易於管理，取而代之的是持續的自動化實驗。

“您可以將其視為下一次實驗迭代，或測試和學習計劃，”Khachatryan 說。 “當營銷人員建立這個持續自動化實驗系統時，它會創造這種相互作用，你可以看到發生了什麼，獲得洞察力，然後利用這些洞察力獲得新的想法。”

他補充說，“所以你仍然有敏捷的測試和學習週期，但它已經加速了。”

時間會證明營銷人員採用這些自動化實驗技術的速度有多快。 但是，隨著過去一年發生的高水平營銷技術更換，更多品牌很可能會盡快簽約。

在 Digital Marketing Depot 觀看此網絡研討會演示文稿。