終極電子商務 A/B 測試指南：策略、策略、工具、數據科學和案例研究

已發表: 2019-05-23

網絡空間中的每個人都聽說過“A/B 拆分測試”這個詞。但是，許多營銷人員和零售商在進行自己的測試時猶豫不決。

他們不確定如何協調拆分測試過程的所有不同部分，從頭腦風暴到軟件選擇再到結果分析。

雖然 A/B 拆分測試並不像大多數人想像的那麼容易，但它遠非困難。花一些時間來實施結構良好且經過測試的 A/B 拆分測試流程將對您的在線商店產生巨大的積極影響。

雖然 A/B 拆分測試並不像大多數人想像的那麼容易，但它遠非困難。花一些時間來實施結構良好且經過測試的 A/B 拆分測試流程將對您的在線商店產生巨大的積極影響。點擊推文

在本指南中，您將獲得一個用於進行拆分測試的簡單公式。您還將了解常見錯誤，查看一些實際案例研究，並獲得有關要測試哪些現場和非現場元素的實用和具體提示。

您將在本文中找到：

什麼是 A/B 測試？
如何進行 A/B 測試：概述
一、分析
2. 建議
3. 原型和設計
4. 代碼和測試
5. 結果
如何計算您的 A/B 拆分測試樣本量
您應該拆分測試哪些產品頁面元素？
應避免的 11 大電子商務 A/B 拆分測試錯誤
電子商務最佳 A/B 拆分測試工具回顧
電子商務 A/B 測試案例研究的例子
1. 布達佩斯
2. 保留
3. 4F
結論

開始吧！

什麼是 A/B 測試？

A/B 測試涉及將流量吸引到兩種不同的內容——如廣告、電子郵件、網頁等——以查看哪一種表現更好。 通常，測試主題之間的唯一區別是單個元素，例如標題、CTA（號召性用語）、圖像、副本等。或者，拆分測試可以在兩種完全不同的內容類型之間進行，例如 Facebook廣告、營銷電子郵件，甚至整個銷售渠道。

那麼 A/B 測試中的變體“A”和“B”通常代表什麼？無論何時運行測試，您都需要一組“地面水平”或“控制”結果。 “A”通常包含您當前的結果或測試變體的第一次迭代。 “B”是您將與“A”的結果進行比較的變體。

A/B 測試的通用示例。（來源）
例如，假設產品頁面每天接待數百名訪問者。您決定運行拆分測試，在其中在“添加到購物車”按鈕旁邊添加有關次日送達的通知。因此，使用您的 A/B 測試軟件，您可以創建一個相似的頁面並在兩個頁面之間平均分配流量並測量結果。當前頁面是測試主題“A”。變體是測試對象“B”。

或者，您可能正在為促銷電子郵件活動做準備，在該活動中，您將訂閱者引導到登錄頁面以輸入免費贈品。您已經建立了兩個登陸頁面——“A”和“B”——但你想看看哪個吸引了更多的進入者。同樣，使用您的拆分測試軟件，您將一半的電子郵件流量驅動到頁面“A”和一半到頁面“B”。即使你還沒有任何結果，“A”是控制頁面，“B”是挑戰者。

用這個增長黑客你的電子商務轉化率、銷售額和利潤
115 點電子商務優化清單

獲取免費電子書

“多變量測試”的工作原理相同，但涉及測試包含多個更改的變體。 目的是確定哪種變量組合效果最好。例如，在 A/B 拆分測試中，您可以針對紅色按鈕測試綠色 CTA 按鈕。在多變量測試中，您可能會同時更改顏色和 CTA 文本。在具有兩個頁面更改的測試中，這將創建四個變體：

顏色一，文字一，
顏色一和文字二，
顏色二和文字一，
和顏色二和文字二。

多變量測試的好處是它消除了一個接一個地運行大量拆分測試的需要。缺點是它需要大量流量。

如何進行 A/B 測試：概述

讓我們看一下進行 A/B 拆分測試的基本公式。在這個階段不要太擔心 A/B 測試的技術方面。有一系列工具可用於簡化和自動化從頁面創建到結果解釋的所有工作，我們稍後將概述最佳應用程序和解決方案。

A/B 拆分測試通常在現場或場外進行。 現場測試涵蓋產品頁面、登錄頁面、結賬表格等內容。現場測試也可能在應用程序的頁面上進行——例如，如果您有一個移動購物或忠誠度計劃應用程序。基本上，“現場測試”適用於您網站上具有單一目標和相應主要 CTA 的任何頁面。

場外測試適用於廣告（尤其是付費廣告）、電子郵件、社交媒體帖子、推送通知等的變體。

使用相同的流量樣本同時運行測試是必不可少的。流量和時間段構成了可能扭曲結果的兩個最大變量。例如，如果一個在萬聖節和另一個在母親節進行測試，則在比較兩個變體的結果時絕對沒有任何好處。

使用相同的流量樣本同時運行測試是必不可少的。流量和時間段構成了可能扭曲結果的兩個最大變量。點擊推文

使用以下過程來構建您自己的 A/B 測試：

一、分析

在此階段，您確定目標並確定要拆分測試的頁面元素的優先級。

目標將圍繞提高您的關鍵轉化指標，而“轉化”可能是點擊、註冊或銷售。 您甚至可以選擇“更廣泛”的成功指標，例如參與度或覆蓋面，尤其是在測試廣告時。無論如何，您都需要一個明確的指標來衡量變體的相對成功或失敗。

設定目標後，您可以研究並確定要運行的測試的優先級。您應該研究那些對您的目標最重要的頁面模板（產品頁面、類別頁面、結賬表格等），然後確定哪些具有最大的改進潛力。 查看跳出率高、轉化率異常低、參與度低、放棄率高等的頁面。

一旦確定了既重要又具有潛力的頁面，就應該根據運行測試的難易程度對它們進行排名。 最好，尤其是在實施新策略時，選擇最容易實現的目標，隨著您獲取更多數據而進行更複雜的測試。 這種方法將在最短的時間內提供最大的回報。

您選擇的測試元素可能是號召性用語、廣告文案中的標題、登陸頁面上的圖片、電子郵件中的主題行或社交媒體帖子中的折扣廣告。要記住的關鍵是測試對象通常應該構成一個元素，其他所有內容保持不變。 此規則的例外是當您測試兩個單獨的變體時，例如由獨特的電子郵件和頁面組成的登錄頁面或銷售渠道。

2. 建議

在確定要運行哪些測試後，您需要集思廣益並形成假設。

問一個問題， “哪些更改可能會為頁面帶來更好的結果，為什麼？”

假設是對頁面或元素為何表現不佳以及如何改進它的評估。 當您運行 A/B 測試時，您實際上是在測試一個假設。

例如，您可能會得出結論，您當前的產品頁面 CTA 不夠突出，訪問者很難找到它們。解決這個問題的方法是為 CTA 按鈕使用更亮的顏色。

制定假設的最佳方法是使用以下簡單模板：如果……，則……，因為……。

讓我們看一個例子：

如果將有關低庫存的信息添加到 CTA 旁邊的產品頁面，則添加到購物車的比率（以及轉化率）將會增加，因為建立緊急性的元素會促使訪問者採取行動。

3. 原型和設計

在形成假設後，許多人跳入並開始組織測試。但必須正確地集思廣益並驗證不同的設計選項，確保整個團隊都參與其中並考慮到所有想法。

您應該從創建提議更改的鬆散線框開始，集思廣益盡可能多的可能性。在驗證看起來最有希望的那些之後，您可以為實現目的創建完整的原型。

4. 代碼和測試

首先計算您的樣本量。 你的“樣本量”是你需要的流量，以最終說明結果的任何差異不是偶然的。我們將在下一節深入討論這個主題。如果您目前沒有為特定頁面帶來大量流量，或者您的網站處於開發階段，您可以隨時購買流量。 為此目的存在許多服務。

然後，在基礎工作到位後，您可以選擇正確的工具並開始測試。 不同的工具服務於不同的測試需求。 對於單個頁面元素，只需要一個簡單的 Web 編輯器即可。 對於更複雜的拆分測試，例如比較不同的銷售渠道，可能需要復雜的工具。專用軟件也可用於電子郵件營銷和廣告活動。

如果您有專門的開發團隊來實施現場代碼，那麼您在上一步中創建的設計在這裡將證明是無價的。

5. 結果

測試完成後，您可以評估結果並製定新的拆分測試。 評估有兩個目的：確定獲勝者並為未來的測試產生新的想法。 有時結果將是不確定的，導致您修改或放棄您最初的假設。在其他情況下，結果會非常重要，以至於提示在其他相關頁面上進行類似測試或嘗試原始更改的更高級變體。

拆分測試最好作為長期策略的一部分進行。您的目標應該是在數周和數月內進行大量小的更改。所有這些變化加起來都會顯著並持續地提高您的整體轉化率。

如何計算您的 A/B 拆分測試樣本量

一旦理解了基本概念，計算最小樣本量就相對容易了。

以下是您需要了解的一些術語：

基線轉化率– 當前頁面的轉化率。
最小可檢測效果——最小可檢測效果是您感到興奮的基線轉化率的最小百分比變化：它可以是 2%、3%、5% 或 10%。在 A/B 測試中，它應該很少超過 10%。當然，較小的提升更容易實現，但更難證明，因為您將需要更多用戶。 另一方面，使用較少的用戶更容易證明更大的提升。但是通常很難想出一個會產生如此深遠影響的測試想法。
統計顯著性– 統計顯著性是您對結果“確定”的程度。在電子商務環境中，您應該瞄準 80% 到 95% 的統計顯著性。
顯著性水平——顯著性水平是統計顯著性的倒數。 例如，5% 的顯著性水平意味著結果有 5% 的可能性是由於隨機機會造成的。 5% 到 20% 的顯著性水平是正常的。
統計功效– 通常被 A/B 拆分測試者排除在外， “統計功效”是描述測試找到最小可檢測效果的概率的百分比，假設它存在。 例如，假設您將最小可檢測效果設置為 5%，將統計功效設置為 80%，並且在測試結束時，您的替代版本沒有獲勝。你有 80% 的把握認為失敗的版本不會好 5% 或更多。

使用 Evan Miller 的這個計算器來計算你的最小樣本，如果你想了解更多信息，請閱讀這篇關於統計顯著性的文章

您應該拆分測試哪些產品頁面元素？

產品頁面完全符合挑選測試候選人的標準。它們是電子商務網站上最重要和訪問量最高的頁面之一。它們也很容易拆分測試。

以下是一些對轉化率影響最大的產品頁面元素：

標題- 標題是客戶登陸產品頁面時首先看到的內容。它標識項目並將其與其他產品區分開來。您可以通過包括（或排除）品牌名稱、關鍵特性和 USP 以及對通用產品名稱的不同版本進行抽樣來進行試驗。
圖片– 產品圖片會顯著影響轉化。特別是旗艦產品圖像——客戶在滾動瀏覽後續圖像之前首先看到的圖像——具有很大的分量。運行此圖像的不同變體，以查看哪一個客戶最有吸引力。
描述– 有說服力的描述會迫使客戶點擊主要的 CTA。通過在副本中添加有說服力的元素來嘗試描述可以產生有趣的結果。考慮引用獎項、媒體提及、名人代言、傑出評論等。
價格——幾乎每個頁面的訪問者都會查看價格。可以測試多種變化，包括顏色、尺寸、位置和價格旁邊包含的任何信息 - 例如折扣前的原始劃線價格或促銷價格的截止日期。
功能選項- 通常，訪問者需要在購買前選擇顏色和尺寸等項目功能。如果這些選項不清楚或難以使用，就會給買家帶來很多摩擦。不明確的庫存水平也會導致不確定性。
交貨信息——運輸時間和成本是決策過程中的另一個主要因素。您可以通過以正確的方式顯示送貨信息來消除疑慮，甚至可以通過突出顯示免費、當日或次日送貨來提高購買意願。
CTA——這是一個很大的問題。談到 CTA 時，三個特徵最重要：形狀、大小和顏色。 CTA 應該從頁面上的其他元素中脫穎而出，並且易於點擊，尤其是在移動設備上。
星級- 在線購買者喜歡評論。考慮測試標題下方顯示的星級評分的變體，並讓客戶輕鬆瀏覽產品頁面上專門用於評論的部分。
建立緊迫感的功能——建立緊迫感的元素——比如倒數計時器、限時交付、特殊折扣價格等——可以顯著提高頁面的轉化率。了解有關在產品頁面上建立緊迫感的更多信息。

如果您想查看一些表現最佳的產品頁面的示例，以及有關如何提高轉化率的想法，請查看我們關於該主題的帖子。

如果您正在尋找其他測試靈感，我們已經編寫了網絡上（或任何地方，就此而言）最全面的電子商務優化清單。立即免費下載！

應避免的 11 大電子商務 A/B 拆分測試錯誤”

如果沒有正確完成，拆分測試可能會浪費大量時間和金錢。

避免犯以下錯誤：

不影響轉化的拆分測試頁面 – 不顯著影響轉化的拆分測試頁面沒有用。在時間和資源有限的情況下，研究並確定最佳測試候選者的優先級至關重要。
在一個測試中拆分測試多個元素——如果您使用多個元素運行測試，您將無法知道哪些變化導致了積極的結果。這會對您未來製定假設的能力產生負面影響，並且還可能導致您運行測試的頁面的結果不太理想。
使用小樣本量——如果你不堅持良好的數據科學——計算一個統計顯著性在 80% 到 95% 之間的樣本量——你的結果將是不確定的。從長遠來看，這很可能會導致您的目標發生微不足道的變化。
“借用”你所有的測試想法——競爭對手研究和使用案例研究來告知你的假設是一種很好的做法。當你只從他們那裡產生測試想法時，這是一個錯誤。您的許多最佳結果可能來自您的競爭對手尚未進行的測試。
零星的拆分測試——正如一句老話：拆分測試是為了生活，而不僅僅是為了聖誕節。為了獲得最大的轉化收益，以及能夠適應不斷變化的消費者行為的策略，應該以長期可持續的方式進行測試。
設計和開發過程之間缺乏分離——在集思廣益（設計）和實施它們（開發和編碼）時，任務之間應該有明確的區別。通常，零售商會混淆這些角色，導致無效的頭腦風暴或粗製濫造的實施。即使一個人負責兩項工作，也必須確保他們擁有適當的技能組合。
基於預感和假設的假設——每個拆分測試團隊都會有一套關於什麼是“好的測試想法”的假設。但重要的是盡可能保持開放的心態，並提出看似違反直覺的假設。拆分測試的全部目的是識別積極的原始變化。流程應該盡可能地挑戰潛在的假設，並鼓勵設計師跳出框框思考。
未能形成正確的假設——了解積極變化背後的原因很重要。如果你在沒有任何先見之明的情況下產生想法，你就會讓自己處於劣勢。了解成功結果的基礎使您能夠更清楚地了解客戶群隨著時間的推移的行為，並在未來產生可靠的假設。
結果分析不充分——因此 CTA“B”的轉化率為 10%，而 CTA“A”的轉化率為 5%。故事就這樣結束了吧？不！測試數據包含有關客戶的有用見解，包括有關高轉化率細分、峰值轉化時間、頁面障礙等的信息。使用 Google Analytics 之類的分析平台真正深入了解測試結果。
忽視小收益——零售商通常期望獲得巨大的收益，並且通常認為 2% 或 3% 的變化微不足道。在某種程度上，這是可以理解的。網絡上超級成功的案例研究占主導地位，這使我們有條件嘗試並反映相同的結果。但這是一個錯誤。小的增加，當它們具有強大的統計顯著性時，與更大的結果一樣有效。具有高統計功效的測試可以檢測到很小的影響，並且都同樣有效。
“偷看”結果– 過早停止拆分測試（在您達到所需的測試用戶數量之前）是一個很大的禁忌。通常，測試人員會根據測試中的結果得出一種變體相對於另一種變體的功效。當您這樣做時，您會忽略在測試過程中可能出現的差異，並且在某些時候，變體任意地超越彼此是很常見的。
電子商務最佳 A/B 拆分測試工具回顧
A/B 拆分測試應涵蓋營銷和銷售活動的大部分方面。 它不應該僅限於您的網站。大多數專用應用程序，例如用於電子郵件營銷、Facebook 廣告、社交媒體等的應用程序，都將附帶自己的 A/B 拆分測試工具。

此列表概述了在您的電子商務網站上運行拆分測試的最佳工具。此外，在 A/B 拆分測試方面，沒有一個全面的“最佳”工具。針對不同類型的在線商店設計了不同的解決方案，軟件的最佳選擇取決於一系列因素，包括規模、行業、首選營銷方法等。

以下是我們對排名前五的電子商務 A/B 拆分測試工具的概述：

VWO – VWO 是網絡上最受歡迎的電子商務工具之一，用於進行分析、開發新想法和運行測試。 作為一個平台，它具有運行優化活動所需的所有功能，並且用途廣泛——為企業和小型企業（以及介於兩者之間的所有企業）提供了一系列選項。 VWO 將 eBay 列入其客戶名單。
Optimizely – 國際電子商務領域的另一個大牌，Optimizely 是“大牌”在線零售商的最愛。該軟件包括用於進行 A/B 測試的強大功能包，允許對樣本進行分割、預測、定位和分析。它非常適合在移動設備和桌面設備上使用。
谷歌優化——谷歌優化的一大賣點是它與穀歌分析的無縫集成，儘管“賣點”可能是錯誤的詞，因為它是免費的。 Optimize 是一個完整的 A/B 測試平台，並擁有自己的可視化編輯器。它發現了大量追隨者，主要是在較小的公司中，這是可以理解的，因為它缺乏競爭對手的許多企業級功能。有一個付費版本 Optimize 360，用戶可以在以後升級到該版本。
AB Tasty – AB Tasty 專為大型企業設計，配備全套測試工具，包括功能豐富的分析平台、可視化編輯器和用於運行測試的自動化實施功能。
Swiftswap – 如果不包括 Growcode 的軟件Swiftswap ，我們就無法編制一份頂級測試工具列表。 Swiftswap 的獨特之處在於它使用人工智能來通知和簡化測試過程。它與所有電子商務平台集成。它還旨在為電子商務商店提供快速且一致的優化更改，並作為 Growcode 外包優化包的一部分提供。