A/B 測試：成為或不成為

沒有痛苦，沒有收穫，也沒有線索。 要將您的廣告帶來的流量轉化為銷售，您需要通過改善用戶體驗、改變用戶行為和提高轉化率來不斷優化您的網站。 但是你如何確保你實施的改變會帶來預期的結果呢？ 這就是 A/B 測試的目的。 在文章中，我們告訴你什麼是 A/B 測試，如何進行，以及哪些細微差別值得關注。

營銷中的 A/B 測試與拆分測試相同——比較網站頁面的兩個變體，它們僅相差一個參數。 A/B 測試的目標是確定這兩個選項中哪一個更有效並帶來更多轉化。

假設您銷售軟件。 您有一個帶有產品描述的登錄頁面，頁面底部有一個按鈕，用於訂閱試用版。 為了增加訂閱者的數量，您決定在登錄頁面上為那些已經了解您的產品或者更願意在不閱讀詳細信息的情況下立即嘗試的人添加一個按鈕。

要檢查您的假設是否正確（即您將通過添加另一個按鈕來獲得更多訂閱者），您可以創建原始登錄頁面的副本並為其添加一個按鈕。 然後，您將頁面訪問者分為兩組：一組將顯示原始頁面（變體 A），另一組將顯示更新的頁面（變體 B）。 在測試結束時，您比較性能指標（在我們的示例中為訂閱數量）並確定獲勝者。

讓我們看看 A/B 測試（或拆分測試）幫助我們實現的一些主要目標。

1. 更好地了解您的用戶並為他們提供他們想要的東西。 無論您從事電子商務和在線營銷多久，僅依靠您的個人經驗都是錯誤的。

即使您似乎可以預測網站用戶的行為並準確了解如何組織內容以使他們盡快通過銷售渠道，也要進行 A/B 測試。 結果可能會讓你大吃一驚。

實踐表明，我們的假設並不總是與現實相符。 因此，我們不能僅根據我們自己的信念來決定什麼對我們的客戶最好。

2. 依賴數據而非專家意見。 第二個挑戰源於第一個挑戰，是在現場進行更改並將所涉及的風險降至最低的可行性。

通常，假設是基於可能與觀眾觀點不一致的個人觀點。 因此，在沒有 A/B 測試的情況下引入的更改不會產生預期的效果——或者更糟的是，它們會降低轉化率。

因此，當您面臨決策使用什麼（數據或專家意見）的問題時，請始終選擇數據。

3.個性化與客戶的溝通。 客戶使用不同的設備，來自不同的來源，與您的網站進行不同的交互，瀏覽和購買不同的商品......

Google Analytics 和 Yandex.Metrics 等 Web 分析服務可幫助您組合這些數據並將有關用戶的知識系統化。 營銷人員收集有關用戶訪問了哪些頁面以及他們在這些頁面上做了什麼的信息。 這使得將受眾劃分為數十或數百個細分市場並了解例如來自自然流量或付費流量的用戶的行為方式成為可能。

但我們並不總是正確地使用這些信息，也不總是從中獲得最大的利益。 一個簡單的例子：大多數在線項目仍然向所有用戶展示相同的內容，無論他們的行為和流量來源如何：

如果您這樣做，拆分測試可以幫助您解決問題並個性化您網站上的內容。

現在讓我們看一下拆分測試的主要階段（和細微差別）：

您需要做的第一件事是確定您網站上的弱點列表。 為此，您可以：

• 探索谷歌分析和其他網絡分析系統中的數據，看看哪些頁面的失敗率高、滾動深度低、轉化率低。
• 使用 Webvisor 並單擊熱圖來了解用戶如何與您網站的元素進行交互。
• 分析支持案例或採訪活躍客戶，看看他們在網站上缺少什麼。

例如，假設您查看 Google Analytics（分析）中的增強型電子商務渠道，發現很少有人將某個商品添加到購物車中。 同時，你有一個線下銷售點，你知道這個產品很受歡迎。 在這種情況下，您的在線商店很可能有問題。

一旦你決定要修復什麼，你就需要考慮如何修復它。 如果沒有 A/B 假設，測試就毫無意義——你的發現的價值會很小。 你應該清楚地了解實驗的目的，你將測試網頁的哪些元素，以及你想要達到什麼樣的量化結果。

在製定假設時，請反擊您的轉化漏斗。 問問自己：我應該在頁面的某個部分進行哪些更改以使用戶更快地通過渠道？”每次測試檢查一個假設；否則，將很難定義哪些更改對最終結果的影響程度。

可以測試什麼：

• 轉換按鈕的顏色、大小、文本和位置
• 標題 — 更改文本； 讓它更短、更有趣、更相關
• 表單 - 減少字段數量或添加工具提示並填寫示例
• Landing — 更改頁面結構、字體或調色板
• 內容——添加高質量的照片和視頻、行動呼籲、促銷優惠、“免費”一詞等。

您對績效指標的選擇取決於您的假設和您想要實現的目標。 這些可以是收入、購買數量、轉換率、平均支票大小、應用程序和訂閱、失敗率等。

下一步是確保您已實施和記錄所有必要的指標，在此基礎上您將在測試結束時得出結論。 在我們的工作中，我們遇到過這樣的案例：客戶已經識別出弱點並形成假設，但沒有正確規定一個指標系統，因此他們可以理解轉化率的變化正是由於按鈕的變化，而不是因為其他因素。

在運行實驗之前考慮以下因素：

• 最小樣本量。 為確保您的測試結果具有統計意義且可信，請確定所需的參與者數量。 您可以使用免費的在線計算器（例如 Abtasty 和 Optimizely）來做到這一點。 假設您的原始著陸頁的轉化率為 5%，而您預計該頁面的測試版將達到 7%。 在這種情況下，最小可見效果將是 40%。 將這些數字輸入計算器，您會發現每個變體至少需要 1964 人：

• 外部因素：季節性、節假日、股票、天氣、貨幣匯率等。所以外部因素不會扭曲實驗結果，重要的是在同一時期同時顯示兩個版本的頁面。
• 首先測試宏轉換。 如果您設定訪問某個頁面的目標，用戶很可能會實現它但不會進行交易或不會採取其他目標操作。 始終有必要將您的渠道作為一個整體來考慮，以了解網站上的哪些用戶操作具有最高優先級。
• 考慮設備的類型。 如果您開始對網站的所有流量進行實驗，並且您有移動版和桌面版，請檢查測試選項在移動設備上的外觀。
• 排除內部流量，這樣您的員工在網站上的行為就不會扭曲統計數據。 這可以通過 IP 地址過濾在 Google Analytics 中完成。

在考慮了這些因素之後，您就可以運行測試了。 稍後，我們將告訴您可用於執行此操作的工具。

實驗結束時，分析結果。 例如，假設您的目標網頁上的原始轉化率為 3%，您假設可以將其提高到 5%，而測試變體顯示為 3.5%。 轉化率有所提高，但只是略有增加。 現在您需要決定是在網站上引入更改還是嘗試其他假設。

您可以使用在線計算器或統計方法檢查拆分測試的結果是否具有統計意義。

在我們關於網絡分析統計的文章中閱讀有關統計功效、樣本長度、置信區間、統計顯著性以及如何衡量它們的更多信息，或者如何成為一名真正的數據科學家。
如果該過程成功並且您收到了可靠的數據，請將著陸頁獲勝者帶到該網站並繼續進行下一個實驗。

分析結果時可能出現的錯誤：

• 過早地評估結果。 我們建議進行至少 14 天的拆分測試。 如果任務已開啟，您可以對此規則進行例外處理，您正在測試不影響站點全局功能的微小更改（例如，您更改了按鈕的顏色），並且您正在使用谷歌優化。 如果您在優化報告中看到新選項以 80-90% 的概率獲勝，您可以停止實驗。 這些指標不太可能發生巨大變化。
• 以低於 95% 的有效性閾值評估結果是 Optimize 報告中的另一個指標。 當您進行實驗時，Google 優化工具會考慮最終結果的有效性。 如果低於 95%，Optimize 會建議繼續實驗。 您可以在帶有活動實驗的選項卡中看到此閾值。
• 忽略測試結果是次要的。 誰不想一次翻倍轉換？！ 然而，即使是這種適度（乍一看）2-3% 的轉化率增長也不是一個壞結果。 特別是如果著陸頁上的更改很小。
• 不檢查您網站的全局指標。 畢竟，您需要檢查您的全局站點指標，而不僅僅是您在實驗中選擇的那些。 單個參數可能不足以評估更改的效果。 例如，通過提高轉換率，平均支票大小可能會減少，總收入可能會增加。 因此，監控所有相互關聯的 KPI。

要運行 A/B 測試，您必須創建頁面的測試版本，細分受眾，並分別計算每個細分的目標指標。 如果您有編程技能和足夠的資源，您可以手動運行 A/B 測試。 但在特殊工具的幫助下更容易、更方便。

我們準備了一個小表來比較流行的拆分測試工具：

在 OWOX BI，我們使用 Google Optimize 進行測試，因此我們將更多地關注該工具的功能。

Optimize 是一項連接到您的網站的在線服務，可讓您嘗試不同的內容顯示方式。

Optimize 允許您使用您在 Google Analytics（分析）中積累的數據為用戶提供對他們最方便且對您的業務最有利可圖的頁面版本。

• 數據的完整性。 要設置和分析實驗，可以使用 Google Analytics 中的用途和細分。 您可以使用您熟悉和喜愛的 Google Analytics（分析）中的常用指標。
• 充足的個性化機會。 成功完成測試後，您可以使用已實現的 Google Analytics 受眾和變量配置不同內容的演示，例如，在 Google Tag Manager 的 dataLayer 中。 如果實驗可以讓您為普通用戶提高網站的生產力，那麼基於用戶信息的個性化將使您在每個細分市場中獲得更高的回報。
• 與其他 Google 產品集成以進行更深入的定位和分析（Google Ads、Data Studio、跟踪代碼管理器等）
• 方便的界面，易於理解。 可視化編輯器允許您在沒有開發人員參與的情況下配置和開始新的實驗。 它顯著減少了進行實驗的時間。
• 對頁面加載速度的影響最小。
• 無需手動匯總數據、準備報告和應用統計公式來檢查結果。 谷歌優化自己做所有事情。

• 到目前為止，Google Optimize 不能用於測試移動應用程序。

• 您無法安排測試。 也就是說，如果您想準備數十個測試但由於某種原因無法同時啟動它們 - 或者如果免費版本對同時測試的數量有限制，或者您不想嘗試同一個觀眾有幾十個選項，這可能會成為一個問題。 您需要在界面中手動啟動每個測試。 這不是一個嚴重的缺點，但是您可以在其他一些服務中做到這一點。
  

Google Optimize 的工作原理與其他用於進行實驗和個性化的工具類似：

1. 首先，您需要創建將向用戶顯示的頁面、彈出窗口和其他對象的變體。
2. 然後，您需要確定用於確定獲勝選項的目標（指標）。 這些可以是優化中內置的指標——頁面瀏覽量、會話持續時間、交易、收入和失敗率——或者來自谷歌分析的任何自定義目標。
3. 之後，您需要確定將參與實驗的受眾並啟動實驗。 在這個階段，您必須通過向用戶展示測試選項來決定您可以承擔多少風險。 您可以在兩個選項之間平均分配流量，例如，進行 20/80 拆分。 另外，在這個階段，您必須選擇將實驗展示給哪一部分觀眾。 向所有人展示，還是拿 20% 並在他們之間分配您的兩個選項？ 你為什麼要這樣做？ 如果您有一家大型商店，您不確定自己的假設，並且您不想冒一半流量的風險。

除了經典的 A/B 測試之外，在 Optimize 中，您還可以運行多變量測試（其中您有多個組合中的多個變化元素）和重定向測試（針對具有不同 URL 和設計的頁面）。

您可以在我們關於如何使用 Google Optimize 進行首次 A/B 測試的文章中了解有關 Google Optimize 界面和設置的更多信息。

借助 Google 優化工具中的報告，您可以在實驗期間監控結果並在實驗結束後立即分析收集的數據。

優化報告中的術語：

• 改進——轉化率的可能範圍
• 最好的概率——這個選項比所有其他選項更好的概率
• 超越基線的概率——這個選項帶來比原來更好的轉化率的概率
• 轉化率——預測的平均轉化率
• Conversions — 有轉化的會話數

如何確定獲勝者
Google Optimize 使用貝葉斯推理來生成統計數據。 無需贅述，這意味著在實驗期間，您可以在優化報告中看到變體 B 在實驗結束前成為獲勝者的概率。 如果概率達到一定水平，就有可能提前完成實驗，節省時間和金錢。

此外，谷歌團隊計劃在實驗結束前實施流量再分配機制，以支持最佳選擇。 這將為您節省資金，因為在測試期間看到無效選項的用戶會更少。

如果您將優化工具與您的 Google Analytics（分析）帳戶集成，您將能夠在 Google Analytics（分析）界面的行為/實驗部分中瀏覽和分析測試結果：

如果您的實驗成功，您可以在您的網站上部署獲勝選項。

• Optimize 360​​ 被證明是用於測試您網站上的用戶體驗的準確無編碼解決方案
• 如何進行第一次 A/B 測試：使用 Google Optimize 自動化流程
• 網絡分析中的統計數據，或如何成為真正的數據科學家
• 免費網絡研討會：用於測試和個性化的 Google Optimize
• 視頻教程
• 專業術語
• 介紹可視化編輯器
• 部署優化
• 優化幫助中心
• 優化工具和谷歌分析報告的差異
• 可視化編輯器

PS 如果您在運行 A/B 測試和為您的業務創建自定義指標方面需要幫助，請發送電子郵件至[email protected] 或填寫我們網站上的聯繫表。