A / Bテスト：生きるべきか、死ぬべきか

痛みも、利益も、リードもありません。 広告が売り上げにもたらすトラフィックを増やすには、ユーザーエクスペリエンスを改善し、ユーザーの行動を変え、コンバージョン率を上げることで、サイトを絶えず最適化する必要があります。 しかし、実装する変更が期待される結果をもたらすことをどのように確認できますか？ それがA/Bテストの目的です。 この記事では、A / Bテストとは何か、その実行方法、および注意を払う価値のあるニュアンスについて説明します。

マーケティングでのA/Bテストは、分割テストと同じです。つまり、1つのパラメーターだけが異なるWebサイトページの2つのバリアントの比較です。 A / Bテストの目標は、これら2つのオプションのどちらがより効果的で、より多くのコンバージョンをもたらすかを判断することです。

ソフトウェアを販売しているとしましょう。 製品の説明が記載されたランディングページと、ページの下部に試用版をサブスクライブするためのボタンがあります。 購読者の数を増やすために、あなたはあなたの製品についてすでに知っているか、詳細を読まずにすぐにそれを試してみたい人のために、ランディングページにもう1つのボタンを追加することにしました。

別のボタンを追加することでより多くのサブスクライバーを獲得できるという仮説が正しいかどうかを確認するには、元のランディングページのコピーを作成し、それにボタンを追加します。 次に、ページ訪問者を2つのグループに分けます。1つは元のページ（バリアントA）が表示され、もう1つは更新されたページ（バリアントB）が表示されます。 テストの最後に、パフォーマンス指標（この例ではサブスクリプションの数）を比較して、勝者を決定します。

A / Bテスト（または分割テスト）が達成するのに役立つ主なもののいくつかを見てみましょう。

1.ユーザーをよりよく理解し、ユーザーが望むものを提供します。 あなたがeコマースやオンラインマーケティングをどれだけ長くやってきたとしても、あなたの個人的な経験だけに頼るのは間違いでしょう。

Webサイトのユーザーの行動を予測し、コンテンツを整理して販売の目標到達プロセスをできるだけ早く移動できるようにする方法を正確に理解できるように思われる場合でも、A/Bテストを実施します。 結果はあなたを驚かせるかもしれません。

実践が示すように、私たちの仮定は必ずしも現実と一致するとは限りません。 したがって、私たち自身の信念だけに基づいて、お客様にとって何が最善かを判断することはできません。

2.専門家の意見よりもデータに依存します。 最初の課題から生じる2番目の課題は、サイトに変更を加え、関連するリスクを最小限に抑えることの実現可能性です。

多くの場合、仮説は、聴衆の見解と一致しない可能性のある個人的な見解に基づいています。 その結果、A / Bテストなしで導入された変更は、望ましい効果をもたらさず、さらに悪いことに、コンバージョンが減少します。

したがって、意思決定に何を使用するか（データまたは専門家の意見）の問題に直面した場合は、常にデータを選択してください。

3.顧客とのコミュニケーションをパーソナライズします。 顧客はさまざまなデバイスを使用し、さまざまなソースから来て、サイトとさまざまにやり取りし、さまざまな商品を閲覧して購入します...

Google AnalyticsやYandex.MetricsなどのWeb分析サービスは、このデータを組み合わせて、ユーザーに関する知識を体系化するのに役立ちます。 マーケターは、ユーザーがアクセスしたページとユーザーがページで行ったことに関する情報を収集します。 これにより、オーディエンスを数十または数百のセグメントに分割し、たとえば、オーガニックまたは有料のトラフィックから来たユーザーがどのように行動するかを学ぶことができます。

しかし、私たちは常にこの情報を正しく使用するとは限らず、常にそれから最大の利益を引き出すとは限りません。 簡単な例：ほとんどのオンラインプロジェクトでは、行動やトラフィックソースに関係なく、すべてのユーザーに同じコンテンツが表示されます。

その場合、分割テストは状況を修正し、サイトのコンテンツをパーソナライズするのに役立ちます。

次に、分割テストの主な段階（およびニュアンス）を見てみましょう。

最初に行う必要があるのは、サイトの弱点のリストを特定することです。 これを行うには、次のことができます。

• Google Analyticsおよびその他のWeb分析システムのデータを調べて、失敗率が高く、スクロール深度が低く、コンバージョン率が低いページを確認します。
• Webvisorを使用し、ヒートマップをクリックして、ユーザーがサイトの要素をどのように操作するかを理解します。
• サポートケースを分析するか、アクティブな顧客にインタビューして、サイトに何が欠けているかを確認します。

たとえば、Googleアナリティクスの拡張eコマースファネルを見て、特定のアイテムをショッピングカートに追加する人はほとんどいないことがわかります。 同時に、オフラインのPOSがあり、この製品が人気があることを知っています。 この場合、オンラインストアに問題がある可能性があります。

何を修正するかを決めたら、それをどのように修正するかを正確に考える必要があります。 A / B仮説がなければ、テストは意味がありません—調査結果からの価値は小さくなります。 実験の目的、テストするWebページの要素、および達成したい定量的な結果を明確に理解する必要があります。

仮説を立てるときは、コンバージョンプロセスに反対します。 自問してみてください。ユーザーを目標到達プロセスでより速く移動させるには、ページの一部で何を変更する必要がありますか？」テストごとに1つの仮説を確認します。そうしないと、どの変更が最終結果にどの程度影響したかを定義するのが困難になります。

テストできるもの：

• 変換ボタンの色、サイズ、テキスト、および位置
• 見出し—テキストを変更します。 それをより短く、より面白く、そしてより関連性のあるものにする
• フォーム—フィールドの数を減らすか、ツールチップを追加して例を入力します
• ランディング—ページ構造、フォント、またはカラーパレットを変更します
• コンテンツ—高品質の写真やビデオ、アクションへのアピール、プロモーションオファー、「無料」という言葉などを追加します。

パフォーマンス指標の選択は、仮説と達成したい目標によって異なります。 これらには、収益、購入数、コンバージョン率、平均チェックサイズ、アプリケーションとサブスクリプション、失敗率などがあります。

次のステップは、必要なすべてのメトリックが実装および記録されていることを確認することです。これに基づいて、テストの最後に結論を導き出します。 私たちの仕事では、クライアントが弱点を特定して仮説を立てたものの、指標のシステムを正しく規定していないため、たとえばボタンの変更によってコンバージョン率が正確に変化したことを理解できる場合があります。他の要因のため。

実験を実行する前に、次の要素を考慮してください。

• 最小サンプルサイズ。 テスト結果が統計的に有意であり、信頼できることを確認するには、必要な参加者数を決定します。 これは、AbtastyやOptimizelyなどの無料のオンライン計算機を使用して行うことができます。 元のランディングページのコンバージョン率が5％で、ページのテストバージョンが7％に達すると予想するとします。 この場合の最小の目に見える効果は40％になります。 これらの数値を計算機に入力すると、バリアントごとに最低1964人が必要であることがわかります。

• 外部要因：季節性、休日、株式、天気、為替レートなど。外部要因が実験の結果を歪めないように、同じ期間に両方のバージョンのページを並行して表示することが重要です。
• 最初にマクロ変換をテストします。 特定のページにアクセスするという目標を設定した場合、ユーザーはそれを達成する可能性がありますが、トランザクションを実行しないか、別のターゲットアクションを実行しません。 サイトでのどのユーザーアクションが最優先事項であるかを理解するには、目標到達プロセス全体について常に考える必要があります。
• デバイスの種類を検討してください。 Webサイトへのすべてのトラフィックでテストを開始し、モバイルバージョンとデスクトップバージョンを使用している場合は、モバイルデバイスでテストオプションがどのように表示されるかを確認してください。
• Webサイトでの従業員の行動が統計を歪めないように、内部トラフィックを除外します。 これは、IPアドレスフィルタリングを使用してGoogleAnalyticsで実行できます。

これらの要因を考慮した後、テストを実行できます。 少し後で、これを行うために使用できるツールについて説明します。

実験の最後に、結果を分析します。 たとえば、ランディングページの元のコンバージョン率が3％だったとし、それを5％に増やすことができると仮定し、テストバリアントは3.5％を示しました。 コンバージョン率は上昇していますが、わずかです。 次に、サイトに変更を導入するか、別の仮説を試すかを決定する必要があります。

オンライン計算機または統計的手法を使用して、分割テストの結果に統計的有意性があるかどうかを確認できます。

統計的検出力、サンプルの長さ、信頼区間、統計的有意性、およびそれらを測定する方法については、Web分析の統計に関する記事、または真のデータサイエンティストになる方法を参照してください。
プロセスが成功し、信頼できるデータを受け取った場合は、ランディングページの勝者をサイトに連れて行き、次の実験に進みます。

結果を分析するときに発生する可能性のあるエラー：

• 結果を時期尚早に評価します。 分割テストは少なくとも14日間実行することをお勧めします。 タスクがオンで、サイトのグローバル機能に影響を与えない小さな変更をテストしている場合（たとえば、ボタンの色を変更した場合）、このルールに例外を設けることができます。 Googleオプティマイズ。 オプティマイズレポートで、新しいオプションが80〜90％の確率で勝つことがわかった場合は、実験を停止できます。 指標が劇的に変化する可能性は低いです。
• 95％未満の有効性しきい値で結果を評価することは、 Optimizeレポートのもう1つの指標です。 実験を行うとき、GoogleOptimizeは最終結果の有効性を考慮します。 95％未満の場合、Optimizeは実験を続行することをお勧めします。 このしきい値は、アクティブな実験のタブで確認できます。
• テスト結果をマイナーとして無視します。 一度にコンバージョンを2倍にしたくない人はいますか？！ ただし、このような控えめな（一見したところ）コンバージョン率の2〜3％の増加でさえ、悪い結果ではありません。 特にランディングページの変更が小さかった場合。
• サイトのグローバルインジケーターをチェックしていません。 結局のところ、実験の一環として選択したものだけでなく、グローバルサイトの指標を確認する必要があります。 変更の影響を評価するには、単一のパラメーターでは不十分な場合があります。 たとえば、コンバージョン率を上げると、平均小切手サイズが減少し、総収益が増加する可能性があります。 したがって、相互接続されたすべてのKPIを監視します。

A / Bテストを実行するには、ページのテストバージョンを作成し、オーディエンスをセグメント化し、各セグメントのターゲットメトリックを個別に計算する必要があります。 プログラミングスキルと十分なリソースがある場合は、A/Bテストを手動で実行できます。 しかし、特別なツールの助けを借りてそれを行う方が簡単で便利です。

一般的な分割テストツールを比較する小さな表を用意しました。

OWOX BIでは、テストにGoogle Optimizeを使用しているため、このツールの機能にさらに焦点を当てます。

Optimizeは、Webサイトに接続され、コンテンツを表示するさまざまな方法を試すことができるオンラインサービスです。

Optimizeを使用すると、Google Analyticsに蓄積されたデータを使用して、ユーザーにとって最も便利でビジネスにとって最も収益性の高いバージョンのページをユーザーに提供できます。

• データの完全性。 実験を設定して分析するために、GoogleAnalyticsの目的とセグメントを使用することができます。 知っていて気に入っているGoogleAnalyticsの通常の指標を使用できます。
• パーソナライズのための十分な機会。 テストが正常に完了したら、Google Analyticsのオーディエンスと変数を使用して、さまざまなコンテンツのデモンストレーションを構成できます。これらの変数は、たとえば、GoogleTagManagerのdataLayerに実装されています。 実験によって平均的なユーザーのWebサイトの生産性を向上させることができれば、ユーザーに関する情報に基づいてパーソナライズすることで、各セグメント内でより高い収益を達成できます。
• より詳細なターゲティングと分析のための他のGoogle製品との統合（Google広告、データスタジオ、タグマネージャーなど）
• わかりやすい便利なインターフェース。 ビジュアルエディターを使用すると、開発者の関与なしに新しい実験を構成して開始できます。 実験の時間を大幅に短縮します。
• ページの読み込み速度への影響は最小限です。
• 結果を確認するために、手動でデータを要約したり、レポートを作成したり、統計式を適用したりする必要はありません。 GoogleOptimizeはすべてを自分で行います。

• これまでのところ、GoogleOptimizeを使用してモバイルアプリケーションをテストすることはできません。

• テストをスケジュールすることはできません。 つまり、数十のテストを準備したいが、何らかの理由で同時に開始できない場合、または無料バージョンに同時テストの数に制限がある場合、または試してみたい場合です。同じオーディエンスで数十のオプションがあり、それが問題になる可能性があります。 インターフェイスで各テストを手動で起動する必要があります。 これは重大な欠点ではありませんが、それでも他のいくつかのサービスでこれを行うことができます。
  

Google Optimizeは、実験やパーソナライズを行うための他のツールと同様に機能します。

1. まず、ユーザーに表示するページ、ポップアップ、その他のオブジェクトのバリエーションを作成する必要があります。
2. 次に、勝利オプションを決定するための目標（メトリック）を決定する必要があります。 これらは、オプティマイズに組み込まれている指標（ページビュー数、セッション期間、トランザクション、収益、失敗率）、またはGoogleアナリティクスのカスタム目標です。
3. その後、実験に参加する対象者を特定し、実験を開始する必要があります。 この段階で、ユーザーにテストオプションを表示して、どの程度のリスクを取ることができるかを決定する必要があります。 2つのオプション間でトラフィックを均等に分散するか、たとえば20/80分割を行うことができます。 さらに、この段階では、オーディエンスのどの部分に実験を表示するかを選択する必要があります。 全員に見せますか、それとも20％を取り、2つのオプションをそれらの間で分配しますか？ なぜあなたはこれをしたいのですか？ あなたが大きな店を持っている場合、あなたはあなたの仮説に確信が持てず、あなたはトラフィックの半分を危険にさらしたくありません。

従来のA/Bテストに加えて、オプティマイズでは、多変量テスト（複数の組み合わせで複数の変更要素がある）とリダイレクトされたテスト（異なるURLとデザインのページ）を実行できます。

Google Optimizeのインターフェースと設定について詳しくは、GoogleOptimizeを使用して最初のA/Bテストを実施する方法に関する記事をご覧ください。

Google Optimizeのレポートを使用すると、実験中に結果を監視し、実験が終了した直後に収集されたデータを分析できます。

オプティマイズレポートの用語：

• 改善—コンバージョン率の可能性のある範囲
• 最良である確率—このオプションが他のすべてのオプションよりも優れている確率
• ベースラインを上回る確率—このオプションが元のコンバージョン率よりも高いコンバージョン率をもたらす確率
• コンバージョン率—予測される平均コンバージョン率
• コンバージョン—コンバージョンのあるセッションの数

勝者の決定方法
Google Optimizeは、ベイズ推定を使用して統計を生成します。 詳細に立ち入ることなく、これは、実験中に、オプティマイズレポートで、実験が終了する前にバリアントBが勝者になる確率を確認できることを意味します。 確率が一定のレベルに達した場合、予定より早く実験を終了し、時間とお金を節約することが可能です。

さらに、Googleチームは、実験が終了する前に、最適なオプションを優先してトラフィックを再配布するメカニズムを実装することを計画しています。 これにより、テスト中に効果のないオプションが表示されるユーザーが少なくなるため、費用を節約できます。

OptimizeをGoogleAnalyticsアカウントと統合すると、[ Behavior/Experiments ]セクションのGoogleAnalyticsインターフェースでテストの結果を参照および分析できるようになります。

実験が成功した場合は、勝者のオプションをWebサイトに展開できます。

• Optimize 360​​は、サイトのユーザーエクスペリエンスをテストするための正確なコーディングなしのソリューションであることが証明されています
• 最初のA/Bテストの実施方法：GoogleOptimizeを使用してプロセスを自動化します
• Web分析の統計、または真のデータサイエンティストになる方法
• 無料のウェビナー：テストとパーソナライズのためのGoogle Optimize
• ビデオチュートリアル
• 用語集
• ビジュアルエディターのご紹介
• オプティマイズをデプロイする
• ヘルプセンターの最適化
• オプティマイズレポートとGoogleAnalyticsレポートの違い
• ビジュアルエディター

PS A / Bテストの実行とビジネスのカスタムメトリックの作成についてサポートが必要な場合は、contact @ owox.comに電子メールを送信するか、当社サイトの連絡フォームに記入してください。