Mopinion を使用した A/B テスト 2023 年 2 月 17 日

CRO スペシャリストとグロース マーケターは、実験と A/B テストに重点を置いています。 A/B テストまたは分割テストは、コンテンツの 2 つのバージョンをテストし、それらのパフォーマンスを比較する方法です。 多くの場合、A/B テストの目的は、どのバージョンがより多くのコンバージョンとより高い CTR につながるかを確認することです。 定性的データは、生の数値ほど注目されないことがよくあります。 たとえば、特定の A/B テストによってコンバージョン数や特定のボタンのクリック数が増える可能性がありますが、ユーザー エクスペリエンスやセンチメントは改善されない可能性があります。 ボタンのクリックは、訪問者がボタンをクリックした場合に何が起こるかを明確にしていなかったために発生した可能性があります。
そのため、A/B テストのフィードバックを収集し、定性的なデータも取得することが重要であると考えています。

この記事では、 Mopinion を使用して A/B テストを実施できる 2 つの実用的な方法を紹介します。

1. フィードバック フォームを使用して、ユーザーが 2 つの異なるバージョンの A/B テストをどのように体験したかを測定します。
2. 2 つの異なるフィードバック フォームをテストして、どちらの回答率が高いかを測定します。

オンラインの顧客からのフィードバックは、単なる仮定に基づくものではない仮説を立てるのにも役立ちます。 収集したフィードバックに基づいて、顧客がオンライン チャネルで抱えている問題を特定できます。 この情報を入力として使用して、さまざまな仮説をテストできます。 しかし、この記事では、上記の 2 つの点に焦点を当てます。

記事全体を読む時間がありませんか? 私 (Mopinion の成長マーケター) が Mopinion で A/B テストを行う方法を説明しているビデオをご覧ください。

A/B テストとは何ですか?

A/B テストでは、コンテンツの 2 つのバージョンをテストして、どちらのパフォーマンスが優れているかを確認できます。 視聴者の 50% に 1 つのバージョンのコンテンツ (バリアント A) を提供し、残りの 50% には別のバージョンのコンテンツ (バリアント B) を提供します。配信はランダムにする必要があります。

次に、コンバージョン率、クリック率、またはカスタマー エクスペリエンスを測定して、どのバージョンのテストのパフォーマンスが優れているかを確認します。 サンプルサイズが十分に大きいと、統計的に有意な結果が得られ、どのバージョンが意図した目標につながるかがわかるため、パフォーマンスが向上します。 これが、実際に実装して目的の改善をもたらすバージョンになります。

何を A/B テストできますか?

A/B テストは、多くの場合、ウェブサイト ページ、アプリ内、メールなどのデジタル チャネルで行われます。 ウェブサイトまたはアプリ内の (ランディング) ページで、次のような多くの変数をテストできます。

• タイトルとサブタイトル
• ボディコピー
• 色
• コンテンツ タイプ (動画、画像、テキスト、下の画像のように)
• レイアウト
• デザイン
• 行動を促すフレーズ (CTA)
• ナビゲーション
• フィードバックフォーム

メールの A/B テストを使用すると、件名、レイアウト、メールの長さ、さらにはメールを送信する時刻までテストできます。

A/B テストは自社チャネルに限定されません。 また、ソーシャル広告と検索広告をテストして、ウェブサイトへのトラフィックが最も多いのはどれか、訪問者をコンバージョンに導く可能性が最も高いのはどれかを確認できます。 ここでは、色、デザイン、 CTAをいじることもできます。

フィードバック フォームは、A/B テストの可能性もあります。 どのようなフィードバック フォームが最も有益な情報を提供してくれるか知りたくありませんか? フィードバック フォーム内には、 lay-out 、 copy 、 design 、 question-order 、 type of question 、 type of feedback form 、いつどのようにトリガーされるかなど、多くのテスト項目があります。 変数の 1 つを変更すると、フィードバック フォームの応答率にプラスの影響を与える可能性があります。

(Mopinion を使用して) A/B テストを行う必要があるのはなぜですか?

A/B テストを使用すると、Web サイト、アプリ、電子メール、またはその他のデジタル チャネルに対して、意図した改善に実際につながる有意義でデータ駆動型の変更を加えることができます。 これは、ROI の向上、コンバージョンの増加、カスタマー エクスペリエンスの向上などのいずれにも当てはまります。 テストにより、当て推量と仮定が取り除かれます。

ここで、特に Mopinion を使用して A/B テストを開始する必要がある理由に焦点を当てましょう。 上記のように、Mopinion を使用した A/B の 2 つの方法に焦点を当てます。

1. フィードバック フォームを使用して、ユーザーが 2 つの異なるバージョンの A/B テストをどのように体験したかを測定します。

オーディエンスが A/B テストの 2 つのバージョンをどのように体験するかを測定すると、質的なデータが得られます。 視聴者の感情や意見に関する洞察を提供します。 たとえば、さまざまな種類のコンテンツを含むメールで A/B テストを行っているとします。 視聴者は評価を付け、電子メールのフィードバック フォームにオープン コメントを残すことができます。 A/B テストによって、2 つのバージョンの評価が異なる場合があります。 これは、CSAT、NPS、またはその他の測定対象に影響を与え、視聴者の感情に関する洞察を提供します。 公開コメントは、特定の評価が与えられた理由と、2 つのバージョンに違いがある理由について詳しく説明します。 公開コメントは、聴衆の一般的な意見についても知らせます。 CTR と (販売) コンバージョンに基づく定量的な目標に加えて、2 つのバージョンのメールについてオーディエンスがどう思うかがわかります。

生の販売数に直接関係のない目標を設定することは一般的ではありませんが、ユーザー エクスペリエンスの向上に重点を置いている可能性があります。 改善されたエクスペリエンスは、販売指標にプラスの影響を与える可能性があり、多くの場合、実際に影響を及ぼします。 その場合も同様にフィードバックを収集することをお勧めします。次の例をご覧ください。

特定の Web サイト ページでのユーザー エクスペリエンスを向上させたいとします。 ページ滞在時間、訪問したページ数、またはスクロールの深さを測定したい。 テスト パターン (B) では、より多くのページが訪問され、ページの滞在時間が長くなりました。これは、ウェブサイトのエクスペリエンスが向上したことを示している可能性があります。 ただし、訪問者が探している情報を見つけることができなかったため、より多くの時間を必要としたか、より多くのページを訪問したことを示している可能性もあります。 変更がエクスペリエンスに実際にプラスの影響を与えたかどうかを知るには、定性的なデータを収集する必要があります。

2. 2 つの異なるフィードバック フォームをテストして、どちらの回答率が高いかを測定します。

Mopinion を使用した A/B テストの 2 つ目の方法として、質問の順序やフォームのデザインなどのフィードバック フォームを使用して A/B テストを実施する場合、どのフィードバック フォームが最も多くの回答やオープン コメントを提供しているかを判断できます。したがって、ほとんどの洞察。

Mopinion を使用した A/B テストの 2 つの方法

1. フィードバック フォームを使用して、ユーザーが 2 つの異なるバージョンの A/B テストをどのように体験したかを測定する

例：
Web サイトのランディング ページで A/B テストを行っています。 上の画像のように、ページのレイアウトを変更しました。 顧客満足度を測定していて、バリエーションごとの平均評価が異なるかどうかを知りたいとします。 テストを実施した後、元のバリアント(A) の平均評価は3/5で、テスト バリアント(B) の平均評価は5/5です。 サンプルサイズが十分に大きく、結果が有意であれば、評価の違いは B バリアントに加えた変更によるものであると言えます。 これは、訪問者がテスト バリアントにより満足していることを明確に示しており、ページに変更を実装する必要があります。

モピニオンでこれを行うには？

A/B テストでのフィードバック フォームの実装はそれほど難しくありません。必要なフォームは 1 つだけです。 テストしているページで既に 1 つのフォームを有効にしている場合は、元のフォームをそのまま使用できます。または、新しいフィードバック フォームを作成してページに有効にします。 視聴者の 100% が利用できるようにする必要があります。

あとは、フィードバック フォームにデータ要素を入力するだけです。 データ要素は、フィードバックが提供されたバリアント (A または B) を示すことができる必要があります。これがフィードバック フォームでどのように表示されるかについては、下の画像を参照してください*。


Mopinion フィードバック フォーム デザイン – A/B テスト データ要素

次の画像は、受信トレイのフィードバック アイテムがどのように表示されるかを示しています。 フィードバックが寄せられるたびに、バリアントが Mopinion に送信され、受信トレイの個々のフィードバック項目に表示されます。 このようにして、どのフィードバック アイテムがどのテスト バリアントに属しているかがわかります。


Mopinion フィードバック受信トレイ – A/B テストバリアントの可視性

ダッシュボードで実験を簡単に追跡できます。 これを行うには、グラフを作成し、バリアントに基づいて (データ要素を使用して) 評価をフィルタリングします。 ダッシュボードでどのように表示されるかについては、以下のスクリーンショットを参照してください。 元のバリアント A の平均評価は 3 であるのに対し、テスト バリアント B の評価は 5 であることがわかります。グラフを作成するときに、これが時間の経過またはオーディエンス セグメントごとに変化するかどうかも確認できます。無限の可能性があります。


Mopinion グラフ – バリアントごとの A/B テスト平均評価

条件ごとにダッシュボードに違いが見られる場合は、バリアントごとのフィードバック項目をさらに深く掘り下げ、未解決のコメントを読む必要があります。 おそらく、そこで評価の違いの理由を見つけ、視聴者の感情や考えを味わうことができるでしょう.

当社のナレッジ ベースでは、Mopinion を使用して A/B テストを実施する方法に関する段階的なガイドを見つけることができます。 Google Optimize、Optimizely、AB Tasty の 3 つの異なる A/B テスト ツールのガイドを作成しました。 もちろん、別の A/B テスト ツールを使用していて、A/B テストでフィードバックを収集したい場合は、サポート チームがお手伝いします。

*データ要素を含むスクリーンショットは、Google オプティマイズに基づいています

2. 2 つの異なるフィードバック フォームをテストして、どちらの回答率が高いかを測定します。

例：
Web ページで 2 つの異なるフィードバック フォームをテストし、どちらが視聴者からより多くの反応を得ているかを確認したいと考えています。 会話形式のフィードバック フォームが、従来の Mopinion フォームよりも多くの応答を得るかどうかを知りたいと考えています。 テストを実施した後、会話型フォームで 75 の応答、従来のフォームで 50 の応答があり、フォームは同じ頻度で開かれています。 フィードバック フォームに十分な回答と十分なビューがあれば、会話型フィードバック フォームはより多くの回答を得て、より多くの洞察を得ることができるとある程度の自信を持って言えます。

モピニオンでこれを行うには？

Mopinion を使用すると、同じ Web ページまたはアプリ ページまたは電子メールに 2 つの異なるフォームを展開できるため、これを行うのは非常に簡単です。 公正なテストのために、同じ人数の人にフォームを見せる必要があります。 各バリアントは視聴者の半分または半分に表示されるため、分割は 50/50 にする必要があります。 最初のフォーム (バリアント A) は、訪問者の 50% に表示されます。 もう 1 つのフォーム (バリアント B) は、最初のフォームを見なかった訪問者の 100% に表示されます。 また、1 秒の遅延により、両方のフォームが同時に表示されないようにすることができます。


Mopinion の導入 – A/B テスト用の同じページにある 2 つのフォーム

フィードバックが届き始めたら、応答率、評価 (CSAT、NPS など)、もちろんオープン コメントなど、2 つの条件の間でフィードバックを比較できます。 同じグラフに両方のフォームを追加し、応答数を比較することで、実験を簡単に追跡できます。

私が Mopinion フォームで行った A/B テストの実際の例を見てみましょう。

Mopinion が Mopinion を使用して AB テストを実施する方法

2022 年 10 月に、私はホームページでパッシブ フィードバック フォームをテストしました。会話形式のフィードバック フォームと従来のフィードバック フォームです。 私の A/B テストの目標は、どのフィードバック フォームがより多くの応答を獲得し、どのフィードバック フォームがより高い評価を得ているかを理解することでした。 私の仮説は、会話型フィードバック フォームは、従来のフィードバック フォームよりも多くの応答と高い評価を得られるというものでした。


Mopinion ダッシュボード – フィードバック フォーム A/B テスト応答


Mopinion ダッシュボード – フィードバック フォーム A/B テストの平均評価

ここでは、私の実験の結果と、それが私のパーソナル ダッシュボードでどのように表示されるかを確認できます。 私の最初の仮説は支持されました (有意ではありません**)。会話型フィードバック フォームは、私の従来のフォームよりも 11 多い応答を受け取りました。 私の 2 番目の仮説は支持されませんでした (これも有意ではありません)。古典的な形式の平均評価は 3.8 で、私の会話形式よりも 0.2 ポイント高かったからです。

フィードバック フォームで A/B テストを実施することにより、どのフィードバック フォームが最も多くの応答と洞察を提供するかを知ることができます。

さまざまな Mopinion フィードバック フォームを自分でテストしたい場合は、ナレッジ ベースにアクセスしてください。ステップ ツー ステップ ガイドがあります。

**テストは有意な効果を得るのに十分な時間行われませんでしたが、より多くのフィードバック項目があれば、有意な効果を得ることができるかもしれません

Mopinion の助けを借りて A/B テストを開始する

結論として、Mopinion は A/B テストに非常に役立ちます。 A/B テストで定性的なデータを取得し、視聴者の感情と経験を理解するのに役立ちます。 テストの定量データを定性データで強化します。 それに加えて、どの種類のフィードバック フォームが最も多くの反応と洞察を得ることができるかを理解するのに役立ちます。

A/B テストのご成功をお祈りしております。