A / B/n電子メールテストの成功を妨げる7つの一般的な問題

メールマーケティングで大きな問題に直面している新しいクライアントと仕事を始めるときはいつでも、私が最初にレビューすることの1つは、彼らがメールテストをどのように実施するかです。

A / B / nテストは、効果的なキャンペーンを構築し、ブランドの電子メール戦略と戦術が成功したか失敗したかを測定するために私が知っている最良の方法です。 しかし、多くの場合、チームはテストを正しく設定し、結果を正確に測定するのに苦労しています。 これは通常、効果のない電子メールの実験と悪い結果につながります。

テストプログラムの信頼性が低い場合、選択した戦略と戦術が機能しているか失敗しているかがわかりません。 あなたの電子メールの努力があなたが必要とする結果をもたらさないならば、電子メールチャネル自体を非難しないでください。 代わりに、結果をテストおよび測定する方法を確認してください。

7つの一般的なテストの問題とそれらを修正する方法

これらは、クライアントとの私の仕事で最も頻繁に発生します。 これらの課題のいくつかを解決するには、考え方を完全に変える必要があります。 他の人にとっては、テストを設定する適切な方法を学ぶだけで、現在の問題の多くを解決できます。

それがテストの良いところです。 すべての問題について、それを修正する方法があります。 テストによって問題を解決するたびに、電子メールプログラムを正しい方向に進めるための別のステップを踏みます。

1.仮説なしのテスト

多くのメールマーケターは、主に件名などの単純な機能で基本的なA / B分割テストを設定するために、ESPが提供するツールを使用してテストの基本を理解しています。

ただし、このアドホックな1回限りのアプローチは、地図の読み方を知らずに車の運転を学ぶようなものです。 あなたはうまく車をつけることができます。 しかし、渋滞や迂回路を最小限に抑えて行きたい場所に行くための旅を計画するには、地図のスキルが必要です。

はい、Googleマップに計画作業を任せることができます。 ただし、すべてのデータ（提供するものと、他のソースから取得するもの）は正しく整列している必要があります。 間違った目的地を入力したり、デッドゾーンにドライブしたりすると、目的の場所から何マイルも離れてしまう可能性があります。

それはあなたがテストしないか間違ってテストするときあなたの電子メールプログラムに起こることです。 あなたの仮説は、テストのためのロードマップです。 何が起こるかを説明し、変数、テストセグメント、成功指標、さらには結果の使用方法の選択をガイドします。

2.間違った変換計算を使用する

これは、お客様の旅とテストの目的に関連しています。

ウェブサイトのランディングページで標準のA/B分割テストを行う場合、ページのコンバージョン率を確認するためのコンバージョン計算として「トランザクション/ウェブセッション」を使用することがよくあります。 これは、顧客がサイトにたどり着くまでの道のりがわからないため、理にかなっています。そのため、その前に発生するすべてのことを無視するため、この特定の部分に集中します。

電子メールでは、顧客が電子メールからランディングページに到達するまでの経路を知っています。 それらをその上に置き、それを最適化したいのです。 メールがどれだけうまく変換されたかを知りたいので、「トランザクション/配信されたメール」を使用して変換を計算する必要があります。 これは、電子メールの旅全体を考慮に入れており、ランディングページがどれだけうまく変換されたかだけではありません。

これらの2つのクライアントの例でわかるように、変換の後に、オープンとクリックが意味するものが続きます。 マーケターは、バニティの「ページセッション/購入」計算を使用します。これは、より高いパーセンテージが得られるためです。 ただし、これは、間違った結果を最適化する可能性があることを意味します。

通常どおりのキャンペーンによるセグメントのテスト

自動プログラムのテスト

3.間違った指標で成功を測定する

実行可能なテスト計画には、成功を正確に測定するための関連するメトリックが必要です。 間違ったメトリックは、結果を膨らませたり、収縮させたりする可能性があります。 これにより、勝者ではなく負けたバリアントを最適化するように誤解する可能性があります。

たとえば、オープンレートは、HTMLメールの初期の頃に使用方法を学んで以来、人気のある成功指標となっています。 しかし、これは欠陥があり信頼性の低い指標です。特に、Appleのメールプライバシー保護機能がキャンペーンの真のオープン率を覆い隠しているためです。 ただし、開封率が毎回正確であったとしても、開封率は必ずしも適切な指標ではありません。

たとえば、クリックはより正確なエンゲージメント指標ですが、キャンペーンがどれだけのお金を生み出したかは明らかになりません。 クリック数を増やすことだけが目標の場合は、クリック率を使用してください。 ただし、キャンペーンの収益で報われる場合は、購入数やバスケットの価値などの収益指標を使用する必要があります。

4.統計的有意性のないテスト

テスト結果が統計的に有意である場合、それは、テストグループ（変更されていないコントロールグループと、異なる行動の呼びかけや件名などの変数を受け取ったグループ）間の違いが発生しなかったことを意味します。偶然、エラー、またはカウントされないイベント。

結果の数が少ないと、母集団のごく一部しかテストできなかったか、テストが十分な結果を生成するのに十分な時間実行されなかったために、有意性テストが失敗する可能性があります。 そのため、テストは可能な限り長く実行し（自動化の場合）、統計的に有意なサンプルサイズに到達する必要があります（キャンペーンの場合）。

ほとんどのテストでは、5％の有意係数を使用します。 これは、変数がテストの100件の結果のうち少なくとも95件に違いをもたらし、残りの5件の結果はランダムである可能性があることを意味します。

統計的に有意ではない結果は、間違った結論を想定し、テスト結果とキャンペーンの結果の両方を誤って解釈する可能性があります。 95％の統計的有意性を達成することは、実際の差異がない場合に差異が存在すると結論付けるリスクが5％であることを示します。

顧客が望んでいて、受信トレイがブロックされない、Eメールマーケティングの配信可能性について知っておく必要があるすべて。 MarTechのEメールマーケティング周期表を入手してください。

ここをクリックしてチェックしてください！

5.1つのテストで停止する

哲学者ヘラクレイトスは、「同じ川に二度足を踏み入れる人はいない。同じ川ではなく、同じ人でもないからだ」と語った。

同じことがあなたのEメールキャンペーンにも当てはまります。 あなたの加入者ベースは常に新しい加入者を獲得し、古い加入者を失っています、そして顧客はすべてのキャンペーンに毎回同じように反応するわけではありません。 ある時点でうまく機能したキャンペーンは、次のキャンペーンでは横ばいになる可能性があります。

1つのテストのみを実行し、その結果を将来のすべてのキャンペーンに適用すると、これらの微妙ではあるが重要な変更を見逃すことになります。 そのため、すべてのキャンペーンにテストを組み込み、異常を除外するためにすべてを複数回テストする必要があります。

これにより、視聴者に関する一般的な真実を学び、態度や行動の重要な変化を示すために相談できる傾向がわかります。 これらを使用して、キャンペーンのアプローチを微調整またはオーバーホールします。

6.キャンペーンの1つの要素のみをテストする

件名テストはどこにでもあります。これは主に、多くの電子メールプラットフォームがA/B件名分割テストをプラットフォームに組み込んでいるためです。 それは素晴らしいスタートですが、それはあなたに絵の一部しか与えず、しばしば誤解を招くものです。 オープンレートで測定された勝利の件名は、必ずしも目標達成キャンペーンを予測するわけではありません。

これが、私がホリスティックテストと呼ばれる手法を開発した理由の1つです。これは、単一チャネル、1回限り、単一変数のテストを超えています。

これは、全体的なテストの一部として使用できる動機付けに基づく仮説の例です。 適切な指標（コンバージョン）に名前を付け、件名、見出し、コピーブロック、アクションの呼び出し、さらにはランディングページなどのコピー関連の要素を組み込みます。

変数への変更が仮説をサポートしている限り、複数の変数を使用することで、テストをより堅牢にすることができます。 これと多変量テストの違いは、すべての変数が仮説をサポートし、勝者が発表されたときに、学んだことを適用できることです。

7.メールを改善するために学んだことを使用しない

単一のキャンペーンで何が起こるかを確認したり、好奇心を満たしたりするためのテストは行いません。 私たちは、プログラムがどのように機能しているか、そして何がプログラムを改善するか、現在および長期的に確認するためにテストします。 私たちは、目標を達成するのに役立つものにお金を費やしているかどうかを判断するためにテストします。

メールオーディエンスは小宇宙の顧客集団であるため、他のマーケティングチャネルに適用できるオーディエンスの傾向と変化を発見するためにテストします。 メールプラットフォームやチームノートブックでテスト結果を損なうことのないようにしてください。

電子メールキャンペーンを改良するためのテストのアクションプランは、次のようになります。

テストはこれまで以上に重要です。 準備はできたか？

COVID-19のパンデミックは、Eメールマーケターの顧客に関する知識を覆しました。 2020年には、キャンペーンへの対応において、顧客が何を望んでいて、何が変化し、何が変わらなかったかを検出するためのテストが必要でした。

パンデミックは多くの地域で後退していますが、他の地域では再び上昇する恐れがあります。 テストは、新しい変更を先取りし、それらの洞察をすぐに機能させるのに役立ちます。 これにより、当社の電子メールプログラムは顧客にとって適切で価値のあるものになり、企業が成功を収めるのに役立つ信頼できるツールとして電子メールの知名度が高まります。

あなたの電子メールデータベースはあなたの顧客基盤の縮図であると先に述べました。 正確なテスト結果により、ソーシャルメディア、Webサイト、SMSマーケティング、さらにはダイレクトマーケティングのオフラインでのテストと更新に使用できる、顧客の考え方と動機の変化を明らかにすることができます。

電子メールよりも用途が広く、費用対効果が高く、適応性のあるマーケティングキットの他のツールは考えられません。 正確で最新のテストにより、この古い信頼性の高いツールは光沢があり、新しいものになります。

この記事で表明された意見はゲスト著者の意見であり、必ずしもMarTechではありません。 スタッフの作者はここにリストされています。