A / Bテストは終了していますか？

「今日、A / Bテストは盛んに行われています。これは、非A / Bテストからの大幅な改善です」と、AI企業OfferFitのCEOであるGeorgeKhachatryanは最近のウェビナーで述べています。 「同時に、これらのテストを毎日実行している人々は、それが見た目よりもはるかに難しいことを認識しています。」

A / Bテストの設計、サンプルサイズの決定、およびそれらの展開には多くの時間とリソースが必要であり、結果の分析には高レベルの精度が必要です。 全体として、A / Bテストに必要な手動タスクは、マーケターに大きな負担をかける可能性があります。

「完全な実験プログラムを実行している場合、1つのA/Bテストを実行するだけでは決して十分ではありません」とKhachatryan氏は述べています。 「実行すると、貴重な洞察が得られ、必然的にさらに多くのことを知りたいと思うでしょう。 だから、あなたはもっと走ることになります。」

「このハンズオンを行っている人は、必要なテストの数が急増していることに気づきます。この指数曲線の非常に早い段階で実行不可能になります。」

マーケターは、増え続けるキャンペーン変数をテストすると同時に、データを分析するのに十分な時間を与えることができるソリューションを必要としています。 幸い、A/Bテストは進化しています。

A/Bテストの力を拡大する

ウェビナーで、Khachatryanは、最新のA/Bテストに影響を与えている「多腕バンディット問題」を強調しました。 このシナリオの従来のバージョンでは、カジノの人は、どのスロットマシン（あなたのお金を盗む「片腕の盗賊」）が最高の支払いをするかを決定し、次にどの順序が最適であるかを判断する必要があります。 A / Bテストでは、変数は多腕バンディットであり、マーケティング担当者は、パフォーマンスの高い領域により多くのリソースを割り当てることができるように、どれが最も効果的かを発見する必要があります。

「[多腕バンディット]は、スマートA/Bテストのように考えることができます」と彼は言いました。 「これは、探索と探索のトレードオフをナビゲートします。これらの10個のハンドルをランダムにプルし始めますが、それが進むにつれて、リソースを動的に再割り当てして、何かが悪く見える場合はプルを停止します。」

「これらのマルチアームバンディットは、適切な量を実験するように設計されているため、学習しているだけでなく、すでに学習したことを活用することもできます。」

これらのマルチアーム（A / B）モデルは、長年にわたってマーケターに役立ってきましたが、より正確で効果的なフレームワークの新しいイテレーションがあります。 Khachatryanによると、これらは「文脈上の盗賊」です。

「それは多腕バンディットが行うことを行いますが、それは異なる文脈を考慮に入れます」と彼は言いました。 「したがって、特性が異なる2つの異なる顧客がいる場合は、異なるレバーを引くことがわかります。」

コンテキストバンディットフレームワークは、基本的に自動化された実験と大規模なパーソナライズです。 これはプロセスを完全に自動化できるモデルであり、キャンペーンの効果を大規模に改善するためにすべてのマーケティング担当者が目指すべきものです。

デジタルマーケターが信頼する毎日のニュースレターを入手してください。

処理中...お待ちください。

申し込む

用語を参照してください。

自動化された実験は未来です

テクノロジーの巨人の多くはすでにコンテキストバンディットフレームワークを採用していますが、マーケターはこのテクノロジーがまだ信じられないほど新しいことに注意する必要があります。 Khachatryan氏によると、これは「実験の未来」であるため、ブランドは移行プロセスを容易にするために十分な時間とリソースを割り当てる必要があります。

「これまで、手動のA / Bテストは、一度に1つの言及で機能します」と彼は言いました。 「これらのコンテキストバンディットを使用すると、複数の次元を同時にテストするように設定できます。」

メールの件名の有効性、召喚状のクリック率、または最適な記事の投稿時間のいずれをテストする場合でも、マーケターはそれに追いつくための多くの実験データを持っています。 自動テストソリューションは、手動タスクに費やす時間を短縮し、継続的な自動実験に置き換えることで、これらのプロセスをより管理しやすくすることができます。

「これは、実験の次の反復、またはテストと学習のプログラムと考えることができます」とKhachatryan氏は述べています。 「マーケティング担当者がこの継続的な自動実験システムを設定すると、何が起こるかを確認し、洞察を得て、それらの洞察を使用して新しいアイデアを得ることができるこの相互作用が作成されます。」

「したがって、アジャイルなテストと学習のサイクルはまだありますが、それは加速されています」と彼は付け加えました。

時間は、マーケターがこれらの自動化された実験技術をどれだけ早く採用するかを教えてくれます。 しかし、過去1年間に行われた高レベルのマーケティング技術の置き換えにより、より多くのブランドが後からではなく早くサインオンする可能性が高くなります。

DigitalMarketingDepotでこのウェビナープレゼンテーションをご覧ください。