Ist A/B-Testing tot?

„Heute florieren A/B-Tests – es ist eine enorme Verbesserung gegenüber Nicht-A/B-Tests“, sagte George Khachatryan, CEO des KI-Unternehmens OfferFit, kürzlich in einem Webinar. „Gleichzeitig erkennen die Leute, die diese Tests jeden Tag durchführen, dass es viel schwieriger ist, als es scheint.“

Das Entwerfen von A/B-Tests, das Bestimmen von Stichprobengrößen und deren Bereitstellung nimmt viel Zeit und Ressourcen in Anspruch, und die Analyse der Ergebnisse erfordert ein hohes Maß an Präzision. Alles in allem können die manuellen Aufgaben, die für A/B-Tests erforderlich sind, Marketer stark belasten.

„Wenn Sie ein vollständiges Experimentierprogramm durchführen, reicht es nie aus, einen A/B-Test durchzuführen“, sagte Khachatryan. „Wenn Sie eine durchführen, gewinnen Sie wertvolle Erkenntnisse und möchten unweigerlich mehr gewinnen. Also läufst du am Ende mehr.“

Er fügte hinzu: „Diejenigen, die dies praktisch durchführen, erkennen, dass die Anzahl der benötigten Tests schnell explodiert – es wird auf dieser exponentiellen Kurve sehr früh undurchführbar.“

Vermarkter benötigen eine Lösung, die es ihnen ermöglicht, eine wachsende Anzahl von Kampagnenvariablen zu testen und gleichzeitig genügend Zeit für die Analyse der Daten zu haben. Glücklicherweise entwickeln sich A/B-Tests weiter.

Erweiterung der Leistungsfähigkeit von A/B-Tests

In dem Webinar hob Khachatryan das „Problem der mehrarmigen Banditen“ hervor, das moderne A/B-Tests beeinträchtigt. In der traditionellen Version dieses Szenarios muss eine Person in einem Casino bestimmen, welche Spielautomaten (die „einarmigen Banditen“, die Ihr Geld stehlen) die besten Auszahlungen haben werden, und dann herausfinden, welche Reihenfolge optimal ist. Bei A/B-Tests sind die Variablen die mehrarmigen Banditen, und der Vermarkter muss herausfinden, welche am effektivsten sind, damit er den Bereichen mit guter Leistung mehr Ressourcen zuweisen kann.

„Sie können sich [einen mehrarmigen Banditen] wie einen intelligenten A/B-Test vorstellen“, sagte er. „Es navigiert den Kompromiss zwischen Exploration und Ausbeutung – es fängt an, zufällig an diesen zehn Griffen zu ziehen, aber während es weitergeht, weist es Ressourcen dynamisch neu zu, sodass es aufhört zu ziehen, wenn etwas schlecht aussieht.“

Er fügte hinzu: „Diese mehrarmigen Banditen sind so konzipiert, dass sie genau die richtige Menge experimentieren, damit Sie lernen, aber auch Vorteile aus dem ziehen, was Sie bereits gelernt haben.“

Während diese mehrarmigen oder A/B-Modelle Marketern im Laufe der Jahre gute Dienste geleistet haben, gibt es eine neue Iteration des Frameworks, die genauer und effektiver ist. Laut Khachatryan sind dies „kontextuelle Banditen“.

„Es tut, was ein mehrarmiger Bandit tut, aber es berücksichtigt unterschiedliche Kontexte“, sagte er. „Wenn Sie also zwei verschiedene Kunden mit unterschiedlichen Merkmalen haben, wird es wissen, wie man an verschiedenen Hebeln zieht.“

Kontextbezogene Bandit-Frameworks sind im Wesentlichen automatisiertes Experimentieren und Personalisierung in großem Maßstab. Es ist ein Modell, das den Prozess vollständig automatisieren kann, und es ist das, worauf sich jeder Vermarkter zubewegen sollte, um die Effektivität von Kampagnen in großem Maßstab zu verbessern.

Automatisiertes Experimentieren ist die Zukunft

Viele der Technologiegiganten haben kontextbezogene Bandit-Frameworks bereits eingeführt, aber Marketer sollten beachten, dass diese Technologie noch unglaublich neu ist. Marken sollten genügend Zeit und Ressourcen aufwenden, um den Übergangsprozess zu erleichtern, denn laut Khachatryan ist dies die „Zukunft des Experimentierens“.

„In der Vergangenheit funktionierten manuelle A/B-Tests mit jeweils einer Erwähnung“, sagte er. „Mit diesen kontextabhängigen Banditen können Sie mehrere Dimensionen gleichzeitig testen.“

Unabhängig davon, ob es darum geht, die Wirksamkeit der E-Mail-Betreffzeile, die Klickraten von Call-to-Action oder die optimalen Veröffentlichungszeiten von Artikeln zu testen, Marketingspezialisten müssen mit einer Menge experimenteller Daten Schritt halten. Automatisierte Testlösungen können diese Prozesse überschaubarer machen, indem sie den Zeitaufwand für manuelle Aufgaben verringern und sie durch kontinuierliches automatisiertes Experimentieren ersetzen.

„Sie können sich dies als die nächste Iteration von Experimenten oder Test-and-Learn-Programmen vorstellen“, sagte Khachatryan. „Wenn ein Vermarkter dieses System kontinuierlicher automatisierter Experimente einrichtet, entsteht dieses Zusammenspiel, bei dem Sie sehen können, was passiert, Erkenntnisse gewinnen und diese Erkenntnisse dann nutzen können, um auf neue Ideen zu kommen.“

Er fügte hinzu: „Sie haben also immer noch den agilen Test- und Lernzyklus, aber er ist beschleunigt.“

Die Zeit wird zeigen, wie schnell Vermarkter diese automatisierten Experimentiertechnologien übernehmen. Aber angesichts des hohen Anteils an Marketingtechnologie-Ersetzungen, die im vergangenen Jahr stattfanden, besteht eine gute Chance, dass sich eher früher als später mehr Marken anmelden.

Sehen Sie sich diese Webinar-Präsentation bei Digital Marketing Depot an.