Was ist A/B-Testing? (Definition + Wie man einen A/B-Test durchführt)

Wenn Sie Marketingkampagnen durchführen, E-Mails versenden oder versuchen, Leads von Ihrer Website zu gewinnen, produzieren Sie regelmäßig wertvolle Inhalte für Ihre Follower.

Aber wissen Sie, wie gut dieser Inhalt funktioniert?

Sind Sie mit den Ergebnissen zufrieden, die Sie gesehen haben? Wenn Sie versucht haben herauszufinden, warum einige Inhalte so viel erfolgreicher zu sein scheinen als andere, sollten Sie einen A/B-Test durchführen.

Dieses wertvolle Tool beseitigt das Rätselraten bei Ihrer Content-Strategie und liefert Ihnen die Daten, die Sie benötigen, um die besten Entscheidungen für Ihr Unternehmen zu treffen. Nicht sicher, was A/B-Tests sind oder wie man einen durchführt? Wir gehen mit diesem Leitfaden direkt zu den Grundlagen, damit Sie in kürzester Zeit Ihre eigenen Tests durchführen können!

Was ist A/B-Testing?

Eine Schlüsselkomponente für eine erfolgreiche Marketingstrategie besteht darin, zu wissen, was funktioniert, und diese Informationen zu nutzen. A/B-Tests liefern Ihnen diese wichtige Erkenntnis und beseitigen die Notwendigkeit, zu raten, was am besten funktioniert. Bei A/B-Tests führen Sie ein Zufallsexperiment mit zwei ähnlichen Inhalten durch, die Sie mit verschiedenen Gruppen teilen, und überwachen, um zu sehen, welcher die gewünschten Ergebnisse liefert.

Dies geschieht häufig bei E-Mails, bei denen möglicherweise unterschiedliche Betreffzeilen oder Blickwinkel verwendet werden, um zu testen, was zu einer höheren Öffnungsrate führt. Oder Sie testen zwei Anzeigen für dasselbe Angebot mit leicht unterschiedlichem Text, um zu sehen, welche Version zu einer höheren Klickrate führt.

Die Inhaltselemente, die die besseren Ergebnisse erzielen, werden als „Gewinner“ angesehen und in zukünftigen Kampagnen oder zur Erstellung anderer Marketingmaterialien verwendet. Wenn Sie feststellen, dass beide Proben die gleichen oder ähnliche Ergebnisse haben, müssen Sie sie möglicherweise deutlicher unterscheiden, um sie richtig testen zu können.

Das bedeutet natürlich nicht, dass die „verlierende“ Probe schlecht ist. Tatsächlich können die Erkenntnisse aus der Leistung entscheidend sein, wenn es darum geht, zu entscheiden, wie Sie am besten mit einem kleineren Segment Ihres Publikums kommunizieren oder was Sie in Zukunft vermeiden sollten.

Warum sollten Sie einen A/B-Test durchführen?

Ohne AB-Tests fliegen Sie im Wesentlichen im Blindflug. Sie teilen Inhalte und hoffen, dass Sie die richtige Botschaft für die Zielgruppe formuliert haben, die Sie ansprechen möchten. Der Hauptgrund für die Durchführung von A/B-Tests besteht darin, Einblicke in Ihr Publikum zu gewinnen und wie es auf Ihre Inhalte reagiert. Dadurch erhalten Sie Daten, die Sie verwenden können, um die von Ihnen erstellten Inhalte, die Häufigkeit, mit der sie geteilt werden, und sogar die Plattform, auf der sie veröffentlicht werden, zu verbessern.

In den Anfangsphasen der Inhaltsproduktion verwenden Sie allgemeine Informationen, um Sie zu leiten, aber A/B-Tests ermöglichen es Ihnen, Ihren Ansatz zu verfeinern. Wenn Sie einen A/B-Test für eine E-Mail durchgeführt und diese um 10:00 Uhr und die andere um 15:00 Uhr an eine Gruppe gesendet haben, können Sie anhand der jeweiligen Öffnungsraten den besten Zeitpunkt für den Versand Ihrer E-Mails ermitteln. Ebenso können Sie geringfügige Änderungen an den Betreffzeilen oder der E-Mail-Vorschau vornehmen, um zu sehen, was eine bessere Antwort von Ihren Abonnenten erzeugt.

Wie funktionieren A/B-Tests?

A/B-Testing klingt ziemlich einfach, aber es muss richtig ausgeführt werden, um zuverlässige Ergebnisse zu erzielen. Sie arbeiten mit einer Reihe von unkontrollierten Variablen wie Zeit, Software und Personen, sodass ein großer Spielraum für Fehler besteht. Hier kann die richtige Planung helfen. Hier sind einige wichtige Schritte, die Sie befolgen sollten, um einen erfolgreichen AB-Test durchzuführen und genaue Ergebnisse zu erzielen.

Schritt 1. Entscheiden Sie, welche Variable Sie testen möchten

Der erste Schritt besteht darin, genau zu wissen, was Sie testen werden. Bei jedem AB-Test, den Sie durchführen, müssen Sie sich nur auf eine Sache konzentrieren. Diese Variable könnte Ihre Betreffzeile oder die Verwendung der Personalisierung für einen Satz von E-Mails oder die Kopie sein, die für Ihren Aufruf zum Handeln verwendet wird. Sie können zwar mehrere Variablen für einen Inhalt testen, achten Sie jedoch darauf, jeden Satz von Variablen zu unterschiedlichen Zeiten zu testen. Wenn Sie versuchen, mehrere Variablen gleichzeitig zu testen, können Sie nicht sagen, welche Variable wirklich effektiver war.

Darüber hinaus können Sie besser entscheiden, wie Sie die Variablen erstellen, indem Sie genau eingrenzen, was Sie testen möchten. Wenn Sie testen möchten, wie effektiv die Personalisierung Ihre Öffnungsraten erhöht, wissen Sie, dass eine Gruppe von E-Mails Personalisierung enthalten muss und die andere nicht. Wenn Sie sich darauf konzentrieren, wie sich Ihr Text auf Ihre Klickraten auswirkt, liegt Ihr Fokus ähnlich darauf, zwei verschiedene Sätze von Call-to-Action-Kopien zu erstellen.

Schritt 2. Identifizieren Sie, auf welche Metrik Sie sich konzentrieren sollten

Sie müssen auch wissen, was Sie messen möchten. Sind es Ihre Klickraten? Ihre Öffnungsraten? Die Zahl der neuen Abonnenten? Indem Sie sich über die Metrik im Klaren sind, wissen Sie genau, auf welche Daten Sie sich konzentrieren müssen, wenn Sie entscheiden, welche Version am effektivsten ist.

In einigen Fällen, insbesondere wenn Sie über vorhandene Daten verfügen, ist es hilfreich, ein tatsächliches Ziel oder sogar eine Hypothese vor Augen zu haben. Beispielsweise haben Sie vielleicht bemerkt, dass bestimmte Wörter Ihre Öffnungsrate negativ beeinflussen, und Sie beabsichtigen, einen AB-Test durchzuführen, um festzustellen, ob dies zutrifft. Ihre Hypothese könnte sein, dass die Verwendung des Wortes „Burnout“ in meiner Betreffzeile meine Öffnungsrate um 3 % verringert . Ihr Ziel wird es sein, herauszufinden, welche Betreffzeile zu einer höheren Öffnungsrate führt.

Schritt 3. Richten Sie eine Kontrolle und einen Herausforderer ein

Indem Sie die ersten beiden Schritte abgeschlossen haben, haben Sie Ihre Variablen und Ihr gewünschtes Ergebnis identifiziert. Jetzt können Sie entscheiden, was Ihre „Kontrolle“ und Ihr „Herausforderer“ sind. Zu Ihrer Kontrolle erstellen Sie Ihre Inhalte wie gewohnt.

Um auf unser Beispiel zurückzukommen, bei dem versucht wurde, die Öffnungsraten durch Testen von Betreffzeilen zu erhöhen, würden Sie das typische Format Ihrer Betreffzeile mit dem Wort „Burnout“ verwenden. Zum Beispiel zehn bewährte Möglichkeiten, Burnout als kreativ zu verhindern .

Bei Ihrem Herausforderer würden Sie beginnen, Anpassungen basierend auf Ihrer Hypothese vorzunehmen. In diesem Fall könnte Ihre Betreffzeile etwa so aussehen: Zehn Möglichkeiten, Ihre kreative Energie zu tanken.

Schritt 4. Teilen Sie Ihre Probe bei Bedarf gleichmäßig auf

Wie Sie Ihre Stichprobe aufteilen, hängt von der Art der zu testenden Inhalte und dem verwendeten Tool ab. Bei E-Mails teilen Sie Ihre Stichprobe normalerweise gleichmäßig auf, sodass jede Gruppe ziemlich ähnlich ist, aber Sie können sich auch für eine zufällige Aufteilung durch Ihr AB-Testtool entscheiden.

Bei anderen Inhalten, über die Sie weniger Kontrolle haben, wie z. B. Zielseiten oder Anzeigen, wird Ihre Stichprobe nach dem Zufallsprinzip aufgeteilt.

Schritt 5. Wählen Sie Ihre Stichprobengröße

Ähnlich wie bei der Auswahl der Aufteilung Ihrer Stichprobe bestimmen Sie die tatsächliche Stichprobengröße basierend auf dem von Ihnen verwendeten Tool und den zu testenden Inhalten. Bei E-Mails können Sie Ihre Kontrolle und Ihren Herausforderer normalerweise an eine kleine Teilmenge Ihrer E-Mail-Liste senden. Sobald ein bestimmtes Ziel erreicht wurde, wird der „Gewinner“ an die verbleibenden Kontakte gesendet.

Webseiten und Anzeigen sind sehr unterschiedlich, da Sie keine festgelegte Anzahl von Personen haben, von denen Sie erwarten, dass sie sie sehen. Daher wird Ihre Stichprobengröße davon bestimmt, wie lange der Inhalt geteilt wird oder wie viel Geld für die Anzeige ausgegeben wird.

Unabhängig davon, welche Methode verwendet wird, möchten Sie sicherstellen, dass Sie Ihren Test lange genug laufen lassen, um aussagekräftige Ergebnisse zu erzielen.

Schritt 6. Bestimmen Sie, wie aussagekräftig Ihre Ergebnisse sein sollten

Erinnern Sie sich an den vorherigen Schritt, um die Metrik zu identifizieren, auf die Sie sich konzentrieren möchten? Hier wird es besonders wichtig. Sie müssen bestimmen, wie signifikant Ihre Ergebnisse sein sollten, um den „Gewinner“ oder Inhalt mit besserer Leistung auszuwählen. Hier kommt die statistische Signifikanz ins Spiel. Wenn es schon eine Weile her ist, dass Sie einen Statistikkurs besucht haben, ist es Zeit für eine kurze Auffrischung.

Die statistische Signifikanz gibt an, wie wahrscheinlich es ist, dass Ihre Ergebnisse auf Fehler oder Zufall zurückzuführen sind. Je höher Ihre statistische Signifikanz, desto zuverlässiger Ihre Ergebnisse, da dies bedeutet, dass Ihre Ergebnisse wahrscheinlich nicht zufällig oder irrtümlich erzielt wurden.

Denken Sie daran, dass das Ergebnis Ihres Tests verwendet wird, um Ihre Marketingstrategie zu bestimmen, wie Sie Ihre Werbeausgaben budgetieren und wie Sie mit Ihrem Publikum kommunizieren. Daher möchten Sie so sicher wie möglich sein, dass die Daten, die diese Entscheidungen leiten, korrekt sind. Normalerweise möchten Sie ein Konfidenzniveau von mindestens 95 % haben, aber Sie können bis zu 99 % erreichen.

Die Berechnung Ihrer statistischen Signifikanz und Ihres Konfidenzniveaus kann ein ziemlich komplizierter Prozess sein, aber zum Glück gibt es praktische Tools, die das für Sie erledigen können.

Schritt 7. Wählen Sie ein A/B-Test-Tool aus

Viele der gängigen Tools für digitales Marketing auf dem Markt können zur Durchführung von A/B-Tests verwendet werden. Tools wie Facebook Ads Manager, Google Optimizer, Hubspot, ActiveCampaign, Adobe Target und Visual Website Optimizer sind nur einige Beispiele für Software, die A/B-Tests für E-Mails, Webseiten oder Anzeigen durchführen kann.

Bei der Auswahl eines Tools sollten Sie berücksichtigen, wie Sie es verwenden, welche Arten von Inhalten oder Kampagnen Sie testen, die Erschwinglichkeit und die Benutzerfreundlichkeit. Ein weiteres wichtiges Merkmal, auf das Sie sich konzentrieren sollten, ist die Art und Weise, wie die Daten gesammelt und weitergegeben werden. Diese Zahlen sind die wichtigste Ausgabe, die Sie benötigen, also sollten Sie sich für ein Tool entscheiden, das detaillierte Berichte in einem leicht verständlichen Format liefert.

Schritt 8. Testen Sie die Versionen A und B gleichzeitig

Ihr Test muss gleichzeitig mit Ihrer Kontrolle und Ihrem Herausforderer durchgeführt werden. Das bedeutet, dass Sie E-Mail A nicht heute und E-Mail B nächste Woche senden oder jede Anzeige im Abstand von Tagen schalten können. Sie müssen unter den gleichen Bedingungen getestet werden, wobei die einzigen Unterschiede das veränderte Element und die tatsächlichen Personen sind, die den Inhalt sehen.

Die einzige Ausnahme von dieser Regel ist, wenn sich der Test auf Ihr Timing bezieht. Wenn Sie versuchen, die richtige Zeit oder den richtigen Tag zu finden, um Ihr Publikum zu erreichen, teilen Sie Ihre Inhalte natürlich zu unterschiedlichen Zeiten. In diesem Fall wäre jedoch der einzige Unterschied zwischen der Kontrolle und dem Herausforderer die Zeit .

Schritt 9. Konzentrieren Sie die Analyse auf Ihr primäres Ziel

Sobald Sie Ihren Test durchgeführt haben und beginnen, Ihre Ergebnisse zu sammeln, werden Sie mit Daten überschwemmt. Obwohl all dies relevant ist, müssen Sie die Metrik, die Sie messen möchten, priorisieren. Wenn Ihr primäres Ziel darin bestand, herauszufinden, was für Ihre Öffnungsrate am besten funktioniert, dann muss dies der Schwerpunkt Ihrer Analyse sein. Das wird der entscheidende Faktor sein, oder welcher der beiden erfolgreich war.

Das heißt nicht, dass Sie die verbleibenden Daten verwerfen sollten. Dies kann Ihnen helfen, Ihr Publikum besser zu verstehen und Ihre Inhalte sogar noch weiter zu verbessern. Es ist wichtig, sich daran zu erinnern, dass diese zusätzlichen Daten nur „nice to have“ sind – nicht das Hauptaugenmerk des Tests.

Schritt 10. Messen Sie Ihre Ergebnisse mit einem A/B-Testrechner

In diesem Stadium haben Sie alle Daten und Sie gießen über die Zahlen. Wie also messen Sie Ihre Ergebnisse tatsächlich und stellen fest, ob sie aussagekräftig genug sind, um Änderungen an Ihrer Strategie vorzunehmen?

Tools wie Hubspot oder der A/B-Testrechner von Survey Monkey können das Rätselraten beseitigen. Mit diesen Tools geben Sie die Anzahl der Personen ein, die jede Variable erhalten haben, und wie viele Personen Maßnahmen ergriffen haben. Daraus ergeben sich die Konversionsraten für jeden und ein klarer Indikator dafür, welche besser abgeschnitten hat.

Schritt 11. Verwenden Sie Ihre Ergebnisse, um Ihre nächste Aktion zu leiten

Jetzt, da Sie über solide Daten verfügen, können Sie diese getrost verwenden, um festzustellen, welche Änderungen an Ihrer Strategie erforderlich sind. Beachten Sie, dass AB-Tests nicht immer eine einmalige Aktivität sind. Sie können Ihre erfolgreichen Inhalte gegen einen anderen Herausforderer testen, um noch mehr Einblick zu erhalten, bis Sie überzeugt sind, dass das, was Sie produzieren, optimale Ergebnisse liefert.

Und wenn Sie mit den Ergebnissen nicht zufrieden sind, können Sie jederzeit mit völlig neuen Inhaltssets von vorne beginnen. Das Tolle ist: Auch wenn die Ergebnisse unbefriedigend sind, liefern sie Ihnen dennoch wertvolle Informationen, die Sie nutzen können.

So interpretieren Sie A/B-Testergebnisse

Wir haben ziemlich viel darüber gesprochen, wie wertvoll die Informationen aus Ihrem Test sind, aber wie interpretieren Sie sie richtig? Wieder einmal müssen Sie sich auf Ihr primäres Ziel konzentrieren. Wenn die Metrik, auf die Sie sich konzentriert haben, die Öffnungsraten waren, sehen Sie sich diese zuerst an. Das ist die Zahl, die Sie in Ihr A/B-Testtool einstecken.

Als Nächstes sehen Sie sich die Unterschiede in den Conversion-Raten an. Möglicherweise haben Sie eine Conversion-Rate von 3 % für E-Mail A, aber eine Conversion-Rate von 7 % für E-Mail B mit einem Konfidenzniveau von 95 % gesehen. Diese Ergebnisse gelten als statistisch signifikant und Sie können davon ausgehen, dass die Verwendung von E-Mail B als Ihr Modell für zukünftige E-Mails zu einer höheren Konversionsrate führen sollte.

Sie können sich auch die anderen Einblicke genauer ansehen – die demografischen Merkmale der Zielgruppe wie Alter, Geschlecht, Standort, Gerätetyp oder die Tageszeit, zu der Ihre E-Mails geöffnet wurden. All diese Informationen geben Ihnen einen breiteren Überblick darüber, wer Ihre Zielgruppe ist und was für sie funktionieren könnte.

Häufige A/B-Testfehler, die es zu vermeiden gilt

Selbst erfahrene Vermarkter machen beim AB-Testen Fehler, die sich negativ auf ihre Ergebnisse und damit auf die Strategie auswirken können. Hier ist ein Blick auf einige der häufigsten Fehler und die Schritte, die Sie unternehmen können, um sie zu vermeiden.

Den Test nicht lange genug laufen lassen

AB-Tests werden normalerweise über eine bestimmte Plattform durchgeführt, und diese Plattformen liefern Daten in Echtzeit. Nun, dies kann ein großer Vorteil sein, solange Sie geduldig sind. Es ist einfach, die anfängliche Leistung des Tests zu sehen und ihn vorzeitig zu beenden, weil Sie schnell eine Entscheidung treffen möchten. Das Problem dabei ist, dass Sie den Test nicht lange genug laufen lassen, um einen Blick auf das Gesamtbild zu werfen. Wenn Sie Ihren Test nach ein paar Stunden beenden, wäre das nicht genug Zeit gewesen, um echte Ergebnisse zu sammeln.

Um dies zu vermeiden, entscheiden Sie in Ihrer Planungsphase, wie lange Ihre Tests ausgeführt werden sollen. Wenn Sie sich für 24 Stunden entscheiden, tun Sie für diese 24 Stunden nichts, egal wie der Inhalt abschneidet.

Es gibt auch das Problem, dass die Leute nicht genügend Zeit für die Durchführung ihrer Tests einplanen. Denken Sie daran, dass verschiedene Arten von Inhalten unter verschiedenen Umständen getestet werden müssen. Ihre Anzeigen können beispielsweise nicht für den gleichen Zeitraum getestet werden wie Ihre E-Mails oder Zielseiten. Außerdem sollten Sie mehr Zeit für ein größeres Publikum einplanen. Es ist zu erwarten, dass eine Gruppe von nur 50 Personen in kürzerer Zeit signifikante Ergebnisse erzielen wird als eine Gruppe von 35.000.

Testen zu vieler Variablen auf einmal

Es gibt einen Grund, warum es AB-Tests genannt wird – Sie testen Element A gegen Element B. Es gibt zwar multivariate Tests, aber das ist eine völlig andere Form des Testens und wird unter anderen Bedingungen durchgeführt. Was passiert, wenn Sie einen AB-Test ausführen und zu viele Variablen einbeziehen, ist, dass den Ergebnissen nicht vertraut werden kann. Es gäbe zu viele Fehler oder Zufälle, die das Ergebnis beeinflusst haben könnten. Wenn Sie Ihre E-Mails zu unterschiedlichen Zeiten versenden, könnte dies die Öffnungsrate und nicht die Betreffzeile erzwingen. Wenn Sie das Design des Call-to-Action-Buttons und der Kopie ändern, können Sie nicht sicher sein, was den Unterschied gemacht hat.

Aus diesem Grund ist es wichtig, Ihr Ziel zu kennen und es als Leitfaden für die Durchführung Ihres Tests zu verwenden. Wenn Sie sich auf Öffnungsraten konzentrieren möchten, sollte sich Ihre Variable darauf beziehen. Wenn Sie versuchen, mehr Website-Besuche zu erzielen, sollten Sie nur eine einzige Variable haben, die sich darauf bezieht, und auf nichts anderes. Wenn Sie dies tun, können Sie sich sicherer auf die Ergebnisse verlassen.

Testen zu früh

Das mag etwas verwirrend klingen, aber ertragen Sie mich. Je mehr Traffic Sie haben, desto größer ist Ihr Publikum, desto mehr Personen können Sie in Ihren Test einbeziehen und desto zuverlässiger werden Ihre Ergebnisse.

Das soll nicht heißen, dass Sie Ihre Inhalte nicht testen sollten, wenn Sie gerade erst anfangen, aber Sie können sich nicht zu sehr auf die Daten verlassen, die Sie erhalten. Sie müssen erneut testen, wenn Ihre Zahlen steigen. Die andere Einschränkung ist, dass ein zu frühes Testen möglicherweise von einem Gefühl der Verzweiflung getrieben wird, bessere Zahlen zu sehen, was Ihren Test verzerren kann. Dies führt dazu, dass Sie ungeduldig werden, wenn Sie den Test durchführen, und Sie könnten in die Falle tappen, ihn zu früh zu beenden, was Sie mit nicht schlüssigen oder fehlerhaften Daten zurücklässt.

Der beste Weg, diesen Fehler zu vermeiden, ist einfach geduldig zu sein. Warten Sie, bis Ihr ursprünglicher Inhalt eine Chance hatte, zu funktionieren, und entscheiden Sie dann, ob es Raum für Verbesserungen gibt. Nehmen Sie sich etwas Zeit, um Ihr Publikum zu vergrößern und Ihre idealen Ziele anzuziehen, damit die Daten tatsächlich für Sie relevant sind. Wenn Sie genügend Zeit haben, müssen Sie wahrscheinlich keinen Test durchführen – Ihre Kampagnen werden langsam Fahrt aufnehmen, und wenn dies nicht der Fall ist, können Sie die Entscheidung treffen.

Sind Sie bereit, AB-Tests zur Verbesserung Ihrer Marketingstrategie einzusetzen?

Es besteht kein Zweifel, dass A/B-Tests ein wesentlicher Bestandteil jeder erfolgreichen Marketingstrategie sind, aber sie müssen gut ausgeführt werden. Das bedeutet, Ihr Ziel, die primäre Metrik, die Tools, die Sie verwenden müssen, und Ihre Variablen zu identifizieren.

Wenn Sie Ihren Test mit den oben beschriebenen Schritten richtig geplant haben, sollte das Sammeln und Interpretieren der Ergebnisse einfach sein. Geben Sie die Daten in Ihren Rechner ein und entscheiden Sie, ob der Unterschied signifikant genug ist, um Änderungen an Ihren Inhalten vorzunehmen.

Wenn ja, nehmen Sie sich Zeit, um sich die Daten wirklich anzusehen und Ihre Ergebnisse zu interpretieren. Verwenden Sie dann Ihre Erkenntnisse, um Ihrer Marketingstrategie einen Schub zu geben.

Und ehe Sie sich versehen, werden Sie und Ihr Unternehmen von den Vorteilen des AB-Tests profitieren.