7 häufige Probleme, die den Erfolg von A/B/n-E-Mail-Tests beeinträchtigen

Wann immer ich anfange, mit neuen Kunden zu arbeiten, die mit ihrem E-Mail-Marketing große Probleme haben, überprüfe ich als Erstes, wie sie ihre E-Mail-Tests durchführen.

A/B/n-Tests sind die beste Methode, die ich kenne, um effektive Kampagnen zu strukturieren und zu messen, ob die E-Mail-Strategien und -Taktiken einer Marke erfolgreich sind oder nicht. Aber allzu oft haben Teams Schwierigkeiten damit, Tests richtig einzurichten und die Ergebnisse genau zu messen. Das führt normalerweise zu ineffektiven E-Mail-Experimenten und schlechten Ergebnissen.

Wenn Ihr Testprogramm unzuverlässig ist, wissen Sie nicht, ob Ihre gewählten Strategien und Taktiken funktionieren oder versagen. Geben Sie nicht dem E-Mail-Kanal selbst die Schuld, wenn Ihre E-Mail-Bemühungen nicht die gewünschten Ergebnisse liefern. Sehen Sie sich stattdessen an, wie Sie Ergebnisse testen und messen.

7 häufige Testprobleme und wie man sie behebt

Diese tauchen am häufigsten in meiner Arbeit mit Kunden auf. Lösungen für einige dieser Herausforderungen erfordern eine völlige Änderung der Denkweise. Für andere kann das Erlernen der richtigen Einrichtung von Tests viele Ihrer aktuellen Probleme lösen.

Das ist das Gute am Testen. Für jedes Problem gibt es eine Möglichkeit, es zu beheben. Jedes Mal, wenn Sie ein Problem durch Testen lösen, machen Sie einen weiteren Schritt, um Ihr E-Mail-Programm auf den richtigen Weg zu bringen.

1. Testen ohne Hypothese

Viele E-Mail-Vermarkter eignen sich die Grundlagen des Testens an, indem sie die Tools verwenden, die ihnen ihre ESPs zur Verfügung stellen, hauptsächlich um grundlegende A/B-Split-Tests für einfache Funktionen wie Betreffzeilen einzurichten.

Dieser einmalige Ad-hoc-Ansatz ist jedoch so, als würde man Autofahren lernen, ohne zu wissen, wie man eine Karte liest. Du kannst das Auto problemlos starten. Aber Sie brauchen Kartenkenntnisse, um eine Reise zu planen, die Sie mit den wenigsten Staus und Umwegen ans Ziel bringt.

Ja, Sie könnten Google Maps die Planungsarbeit für Sie erledigen lassen. Aber alle Daten – was Sie bereitstellen und was sie aus anderen Quellen ziehen – müssen richtig ausgerichtet sein. Wenn Sie das falsche Ziel eingeben oder in eine tote Zone fahren, könnten Sie am Ende meilenweit von Ihrem gewünschten Ziel entfernt sein.

Das passiert mit Ihrem E-Mail-Programm, wenn Sie entweder nicht oder falsch testen. Ihre Hypothese ist Ihre Roadmap zum Testen. Es legt fest, was Ihrer Meinung nach passieren könnte, und leitet Sie bei der Auswahl von Variablen, Testsegmenten, Erfolgsmetriken und sogar der Verwendung der Ergebnisse an.

2. Verwendung der falschen Umrechnungsrechnung

Dies bezieht sich auf die Reise des Kunden und das Ziel des Tests.

Wenn Sie einen standardmäßigen A/B-Split-Test auf einer Website-Zielseite durchführen, verwenden Sie häufig „Transaktionen/Websitzungen“ als Conversion-Berechnung, um zu sehen, wie gut die Seite konvertiert. Dies ist sinnvoll, da Sie den Weg, den Ihre Kunden auf der Website genommen haben, nicht kennen, also konzentrieren Sie sich auf diesen bestimmten Teil der Reise, da alles, was davor passiert, ignoriert wird.

Bei E-Mails kennen wir den Weg, den unsere Kunden genommen haben, um von der E-Mail zur Zielseite zu gelangen. Wir setzen sie darauf, und wir wollen es optimieren. Wir möchten verstehen, wie gut unsere E-Mails konvertiert wurden, daher müssen wir „Transaktionen/zugestellte E-Mails“ verwenden, um unsere Konvertierung zu berechnen. Dies berücksichtigt die gesamte E-Mail-Reise und betrachtet nicht nur, wie gut die Zielseite konvertiert wurde.

Wie Sie in diesen beiden Client-Beispielen sehen können, folgte die Conversion dem, was die Öffnungen und Klicks bedeuteten. Vermarkter verwenden die Berechnung „Seitensitzungen/Käufe“ für Eitelkeit, da sie einen höheren Prozentsatz ergibt. Dies bedeutet jedoch, dass Sie möglicherweise auf das falsche Ergebnis optimieren.

Testen von Segmenten über Business-as-usual-Kampagnen

Testen automatisierter Programme

3. Erfolgsmessung mit den falschen Metriken

Ein praktikabler Testplan benötigt relevante Metriken, um den Erfolg genau messen zu können. Die falschen Metriken können Ihre Ergebnisse aufblähen oder entleeren. Dies wiederum kann Sie dazu verleiten, auf die verlierende Variante statt auf die Gewinner zu optimieren.

Die Öffnungsrate zum Beispiel ist eine beliebte Erfolgsmetrik, seit wir gelernt haben, wie man sie in den frühen Tagen der HTML-E-Mail verwendet. Aber es ist eine fehlerhafte und unzuverlässige Metrik, besonders jetzt, wo Apples Mail Privacy Protection-Funktion die wahre Öffnungsrate einer Kampagne verschleiert. Aber selbst wenn Öffnungen jedes Mal korrekt waren, ist die Öffnungsrate immer noch nicht unbedingt die richtige Metrik.

Klicks sind beispielsweise ein genaueres Maß für das Engagement, aber sie zeigen nicht, wie viel Geld Ihre Kampagne generiert hat. Wenn Ihr Ziel nur darin besteht, Klicks zu erhalten, verwenden Sie die Klickrate. Wenn Sie jedoch für den Kampagnenumsatz belohnt werden, müssen Sie eine Umsatzkennzahl wie die Anzahl der Käufe oder den Warenkorbwert verwenden.

4. Test ohne statistische Signifikanz

Wenn Ihre Testergebnisse statistisch signifikant sind, bedeutet dies, dass die Unterschiede zwischen den Testgruppen (der Kontrollgruppe, die unverändert blieb, und der Gruppe, die eine Variable wie einen anderen Call-to-Action oder eine andere Betreffzeile erhielt) nicht auftraten Zufall, Fehler oder ungezählte Ereignisse.

Eine kleine Anzahl von Ergebnissen kann Signifikanztests verwerfen, entweder weil Sie nur einen Bruchteil Ihrer Population testen konnten oder weil der Test nicht lange genug lief, um genügend Ergebnisse zu generieren. Deshalb sollten Tests so lange wie möglich laufen (für Automatisierungen) und eine statistisch signifikante Stichprobengröße erreichen (für Kampagnen).

Die meisten Tests verwenden einen Signifikanzfaktor von 5 %. Dies bedeutet, dass Ihre Variable bei mindestens 95 von 100 Ergebnissen in Ihrem Test einen Unterschied gemacht hat und die verbleibenden fünf Ergebnisse zufällig sein können.

Ergebnisse, die statistisch nicht signifikant sind, können dazu führen, dass Sie falsche Schlussfolgerungen ziehen und sowohl die Testergebnisse als auch die Ergebnisse Ihrer Kampagne falsch interpretieren. Das Erreichen einer statistischen Signifikanz von 95 % weist auf ein Risiko von 5 % hin, auf einen Unterschied zu schließen, wenn kein tatsächlicher Unterschied besteht.

Alles, was Sie über die Zustellbarkeit von E-Mail-Marketing wissen müssen, die Ihre Kunden wünschen und die Posteingänge nicht blockieren. Holen Sie sich das E-Mail-Marketing-Periodensystem von MarTech.

Klicken Sie hier, um es zu überprüfen!

5. Stoppen mit einem Test

Der Philosoph Heraklit sagte: „Niemand steigt zweimal in denselben Fluss, denn es ist nicht derselbe Fluss und er ist nicht derselbe Mann.“

Das Gleiche gilt für Ihre E-Mail-Kampagnen. Ihre Abonnentenbasis gewinnt ständig neue Abonnenten und verliert alte, und Kunden reagieren nicht jedes Mal gleich auf jede Kampagne. Eine Kampagne, die einmal gut funktioniert hat, kann beim nächsten Mal ins Stocken geraten.

Wenn Sie nur einen Test durchführen und die Ergebnisse dann auf alle zukünftigen Kampagnen anwenden, werden Ihnen diese subtilen, aber wichtigen Änderungen entgehen. Aus diesem Grund müssen Sie Tests in jede Kampagne integrieren und alles mehr als einmal testen, um Anomalien auszuschließen.

Auf diese Weise erhalten Sie Trends, die Sie konsultieren können, um allgemeine Wahrheiten über Ihr Publikum zu erfahren und wichtige Veränderungen in Einstellungen und Verhalten aufzuzeigen. Verwenden Sie diese, um die Ansätze Ihrer Kampagnen zu optimieren oder zu überarbeiten.

6. Testen nur eines Elements in einer Kampagne

Betreffzeilentests sind allgegenwärtig, hauptsächlich weil viele E-Mail-Plattformen A/B-Betreffzeilen-Split-Tests in ihre Plattformen integrieren. Das ist ein guter Anfang, aber es gibt Ihnen nur einen Teil des Bildes und ist oft irreführend. Eine erfolgreiche Betreffzeile, die anhand der Öffnungsrate gemessen wird, sagt nicht immer eine zielführende Kampagne voraus.

Das ist einer der Gründe, warum ich die Praxis namens Holistic Testing entwickelt habe, die über das einkanalige, einmalige Testen mit einer einzigen Variablen hinausgeht.

Hier ist ein Beispiel für eine motivationsbasierte Hypothese, die Sie als Teil eines ganzheitlichen Tests verwenden könnten. Sie benennt die passende Metrik (Conversions) und bezieht kopierrelevante Faktoren wie Betreffzeilen, Überschriften, Kopierblöcke, Calls-to-Action und sogar Landingpages mit ein:

Solange die Änderungen an den Variablen die Hypothese stützen, machen Sie den Test durch die Verwendung mehrerer Variablen robuster. Der Unterschied zwischen diesem und einem multivariaten Test besteht darin, dass alle Variablen die Hypothese stützen, und wenn der Gewinner bekannt gegeben wird, können wir das Gelernte anwenden.

7. Das Gelernte nicht anwenden, um E-Mails besser zu machen

Wir testen nicht, um zu sehen, was in einer einzelnen Kampagne passiert, oder um Neugier zu befriedigen. Wir testen, um herauszufinden, wie unsere Programme funktionieren und was sie verbessern wird – jetzt und langfristig. Wir testen, ob wir Geld für Dinge ausgeben, die uns helfen, unsere Ziele zu erreichen.

Wir testen, um Trends und Veränderungen in unserem Publikum zu entdecken, die wir auf andere Marketingkanäle anwenden können – denn unser E-Mail-Publikum ist unsere Kundenpopulation in einem Mikrokosmos. Lassen Sie Ihre Testergebnisse nicht in Ihrer E-Mail-Plattform oder in einem Team-Notizbuch verharren.

Ein Aktionsplan zum Testen zur Verfeinerung einer E-Mail-Kampagne würde wie folgt aussehen:

Testen ist wichtiger denn je. Sind Sie bereit?

Die COVID-19-Pandemie hat das Wissen der E-Mail-Vermarkter über unsere Kunden auf den Kopf gestellt. Im Jahr 2020 mussten wir testen, was die Kunden wollten und was sich in ihren Reaktionen auf unsere Kampagnen geändert hat und was gleich geblieben ist.

Die Pandemie geht in vielen Bereichen zurück, droht aber in anderen wieder anzusteigen. Tests helfen uns, neuen Änderungen immer einen Schritt voraus zu sein und diese Erkenntnisse sofort umzusetzen. Dadurch bleiben unsere E-Mail-Programme relevant und wertvoll für Kunden und das Profil von E-Mail als zuverlässiges Werkzeug, das unseren Unternehmen zum Erfolg verhilft, wird gestärkt.

Ich habe bereits erwähnt, dass Ihre E-Mail-Datenbank ein Mikrokosmos Ihres Kundenstamms ist. Genaue Testergebnisse können Veränderungen im Denken und in der Motivation der Kunden aufdecken, die Sie zum Testen und Aktualisieren Ihrer sozialen Medien, Ihrer Website, Ihres SMS-Marketings und sogar offline im Direktmarketing verwenden können.

Ich kann mir kein anderes Tool im Marketing-Kit vorstellen, das vielseitiger, kostengünstiger und anpassungsfähiger ist als E-Mail. Präzise und aktuelle Tests halten dieses alte zuverlässige Werkzeug glänzend und neu.

Die in diesem Artikel geäußerten Meinungen sind die des Gastautors und nicht unbedingt die von MarTech. Mitarbeiter Autoren sind hier aufgelistet.