A/B-Testing: Sein oder Nichtsein

Kein Schmerz, kein Gewinn und keine Leads. Um den Traffic, den Ihre Anzeigen bringen, in Verkäufe umzuwandeln, müssen Sie Ihre Website ständig optimieren, indem Sie die Benutzererfahrung verbessern, das Benutzerverhalten ändern und Ihre Konversionsrate erhöhen. Aber wie können Sie sicherstellen, dass die von Ihnen implementierten Änderungen die erwarteten Ergebnisse bringen? Dafür gibt es A/B-Tests. Im Artikel verraten wir Ihnen, was A/B-Testing ist, wie man es durchführt und auf welche Nuancen es sich zu achten lohnt.

A/B-Testing im Marketing ist dasselbe wie Split-Testing – ein Vergleich zweier Varianten einer Website-Seite, die sich nur durch einen Parameter unterscheiden. Das Ziel von A/B-Tests ist es, festzustellen, welche dieser beiden Optionen effektiver ist und mehr Conversions bringt.

Angenommen, Sie verkaufen Software. Sie haben eine Zielseite mit einer Produktbeschreibung und einer Schaltfläche unten auf der Seite, um eine Testversion zu abonnieren. Um die Anzahl der Abonnenten zu erhöhen, beschließen Sie, einen weiteren Button auf der Zielseite für diejenigen hinzuzufügen, die Ihr Produkt bereits kennen oder es lieber gleich ausprobieren möchten, ohne die Details zu lesen.

Um zu überprüfen, ob Ihre Hypothese richtig ist – dass Sie durch Hinzufügen einer weiteren Schaltfläche mehr Abonnenten erhalten – erstellen Sie eine Kopie der ursprünglichen Zielseite und fügen ihr eine Schaltfläche hinzu. Dann teilen Sie die Seitenbesucher in zwei Gruppen ein: eine, der die Originalseite angezeigt wird (Variante A), die andere, der die aktualisierte Seite angezeigt wird (Variante B). Am Ende des Tests vergleichen Sie die Leistungsindikatoren (in unserem Beispiel die Anzahl der Abos) und ermitteln den Sieger.

Schauen wir uns einige der wichtigsten Dinge an, die uns A/B-Tests (oder Split-Tests) helfen zu erreichen.

1. Verstehen Sie Ihre Benutzer besser und geben Sie ihnen, was sie wollen . Egal, wie lange Sie E-Commerce und Online-Marketing betreiben, es wäre ein Fehler, sich nur auf Ihre persönliche Erfahrung zu verlassen.

Auch wenn es scheint, als könnten Sie das Verhalten von Website-Nutzern vorhersagen und genau verstehen, wie die Inhalte organisiert werden müssen, damit sie sich so schnell wie möglich durch den Verkaufstrichter bewegen, führen Sie einen A/B-Test durch. Die Ergebnisse können Sie überraschen.

Wie die Praxis zeigt, stimmen unsere Annahmen nicht immer mit der Realität überein. Daher können wir nicht nur auf der Grundlage unserer eigenen Überzeugungen entscheiden, was das Beste für unsere Kunden ist.

2. Verlassen Sie sich auf Daten statt auf Expertenmeinungen. Eine zweite Herausforderung, die sich aus der ersten ergibt, ist die Machbarkeit von Änderungen am Standort und die Minimierung der damit verbundenen Risiken.

Häufig basieren Hypothesen auf persönlichen Ansichten, die möglicherweise nicht mit den Ansichten des Publikums übereinstimmen. Infolgedessen haben Änderungen, die ohne A/B-Tests eingeführt werden, nicht den gewünschten Effekt – oder schlimmer noch, sie reduzieren die Conversions.

Wenn Sie also vor der Frage stehen, was Sie zur Entscheidungsfindung verwenden sollen – Daten oder Expertenmeinung – wählen Sie immer Daten.

3. Personalisieren Sie die Kommunikation mit Kunden. Kunden verwenden unterschiedliche Geräte, kommen aus unterschiedlichen Quellen, interagieren unterschiedlich mit Ihrer Website, durchsuchen und kaufen unterschiedliche Waren...

Webanalysedienste wie Google Analytics und Yandex.Metrics helfen Ihnen, diese Daten zu kombinieren und das Wissen über die Benutzer zu systematisieren. Vermarkter sammeln Informationen darüber, welche Seiten Benutzer besucht haben und was sie auf ihnen getan haben. Dadurch ist es möglich, das Publikum in mehrere zehn oder hundert Segmente zu unterteilen und beispielsweise zu erfahren, wie sich Nutzer verhalten, die aus organischem oder bezahltem Traffic kommen.

Aber wir verwenden diese Informationen nicht immer richtig und holen nicht immer den maximalen Nutzen daraus. Ein einfaches Beispiel: Die meisten Online-Projekte zeigen immer noch allen Benutzern dieselben Inhalte, unabhängig von ihrem Verhalten und ihrer Traffic-Quelle:

Wenn Sie das tun, kann Ihnen ein Split-Test helfen, die Situation zu beheben und den Inhalt Ihrer Website zu personalisieren.

Werfen wir nun einen Blick auf die Hauptphasen (und Nuancen) des Split-Tests:

Das erste, was Sie tun müssen, ist eine Liste der Schwachstellen auf Ihrer Website zu identifizieren. Dazu können Sie:

• Untersuchen Sie Daten in Google Analytics und anderen Webanalysesystemen, um zu sehen, welche Seiten hohe Fehlerraten, geringe Scrolltiefe und schlechte Konversionsraten aufweisen.
• Verwenden Sie Webvisor und klicken Sie auf Heatmaps, um zu verstehen, wie Benutzer mit Elementen Ihrer Website interagieren.
• Analysieren Sie Supportfälle oder befragen Sie aktive Kunden, um zu sehen, was ihnen auf der Website fehlt.

Angenommen, Sie sehen sich den Trichter für erweiterten E-Commerce in Google Analytics an und stellen fest, dass nur sehr wenige Personen einen bestimmten Artikel in den Einkaufswagen legen. Gleichzeitig haben Sie eine Offline-Verkaufsstelle und wissen, dass dieses Produkt beliebt ist. In diesem Fall stimmt höchstwahrscheinlich etwas mit Ihrem Online-Shop nicht.

Sobald Sie sich entschieden haben, was Sie reparieren möchten, müssen Sie genau überlegen, wie Sie es reparieren werden. Ohne eine A/B-Hypothese macht das Testen keinen Sinn – der Wert Ihrer Ergebnisse wird gering sein. Sie sollten den Zweck des Experiments genau verstehen, welches Element der Webseite Sie testen und welche quantitativen Ergebnisse Sie erzielen möchten.

Wenn Sie die Hypothese formulieren, stoßen Sie gegen Ihren Konversionstrichter. Fragen Sie sich: Was sollte ich an einem Teil der Seite ändern, um den Benutzer schneller durch den Trichter zu führen?" Überprüfen Sie eine Hypothese pro Test; andernfalls wird es schwierig zu definieren, welche Änderung das Endergebnis in welchem ​​Maße beeinflusst hat.

Was kann getestet werden:

• Farbe, Größe, Text und Position der Konvertierungsschaltflächen
• Überschriften — ändern Sie den Text; Machen Sie es kürzer, interessanter und relevanter
• Formulare – Reduzieren Sie die Anzahl der Felder oder fügen Sie QuickInfos hinzu und füllen Sie Beispiele aus
• Landing – Seitenstruktur, Schriftart oder Farbpalette ändern
• Inhalt – fügen Sie hochwertige Fotos und Videos, Handlungsaufforderungen, Werbeangebote, das Wort „kostenlos“ usw. hinzu.

Ihre Wahl der Leistungsindikatoren hängt von Ihrer Hypothese und den Zielen ab, die Sie erreichen möchten. Dies können Umsatz, Anzahl der Käufe, Konversionsrate, durchschnittliche Scheckgröße, Anwendungen und Abonnements, Ausfallrate usw. sein.

Im nächsten Schritt stellen Sie sicher, dass Sie alle notwendigen Metriken implementiert und erfasst haben, auf deren Basis Sie am Ende des Tests Rückschlüsse ziehen. In unserer Arbeit sind wir auf Fälle gestoßen, in denen Kunden Schwachstellen identifiziert und Hypothesen aufgestellt, aber kein System von Metriken korrekt vorgeschrieben haben, damit sie verstehen können, dass sich die Conversion-Rate beispielsweise gerade aufgrund einer Änderung an einer Schaltfläche geändert hat und nicht wegen anderer Faktoren.

Berücksichtigen Sie die folgenden Faktoren, bevor Sie Ihr Experiment durchführen:

• Minimale Stichprobengröße. Um sicherzustellen, dass Ihre Testergebnisse statistisch signifikant und vertrauenswürdig sind, bestimmen Sie die erforderliche Teilnehmerzahl. Sie können dies mit kostenlosen Online-Rechnern wie Abtasty und Optimizely tun. Angenommen, die Conversion-Rate Ihrer ursprünglichen Zielseite beträgt 5 %, und Sie erwarten, dass die Testversion der Seite 7 % erreichen wird. Der sichtbare Mindesteffekt beträgt in diesem Fall 40 %. Geben Sie diese Zahlen in einen Rechner ein und Sie werden sehen, dass Sie mindestens 1964 Personen pro Variante benötigen:

• Externe Faktoren: Saisonalität, Feiertage, Aktien, Wetter, Wechselkurs etc. Damit externe Faktoren das Ergebnis des Experiments nicht verfälschen, ist es wichtig, beide Versionen der Seite im gleichen Zeitraum parallel anzuzeigen.
• Testen Sie zuerst Makrokonvertierungen. Wenn Sie sich das Ziel setzen, eine bestimmte Seite zu besuchen, werden die Benutzer es wahrscheinlich erreichen, aber keine Transaktion durchführen oder keine andere Zielaktion ausführen. Es ist immer notwendig, Ihren Trichter als Ganzes zu betrachten, um zu verstehen, welche Benutzeraktionen auf der Website die höchste Priorität haben.
• Berücksichtigen Sie den Gerätetyp. Wenn Sie einen Test für alle Zugriffe auf Ihre Website starten und über mobile und Desktop-Versionen verfügen, überprüfen Sie, wie die Testoption auf mobilen Geräten aussieht.
• Schließen Sie internen Datenverkehr aus, damit die Aktionen Ihrer Mitarbeiter auf der Website die Statistiken nicht verzerren. Dies kann in Google Analytics mittels IP-Adressfilterung erfolgen.

Nachdem Sie diese Faktoren berücksichtigt haben, können Sie den Test ausführen. Etwas später erzählen wir Ihnen von den Tools, die Sie dafür verwenden können.

Analysieren Sie am Ende des Experiments die Ergebnisse. Angenommen, die ursprüngliche Conversion-Rate auf Ihrer Zielseite betrug 3 %, Sie gingen davon aus, dass Sie sie auf 5 % erhöhen könnten, und die Testvariante zeigte 3,5 %. Die Konversionsrate ist gestiegen, aber nur geringfügig. Jetzt müssen Sie entscheiden, ob Sie die Änderung auf der Website einführen oder eine andere Hypothese ausprobieren möchten.

Ob die Ergebnisse des Split-Tests statistisch signifikant sind, können Sie mit einem Online-Rechner oder statistischen Methoden überprüfen.

Lesen Sie in unserem Artikel über Statistik in der Webanalyse mehr über statistische Aussagekraft, Stichprobenlänge, Konfidenzintervalle, statistische Signifikanz und wie man sie misst, oder wie man ein echter Data Scientist wird.
Wenn der Prozess erfolgreich ist und Sie zuverlässige Daten erhalten haben, bringen Sie den Gewinner der Zielseite auf die Website und fahren Sie mit dem nächsten Experiment fort.

Mögliche Fehler bei der Analyse der Ergebnisse:

• Ergebnisse vorzeitig auswerten. Wir empfehlen einen Splittest über mindestens 14 Tage durchzuführen. Sie können eine Ausnahme von dieser Regel machen, wenn die Aufgabe aktiviert ist, Sie kleinere Änderungen testen, die sich nicht auf die globale Funktionalität der Website auswirken (z. B. wenn Sie die Farbe einer Schaltfläche geändert haben), und Sie verwenden Google Optimize. Wenn Sie in Ihrem Optimize-Bericht sehen, dass die neue Option mit einer Wahrscheinlichkeit von 80–90 % gewinnt, können Sie den Test beenden. Es ist unwahrscheinlich, dass sich die Indikatoren dramatisch ändern.
• Die Bewertung von Ergebnissen bei einem Gültigkeitsschwellenwert von weniger als 95 % ist eine weitere Metrik aus Optimize-Berichten. Wenn Sie ein Experiment durchführen, berücksichtigt Google Optimize die Gültigkeit des Endergebnisses. Wenn er unter 95 % liegt, empfiehlt Optimize, den Test fortzusetzen. Sie können diesen Schwellenwert auf der Registerkarte mit einem aktiven Test sehen.
• Ignorieren von Testergebnissen als geringfügig. Wer möchte nicht alle Conversions auf einmal verdoppeln?! Selbst eine (auf den ersten Blick) bescheidene Steigerung der Conversion-Rate von 2–3 % ist jedoch kein schlechtes Ergebnis. Vor allem, wenn die Änderungen auf der Zielseite klein waren.
• Überprüfen Sie nicht die globalen Indikatoren für Ihre Website. Schließlich müssen Sie Ihre globalen Website-Indikatoren überprüfen, nicht nur die, die Sie im Rahmen des Experiments ausgewählt haben. Ein einzelner Parameter reicht möglicherweise nicht aus, um die Auswirkungen von Änderungen zu bewerten. Beispielsweise kann die durchschnittliche Scheckgröße sinken und der Gesamtumsatz kann steigen, indem die Konversionsrate erhöht wird. Überwachen Sie daher alle miteinander verbundenen KPIs.

Um einen A/B-Test durchzuführen, müssen Sie eine Testversion der Seite erstellen, Ihre Zielgruppe segmentieren und die Zielmetriken für jedes Segment separat berechnen. Wenn Sie über Programmierkenntnisse und genügend Ressourcen verfügen, können Sie einen A/B-Test manuell durchführen. Aber es ist einfacher und bequemer, dies mit Hilfe von Spezialwerkzeugen zu tun.

Wir haben eine kleine Tabelle vorbereitet, in der beliebte Split-Testing-Tools verglichen werden:

Bei OWOX BI verwenden wir Google Optimize für Tests, daher werden wir uns mehr auf die Funktionen dieses Tools konzentrieren.

Optimize ist ein Onlinedienst, der mit Ihrer Website verbunden ist und es Ihnen ermöglicht, mit verschiedenen Arten der Anzeige von Inhalten zu experimentieren.

Mit Optimize können Sie die von Ihnen in Google Analytics gesammelten Daten verwenden, um einem Benutzer die Version der Seite anzubieten, die für ihn am bequemsten und für Ihr Unternehmen am profitabelsten ist.

• Vollständigkeit der Daten . Um ein Experiment einzurichten und zu analysieren, können Zwecke und Segmente von Google Analytics verwendet werden. Sie können mit den üblichen Metriken von Google Analytics arbeiten, die Sie kennen und lieben.
• Umfangreiche Möglichkeiten zur Personalisierung. Nach erfolgreichem Abschluss eines Tests können Sie mithilfe von Google Analytics-Zielgruppen und -Variablen, die beispielsweise in dataLayer im Google Tag Manager implementiert sind, eine Demonstration verschiedener Inhalte konfigurieren. Wenn Sie durch Experimente die Produktivität Ihrer Website für den durchschnittlichen Benutzer verbessern können, können Sie durch Personalisierung auf der Grundlage von Informationen über Benutzer höhere Renditen in jedem Segment erzielen.
• Integration mit anderen Google-Produkten für tieferes Targeting und Analysen (Google Ads, Data Studio, Tag Manager usw.)
• Eine praktische, leicht verständliche Benutzeroberfläche . Mit dem visuellen Editor können Sie ohne Beteiligung von Entwicklern neue Experimente konfigurieren und starten. Es reduziert die Zeit für die Durchführung eines Experiments erheblich.
• Beeinflusst die Ladegeschwindigkeit der Seite minimal.
• Es ist nicht notwendig, Daten manuell zusammenzufassen, Berichte zu erstellen und statistische Formeln anzuwenden , um die Ergebnisse zu überprüfen. Google Optimize macht alles selbst.

• Bisher kann Google Optimize nicht zum Testen mobiler Anwendungen verwendet werden.

• Sie können keine Tests planen. Das heißt, wenn Sie Dutzende von Tests vorbereiten möchten, diese aber aus irgendeinem Grund nicht gleichzeitig starten können – oder wenn es in der kostenlosen Version Einschränkungen hinsichtlich der Anzahl gleichzeitiger Tests gibt oder Sie nicht ausprobieren möchten Dutzende von Optionen für dasselbe Publikum, das könnte zu einem Problem werden. Sie müssen jeden Test manuell in der Benutzeroberfläche starten. Dies ist kein kritischer Mangel, aber dennoch können Sie dies in einigen anderen Diensten tun.
  

Google Optimize funktioniert ähnlich wie andere Tools zur Durchführung von Experimenten und Personalisierung:

1. Zuerst müssen Sie Variationen von Seiten, Popups und anderen Objekten erstellen, die Sie dem Benutzer zeigen.
2. Dann müssen Sie die Ziele (Metriken) bestimmen, anhand derer Sie die Gewinneroption bestimmen. Dies können die in Optimize integrierten Metriken sein – Anzahl der Seitenaufrufe, Sitzungsdauer, Transaktionen, Umsatz und Fehlerrate – oder ein beliebiges benutzerdefiniertes Ziel von Google Analytics.
3. Danach müssen Sie das Publikum identifizieren, das an dem Experiment teilnehmen wird, und das Experiment starten. In diesem Stadium müssen Sie entscheiden, wie viel Risiko Sie eingehen können, indem Sie den Benutzern die Testoption zeigen. Sie können den Datenverkehr gleichmäßig auf zwei Optionen verteilen oder beispielsweise eine 20/80-Aufteilung vornehmen. Außerdem müssen Sie zu diesem Zeitpunkt auswählen, welchem ​​Teil des Publikums Sie das Experiment zeigen möchten. Allen zeigen oder 20 % nehmen und Ihre beiden Optionen untereinander aufteilen? Warum möchten Sie das tun? Falls Sie ein großes Geschäft haben, sind Sie sich Ihrer Hypothese nicht sicher und möchten nicht die Hälfte des Verkehrs riskieren.

Zusätzlich zu den klassischen A/B-Tests können Sie in Optimize multivariate Tests (bei denen Sie mehrere sich ändernde Elemente in mehreren Kombinationen haben) und umgeleitete Tests (für Seiten mit unterschiedlichen URLs und Designs) durchführen.

Mehr über die Oberfläche und die Einstellungen von Google Optimize erfahren Sie in unserem Artikel zur Durchführung Ihres ersten A/B-Tests mit Google Optimize.

Mit Berichten in Google Optimize können Sie die Ergebnisse während Ihres Experiments überwachen und die gesammelten Daten unmittelbar nach dessen Ende analysieren.

Begriffe in Optimize-Berichten:

• Verbesserung – der wahrscheinliche Bereich für die Conversion-Rate
• Probability to be best – die Wahrscheinlichkeit, dass diese Option besser ist als alle anderen
• Probability to beat baseline – die Wahrscheinlichkeit, dass diese Option eine bessere Conversion-Rate als das Original bringt
• Conversion-Rate – die vorhergesagte durchschnittliche Conversion-Rate
• Conversions – die Anzahl der Sitzungen mit Conversions

Wie der Gewinner ermittelt wird
Google Optimize verwendet Bayes'sche Inferenz, um Statistiken zu erstellen. Ohne ins Detail zu gehen bedeutet dies, dass Sie während des Experiments in den Optimize-Berichten sehen können, mit welcher Wahrscheinlichkeit Variante B vor Ende des Experiments gewinnt. Erreicht die Wahrscheinlichkeit ein bestimmtes Niveau, ist es möglich, das Experiment vorzeitig abzuschließen und Zeit und Geld zu sparen.

Darüber hinaus plant das Google-Team, vor Ende des Experiments einen Mechanismus zur Traffic-Umverteilung zugunsten der besten Option zu implementieren. Dadurch sparen Sie Geld, da weniger Benutzer während des Tests eine unwirksame Option sehen.

Wenn Sie Optimize in Ihr Google Analytics-Konto integrieren, können Sie die Testergebnisse in der Google Analytics-Benutzeroberfläche im Bereich Verhalten/Experimente durchsuchen und analysieren:

Wenn Ihr Experiment erfolgreich war, können Sie die Gewinneroption auf Ihrer Website bereitstellen.

• Optimize 360 ​​erweist sich als genaue No-Coding-Lösung zum Testen der Benutzererfahrung auf Ihrer Website
• So führen Sie Ihren ersten A/B-Test durch: Automatisieren Sie den Prozess mit Google Optimize
• Statistik in der Webanalyse oder wie man ein echter Data Scientist wird
• Kostenloses Webinar: Google Optimize zum Testen und Personalisierung
• Videoanleitungen
• Glossar der Begriffe
• Einführung in den visuellen Editor
• Optimize bereitstellen
• Optimieren Sie das Help Center
• Unterschiede in Optimize- und Google Analytics-Berichten
• Visueller Editor

PS Wenn Sie Hilfe bei der Durchführung von A/B-Tests und der Erstellung benutzerdefinierter Metriken für Ihr Unternehmen benötigen, senden Sie uns eine E-Mail an [email protected] oder füllen Sie das Kontaktformular auf unserer Website aus.