7 typowych problemów, które utrudniają pomyślne testowanie wiadomości e-mail A/B/n

Za każdym razem, gdy zaczynam pracę z nowymi klientami, którzy borykają się z poważnymi problemami z e-mail marketingiem, jedną z pierwszych rzeczy, które przeglądam, jest sposób, w jaki przeprowadzają testy poczty e-mail.

Testy A/B/n to najlepszy sposób, jaki znam, aby ustrukturyzować skuteczne kampanie i zmierzyć, czy strategie i taktyki e-mailowe marki odnoszą sukces, czy nie. Jednak zbyt często zespoły mają problemy z prawidłowym skonfigurowaniem testów i dokładnym pomiarem wyników. Zwykle prowadzi to do nieefektywnych eksperymentów e-mailowych i słabych wyników.

Jeśli twój program testowania jest niewiarygodny, nie będziesz wiedział, czy wybrane strategie i taktyki działają, czy też zawodzą. Nie obwiniaj samego kanału e-mail, jeśli Twoje wysiłki e-mailowe nie przyniosą oczekiwanych rezultatów. Zamiast tego spójrz, jak testujesz i mierzysz wyniki.

7 typowych problemów z testowaniem i jak je naprawić

Te najczęściej pojawiają się w mojej pracy z klientami. Rozwiązania niektórych z tych wyzwań będą wymagały całkowitej zmiany sposobu myślenia. W przypadku innych samo poznanie właściwego sposobu konfigurowania testów może rozwiązać wiele bieżących problemów.

To dobra część testowania. Dla każdego problemu jest sposób na jego naprawienie. Za każdym razem, gdy rozwiązujesz problem poprzez testowanie, robisz kolejny krok w kierunku skierowania swojego programu pocztowego na właściwą ścieżkę.

1. Testowanie bez hipotezy

Wielu sprzedawców e-maili podchwytuje podstawy testowania, korzystając z narzędzi udostępnianych im przez dostawców usług internetowych, głównie do tworzenia podstawowych testów A/B na prostych funkcjach, takich jak wiersze tematu.

Jednak to doraźne, jednorazowe podejście jest jak nauka prowadzenia samochodu bez umiejętności czytania mapy. Możesz dobrze włączyć samochód. Ale potrzebujesz umiejętności mapowania, aby zaplanować podróż, która zaprowadzi Cię tam, gdzie chcesz, z najmniejszą liczbą korków i objazdów.

Tak, możesz pozwolić, by Mapy Google zajęły się planowaniem za Ciebie. Ale wszystkie dane – to, co dostarczasz i co pobierają z innych źródeł – muszą się zgadzać. Jeśli wpiszesz niewłaściwy cel lub wjedziesz w martwą strefę, możesz skończyć mile od miejsca, w którym chcesz być.

Tak dzieje się z twoim programem pocztowym, gdy albo nie testujesz, albo testujesz niepoprawnie. Twoja hipoteza jest twoją mapą drogową do testowania. Określa, co Twoim zdaniem może się wydarzyć, i kieruje Twoimi wyborami dotyczącymi zmiennych, segmentów testowych, wskaźników sukcesu, a nawet sposobów wykorzystania wyników.

2. Użycie błędnego obliczenia konwersji

Dotyczy to podróży klienta i celu testu.

Kiedy wykonujesz standardowy test podziału A/B na stronie docelowej witryny, często używasz „transakcji/sesji internetowych” jako obliczenia konwersji, aby zobaczyć, jak dobrze konwertuje strona. Ma to sens, ponieważ nie znasz drogi, którą przebyli Twoi klienci, aby dotrzeć do witryny, więc skupiasz się na tej konkretnej części podróży, ponieważ ignoruje ona wszystko, co dzieje się przed nią.

W wiadomościach e-mail znamy drogę, jaką przebyli nasi klienci, aby przejść od wiadomości e-mail do strony docelowej. Postawiliśmy je na nim i chcemy go zoptymalizować. Chcemy zrozumieć, jak dobrze konwertowały się nasze wiadomości e-mail, dlatego musimy użyć „dostarczonych transakcji/dostarczonych wiadomości e-mail”, aby obliczyć naszą konwersję. Uwzględnia to całą podróż e-mailową, a nie tylko sprawdza, jak dobrze przekonwertowano stronę docelową.

Jak widać na tych dwóch przykładach klientów, konwersja nastąpiła wraz z tym, co oznaczały otwarcia i kliknięcia. Marketerzy używają obliczenia „sesje na stronie/zakupy” dla próżności, ponieważ daje wyższy procent. Oznacza to jednak, że możesz optymalizować, aby uzyskać zły wynik.

Testowanie segmentów za pomocą kampanii typu „business as usual”

Testowanie programów automatycznych

3. Mierzenie sukcesu za pomocą niewłaściwych wskaźników

Sprawny plan testowania wymaga odpowiednich wskaźników, aby dokładnie zmierzyć sukces. Niewłaściwe dane mogą zawyżać lub obniżać wyniki. To z kolei może wprowadzić Cię w błąd do optymalizacji pod kątem przegrywającego wariantu zamiast zwycięskiego.

Na przykład wskaźnik otwarć był popularnym miernikiem sukcesu, odkąd nauczyliśmy się z niego korzystać we wczesnych dniach wiadomości e-mail w formacie HTML. Jest to jednak błędny i niewiarygodny wskaźnik, zwłaszcza teraz, gdy funkcja ochrony prywatności poczty firmy Apple maskuje prawdziwy współczynnik otwarć kampanii. Ale nawet jeśli otwarcia były dokładne za każdym razem, współczynnik otwarć nadal niekoniecznie jest właściwą metryką.

Na przykład kliknięcia są dokładniejszą miarą zaangażowania, ale nie pokazują, ile pieniędzy wygenerowała Twoja kampania. Jeśli Twoim celem jest tylko uzyskanie kliknięć, śmiało używaj współczynnika klikalności. Ale jeśli otrzymujesz nagrodę za przychody z kampanii, musisz użyć danych o przychodach, takich jak liczba zakupów lub wartość koszyka.

4. Testowanie bez istotności statystycznej

Jeśli wyniki Twoich testów są statystycznie istotne, oznacza to, że różnice między grupami testowymi (grupą kontrolną, która pozostała niezmieniona, i grupą, która otrzymała zmienną, taką jak inne wezwanie do działania lub wiersz tematu) nie wystąpiły z powodu przypadek, błąd lub niezliczone zdarzenia.

Posiadanie małej liczby wyników może zniweczyć testowanie istotności, ponieważ możesz przetestować tylko część populacji lub ponieważ test nie trwał wystarczająco długo, aby wygenerować wystarczającą liczbę wyników. Dlatego testy powinny działać jak najdłużej (w przypadku automatyzacji) i osiągać statystycznie istotną wielkość próby (w przypadku kampanii).

Większość testów wykorzystuje współczynnik istotności 5%. Oznacza to, że twoja zmienna miała wpływ na co najmniej 95 z każdych 100 wyników w twoim teście, a pozostałe pięć wyników może być losowych.

Wyniki, które nie są statystycznie istotne, mogą prowadzić do przyjęcia błędnych wniosków i błędnej interpretacji zarówno wyników testów, jak i wyników kampanii. Osiągnięcie 95% istotności statystycznej wskazuje na 5% ryzyko stwierdzenia, że ​​istnieje różnica, gdy nie ma rzeczywistej różnicy.

Wszystko, co musisz wiedzieć o dostarczalności e-mail marketingu, której chcą Twoi klienci i której skrzynki odbiorcze nie będą się blokować. Pobierz tabelę okresową e-mail marketingu MarTech.

Kliknij tutaj, aby to sprawdzić!

5. Zatrzymanie z jednym testem

Filozof Heraklit powiedział: „Żaden człowiek nigdy nie wchodzi dwa razy do tej samej rzeki, ponieważ to nie jest ta sama rzeka i on nie jest tym samym człowiekiem”.

To samo dotyczy kampanii e-mailowych. Twoja baza subskrybentów zawsze zdobywa nowych i traci starych, a klienci nie reagują w ten sam sposób za każdym razem na każdą kampanię. Kampania, która raz działała dobrze, w następnej może się nie udać.

Jeśli przeprowadzisz tylko jeden test, a następnie zastosujesz wyniki do wszystkich przyszłych kampanii, przegapisz te subtelne, ale ważne zmiany. Dlatego musisz włożyć testy do każdej kampanii, testując wszystko więcej niż raz, aby wykluczyć anomalie.

Dzięki temu poznasz trendy, z którymi możesz się zapoznać, aby poznać ogólne prawdy o swoich odbiorcach i wskazać ważne zmiany w postawach i zachowaniu. Użyj ich, aby dostosować lub zmienić podejście do swoich kampanii.

6. Testowanie tylko jednego elementu w kampanii

Testowanie wiersza tematu jest wszechobecne, głównie dlatego, że wiele platform pocztowych tworzy na swoich platformach testy z podziałem wiersza tematu A/B. To świetny początek, ale daje tylko część obrazu i często wprowadza w błąd. Zwycięski wiersz tematu, który jest mierzony na podstawie wskaźnika otwarć, nie zawsze przewiduje kampanię, w której osiągnięto cele.

To jeden z powodów, dla których opracowałem praktykę zwaną testowaniem holistycznym, która wychodzi poza jednokanałowe, jednorazowe testowanie jednej zmiennej.

Oto przykład hipotezy opartej na motywacji, którą można wykorzystać w ramach testów holistycznych. Określa odpowiednie dane (konwersje) i uwzględnia czynniki związane z kopiowaniem, takie jak wiersze tematu, nagłówki, bloki tekstowe, wezwania do działania, a nawet strony docelowe:

Tak długo, jak zmiany w zmiennych potwierdzają hipotezę, używając wielu zmiennych, czynisz test bardziej niezawodnym. Różnica między tym testem a testem wielowymiarowym polega na tym, że wszystkie zmienne potwierdzają hipotezę, a kiedy zostanie ogłoszony zwycięzca, możemy zastosować to, czego się nauczyliśmy.

7. Niewykorzystanie tego, czego się nauczyłeś, aby ulepszyć pocztę e-mail

Nie testujemy, aby zobaczyć, co dzieje się w jednej kampanii ani zaspokoić ciekawości. Testujemy, aby dowiedzieć się, jak działają nasze programy i co je usprawni – teraz i w dłuższej perspektywie. Testujemy, aby ustalić, czy wydajemy pieniądze na rzeczy, które pomagają nam osiągnąć nasze cele.

Testujemy, aby odkryć trendy i zmiany w naszych odbiorcach, które możemy zastosować w innych kanałach marketingowych – ponieważ nasi odbiorcy e-maili to populacja naszych klientów w mikrokosmosie. Nie pozwól, aby wyniki testów marnowały się na Twojej platformie poczty e-mail lub w notesie zespołu.

Plan działania dotyczący testowania w celu udoskonalenia kampanii e-mailowej wyglądałby następująco:

Testowanie jest ważniejsze niż kiedykolwiek. Jesteś gotowy?

Pandemia COVID-19 podważyła wiedzę e-mail marketerów o naszych klientach. W 2020 roku potrzebowaliśmy testów, aby wykryć, czego chcą klienci, co się zmieniło i co pozostało bez zmian w ich odpowiedziach na nasze kampanie.

W wielu obszarach pandemia cofa się, ale w innych grozi jej ponowne pojawienie się. Testowanie pomoże nam wyprzedzić nowe zmiany i od razu zastosować te spostrzeżenia. Dzięki temu nasze programy pocztowe są trafne i cenione dla klientów, a także podnosi rangę poczty e-mail jako niezawodnego narzędzia, które pomaga naszym firmom osiągnąć sukces.

Wspomniałem wcześniej, że Twoja baza danych e-mail to mikrokosmos Twojej bazy klientów. Dokładne wyniki testów mogą ujawnić zmiany w myśleniu i motywacji klientów, które możesz wykorzystać do testowania i aktualizacji swoich mediów społecznościowych, witryny internetowej, marketingu SMS, a nawet offline w marketingu bezpośrednim.

Nie przychodzi mi do głowy żadne inne narzędzie w zestawie marketingowym, które byłoby bardziej wszechstronne, opłacalne i elastyczne niż poczta elektroniczna. Dokładne i aktualne testy sprawiają, że to stare niezawodne narzędzie jest lśniące i nowe.

Opinie wyrażone w tym artykule są opiniami gościa i niekoniecznie MarTech. Lista autorów personelu znajduje się tutaj.