Testy A/B: być albo nie być

Bez bólu, bez zysku i bez leadów. Aby przekształcić ruch generowany przez reklamy w sprzedaż, musisz stale optymalizować swoją witrynę, poprawiając wrażenia użytkownika, zmieniając zachowanie użytkowników i zwiększając współczynnik konwersji. Ale jak możesz upewnić się, że wprowadzane zmiany przyniosą oczekiwane rezultaty? Do tego służą testy A/B. W artykule opowiemy, czym są testy A/B, jak je przeprowadzić i na jakie niuanse warto zwrócić uwagę.

Testy A/B w marketingu to to samo, co testy podzielone — porównanie dwóch wariantów strony internetowej, które różnią się tylko jednym parametrem. Celem testów A/B jest ustalenie, która z tych dwóch opcji jest skuteczniejsza i przynosi więcej konwersji.

Załóżmy, że sprzedajesz oprogramowanie. Masz stronę docelową z opisem produktu i przyciskiem na dole strony, aby zasubskrybować wersję próbną. Aby zwiększyć liczbę subskrybentów, decydujesz się na dodanie jeszcze jednego przycisku na landing page dla tych, którzy już wiedzą o Twoim produkcie lub wolą wypróbować go od razu bez czytania szczegółów.

Aby sprawdzić, czy Twoja hipoteza jest słuszna — że zyskasz więcej subskrybentów poprzez dodanie kolejnego przycisku — tworzysz kopię oryginalnego landing page i dodajesz do niej przycisk. Następnie dzielisz odwiedzających stronę na dwie grupy: jedną, która zobaczy oryginalną stronę (wariant A), drugą, która zobaczy zaktualizowaną stronę (wariant B). Na koniec testu porównujesz wskaźniki wydajności (w naszym przykładzie liczbę subskrypcji) i określasz zwycięzcę.

Przyjrzyjmy się niektórym z głównych rzeczy, które pomagają nam osiągnąć testy A/B (lub testy podzielone).

1. Lepiej zrozum swoich użytkowników i daj im to, czego chcą . Bez względu na to, jak długo zajmujesz się e-commerce i marketingiem online, błędem byłoby poleganie wyłącznie na własnym doświadczeniu.

Nawet jeśli wydaje się, że potrafisz przewidzieć zachowanie użytkowników serwisu i dokładnie zrozumieć, jak uporządkować treści, aby jak najszybciej przeszli przez lejek sprzedaży, przeprowadź test A/B. Wyniki mogą Cię zaskoczyć.

Jak pokazuje praktyka, nasze założenia nie zawsze pokrywają się z rzeczywistością. Dlatego nie możemy decydować o tym, co jest najlepsze dla naszych klientów, wyłącznie na podstawie własnych przekonań.

2. Polegaj na danych zamiast opinii eksperta. Drugim wyzwaniem, które wynika z pierwszego, jest możliwość wprowadzania zmian na stronie i minimalizacja związanego z tym ryzyka.

Często hipotezy opierają się na osobistych poglądach, które mogą nie pokrywać się z poglądami odbiorców. W efekcie zmiany wprowadzone bez testów A/B nie przynoszą pożądanego efektu — lub co gorsza, zmniejszają konwersje.

Dlatego, gdy stajesz przed pytaniem, czego użyć do podejmowania decyzji — danych lub opinii ekspertów — zawsze wybieraj dane.

3. Spersonalizuj komunikację z klientami. Klienci korzystają z różnych urządzeń, pochodzą z różnych źródeł, w różny sposób wchodzą w interakcję z Twoją witryną, przeglądają i kupują różne towary...

Usługi analityki internetowej, takie jak Google Analytics i Yandex.Metrics, pomagają łączyć te dane i usystematyzować wiedzę o użytkownikach. Marketerzy zbierają informacje o tym, jakie strony odwiedzili użytkownicy i co na nich zrobili. Dzięki temu można podzielić odbiorców na kilkadziesiąt lub kilkaset segmentów i dowiedzieć się np. jak zachowują się użytkownicy pochodzący z ruchu organicznego lub płatnego.

Ale nie zawsze używamy tych informacji poprawnie i nie zawsze wyciskamy z nich maksymalne korzyści. Prosty przykład: większość projektów online nadal wyświetla te same treści wszystkim użytkownikom, niezależnie od ich zachowania i źródła ruchu:

Jeśli to robisz, test podziału może pomóc w naprawieniu sytuacji i spersonalizowaniu treści w Twojej witrynie.

Przyjrzyjmy się teraz głównym etapom (i niuansom) podzielonego testowania:

Pierwszą rzeczą, którą musisz zrobić, to zidentyfikować listę słabych punktów w swojej witrynie. Aby to zrobić, możesz:

• Przeglądaj dane w Google Analytics i innych systemach analityki internetowej, aby zobaczyć, które strony mają wysoki współczynnik niepowodzeń, niską głębokość przewijania i niski współczynnik konwersji.
• Użyj Webvisor i kliknij mapy ciepła, aby zrozumieć, w jaki sposób użytkownicy wchodzą w interakcję z elementami Twojej witryny.
• Analizuj przypadki pomocy technicznej lub przeprowadzaj wywiady z aktywnymi klientami, aby zobaczyć, czego brakuje im w witrynie.

Załóżmy na przykład, że patrzysz na ścieżkę Ulepszonego e-commerce w Google Analytics i widzisz, że bardzo niewiele osób dodaje określony produkt do koszyka. Jednocześnie masz punkt sprzedaży offline i wiesz, że ten produkt jest popularny. W takim przypadku najprawdopodobniej coś jest nie tak z Twoim sklepem internetowym.

Kiedy już zdecydujesz, co naprawić, musisz dokładnie przemyśleć, jak to naprawić. Bez hipotezy A/B testowanie nie ma sensu — wartość wyników będzie niewielka. Powinieneś jasno zrozumieć cel eksperymentu, jaki element strony internetowej będziesz testować i jakie wyniki ilościowe chcesz osiągnąć.

Formułując hipotezę, odrzuć ścieżkę konwersji. Zadaj sobie pytanie: Co powinienem zmienić w jednej części strony, aby szybciej przejść użytkownika przez ścieżkę?” Sprawdź jedną hipotezę na test; w przeciwnym razie trudno będzie określić, jaka zmiana w jakim stopniu wpłynęła na wynik końcowy.

Co można przetestować:

• Kolor, rozmiar, tekst i położenie przycisków konwersji
• Nagłówki — zmień tekst; uczynić go krótszym, ciekawszym i bardziej trafnym
• Formularze — zmniejsz liczbę pól lub dodaj podpowiedzi i wypełnij przykłady
• Landing — zmień strukturę strony, czcionkę lub paletę kolorów
• Treść — dodawaj wysokiej jakości zdjęcia i filmy, apele do akcji, oferty promocyjne, słowo „za darmo” itp.

Wybór wskaźników wydajności zależy od Twojej hipotezy i celów, które chcesz osiągnąć. Mogą to być przychody, liczba zakupów, współczynnik konwersji, średni rozmiar czeku, aplikacje i subskrypcje, wskaźnik niepowodzeń itp.

Kolejnym krokiem jest upewnienie się, że masz zaimplementowane i zarejestrowane wszystkie niezbędne metryki, na podstawie których wyciągniesz wnioski na koniec testu. W naszej pracy napotkaliśmy przypadki, w których klienci zidentyfikowali słabości i postawili hipotezy, ale nie określili prawidłowo systemu metryk, aby mogli zrozumieć, że współczynnik konwersji zmienił się właśnie z powodu zmiany na przykład na przycisku, a nie z powodu innych czynników.

Przed przeprowadzeniem eksperymentu rozważ następujące czynniki:

• Minimalna wielkość próbki. Aby upewnić się, że wyniki Twoich testów są statystycznie istotne i można im ufać, określ wymaganą liczbę uczestników. Możesz to zrobić za pomocą bezpłatnych kalkulatorów online, takich jak Abtasty i Optimizely. Załóżmy, że współczynnik konwersji Twojej oryginalnej strony docelowej wynosi 5% i spodziewasz się, że wersja testowa strony osiągnie 7%. Minimalny widoczny efekt w tym przypadku wyniesie 40%. Wprowadź te liczby do kalkulatora, a zobaczysz, że potrzebujesz co najmniej 1964 osób na wariant:

• Czynniki zewnętrzne: sezonowość, święta, akcje, pogoda, kurs walut itp. Aby czynniki zewnętrzne nie zniekształcały wyników eksperymentu, ważne jest, aby w tym samym okresie wyświetlać obie wersje strony równolegle.
• Najpierw przetestuj konwersje makr. Jeśli ustalisz cel, aby odwiedzić określoną stronę, prawdopodobnie użytkownicy go osiągną, ale nie dokonają transakcji lub nie podejmą innej docelowej akcji. Zawsze należy myśleć o ścieżce jako całości, aby zrozumieć, które działania użytkowników w witrynie mają najwyższy priorytet.
• Rozważ typ urządzenia. Jeśli rozpoczynasz eksperyment na całym ruchu w Twojej witrynie i masz wersję mobilną oraz komputerową, sprawdź jak wygląda opcja testowa na urządzeniach mobilnych.
• Wyklucz ruch wewnętrzny, aby działania Twoich pracowników na stronie nie zaburzały statystyk. Można to zrobić w Google Analytics za pomocą filtrowania adresów IP.

Po rozważeniu tych czynników możesz uruchomić test. Nieco później powiemy Ci o narzędziach, których możesz do tego użyć.

Pod koniec eksperymentu przeanalizuj wyniki. Załóżmy na przykład, że oryginalny współczynnik konwersji na Twoim landingu wynosił 3%, założyłeś, że możesz go zwiększyć do 5%, a wariant testowy pokazał 3,5%. Współczynnik konwersji wzrósł, ale tylko nieznacznie. Teraz musisz zdecydować, czy wprowadzić zmianę na stronie, czy spróbować innej hipotezy.

Możesz sprawdzić, czy wyniki testu podziału mają istotność statystyczną, korzystając z kalkulatora internetowego lub metod statystycznych.

Przeczytaj więcej o mocy statystycznej, długości próbki, przedziałach ufności, istotności statystycznej i sposobach ich mierzenia w naszym artykule na temat statystyk w analityce internetowej lub jak zostać prawdziwym naukowcem zajmującym się danymi.
Jeśli proces się powiedzie i otrzymasz wiarygodne dane, przenieś zwycięzcę strony docelowej do witryny i przejdź do kolejnego eksperymentu.

Możliwe błędy podczas analizy wyników:

• Przedwczesna ocena wyników. Zalecamy przeprowadzenie testu podzielonego przez co najmniej 14 dni. Możesz zrobić wyjątek od tej reguły, jeśli zadanie jest włączone, testujesz drobne zmiany, które nie wpływają na globalną funkcjonalność witryny (na przykład zmieniłeś kolor przycisku) i używasz Optymalizacja Google. Jeśli w raporcie Optymalizacji zobaczysz, że nowa opcja wygrywa z prawdopodobieństwem 80–90%, możesz przerwać eksperyment. Wskaźniki raczej nie zmienią się radykalnie.
• Ocena wyników przy progu trafności mniejszym niż 95% to kolejny wskaźnik z raportów Optymalizacji. Podczas przeprowadzania eksperymentu Optymalizator Google bierze pod uwagę poprawność końcowego wyniku. Jeśli jest poniżej 95%, Optymalizator zaleci kontynuowanie eksperymentu. Możesz zobaczyć ten próg na karcie z aktywnym eksperymentem.
• Ignorowanie wyników testu jako nieistotne. Kto nie chciałby jednocześnie podwoić wszystkich konwersji?! Nawet tak skromny (na pierwszy rzut oka) wzrost konwersji rzędu 2-3% nie jest jednak złym wynikiem. Zwłaszcza jeśli zmiany na landingu były niewielkie.
• Nie sprawdzanie globalnych wskaźników dla Twojej witryny. W końcu musisz sprawdzić swoje globalne wskaźniki witryny, a nie tylko te wybrane w ramach eksperymentu. Pojedynczy parametr może nie wystarczyć do oceny skutków zmian. Na przykład średni rozmiar czeku może się zmniejszyć, a łączny przychód może wzrosnąć dzięki zwiększeniu współczynnika konwersji. Dlatego monitoruj wszystkie połączone ze sobą KPI.

Aby przeprowadzić test A/B, musisz utworzyć wersję testową strony, podzielić odbiorców na segmenty i obliczyć dane docelowe dla każdego segmentu osobno. Jeśli masz umiejętności programistyczne i wystarczającą ilość zasobów, możesz ręcznie uruchomić test A/B. Ale łatwiej i wygodniej jest to zrobić za pomocą specjalnych narzędzi.

Przygotowaliśmy małą tabelkę porównującą popularne narzędzia do testowania podziału:

W OWOX BI używamy Google Optimize do testów, więc skupimy się bardziej na funkcjach tego narzędzia.

Optimize to usługa online połączona z Twoją witryną i umożliwiająca eksperymentowanie z różnymi sposobami wyświetlania treści.

Optymalizacja umożliwia wykorzystanie danych zgromadzonych w Google Analytics do zaoferowania użytkownikowi najwygodniejszej dla niego wersji strony i najbardziej opłacalnej dla Twojej firmy.

• Kompletność danych . Aby skonfigurować i przeanalizować eksperyment, można użyć celów i segmentów z Google Analytics. Możesz pracować ze zwykłymi danymi z Google Analytics, które znasz i lubisz.
• Szerokie możliwości personalizacji. Po pomyślnym zakończeniu testu możesz skonfigurować demonstrację różnych treści za pomocą odbiorców i zmiennych Google Analytics, które są zaimplementowane np. w dataLayer w Menedżerze tagów Google. Jeśli eksperymenty pozwolą Ci poprawić produktywność Twojej witryny dla przeciętnego użytkownika, to personalizacja oparta na informacjach o użytkownikach pozwoli Ci osiągnąć wyższe zwroty w ramach każdego segmentu.
• Integracja z innymi produktami Google w celu głębszego targetowania i analizy (Google Ads, Data Studio, Tag Manager itp.)
• Wygodny interfejs, który jest łatwy do zrozumienia . Edytor wizualny pozwala konfigurować i rozpoczynać nowe eksperymenty bez udziału programistów. Znacząco skraca czas przeprowadzania eksperymentu.
• Minimalnie wpływa na szybkość ładowania strony.
• Nie trzeba ręcznie podsumowywać danych, przygotowywać raportów i stosować formuł statystycznych do sprawdzania wyników. Optymalizacja Google robi wszystko sama.

• Jak dotąd Google Optimize nie może być używany do testowania aplikacji mobilnych.

• Nie możesz zaplanować testów. To znaczy, jeśli chcesz przygotować dziesiątki testów, ale z jakiegoś powodu nie możesz ich uruchomić w tym samym czasie — lub jeśli w wersji darmowej są ograniczenia dotyczące liczby jednoczesnych testów, albo nie chcesz ich wypróbowywać dziesiątki opcji na tej samej grupie odbiorców, co może stać się problemem. Musisz uruchomić każdy test ręcznie w interfejsie. Nie jest to poważna wada, ale mimo to możesz to zrobić w niektórych innych usługach.
  

Google Optimize działa podobnie do innych narzędzi do przeprowadzania eksperymentów i personalizacji:

1. Najpierw musisz utworzyć odmiany stron, wyskakujących okienek i innych obiektów, które będziesz wyświetlać użytkownikowi.
2. Następnie musisz określić cele (metryki), według których określisz zwycięską opcję. Mogą to być dane wbudowane w Optimize — liczba odsłon strony, czas trwania sesji, transakcje, przychody i wskaźnik niepowodzeń — lub dowolny cel niestandardowy z Google Analytics.
3. Następnie musisz określić odbiorców, którzy wezmą udział w eksperymencie i rozpocząć eksperyment. Na tym etapie musisz zdecydować, jakie ryzyko możesz podjąć, pokazując użytkownikom opcję testu. Możesz równomiernie rozdzielić ruch między dwie opcje lub na przykład dokonać podziału 20/80. Dodatkowo na tym etapie musisz wybrać, której części publiczności pokażesz eksperyment. Pokaż wszystkim, czy weź 20% i rozdziel swoje dwie opcje między siebie? Dlaczego chcesz to zrobić? Jeśli masz duży sklep, nie masz pewności co do swojej hipotezy i nie chcesz ryzykować połowy ruchu.

Oprócz klasycznych testów A/B, w Optimize możesz uruchamiać testy wielowymiarowe (w których masz wiele zmieniających się elementów w wielu kombinacjach) i przekierowania (dla stron o różnych adresach URL i projektach).

Więcej informacji o interfejsie i ustawieniach Google Optimize znajdziesz w naszym artykule o tym, jak przeprowadzić swój pierwszy test A/B z Google Optimize.

Dzięki raportom w Google Optimize możesz monitorować wyniki podczas eksperymentu i analizować zebrane dane zaraz po jego zakończeniu.

Terminy w raportach Optymalizacji:

• Poprawa — prawdopodobny zakres współczynnika konwersji
• Prawdopodobieństwo bycia najlepszym — prawdopodobieństwo, że ta opcja jest lepsza niż wszystkie inne
• Prawdopodobieństwo pokonania linii bazowej — prawdopodobieństwo, że ta opcja przyniesie lepszy współczynnik konwersji niż oryginał
• Współczynnik konwersji — przewidywany średni współczynnik konwersji
• Konwersje — liczba sesji z konwersjami

Jak ustalany jest zwycięzca
Google Optimize wykorzystuje wnioskowanie Bayesa do generowania statystyk. Bez wchodzenia w szczegóły oznacza to, że podczas eksperymentu możesz zobaczyć w raportach Optymalizacji prawdopodobieństwo, że wariant B zwycięży przed zakończeniem eksperymentu. Jeśli prawdopodobieństwo osiągnie pewien poziom, możliwe jest zakończenie eksperymentu przed terminem i zaoszczędzenie czasu i pieniędzy.

Ponadto zespół Google planuje zaimplementować mechanizm redystrybucji ruchu na korzyść najlepszej opcji przed zakończeniem eksperymentu. Pozwoli to zaoszczędzić pieniądze, ponieważ podczas testu mniej użytkowników zobaczy nieskuteczną opcję.

Jeśli zintegrujesz Optimize z kontem Google Analytics, będziesz mógł przeglądać i analizować wyniki testów w interfejsie Google Analytics w sekcji Zachowanie / Eksperymenty :

Jeśli eksperyment się powiódł, możesz wdrożyć zwycięską opcję w swojej witrynie.

• Optymalizacja 360 okazuje się być dokładnym, niewymagającym kodowania rozwiązaniem do testowania doświadczeń użytkowników w Twojej witrynie
• Jak przeprowadzić pierwszy test A/B: zautomatyzuj proces dzięki Google Optimize
• Statystyka w analityce internetowej, czyli jak zostać prawdziwym naukowcem danych
• Bezpłatne webinarium: Google Optimize do testowania i personalizacji
• Samouczki wideo
• Słownik terminów
• Przedstawiamy edytor wizualny
• Wdróż Optymalizację
• Centrum pomocy Optymalizacji
• Różnice w raportach Optimize i Google Analytics
• Edytor wizualny

PS Jeśli potrzebujesz pomocy w prowadzeniu testów A/B i tworzeniu niestandardowych metryk dla Twojej firmy, napisz do nas na adres [email protected] lub wypełnij formularz kontaktowy na naszej stronie.