Czy testy A/B są martwe?

„Dzisiaj testy A/B kwitnie — to ogromny postęp w porównaniu z testami innymi niż A/B” — powiedział podczas ostatniego seminarium internetowego George Khachatryan, dyrektor generalny firmy OfferFit zajmującej się sztuczną inteligencją. „Jednocześnie osoby wykonujące te testy każdego dnia zdają sobie sprawę, że jest to o wiele trudniejsze, niż mogłoby się wydawać”.

Projektowanie testów A/B, określanie wielkości próbek i ich wdrażanie zajmuje dużo czasu i zasobów, a analiza wyników wymaga dużej precyzji. Podsumowując, ręczne zadania wymagane przez testy A/B mogą stanowić duże obciążenie dla marketerów.

„Kiedy prowadzisz pełny program eksperymentalny, nigdy nie wystarczy przeprowadzić jeden test A/B” – powiedział Khachatryan. „Kiedy je prowadzisz, zyskujesz cenne spostrzeżenia i nieuchronnie chcesz uzyskać więcej. Więc kończysz biegać więcej.

Dodał: „Ci, którzy to robią, zdają sobie sprawę, że staje się to po prostu gwałtowną eksplozją liczby potrzebnych testów – staje się to niewykonalne bardzo wcześnie na tej krzywej wykładniczej”.

Marketerzy potrzebują rozwiązania, które pozwoli im przetestować rosnącą liczbę zmiennych kampanii, jednocześnie dając im wystarczająco dużo czasu na analizę danych. Na szczęście testy A/B ewoluują.

Zwiększenie mocy testów A/B

Podczas webinaru Khachatryan zwrócił uwagę na „problem wielorękiego bandyty”, który ma wpływ na współczesne testy A/B. W tradycyjnej wersji tego scenariusza osoba w kasynie musi określić, które automaty do gry („jednoręcy bandyci”, którzy kradną twoje pieniądze) będą miały najlepsze wypłaty, a następnie ustalić, która kolejność będzie optymalna. W przypadku testów A/B zmiennymi są wieloręcy bandyci, a marketer musi odkryć, które z nich są najskuteczniejsze, aby móc przeznaczyć więcej zasobów na obszary, które dobrze się sprawdzają.

„Można myśleć o [wielorękim bandycie] jak o inteligentnym teście A/B” – powiedział. „Poradzi sobie w kompromisie między eksploracją a eksploatacją — zacznie losowo ciągnąć te dziesięć uchwytów, ale jak to się dzieje, dynamicznie realokuje zasoby, tak że jeśli coś wygląda źle, przestanie ciągnąć”.

Dodał: „Ci wieloręcy bandyci są stworzeni do eksperymentowania w odpowiedniej ilości, abyście się uczyli, ale także wykorzystywali to, czego już się nauczyliście”.

Chociaż te modele wieloramienne lub A/B przez lata dobrze służyły marketerom, istnieje nowa iteracja struktury, która jest bardziej dokładna i skuteczna. Według Khachatryana są to „kontekstowi bandyci”.

„Robi to, co robi wieloręki bandyta, ale bierze pod uwagę różne konteksty” – powiedział. „Tak więc, jeśli masz dwóch różnych klientów o różnych cechach, będziesz wiedział, jak pociągnąć za różne dźwignie”.

Kontekstowe struktury bandytów to zasadniczo zautomatyzowane eksperymenty i personalizacja na dużą skalę. Jest to model, który może całkowicie zautomatyzować proces i do tego powinien zmierzać każdy marketer, aby zwiększyć skuteczność kampanii na dużą skalę.

Zautomatyzowane eksperymentowanie to przyszłość

Wielu gigantów technologicznych przyjęło już kontekstowe frameworki bandytów, ale marketerzy powinni zauważyć, że ta technologia jest wciąż niewiarygodnie nowa. Marki powinny przeznaczyć wystarczającą ilość czasu i zasobów, aby ułatwić proces przejścia, ponieważ według Khachatryana jest to „przyszłość eksperymentów”.

„W przeszłości ręczne testowanie A/B działało z jedną wzmianką na raz” — powiedział. „Dzięki tym kontekstowym bandytom możesz skonfigurować go do jednoczesnego testowania wielu wymiarów”.

Niezależnie od tego, czy chodzi o testowanie skuteczności wiersza tematu wiadomości e-mail, współczynników klikalności wezwań do działania, czy też optymalnych czasów publikowania artykułów, marketerzy mają wiele danych eksperymentalnych, za którymi muszą nadążyć. Zautomatyzowane rozwiązania testowe mogą ułatwić zarządzanie tymi procesami poprzez skrócenie czasu poświęcanego na zadania ręczne, zastępując je ciągłymi zautomatyzowanymi eksperymentami.

„Można myśleć o tym jako o kolejnej iteracji eksperymentów lub programów testowania i uczenia się” – powiedział Khachatryan. „Kiedy marketer konfiguruje system ciągłych automatycznych eksperymentów, tworzy to wzajemne oddziaływanie, w którym można zobaczyć, co się dzieje, uzyskać wgląd, a następnie wykorzystać te spostrzeżenia, aby uzyskać nowe pomysły”.

Dodał: „Więc nadal masz zwinny cykl testów i uczenia się, ale jest on przyspieszony”.

Czas pokaże, jak szybko marketerzy przyjmą te technologie zautomatyzowanego eksperymentowania. Jednak ze względu na wysoki poziom wymiany technologii marketingowych, który miał miejsce w ciągu ostatniego roku, istnieje duża szansa, że ​​więcej marek zarejestruje się wcześniej niż później.

Obejrzyj prezentację webinarową w Digital Marketing Depot.