Apakah pengujian A/B mati?

“Hari ini, pengujian A/B berkembang pesat — ini merupakan peningkatan besar dari pengujian non-A/B,” kata George Khachatryan, CEO perusahaan AI OfferFit, dalam webinar baru-baru ini. "Pada saat yang sama, orang-orang yang melakukan tes ini setiap hari menyadari bahwa itu jauh lebih sulit daripada yang terlihat."

Merancang pengujian A/B, menentukan ukuran sampel, dan menerapkannya membutuhkan banyak waktu dan sumber daya, dan menganalisis temuan memerlukan tingkat presisi yang tinggi. Secara keseluruhan, tugas manual yang diperlukan oleh pengujian A/B dapat membebani pemasar.

“Saat Anda menjalankan program eksperimen penuh, menjalankan satu pengujian A/B tidak akan pernah cukup,” kata Khachatryan. “Ketika Anda menjalankannya, Anda mendapatkan wawasan yang berharga, dan mau tidak mau ingin mendapatkan lebih banyak lagi. Jadi Anda akhirnya berlari lebih banyak. ”

Dia menambahkan, "Mereka yang melakukan ini secara langsung menyadari bahwa itu hanya menjadi ledakan cepat dalam jumlah tes yang mereka butuhkan - itu menjadi tidak mungkin sangat awal pada kurva eksponensial ini."

Pemasar membutuhkan solusi yang memungkinkan mereka menguji semakin banyak variabel kampanye sekaligus memberi mereka cukup waktu untuk menganalisis data. Untungnya, pengujian A/B terus berkembang.

Memperluas kekuatan pengujian A/B

Dalam webinar, Khachatryan menyoroti “masalah bandit multi-senjata” yang memengaruhi pengujian A/B modern. Dalam versi tradisional skenario ini, seseorang di kasino harus menentukan mesin slot mana ("bandit satu tangan" yang mencuri uang Anda) yang akan memiliki pembayaran terbaik, lalu mencari tahu urutan mana yang akan optimal. Dengan pengujian A/B, variabelnya adalah bandit multi-senjata, dan pemasar harus menemukan mana yang paling efektif sehingga mereka dapat mengalokasikan lebih banyak sumber daya ke area yang berkinerja baik.

“Anda dapat menganggap [bandit multi-senjata] seperti tes A/B yang cerdas,” katanya. “Ini akan menavigasi tradeoff eksplorasi-eksploitasi — itu akan mulai secara acak menarik sepuluh pegangan itu, tetapi seiring berjalannya waktu, itu akan secara dinamis mengalokasikan kembali sumber daya sehingga jika ada sesuatu yang terlihat buruk, itu akan berhenti menarik.”

Dia menambahkan, "Bandit multi-lengan ini dirancang untuk bereksperimen dalam jumlah yang tepat sehingga Anda belajar tetapi juga memanfaatkan apa yang telah Anda pelajari."

Sementara model multi-senjata, atau A/B, ini telah melayani pemasar dengan baik selama bertahun-tahun, ada iterasi baru dari kerangka kerja yang lebih akurat dan efektif. Menurut Khachatryan, ini adalah “bandit kontekstual.”

“Itu melakukan apa yang dilakukan bandit multi-senjata, tetapi itu memperhitungkan konteks yang berbeda,” katanya. “Jadi, jika Anda memiliki dua pelanggan yang berbeda, dengan karakteristik yang berbeda, itu akan tahu untuk menarik tuas yang berbeda.”

Kerangka kerja bandit kontekstual pada dasarnya adalah eksperimen dan personalisasi otomatis dalam skala besar. Ini adalah model yang dapat sepenuhnya mengotomatiskan proses, dan itulah yang harus dilakukan oleh setiap pemasar untuk meningkatkan efektivitas kampanye dalam skala besar.

Dapatkan buletin harian yang diandalkan oleh pemasar digital.

Memproses ... tunggu sebentar.

LANGGANAN

Lihat istilah.

Eksperimen otomatis adalah masa depan

Banyak raksasa teknologi telah mengadopsi kerangka kerja bandit kontekstual, tetapi pemasar harus mencatat bahwa teknologi ini masih sangat baru. Merek harus mengalokasikan waktu dan sumber daya yang cukup untuk membuat proses transisi lebih mudah, karena, menurut Khachatryan, ini adalah "masa depan eksperimen".

“Di masa lalu, pengujian A/B manual bekerja dengan menyebutkan satu per satu,” katanya. “Dengan bandit kontekstual ini, Anda dapat mengaturnya untuk menguji beberapa dimensi secara bersamaan.”

Baik itu menguji kemanjuran baris subjek email, rasio klik-tayang ajakan bertindak, atau waktu posting artikel yang optimal, pemasar memiliki banyak data eksperimental untuk diikuti. Solusi pengujian otomatis dapat membuat proses ini lebih mudah dikelola dengan mengurangi waktu yang dihabiskan untuk tugas manual, menggantikannya dengan eksperimen otomatis berkelanjutan.

“Anda dapat menganggap ini sebagai iterasi eksperimen berikutnya, atau program uji-dan-belajar,” kata Khachatryan. “Ketika seorang pemasar menyiapkan sistem eksperimen otomatis berkelanjutan ini, ini menciptakan interaksi ini di mana Anda dapat melihat apa yang terjadi, mendapatkan wawasan, dan kemudian menggunakan wawasan tersebut untuk mendapatkan ide-ide baru.”

Dia menambahkan, "Jadi Anda masih memiliki siklus uji dan belajar yang gesit, tetapi ini dipercepat."

Waktu akan menunjukkan seberapa cepat pemasar mengadopsi teknologi eksperimen otomatis ini. Namun, dengan penggantian teknologi pemasaran tingkat tinggi yang terjadi selama setahun terakhir, ada kemungkinan lebih banyak merek akan menandatanganinya lebih cepat daripada nanti.

Tonton presentasi webinar ini di Digital Marketing Depot.