7 masalah umum yang menggagalkan keberhasilan pengujian email A/B/n

Setiap kali saya mulai bekerja dengan klien baru yang menghadapi masalah besar dengan pemasaran email mereka, salah satu hal pertama yang saya tinjau adalah bagaimana mereka melakukan pengujian email mereka.

Pengujian A/B/n adalah cara terbaik yang saya ketahui untuk menyusun kampanye yang efektif dan untuk mengukur apakah strategi dan taktik email suatu merek berhasil atau gagal. Tapi terlalu sering, tim berjuang untuk mengatur tes dengan benar dan mengukur hasil secara akurat. Itu biasanya mengarah pada eksperimen email yang tidak efektif dan hasil yang buruk.

Jika program pengujian Anda tidak dapat diandalkan, Anda tidak akan tahu apakah strategi dan taktik yang Anda pilih berhasil atau gagal. Jangan salahkan saluran email itu sendiri jika upaya email Anda tidak memberikan hasil yang Anda butuhkan. Sebaliknya, lihat bagaimana Anda menguji dan mengukur hasil.

7 masalah pengujian umum dan cara memperbaikinya

Ini paling sering muncul dalam pekerjaan saya dengan klien. Solusi untuk beberapa tantangan ini akan membutuhkan perubahan pola pikir total. Bagi yang lain, hanya mempelajari cara yang tepat untuk menyiapkan pengujian dapat menyelesaikan banyak masalah Anda saat ini.

Itulah bagian yang baik tentang pengujian. Untuk setiap masalah, ada cara untuk memperbaikinya. Setiap kali Anda memecahkan masalah melalui pengujian, Anda mengambil langkah lain untuk menempatkan program email Anda di jalur yang benar.

1. Pengujian tanpa hipotesis

Banyak pemasar email mengambil dasar pengujian dengan menggunakan alat yang diberikan ESP mereka, terutama untuk menyiapkan pengujian pemisahan A/B dasar pada fitur sederhana seperti baris subjek.

Namun, pendekatan ad hoc, satu kali ini seperti belajar mengemudikan mobil tanpa mengetahui cara membaca peta. Anda dapat menyalakan mobil dengan baik. Tetapi Anda memerlukan keterampilan peta untuk merencanakan perjalanan yang akan membawa Anda ke tempat yang Anda inginkan dengan kemacetan lalu lintas dan jalan memutar yang paling sedikit.

Ya, Anda dapat membiarkan Google Maps melakukan pekerjaan perencanaan untuk Anda. Tetapi semua data – apa yang Anda berikan dan apa yang mereka ambil dari sumber lain – harus sesuai. Jika Anda mengetik tujuan yang salah atau berkendara ke zona mati, Anda bisa berakhir bermil-mil dari tempat yang Anda inginkan.

Itulah yang terjadi pada program email Anda ketika Anda tidak menguji atau menguji dengan benar. Hipotesis Anda adalah peta jalan Anda untuk pengujian. Ini menjabarkan apa yang menurut Anda mungkin terjadi dan memandu pilihan Anda untuk variabel, segmen pengujian, metrik keberhasilan, dan bahkan cara menggunakan hasilnya.

2. Menggunakan perhitungan konversi yang salah

Ini berkaitan dengan perjalanan pelanggan dan tujuan pengujian.

Saat Anda melakukan pengujian pemisahan A/B standar pada halaman arahan situs web, Anda sering menggunakan “transaksi/sesi web” sebagai penghitungan konversi untuk melihat seberapa baik halaman tersebut berkonversi. Ini masuk akal karena Anda tidak tahu jalur yang diambil pelanggan Anda untuk sampai ke sana di situs, jadi Anda fokus pada bagian tertentu dari perjalanan ini, karena mengabaikan semua yang terjadi sebelumnya.

Dalam email, kami mengetahui jalur yang diambil pelanggan kami dari email ke halaman arahan. Kami menempatkannya di sana, dan kami ingin mengoptimalkannya. Kami ingin memahami seberapa baik email kami dikonversi, jadi kami perlu menggunakan "transaksi/email terkirim" untuk menghitung konversi kami. Ini memperhitungkan seluruh perjalanan email dan tidak hanya melihat seberapa baik halaman arahan dikonversi.

Seperti yang Anda lihat dalam dua contoh klien ini, konversi diikuti dengan apa yang ditandai dengan pembukaan dan klik. Pemasar menggunakan perhitungan "sesi halaman/pembelian" untuk kesombongan karena menghasilkan persentase yang lebih tinggi. Namun, itu berarti Anda bisa mengoptimalkan hasil yang salah.

Menguji segmen melalui kampanye bisnis seperti biasa

Menguji program otomatis

3. Mengukur kesuksesan dengan metrik yang salah

Rencana pengujian yang dapat diterapkan membutuhkan metrik yang relevan untuk mengukur keberhasilan secara akurat. Metrik yang salah dapat meningkatkan atau menurunkan hasil Anda. Ini, pada gilirannya, dapat menyesatkan Anda untuk mengoptimalkan varian yang kalah dan bukan yang menang.

Tingkat terbuka, misalnya, telah menjadi metrik keberhasilan yang populer sejak kami mempelajari cara menggunakannya kembali di hari-hari awal email HTML. Tapi itu adalah metrik yang cacat dan tidak dapat diandalkan, terutama sekarang karena fitur Perlindungan Privasi Mail Apple menutupi tingkat terbuka kampanye yang sebenarnya. Tetapi bahkan jika pembukaan akurat setiap saat, tingkat pembukaan masih belum tentu merupakan metrik yang tepat.

Klik, misalnya, adalah ukuran keterlibatan yang lebih akurat, tetapi klik tidak mengungkapkan berapa banyak uang yang dihasilkan kampanye Anda. Jika tujuan Anda hanya untuk mendapatkan klik, lanjutkan dan gunakan rasio klik. Namun jika Anda mendapatkan imbalan atas pendapatan kampanye, Anda perlu menggunakan metrik pendapatan seperti jumlah pembelian atau nilai keranjang.

4. Pengujian tanpa signifikansi statistik

Jika hasil pengujian Anda signifikan secara statistik, itu berarti perbedaan antara grup pengujian (grup kontrol, yang tidak berubah, dan grup yang menerima variabel, seperti ajakan bertindak atau baris subjek yang berbeda) tidak terjadi karena kesempatan, kesalahan atau kejadian yang tidak terhitung.

Memiliki sejumlah kecil hasil dapat membuang pengujian signifikansi, baik karena Anda hanya dapat menguji sebagian kecil dari populasi Anda atau karena pengujian tidak berjalan cukup lama untuk menghasilkan hasil yang cukup. Itulah mengapa pengujian harus berjalan selama mungkin (untuk otomatisasi) dan mencapai ukuran sampel yang signifikan secara statistik (untuk kampanye).

Sebagian besar pengujian menggunakan faktor signifikansi 5%. Ini berarti variabel Anda membuat perbedaan dalam setidaknya 95 dari setiap 100 hasil dalam pengujian Anda, dan lima hasil lainnya bisa acak.

Hasil yang tidak signifikan secara statistik dapat membuat Anda mengambil kesimpulan yang salah dan salah menafsirkan hasil pengujian dan hasil kampanye Anda. Mencapai 95% signifikansi statistik menunjukkan risiko 5% untuk menyimpulkan bahwa ada perbedaan ketika tidak ada perbedaan yang sebenarnya.

Semua yang perlu Anda ketahui tentang kemampuan pengiriman pemasaran email yang diinginkan pelanggan Anda dan yang tidak akan diblokir oleh kotak masuk. Dapatkan Tabel Periodik Pemasaran Email MarTech.

Klik di sini untuk memeriksanya!

5. Berhenti dengan satu tes

Filsuf Heraclitus berkata, "Tidak ada orang yang melangkah di sungai yang sama dua kali, karena itu bukan sungai yang sama dan dia bukan orang yang sama."

Hal yang sama berlaku untuk kampanye email Anda. Basis pelanggan Anda selalu mendapatkan pelanggan baru dan kehilangan pelanggan lama, dan pelanggan tidak bereaksi dengan cara yang sama setiap kali untuk setiap kampanye. Kampanye yang berhasil baik pada suatu waktu mungkin gagal di waktu berikutnya.

Jika Anda hanya menjalankan satu pengujian dan kemudian menerapkan hasilnya ke semua kampanye mendatang, Anda akan melewatkan perubahan yang halus namun penting ini. Itu sebabnya Anda harus melakukan pengujian ke dalam setiap kampanye, menguji semuanya lebih dari sekali untuk mengecualikan anomali.

Ini akan memberi Anda tren yang dapat Anda konsultasikan untuk mempelajari kebenaran umum tentang audiens Anda dan menunjukkan perubahan penting dalam sikap dan perilaku. Gunakan ini untuk menyempurnakan atau merombak pendekatan kampanye Anda.

6. Menguji hanya satu elemen dalam kampanye

Pengujian baris subjek ada di mana-mana, terutama karena banyak platform email membangun pengujian pemisahan baris subjek A/B ke dalam platform mereka. Itu awal yang bagus, tetapi itu hanya memberi Anda sebagian dari gambaran dan seringkali menyesatkan. Baris subjek pemenang yang diukur pada tingkat terbuka tidak selalu memprediksi kampanye pencapaian tujuan.

Itulah salah satu alasan mengapa saya mengembangkan praktik yang disebut Pengujian Holistik, yang bergerak di luar pengujian satu saluran, satu kali, satu variabel.

Berikut adalah contoh hipotesis berbasis motivasi yang dapat Anda gunakan sebagai bagian dari pengujian holistik. Ini menyebutkan metrik yang sesuai (konversi) dan menggabungkan faktor terkait salinan seperti baris subjek, judul, blok salinan, ajakan bertindak, dan bahkan halaman arahan:

Selama perubahan pada variabel mendukung hipotesis, maka, dengan menggunakan banyak variabel, Anda membuat pengujian lebih kuat. Perbedaan antara ini dan uji multivariat adalah bahwa semua variabel mendukung hipotesis, dan ketika pemenang diumumkan, kita dapat menerapkan apa yang telah kita pelajari.

7. Tidak menggunakan apa yang Anda pelajari untuk membuat email lebih baik

Kami tidak menguji untuk melihat apa yang terjadi dalam satu kampanye atau memuaskan rasa ingin tahu. Kami menguji untuk mengetahui bagaimana program kami bekerja dan apa yang akan meningkatkannya – sekarang dan jangka panjang. Kami menguji untuk menentukan apakah kami menghabiskan uang untuk hal-hal yang membantu kami mencapai tujuan kami.

Kami menguji untuk menemukan tren dan perubahan dalam audiens kami yang dapat kami terapkan di saluran pemasaran lainnya – karena audiens email kami adalah populasi pelanggan kami dalam mikrokosmos. Jangan biarkan hasil tes Anda merana di platform email Anda atau di buku catatan tim.

Rencana tindakan untuk pengujian guna menyempurnakan kampanye email akan terlihat seperti ini:

Pengujian lebih penting dari sebelumnya. Apakah kamu siap?

Pandemi COVID-19 mengubah pengetahuan pemasar email tentang pelanggan kami. Pada tahun 2020, kami membutuhkan pengujian untuk mendeteksi apa yang diinginkan pelanggan dan apa yang berubah dan apa yang tetap sama dalam tanggapan mereka terhadap kampanye kami.

Pandemi sedang surut di banyak daerah tetapi mengancam akan meningkat lagi di tempat lain. Pengujian akan membantu kami tetap terdepan dalam perubahan baru dan segera menerapkan wawasan tersebut. Itu membuat program email kami tetap relevan dan dihargai bagi pelanggan dan meningkatkan profil email sebagai alat yang andal untuk membantu perusahaan kami mencapai kesuksesan.

Saya sebutkan sebelumnya bahwa database email Anda adalah mikrokosmos dari basis pelanggan Anda. Hasil pengujian yang akurat dapat mengungkap perubahan dalam pemikiran dan motivasi pelanggan yang dapat Anda gunakan untuk menguji dan memperbarui media sosial Anda, situs web Anda, pemasaran SMS, dan bahkan offline dalam pemasaran langsung.

Saya tidak dapat memikirkan alat lain dalam kit pemasaran yang lebih fleksibel, hemat biaya, dan mudah beradaptasi daripada email. Pengujian yang akurat dan terkini membuat alat lama yang andal ini tetap berkilau dan baru.

Pendapat yang diungkapkan dalam artikel ini adalah dari penulis tamu dan belum tentu MarTech. Penulis staf tercantum di sini.