Pengujian A/B: Menjadi atau tidak menjadi

Tidak ada rasa sakit, tidak ada keuntungan dan tidak ada petunjuk. Untuk mengubah lalu lintas yang dihasilkan iklan Anda menjadi penjualan, Anda harus terus mengoptimalkan situs Anda dengan meningkatkan pengalaman pengguna, mengubah perilaku pengguna, dan meningkatkan rasio konversi Anda. Tapi bagaimana Anda bisa memastikan perubahan yang Anda terapkan akan membawa hasil yang diharapkan? Untuk itulah pengujian A/B. Dalam artikel tersebut, kami memberi tahu Anda apa itu pengujian A/B, cara melakukannya, dan nuansa apa yang perlu diperhatikan.

Pengujian A/B dalam pemasaran sama dengan pengujian terpisah — perbandingan dua varian halaman situs web yang berbeda hanya dengan satu parameter. Tujuan pengujian A/B adalah untuk menentukan mana dari dua opsi ini yang lebih efektif dan menghasilkan lebih banyak konversi.

Katakanlah Anda menjual perangkat lunak. Anda memiliki halaman arahan dengan deskripsi produk dan tombol di bagian bawah halaman untuk berlangganan versi percobaan. Untuk meningkatkan jumlah pelanggan, Anda memutuskan untuk menambahkan satu tombol lagi di halaman arahan bagi mereka yang sudah tahu tentang produk Anda atau lebih suka mencobanya langsung tanpa membaca detailnya.

Untuk memeriksa apakah hipotesis Anda benar — bahwa Anda akan mendapatkan lebih banyak pelanggan dengan menambahkan tombol lain — Anda membuat salinan laman landas asli dan menambahkan tombol ke sana. Kemudian Anda membagi pengunjung halaman menjadi dua grup: satu yang akan ditampilkan halaman asli (varian A), yang lain akan ditampilkan halaman yang diperbarui (varian B). Di akhir tes, Anda membandingkan indikator kinerja (dalam contoh kami, jumlah langganan) dan menentukan pemenangnya.

Mari kita lihat beberapa hal utama yang dapat dicapai oleh pengujian A/B (atau pengujian terpisah).

1. Lebih memahami pengguna Anda dan berikan apa yang mereka inginkan . Tidak peduli berapa lama Anda telah melakukan e-niaga dan pemasaran online, adalah kesalahan jika hanya mengandalkan pengalaman pribadi Anda.

Meskipun tampaknya Anda dapat memprediksi perilaku pengguna situs web dan memahami dengan tepat bagaimana mengatur konten sehingga mereka bergerak secepat mungkin melalui saluran penjualan, lakukan pengujian A/B. Hasilnya mungkin mengejutkan Anda.

Seperti yang ditunjukkan oleh praktik, asumsi kita tidak selalu sesuai dengan kenyataan. Oleh karena itu, kami tidak dapat memutuskan apa yang terbaik untuk pelanggan kami hanya berdasarkan keyakinan kami sendiri.

2. Mengandalkan data daripada pendapat ahli. Tantangan kedua, yang muncul dari yang pertama, adalah kelayakan untuk membuat perubahan di situs dan meminimalkan risiko yang terlibat.

Seringkali, hipotesis didasarkan pada pandangan pribadi yang mungkin tidak sesuai dengan pandangan audiens. Akibatnya, perubahan yang diperkenalkan tanpa pengujian A/B tidak memiliki efek yang diinginkan — atau lebih buruk lagi, perubahan tersebut mengurangi konversi.

Oleh karena itu, ketika Anda dihadapkan pada pertanyaan tentang apa yang akan digunakan untuk pengambilan keputusan — data atau pendapat ahli — selalu pilih data.

3. Personalisasi komunikasi dengan pelanggan. Pelanggan menggunakan perangkat yang berbeda, datang dari sumber yang berbeda, berinteraksi secara berbeda dengan situs Anda, menelusuri dan membeli barang yang berbeda...

Layanan analisis web seperti Google Analytics dan Yandex.Metrics membantu Anda menggabungkan data ini dan mensistematisasikan pengetahuan tentang pengguna. Pemasar mengumpulkan informasi tentang halaman apa yang dikunjungi pengguna dan apa yang mereka lakukan di halaman tersebut. Hal ini memungkinkan untuk membagi pemirsa menjadi beberapa puluh atau ratusan segmen dan untuk mempelajari, misalnya, bagaimana perilaku pengguna yang berasal dari lalu lintas organik atau berbayar.

Tapi kami tidak selalu menggunakan informasi ini dengan benar dan tidak selalu memeras manfaat maksimal darinya. Contoh sederhana: sebagian besar proyek online masih menampilkan konten yang sama kepada semua pengguna, terlepas dari perilaku dan sumber lalu lintas mereka:

Jika Anda melakukannya, pengujian terpisah dapat membantu Anda memperbaiki situasi dan mempersonalisasi konten di situs Anda.

Sekarang mari kita lihat tahapan utama (dan nuansa) dari pengujian terpisah:

Hal pertama yang perlu Anda lakukan adalah mengidentifikasi daftar kelemahan di situs Anda. Untuk melakukan ini, Anda dapat:

• Jelajahi data di Google Analytics dan sistem analisis web lainnya untuk melihat halaman mana yang memiliki tingkat kegagalan tinggi, kedalaman pengguliran rendah, dan tingkat konversi yang buruk.
• Gunakan Webvisor dan klik peta panas untuk memahami bagaimana pengguna berinteraksi dengan elemen situs Anda.
• Analisis kasus dukungan atau wawancarai pelanggan aktif untuk melihat apa yang mereka lewatkan di situs.

Misalnya, Anda melihat corong E-niaga yang Disempurnakan di Google Analytics dan melihat bahwa sangat sedikit orang yang menambahkan item tertentu ke keranjang belanja. Pada saat yang sama, Anda memiliki titik penjualan offline dan Anda tahu bahwa produk ini populer. Dalam hal ini, kemungkinan besar ada yang salah dengan toko online Anda.

Setelah Anda memutuskan apa yang harus diperbaiki, Anda perlu memikirkan dengan tepat bagaimana Anda akan memperbaikinya. Tanpa hipotesis A/B, pengujian tidak masuk akal — nilai dari temuan Anda akan kecil. Anda harus memahami dengan jelas tujuan percobaan, elemen halaman web apa yang akan Anda uji, dan hasil kuantitatif apa yang ingin Anda capai.

Saat merumuskan hipotesis, tekan kembali corong konversi Anda. Tanyakan pada diri Anda sendiri: Apa yang harus saya ubah di satu bagian halaman untuk memindahkan pengguna melalui corong lebih cepat?" Periksa satu hipotesis per pengujian; jika tidak, akan sulit untuk menentukan perubahan apa yang memengaruhi hasil akhir hingga sejauh mana.

Apa yang bisa diuji:

• Warna, ukuran, teks, dan lokasi tombol konversi
• Judul — mengubah teks; membuatnya lebih pendek, lebih menarik, dan lebih relevan
• Formulir — kurangi jumlah bidang atau tambahkan tooltips dan isi contoh
• Pendaratan — mengubah struktur halaman, font, atau palet warna
• Konten — tambahkan foto dan video berkualitas tinggi, seruan untuk bertindak, penawaran promosi, kata “gratis”, dll.

Pilihan indikator kinerja Anda tergantung pada hipotesis Anda dan tujuan yang ingin Anda capai. Ini bisa berupa pendapatan, jumlah pembelian, tingkat konversi, ukuran cek rata-rata, aplikasi dan langganan, tingkat kegagalan, dll.

Langkah selanjutnya adalah memastikan Anda telah menerapkan dan mencatat semua metrik yang diperlukan, atas dasar itu Anda akan menarik kesimpulan di akhir tes. Dalam pekerjaan kami, kami telah menemukan kasus di mana klien telah mengidentifikasi kelemahan dan membuat hipotesis tetapi belum menetapkan sistem metrik dengan benar sehingga mereka dapat memahami bahwa tingkat konversi telah berubah justru karena perubahan tombol, misalnya, dan bukan karena faktor lain.

Pertimbangkan faktor berikut sebelum menjalankan eksperimen Anda:

• Ukuran sampel minimal. Untuk memastikan hasil tes Anda signifikan secara statistik dan dapat dipercaya, tentukan jumlah peserta yang diperlukan. Anda dapat melakukannya dengan kalkulator online gratis seperti Abtasty dan Optimizely. Katakanlah tingkat konversi halaman arahan asli Anda adalah 5%, dan Anda berharap bahwa versi pengujian halaman akan mencapai 7%. Efek minimum yang terlihat dalam kasus ini adalah 40%. Masukkan angka-angka ini ke dalam kalkulator dan Anda akan melihat bahwa Anda membutuhkan minimal 1964 orang per varian:

• Faktor eksternal: musim, hari libur, saham, cuaca, nilai tukar mata uang, dll. Agar faktor eksternal tidak mengganggu hasil eksperimen, penting untuk menampilkan kedua versi halaman secara paralel selama periode yang sama.
• Uji konversi makro terlebih dahulu. Jika Anda menetapkan tujuan untuk mengunjungi halaman tertentu, kemungkinan pengguna akan mencapainya tetapi tidak akan melakukan transaksi atau tidak akan mengambil tindakan target lainnya. Selalu penting untuk memikirkan corong Anda secara keseluruhan untuk memahami tindakan pengguna mana di situs yang memiliki prioritas tertinggi.
• Pertimbangkan jenis perangkatnya. Jika Anda memulai eksperimen pada semua lalu lintas ke situs web Anda dan Anda memiliki versi seluler dan desktop, periksa tampilan opsi pengujian di perangkat seluler.
• Kecualikan lalu lintas internal sehingga tindakan karyawan Anda di situs web tidak mengubah statistik. Ini dapat dilakukan di Google Analytics melalui penyaringan alamat IP.

Setelah Anda mempertimbangkan faktor-faktor ini, Anda dapat menjalankan tes. Beberapa saat kemudian, kami akan memberi tahu Anda tentang alat yang dapat Anda gunakan untuk melakukan ini.

Di akhir percobaan, analisis hasilnya. Misalnya, tingkat konversi asli di halaman arahan Anda adalah 3%, Anda berasumsi bahwa Anda dapat meningkatkannya menjadi 5%, dan varian pengujian menunjukkan 3,5%. Tingkat konversi telah meningkat, tetapi hanya sedikit. Sekarang Anda perlu memutuskan apakah akan memperkenalkan perubahan di situs atau mencoba hipotesis lain.

Anda dapat memeriksa apakah hasil tes split memiliki signifikansi statistik dengan menggunakan kalkulator online atau metode statistik.

Baca selengkapnya tentang kekuatan statistik, panjang sampel, interval kepercayaan, signifikansi statistik, dan cara mengukurnya di artikel kami tentang statistik dalam analisis web, atau cara menjadi ilmuwan data sejati.
Jika prosesnya berhasil dan Anda telah menerima data yang andal, bawa pemenang laman landas ke situs dan lanjutkan dengan eksperimen berikutnya.

Kemungkinan kesalahan saat menganalisis hasil:

• Mengevaluasi hasil sebelum waktunya. Kami merekomendasikan untuk melakukan tes split setidaknya selama 14 hari. Anda dapat membuat pengecualian untuk aturan ini jika tugas aktif, Anda menguji perubahan kecil yang tidak memengaruhi fungsionalitas global situs (misalnya, Anda telah mengubah warna tombol), dan Anda menggunakan Google Optimalkan. Jika Anda melihat dalam laporan Optimize bahwa opsi baru menang dengan probabilitas 80—90%, Anda dapat menghentikan eksperimen. Indikator tidak mungkin berubah secara dramatis.
• Mengevaluasi hasil pada ambang validitas kurang dari 95% adalah metrik lain dari laporan Optimize. Saat Anda melakukan eksperimen, Google Optimize mempertimbangkan validitas hasil akhir. Jika di bawah 95%, Optimize akan merekomendasikan untuk melanjutkan eksperimen. Anda dapat melihat ambang ini di tab dengan eksperimen aktif.
• Mengabaikan hasil tes sebagai minor. Siapa yang tidak ingin menggandakan konversi sekaligus?! Bahkan peningkatan tingkat konversi yang sederhana (pada pandangan pertama) sebesar 2-3% bukanlah hasil yang buruk. Apalagi jika perubahan pada halaman arahan itu kecil.
• Tidak memeriksa indikator global untuk situs Anda. Lagi pula, Anda perlu memeriksa indikator situs global Anda, bukan hanya yang Anda pilih sebagai bagian dari eksperimen. Parameter tunggal mungkin tidak cukup untuk mengevaluasi efek perubahan. Misalnya, ukuran cek rata-rata dapat menurun dan pendapatan total dapat meningkat dengan meningkatkan rasio konversi. Oleh karena itu, pantau semua KPI yang saling terhubung.

Untuk menjalankan pengujian A/B, Anda harus membuat versi pengujian halaman, menyegmentasikan audiens, dan menghitung metrik target untuk setiap segmen secara terpisah. Jika Anda memiliki keterampilan pemrograman dan sumber daya yang cukup, Anda dapat menjalankan pengujian A/B secara manual. Tetapi lebih mudah dan lebih nyaman untuk melakukannya dengan bantuan alat khusus.

Kami telah menyiapkan tabel kecil yang membandingkan alat pengujian terpisah yang populer:

Di OWOX BI, kami menggunakan Google Optimize untuk pengujian, jadi kami akan lebih fokus pada fitur alat ini.

Optimize adalah layanan online yang terhubung ke situs web Anda dan memungkinkan Anda bereksperimen dengan berbagai cara menampilkan konten.

Optimize memungkinkan Anda menggunakan data yang telah Anda kumpulkan di Google Analytics untuk menawarkan versi laman yang paling nyaman bagi mereka dan paling menguntungkan bagi bisnis Anda kepada pengguna.

• Kelengkapan data . Untuk menyiapkan dan menganalisis eksperimen, Anda dapat menggunakan tujuan dan segmen dari Google Analytics. Anda dapat bekerja dengan metrik biasa dari Google Analytics yang Anda kenal dan sukai.
• Banyak peluang untuk personalisasi. Setelah berhasil menyelesaikan pengujian, Anda dapat mengonfigurasi demonstrasi konten yang berbeda menggunakan audiens dan variabel Google Analytics yang diterapkan, misalnya, di dataLayer di Google Tag Manager. Jika eksperimen memungkinkan Anda meningkatkan produktivitas situs web Anda untuk rata-rata pengguna, maka personalisasi berdasarkan informasi tentang pengguna akan memungkinkan Anda mencapai pengembalian yang lebih tinggi dalam setiap segmen.
• Integrasi dengan produk Google lainnya untuk penargetan dan analisis yang lebih mendalam (Google Ads, Data Studio, Tag Manager, dll.)
• Antarmuka yang nyaman yang mudah dimengerti . Editor visual memungkinkan Anda untuk mengonfigurasi dan memulai eksperimen baru tanpa keterlibatan pengembang. Ini secara signifikan mengurangi waktu untuk melakukan percobaan.
• Minimal memengaruhi kecepatan pemuatan halaman.
• Anda tidak perlu meringkas data secara manual, menyiapkan laporan, dan menerapkan rumus statistik untuk memeriksa hasilnya. Google Optimize melakukan semuanya sendiri.

• Sejauh ini, Google Optimize tidak dapat digunakan untuk menguji aplikasi seluler.

• Anda tidak dapat menjadwalkan tes. Yaitu, jika Anda ingin menyiapkan puluhan tes tetapi tidak dapat memulainya secara bersamaan karena alasan tertentu — atau jika ada batasan dalam versi gratis pada jumlah tes simultan, atau Anda tidak ingin mencobanya puluhan pilihan pada audiens yang sama, yang mungkin menjadi masalah. Anda harus meluncurkan setiap pengujian secara manual di antarmuka. Ini bukan kelemahan kritis, tetapi Anda dapat melakukannya di beberapa layanan lain.
  

Google Optimize bekerja mirip dengan alat lain untuk melakukan eksperimen dan personalisasi:

1. Pertama, Anda perlu membuat variasi halaman, pop-up, dan objek lain yang akan Anda tunjukkan kepada pengguna.
2. Kemudian Anda perlu menentukan sasaran (metrik) yang dengannya Anda akan menentukan opsi pemenang. Ini dapat berupa metrik yang dibangun ke dalam Optimize — jumlah tampilan halaman, durasi sesi, transaksi, pendapatan, dan tingkat kegagalan — atau sasaran khusus apa pun dari Google Analytics.
3. Setelah itu, Anda perlu mengidentifikasi audiens yang akan berpartisipasi dalam eksperimen dan meluncurkan eksperimen. Pada tahap ini, Anda harus memutuskan seberapa besar risiko yang dapat Anda ambil dengan menunjukkan opsi pengujian kepada pengguna. Anda dapat mendistribusikan lalu lintas antara dua opsi secara merata atau, misalnya, melakukan pembagian 20/80. Plus, pada tahap ini, Anda harus memilih bagian mana dari audiens yang akan Anda tunjukkan eksperimennya. Tunjukkan kepada semua orang, atau ambil 20% dan bagikan dua opsi Anda di antara mereka? Mengapa Anda ingin melakukan ini? Jika Anda memiliki toko besar, Anda tidak yakin dengan hipotesis Anda, dan Anda tidak ingin mengambil risiko setengah lalu lintas.

Selain pengujian A/B klasik, di Optimize Anda dapat menjalankan pengujian multivarian (di mana Anda memiliki beberapa elemen yang berubah dalam beberapa kombinasi) dan yang dialihkan (untuk halaman dengan URL dan desain yang berbeda).

Anda dapat mempelajari lebih lanjut tentang antarmuka dan pengaturan Google Optimize di artikel kami tentang cara melakukan pengujian A/B pertama Anda dengan Google Optimize.

Dengan laporan di Google Optimize, Anda dapat memantau hasil selama eksperimen dan menganalisis data yang dikumpulkan segera setelah berakhir.

Persyaratan dalam laporan Optimize:

• Peningkatan — kisaran kemungkinan untuk tingkat konversi
• Probabilitas untuk menjadi yang terbaik — probabilitas bahwa opsi ini lebih baik daripada yang lainnya
• Probabilitas untuk mengalahkan baseline — probabilitas bahwa opsi ini akan menghasilkan tingkat konversi yang lebih baik daripada yang asli
• Rasio konversi — rasio konversi rata-rata yang diprediksi
• Konversi — jumlah sesi dengan konversi

Bagaimana pemenang ditentukan
Google Optimize menggunakan inferensi Bayesian untuk menghasilkan statistik. Tanpa membahas detailnya, ini berarti bahwa selama eksperimen, Anda dapat melihat di laporan Optimize kemungkinan varian B akan menjadi pemenang sebelum akhir eksperimen. Jika probabilitas mencapai tingkat tertentu, eksperimen dapat diselesaikan lebih cepat dari jadwal dan menghemat waktu dan uang.

Selain itu, tim Google berencana untuk menerapkan mekanisme redistribusi lalu lintas yang mendukung opsi terbaik sebelum akhir eksperimen. Ini akan menghemat uang Anda, karena lebih sedikit pengguna yang akan melihat opsi yang tidak efektif selama pengujian.

Jika Anda mengintegrasikan Optimize dengan akun Google Analytics, Anda dapat menjelajahi dan menganalisis hasil pengujian di antarmuka Google Analytics di bagian Perilaku / Eksperimen :

Jika eksperimen Anda berhasil, Anda dapat menerapkan opsi pemenang di situs web Anda.

• Optimize 360 ​​terbukti sebagai solusi tanpa kode yang akurat untuk menguji pengalaman pengguna di situs Anda
• Cara melakukan pengujian A/B pertama Anda: Otomatiskan proses dengan Google Optimize
• Statistik dalam analisis web, atau cara menjadi ilmuwan data sejati
• Webinar gratis: Google Optimize untuk pengujian dan personalisasi
• Video tutorial
• Daftar Istilah
• Memperkenalkan editor visual
• Terapkan Optimalkan
• Optimalkan Pusat Bantuan
• Perbedaan dalam laporan Optimize dan Google Analytics
• Editor Visual

PS Jika Anda memerlukan bantuan untuk menjalankan pengujian A/B dan membuat metrik khusus untuk bisnis Anda, kirimkan email kepada kami di [email protected] atau isi formulir kontak di situs kami.