Pengujian A/B dengan Mopinion 17 Feb 2023

Pakar CRO dan Pemasar Pertumbuhan sangat menekankan pada eksperimen dan pengujian A/B. Pengujian A/B, atau pengujian terpisah, adalah cara untuk menguji dua versi konten dan membandingkan kinerjanya. Tujuan pengujian A/B sering kali adalah untuk melihat versi mana yang menghasilkan lebih banyak konversi dan RKT yang lebih tinggi. Data kualitatif seringkali tidak mendapat perhatian sebanyak angka mentah. Misalnya, pengujian A/B tertentu dapat menghasilkan lebih banyak konversi atau klik pada tombol tertentu, tetapi pengalaman atau sentimen pengguna mungkin tidak lebih baik. Klik pada tombol tersebut mungkin terjadi karena Anda tidak jelas tentang apa yang akan terjadi jika pengunjung Anda mengklik tombol tersebut.
Itulah mengapa kami percaya bahwa mengumpulkan umpan balik untuk pengujian A/B Anda dan mengumpulkan data kualitatif juga penting.

Pada artikel ini, kami akan menunjukkan dua cara praktis untuk melakukan pengujian A/B dengan Mopinion .

1. Menggunakan formulir umpan balik untuk mengukur pengalaman pengguna dalam dua versi pengujian A/B yang berbeda.
2. Menguji dua formulir umpan balik yang berbeda untuk mengukur mana yang memiliki tingkat respons lebih tinggi.

Umpan balik pelanggan online juga dapat membantu Anda membentuk hipotesis yang tidak hanya berdasarkan asumsi. Berdasarkan umpan balik yang Anda kumpulkan, Anda dapat mengidentifikasi masalah yang dialami pelanggan di saluran online Anda. Anda dapat menggunakan informasi ini sebagai masukan untuk menguji berbagai hipotesis. Namun dalam artikel ini, kita akan fokus pada dua poin di atas.

Tidak ada waktu untuk membaca seluruh artikel? Tonton video di mana saya (Pemasar Pertumbuhan di Mopinion) menjelaskan bagaimana Anda dapat menguji A/B dengan Mopinion.

Apa itu pengujian A/B?

Pengujian A/B memungkinkan Anda menguji dua versi konten untuk melihat mana yang berkinerja lebih baik. Anda melayani 50% audiens Anda satu versi konten, varian A, sementara Anda melayani 50% lainnya versi konten lainnya, varian B. Distribusi harus acak.

Selanjutnya, Anda mengukur rasio konversi, rasio klik-tayang, atau pengalaman pelanggan untuk melihat versi pengujian mana yang berperforma lebih baik. Dengan ukuran sampel yang cukup besar, Anda akan mendapatkan hasil yang signifikan secara statistik dan mengetahui versi mana yang mengarah ke tujuan yang dimaksud dan dengan demikian berkinerja lebih baik. Itu akan menjadi versi yang benar-benar akan Anda terapkan dan membawa peningkatan yang Anda inginkan.

Apa yang dapat Anda uji A/B?

Pengujian A/B sering dilakukan pada saluran digital seperti halaman situs web, dalam aplikasi, dan dalam email. Pada halaman (landing) di situs atau dalam aplikasi, Anda dapat menguji banyak variabel, seperti:

• Judul dan subjudul
• Salinan tubuh
• Warna
• Jenis konten (video, gambar, teks, seperti yang terlihat pada gambar di bawah)
• Tata letak
• Desain
• Ajakan bertindak (CTA)
• Navigasi
• Formulir umpan balik

Dengan pengujian A/B pada email, Anda dapat menguji baris subjek , tata letak , panjang email , dan bahkan waktu pengiriman email.

Pengujian A/B tidak terbatas pada saluran Anda sendiri. Anda juga dapat menguji Iklan Sosial dan Iklan Pencarian untuk melihat mana yang mendorong lalu lintas paling banyak ke situs web Anda dan mana yang paling mungkin mengonversi pengunjung. Di sini Anda juga bisa bermain-main dengan warna , desain , dan CTA .

Formulir umpan balik juga berpotensi untuk pengujian A/B. Tidakkah Anda ingin tahu formulir umpan balik seperti apa yang memberi Anda wawasan paling banyak? Dalam formulir umpan balik, sekali lagi ada banyak hal untuk diuji seperti lay-out , salin , desain , urutan pertanyaan , jenis pertanyaan , jenis formulir umpan balik , bagaimana dan kapan itu dipicu dan banyak lagi. Mengubah salah satu variabel mungkin berdampak positif pada tingkat respons formulir umpan balik Anda.

Mengapa Anda harus menguji A/B (dengan Mopinion)?

Dengan pengujian A/B, Anda akan dapat membuat perubahan yang berarti dan berdasarkan data pada situs web, aplikasi, email, atau saluran digital lainnya yang benar-benar mengarah pada peningkatan yang diinginkan. Ini bisa di mana saja antara ROI yang lebih tinggi, lebih banyak konversi, pengalaman pelanggan yang lebih baik, dan banyak lagi. Pengujian menghilangkan dugaan dan asumsi.

Sekarang mari fokus pada mengapa Anda harus memulai pengujian A/B dengan Mopinion secara khusus. Kami akan fokus pada dua cara untuk A/B dengan Mopinion sebagaimana dinyatakan di atas.

1. Menggunakan formulir umpan balik untuk mengukur pengalaman pengguna dalam dua versi pengujian A/B yang berbeda.

Mengukur bagaimana audiens Anda mengalami dua versi pengujian A/B Anda akan memberi Anda data kualitatif. Ini memberi Anda wawasan tentang sentimen dan pendapat audiens Anda. Misalnya, Anda sedang melakukan pengujian A/B di email Anda dengan berbagai jenis konten. Audiens Anda dapat memberi peringkat dan memberikan komentar terbuka pada formulir umpan balik di email Anda. Pengujian A/B Anda dapat menghasilkan peringkat yang berbeda dari kedua versi tersebut. Ini memengaruhi CSAT, NPS, atau apa pun yang Anda ukur dan memberi Anda wawasan tentang sentimen audiens Anda. Komentar terbuka akan memberi tahu Anda lebih banyak tentang mengapa peringkat tertentu diberikan dan mengapa mungkin ada perbedaan untuk kedua versi Anda. Komentar terbuka juga memberi tahu Anda tentang pendapat umum audiens Anda. Di samping sasaran kuantitatif berdasarkan RKPT dan konversi (penjualan), Anda akan mengetahui pendapat audiens tentang dua versi email Anda.

Meskipun tidak umum untuk memiliki sasaran yang tidak terkait langsung dengan angka penjualan mentah, bisa jadi fokus Anda adalah menciptakan pengalaman pengguna yang lebih baik. Pengalaman yang ditingkatkan dapat dan sering berdampak positif terhadap metrik penjualan. Kami juga mendorong Anda untuk mengumpulkan masukan dalam kasus tersebut, lihat contoh berikut.

Katakanlah Anda ingin meningkatkan pengalaman pengguna di halaman situs web tertentu. Anda ingin mengukur waktu di halaman, jumlah halaman yang dikunjungi, atau kedalaman gulir. Varian eksperimen Anda (B) menghasilkan lebih banyak halaman yang dikunjungi dan waktu halaman yang lebih lama, yang dapat menunjukkan pengalaman situs web yang lebih baik. Namun, itu juga bisa menjadi tanda bahwa pengunjung tidak dapat menemukan informasi yang mereka cari sehingga mereka membutuhkan lebih banyak waktu atau mengunjungi lebih banyak halaman untuk menemukannya. Anda perlu mengumpulkan data kualitatif untuk mengetahui apakah perubahan Anda benar-benar berdampak positif pada pengalaman tersebut.

2. Menguji dua formulir umpan balik yang berbeda untuk mengukur mana yang memiliki tingkat respons lebih tinggi.

Untuk cara kedua pengujian A/B dengan Mopinion – ketika Anda melakukan pengujian A/B dengan formulir umpan balik Anda, seperti urutan pertanyaan atau desain formulir – Anda akan dapat menentukan formulir umpan balik mana yang memberikan tanggapan paling banyak atau komentar terbuka dan sehingga wawasan yang paling.

Dua cara pengujian A/B dengan Mopinion

1. Menggunakan formulir umpan balik untuk mengukur pengalaman pengguna dalam dua versi pengujian A/B yang berbeda

Contoh:
Anda sedang melakukan pengujian A/B pada laman landas di situs web Anda. Anda telah mengubah tata letak halaman Anda seperti yang terlihat pada gambar di atas. Anda sedang mengukur Kepuasan Pelanggan dan ingin mengetahui apakah peringkat rata-rata per varian berbeda . Setelah melakukan pengujian, varian awal Anda (A) memiliki rating rata-rata 3/5 , sedangkan varian eksperimen (B) memiliki rating rata-rata 5/5 . Dengan ukuran sampel yang cukup besar dan hasil yang signifikan, Anda dapat mengatakan bahwa perbedaan peringkat tersebut disebabkan oleh perubahan yang Anda lakukan pada varian B Anda. Ini merupakan indikasi yang jelas bahwa pengunjung Anda lebih puas dengan varian eksperimen dan Anda harus menerapkan perubahan pada halaman.

Bagaimana melakukan ini dengan Mopinion?

Penerapan formulir umpan balik pada A/B test Anda tidak terlalu sulit, Anda hanya memerlukan 1 formulir. Anda dapat menyimpan formulir asli jika Anda sudah memilikinya di halaman yang Anda uji, atau Anda membuat formulir umpan balik baru dan menayangkannya di halaman. Anda harus memastikan itu tersedia untuk 100% audiens Anda.

Yang perlu Anda lakukan adalah memasukkan elemen data ke dalam formulir umpan balik Anda. Elemen data harus dapat menunjukkan varian umpan balik yang diberikan – A atau B. Lihat gambar di bawah ini untuk melihat tampilannya dalam formulir masukan Anda*.


Desain formulir umpan balik Mopinion – elemen data pengujian A/B

Gambar berikutnya menunjukkan kepada Anda bagaimana tampilannya di item umpan balik di kotak masuk. Setiap umpan balik yang diberikan, akan mengirimkan variannya ke Mopinion dan muncul di masing-masing item umpan balik di kotak masuk. Dengan cara ini Anda mengetahui item umpan balik mana yang termasuk dalam varian pengujian mana.


Kotak masuk umpan balik Mopinion – Visibilitas varian Pengujian A/B

Anda dapat dengan mudah melacak eksperimen Anda di dasbor Anda. Anda dapat melakukannya dengan membuat bagan dan memfilter peringkat berdasarkan varian (dengan elemen data). Lihat tangkapan layar di bawah tampilannya di dasbor. Anda dapat melihat bahwa rating rata-rata untuk varian asli A adalah 3, sedangkan rating untuk varian eksperimen B adalah 5. Anda juga dapat melihat apakah ini berubah dari waktu ke waktu atau per segmen audiens saat membuat bagan, kemungkinannya tidak terbatas.


Grafik Mopinion – Peringkat rata-rata pengujian A/B per varian

Saat Anda melihat perbedaan di dasbor Anda per kondisi, Anda harus mempelajari lebih dalam item umpan balik per varian dan membaca komentar terbuka. Mungkin Anda akan menemukan alasan perbedaan peringkat di sana dan merasakan sentimen dan pemikiran audiens Anda.

Di basis pengetahuan kami, Anda dapat menemukan panduan langkah demi langkah tentang cara melakukan pengujian A/B dengan Mopinion. Kami telah menulis panduan untuk tiga alat pengujian A/B yang berbeda: Google Optimize, Optimizely, dan AB Tasty. Tentu saja tim dukungan kami siap membantu jika Anda menggunakan alat pengujian A/B lain dan ingin mengumpulkan umpan balik dalam pengujian A/B Anda.

* Tangkapan layar dengan elemen data didasarkan pada Google Optimize

2. Menguji dua formulir umpan balik yang berbeda untuk mengukur mana yang memiliki tingkat respons lebih tinggi.

Contoh:
Anda ingin menguji dua formulir umpan balik yang berbeda di halaman web dan melihat mana yang mendapat lebih banyak tanggapan dari audiens Anda. Anda ingin tahu apakah formulir umpan balik percakapan Anda mendapat lebih banyak tanggapan daripada formulir Mopinion klasik Anda. Setelah melakukan tes, Anda memiliki 75 respons pada formulir percakapan dan 50 respons pada formulir klasik Anda , sedangkan formulir dibuka sesering mungkin. Dengan respons yang cukup dan tampilan yang cukup pada formulir umpan balik, Anda dapat mengatakan dengan keyakinan tertentu bahwa formulir umpan balik Percakapan mendapatkan lebih banyak respons dan dengan demikian memberi Anda lebih banyak wawasan.

Bagaimana melakukan ini dengan Mopinion?

Cukup mudah melakukannya dengan Mopinion, karena Anda dapat menggunakan dua formulir berbeda di web atau halaman aplikasi atau email yang sama. Anda harus menunjukkan formulir Anda ke jumlah orang yang sama untuk ujian yang adil. Setiap varian akan ditampilkan kepada setengah atau audiens Anda sehingga pembagiannya harus 50/50. Formulir pertama (varian A) diperlihatkan kepada 50% pengunjung. Formulir lain (varian B) ditampilkan kepada 100% pengunjung yang tidak melihat formulir pertama. Selain itu, jeda 1 detik membantu memastikan bahwa kedua formulir tidak akan ditampilkan secara bersamaan.


Penerapan Mopinion – Dua formulir di halaman yang sama untuk pengujian A/B

Setelah umpan balik mulai masuk, Anda dapat membandingkan umpan balik antara dua kondisi, seperti tingkat respons, peringkat (mis. CSAT, NPS), dan tentu saja komentar terbuka. Anda dapat melacak eksperimen dengan mudah dengan menambahkan kedua formulir dalam grafik yang sama dan membandingkan jumlah respons.

Mari kita lihat contoh nyata pengujian A/B yang telah saya lakukan dengan formulir Mopinion.

Bagaimana Mopinion menggunakan Mopinion untuk melakukan tes AB

Pada Oktober 2022, saya menguji formulir umpan balik pasif di beranda kami, formulir umpan balik percakapan versus formulir umpan balik klasik. Tujuan pengujian A/B saya adalah untuk memahami formulir umpan balik mana yang mendapat lebih banyak tanggapan dan mana yang mendapat peringkat lebih tinggi. Hipotesis saya adalah bahwa formulir Umpan Balik Percakapan akan mendapatkan lebih banyak tanggapan dan peringkat yang lebih tinggi daripada formulir umpan balik klasik.


Dasbor Mopinion – Umpan balik dari respons pengujian A/B


Dasbor Mopinion – Umpan balik dari peringkat rata-rata pengujian A/B

Di sini Anda dapat melihat hasil eksperimen saya dan tampilannya di dasbor pribadi saya. Hipotesis pertama saya didukung (tidak signifikan**) karena formulir umpan balik percakapan menerima 11 tanggapan lebih banyak daripada formulir klasik saya. Hipotesis kedua saya tidak didukung (sekali lagi tidak signifikan) karena bentuk klasik memiliki nilai rata-rata 3,8 yang 0,2 poin lebih tinggi dari bentuk percakapan saya.

Dengan melakukan pengujian A/B dengan formulir umpan balik, Anda akan mengetahui formulir umpan balik mana yang memberi Anda tanggapan dan wawasan paling banyak.

Jika Anda ingin mulai menguji sendiri formulir umpan balik Mopinion yang berbeda, kunjungi basis pengetahuan kami di mana Anda akan menemukan panduan langkah demi langkah kami.

** Tes tidak dilakukan cukup lama untuk mendapatkan efek yang signifikan, tetapi dengan item umpan balik yang lebih banyak Anda mungkin bisa mendapatkan efek yang signifikan

Mulai pengujian A/B dengan bantuan Mopinion

Kesimpulannya, Mopinion sangat membantu pengujian A/B Anda. Ini membantu Anda mendapatkan data kualitatif tentang pengujian A/B dan mendapatkan pemahaman tentang sentimen dan pengalaman audiens Anda. Ini memperkaya data kuantitatif pengujian Anda dengan data kualitatif. Selain itu, ini membantu Anda memahami formulir umpan balik seperti apa yang akan memberi Anda tanggapan dan wawasan paling banyak.

Semoga sukses untuk pengujian A/B Anda!