A/B testi: Olmak ya da olmamak

Acı yok, kazanç yok ve yol yok. Reklamlarınızın getirdiği trafiği satışa dönüştürmek için kullanıcı deneyimini iyileştirerek, kullanıcı davranışını değiştirerek ve dönüşüm oranınızı artırarak sitenizi sürekli olarak optimize etmeniz gerekir. Ancak uyguladığınız değişikliklerin beklenen sonuçları getireceğinden nasıl emin olabilirsiniz? A/B testi bunun içindir. Bu yazıda size A/B testinin ne olduğunu, nasıl gerçekleştirileceğini ve hangi nüanslara dikkat edilmesi gerektiğini anlatıyoruz.

Pazarlamada A/B testi, tek bir parametre ile farklılık gösteren bir web sitesi sayfasının iki varyantının karşılaştırılması olan split test ile aynıdır. A/B testinin amacı, bu iki seçenekten hangisinin daha etkili olduğunu ve daha fazla dönüşüm getirdiğini belirlemektir.

Diyelim ki yazılım satıyorsunuz. Deneme sürümüne abone olmak için ürün açıklaması ve sayfanın altında bir düğme içeren bir açılış sayfanız var. Abone sayınızı artırmak için, ürününüzü zaten bilenler veya detayları okumadan hemen denemeyi tercih edenler için açılış sayfasına bir düğme daha eklemeye karar veriyorsunuz.

Hipotezinizin doğru olup olmadığını (başka bir düğme ekleyerek daha fazla abone alacağınızı) kontrol etmek için orijinal açılış sayfasının bir kopyasını oluşturur ve ona bir düğme eklersiniz. Ardından, sayfa ziyaretçilerini iki gruba ayırırsınız: biri orijinal sayfayı gösterecek (varyant A), diğeri güncellenmiş sayfayı gösterecek (varyant B). Testin sonunda performans göstergelerini (örneğimizde abonelik sayısı) karşılaştırır ve kazananı belirlersiniz.

A/B testlerinin (veya bölünmüş testlerin) başarmamıza yardımcı olduğu bazı temel şeylere bakalım.

1. Kullanıcılarınızı daha iyi anlayın ve onlara istediklerini verin . E-ticaret ve çevrimiçi pazarlamayı ne kadar süredir yapıyor olursanız olun, yalnızca kişisel deneyiminize güvenmek hata olur.

Web sitesi kullanıcılarının davranışlarını tahmin edebiliyor ve içeriğin satış hunisinde olabildiğince hızlı hareket etmeleri için tam olarak nasıl düzenleneceğini anlayabiliyor gibi görünseniz bile, bir A/B testi yapın. Sonuçlar sizi şaşırtabilir.

Uygulamanın gösterdiği gibi, varsayımlarımız her zaman gerçeklikle örtüşmez. Bu nedenle, sadece kendi inançlarımıza dayanarak müşterilerimiz için en iyisinin ne olduğuna karar veremiyoruz.

2. Uzman görüşü yerine verilere güvenin. İlkinden kaynaklanan ikinci zorluk, sahada değişiklik yapmanın ve ilgili riskleri en aza indirmenin fizibilitesidir.

Genellikle hipotezler, izleyici görüşleri ile örtüşmeyebilecek kişisel görüşlere dayanır. Sonuç olarak, A/B testi yapılmadan yapılan değişiklikler istenen etkiye sahip değildir - veya daha kötüsü, dönüşümleri azaltır.

Bu nedenle, karar vermede ne kullanacağınız sorusuyla karşı karşıya kaldığınızda – veri veya uzman görüşü – her zaman veriyi seçin.

3. Müşterilerle iletişimi kişiselleştirin. Müşteriler farklı cihazlar kullanır, farklı kaynaklardan gelir, sitenizle farklı şekilde etkileşime girer, farklı ürünlere göz atıp satın alır...

Google Analytics ve Yandex.Metrics gibi web analiz hizmetleri, bu verileri birleştirmenize ve kullanıcılar hakkındaki bilgileri sistematize etmenize yardımcı olur. Pazarlamacılar, kullanıcıların hangi sayfaları ziyaret ettikleri ve bu sayfalarda neler yaptıkları hakkında bilgi toplar. Bu, izleyiciyi onlarca veya yüzlerce segmente ayırmayı ve örneğin organik veya ücretli trafikten gelen kullanıcıların nasıl davrandığını öğrenmeyi mümkün kılar.

Ancak bu bilgileri her zaman doğru kullanmıyoruz ve her zaman maksimum faydayı elde edemiyoruz. Basit bir örnek: çoğu çevrimiçi proje, davranışları ve trafik kaynağı ne olursa olsun tüm kullanıcılara aynı içeriği göstermeye devam eder:

Bunu yapıyorsanız, bir bölünmüş test durumu düzeltmenize ve sitenizdeki içeriği kişiselleştirmenize yardımcı olabilir.

Şimdi ayrık testin ana aşamalarına (ve nüanslarına) bir göz atalım:

Yapmanız gereken ilk şey, sitenizdeki zayıf noktaların bir listesini belirlemektir. Bunu yapmak için şunları yapabilirsiniz:

• Hangi sayfaların yüksek hata oranlarına, düşük kaydırma derinliğine ve düşük dönüşüm oranlarına sahip olduğunu görmek için Google Analytics ve diğer web analizi sistemlerindeki verileri keşfedin.
• Kullanıcıların sitenizin öğeleriyle nasıl etkileşime girdiğini anlamak için Webvisor'ı kullanın ve ısı haritalarına tıklayın.
• Destek vakalarını analiz edin veya sitede neler kaçırdıklarını görmek için aktif müşterilerle görüşün.

Örneğin, Google Analytics'teki Gelişmiş E-ticaret dönüşüm hunisine baktığınızı ve çok az kişinin belirli bir ürünü alışveriş sepetine eklediğini gördüğünüzü varsayalım. Aynı zamanda çevrimdışı bir satış noktanız var ve bu ürünün popüler olduğunu biliyorsunuz. Bu durumda, büyük olasılıkla çevrimiçi mağazanızda bir sorun var.

Neyi düzelteceğinize karar verdikten sonra, tam olarak nasıl düzelteceğinizi düşünmeniz gerekir. A/B hipotezi olmadan test etmenin bir anlamı yoktur - bulgularınızın değeri küçük olacaktır. Deneyin amacını, web sayfasının hangi öğesini test edeceğinizi ve hangi nicel sonuçlara ulaşmak istediğinizi açıkça anlamalısınız.

Hipotezi formüle ederken, dönüşüm huninize karşı geri itin. Kendinize sorun: Kullanıcıyı hunide daha hızlı hareket ettirmek için sayfanın bir bölümünde neyi değiştirmeliyim?" Test başına bir hipotezi kontrol edin; aksi takdirde, hangi değişikliğin nihai sonucu ne derece etkilediğini tanımlamak zor olacaktır.

Neler test edilebilir:

• Dönüştürme düğmelerinin rengi, boyutu, metni ve konumu
• Başlıklar — metni değiştirin; daha kısa, daha ilginç ve daha alakalı hale getirin
• Formlar — alan sayısını azaltın veya araç ipuçları ekleyin ve örnekleri doldurun
• Açılış — sayfa yapısını, yazı tipini veya renk paletini değiştirin
• İçerik — yüksek kaliteli fotoğraflar ve videolar ekleyin, harekete geçirici mesajlar, promosyon teklifleri, "ücretsiz" kelimesi vb.

Performans göstergeleri seçiminiz, hipotezinize ve ulaşmak istediğiniz hedeflere bağlıdır. Bunlar; gelir, satın alma sayısı, dönüşüm oranı, ortalama çek boyutu, uygulamalar ve abonelikler, başarısızlık oranı vb. olabilir.

Bir sonraki adım, testin sonunda sonuçlar çıkaracağınız tüm gerekli ölçümlerin uygulandığından ve kaydedildiğinden emin olmaktır. Çalışmamızda, müşterilerin zayıf yönleri tespit edip hipotezler oluşturdukları, ancak örneğin bir düğmede yapılan bir değişiklik nedeniyle dönüşüm oranının tam olarak değiştiğini anlayabilmeleri için doğru bir ölçüm sistemi belirlemediği durumlarla karşılaştık. çünkü diğer faktörler.

Denemenizi çalıştırmadan önce aşağıdaki faktörleri göz önünde bulundurun:

• Minimum örnek boyutu. Test sonuçlarınızın istatistiksel olarak anlamlı olduğundan ve güvenilir olduğundan emin olmak için gerekli katılımcı sayısını belirleyin. Bunu Abtasty ve Optimizely gibi ücretsiz çevrimiçi hesaplayıcılarla yapabilirsiniz. Diyelim ki orijinal açılış sayfanızın dönüşüm oranı %5 ve sayfanın test sürümünün %7'ye ulaşmasını bekliyorsunuz. Bu durumda minimum görünür etki %40 olacaktır. Bu sayıları bir hesap makinesine girin ve varyant başına en az 1964 kişiye ihtiyacınız olduğunu göreceksiniz:

• Dış etkenler: mevsimsellik, tatiller, paylaşımlar, hava durumu, döviz kuru vb. Dış etkenlerin deneyin sonuçlarını bozmaması için, aynı dönemde sayfanın her iki sürümünü de paralel olarak göstermek önemlidir.
• Önce makro dönüşümlerini test edin. Belirli bir sayfayı ziyaret etmek için bir hedef belirlerseniz, kullanıcıların bunu başarması ancak işlem yapmaması veya başka bir hedef eylem gerçekleştirmemesi muhtemeldir. Sitedeki hangi kullanıcı eylemlerinin en yüksek önceliğe sahip olduğunu anlamak için dönüşüm huninizi bir bütün olarak düşünmek her zaman gereklidir.
• Cihazın türünü düşünün. Web sitenize gelen tüm trafik üzerinde bir deneme başlatırsanız ve mobil ve masaüstü sürümleriniz varsa, test seçeneğinin mobil cihazlarda nasıl göründüğünü kontrol edin.
• Çalışanlarınızın web sitesindeki eylemlerinin istatistikleri bozmaması için dahili trafiği hariç tutun. Bu, Google Analytics'te IP adresi filtreleme yoluyla yapılabilir.

Bu faktörleri göz önünde bulundurduktan sonra testi çalıştırabilirsiniz. Biraz sonra, bunu yapmak için kullanabileceğiniz araçlardan bahsedeceğiz.

Deneyin sonunda, sonuçları analiz edin. Örneğin, açılış sayfanızdaki orijinal dönüşüm oranının %3 olduğunu, bunu %5'e çıkarabileceğinizi varsaydığınızı ve test değişkeninin %3,5 gösterdiğini varsayalım. Dönüşüm oranı arttı, ancak sadece biraz. Şimdi, değişikliği sitede tanıtmaya veya başka bir hipotez denemeye karar vermeniz gerekiyor.

Bir çevrimiçi hesap makinesi veya istatistiksel yöntemler kullanarak, bölünmüş test sonuçlarının istatistiksel olarak anlamlı olup olmadığını kontrol edebilirsiniz.

İstatistiksel güç, örnek uzunluğu, güven aralıkları, istatistiksel anlamlılık ve bunların nasıl ölçüleceği hakkında web analitiğindeki istatistikler veya nasıl gerçek bir veri bilimcisi olunacağı hakkındaki makalemizde daha fazlasını okuyun.
İşlem başarılıysa ve güvenilir veriler aldıysanız, açılış sayfası kazananını siteye getirin ve sonraki denemeye geçin.

Sonuçları analiz ederken olası hatalar:

• Sonuçların erken değerlendirilmesi. En az 14 gün boyunca bir bölünme testi yapmanızı öneririz. Görev açıksa, sitenin genel işlevselliğini etkilemeyen küçük değişiklikleri test ediyorsanız (örneğin, bir düğmenin rengini değiştirdiyseniz) ve Google Optimize. Optimize raporunuzda yeni seçeneğin %80-90 olasılıkla kazandığını görürseniz, denemeyi durdurabilirsiniz. Göstergelerin önemli ölçüde değişmesi olası değildir.
• Sonuçları %95'in altında bir geçerlilik eşiğinde değerlendirmek , Optimize raporlarından başka bir ölçümdür. Bir deneme yaptığınızda, Google Optimize nihai sonucun geçerliliğini dikkate alır. %95'in altındaysa Optimize, denemeye devam etmenizi önerir. Bu eşiği, etkin bir deneme ile sekmede görebilirsiniz.
• Test sonuçlarını önemsiz olarak görmezden gelmek. Dönüşümleri bir kerede ikiye katlamayı kim istemez ki?! Ancak (ilk bakışta) %2-3'lük bu kadar mütevazı bir dönüşüm oranı artışı bile kötü bir sonuç değildir. Özellikle açılış sayfasındaki değişiklikler küçükse.
• Siteniz için küresel göstergeleri kontrol etmemek. Sonuçta, yalnızca denemenin parçası olarak seçtiklerinizi değil, global site göstergelerinizi de kontrol etmeniz gerekiyor. Değişikliklerin etkisini değerlendirmek için tek bir parametre yeterli olmayabilir. Örneğin, ortalama çek boyutu düşebilir ve dönüşüm oranı artırılarak toplam gelir artabilir. Bu nedenle, birbirine bağlı tüm KPI'ları izleyin.

Bir A/B testi çalıştırmak için sayfanın bir test sürümünü oluşturmanız, hedef kitlenizi segmentlere ayırmanız ve her segment için hedef metrikleri ayrı ayrı hesaplamanız gerekir. Programlama becerileriniz ve yeterli kaynağınız varsa, manuel olarak bir A/B testi çalıştırabilirsiniz. Ancak özel aletler yardımıyla bunu yapmak daha kolay ve daha uygundur.

Popüler bölünmüş test araçlarını karşılaştıran küçük bir tablo hazırladık:

OWOX BI'da testler için Google Optimize'ı kullanıyoruz, bu nedenle bu aracın özelliklerine daha fazla odaklanacağız.

Optimize, web sitenize bağlı bir çevrimiçi hizmettir ve içeriği görüntülemenin farklı yollarını denemenize olanak tanır.

Optimize, Google Analytics'te topladığınız verileri bir kullanıcıya sayfanın kendileri için en uygun ve işletmeniz için en karlı olacak sürümünü sunmak için kullanmanıza olanak tanır.

• Verilerin eksiksizliği . Bir deneme oluşturmak ve analiz etmek için Google Analytics'teki amaçlar ve segmentler kullanılabilir. Google Analytics'ten bildiğiniz ve sevdiğiniz olağan metriklerle çalışabilirsiniz.
• Kişiselleştirme için geniş fırsatlar. Bir testi başarıyla tamamladıktan sonra, örneğin Google Etiket Yöneticisi'ndeki dataLayer'da uygulanan Google Analytics kitlelerini ve değişkenlerini kullanarak farklı içeriğin bir tanıtımını yapılandırabilirsiniz. Denemeler, ortalama bir kullanıcı için web sitenizin üretkenliğini artırmanıza izin veriyorsa, kullanıcılar hakkındaki bilgilere dayalı kişiselleştirme, her segmentte daha yüksek getiriler elde etmenize olanak tanır.
• Daha derin hedefleme ve analiz için diğer Google ürünleriyle entegrasyon (Google Ads, Data Studio, Etiket Yöneticisi vb.)
• Anlaşılması kolay kullanışlı bir arayüz . Görsel düzenleyici, geliştiricilerin katılımı olmadan yeni deneyleri yapılandırmanıza ve başlatmanıza olanak tanır. Bir deney yapma süresini önemli ölçüde azaltır.
• Sayfa yükleme hızını minimum düzeyde etkiler.
• Sonuçları kontrol etmek için verileri manuel olarak özetlemek, raporlar hazırlamak ve istatistiksel formüller uygulamak gerekli değildir . Google Optimize her şeyi kendisi yapar.

• Şu ana kadar Google Optimize, mobil uygulamaları test etmek için kullanılamaz.

• Testleri programlayamazsınız. Yani onlarca test hazırlamak istiyor ancak herhangi bir nedenle aynı anda başlatamıyorsanız veya ücretsiz sürümde eşzamanlı test sayısında kısıtlamalar varsa veya denemek istemiyorsanız. Aynı hedef kitlede onlarca seçenek bir sorun haline gelebilir. Arayüzde her testi manuel olarak başlatmanız gerekecek. Bu kritik bir eksiklik değildir, ancak yine de bunu diğer bazı hizmetlerde yapabilirsiniz.
  

Google Optimize, deneyler yapmak ve kişiselleştirmek için diğer araçlara benzer şekilde çalışır:

1. İlk olarak, kullanıcıya göstereceğiniz sayfaların, açılır pencerelerin ve diğer nesnelerin varyasyonlarını oluşturmanız gerekir.
2. Ardından, kazanan seçeneği belirleyeceğiniz hedefleri (metrikleri) belirlemeniz gerekir. Bunlar, Optimize'da yerleşik olarak bulunan metrikler (sayfa görüntüleme sayısı, oturum süresi, işlemler, gelir ve başarısızlık oranı) veya Google Analytics'ten herhangi bir özel hedef olabilir.
3. Bundan sonra, denemeye katılacak kitleyi belirlemeniz ve denemeyi başlatmanız gerekir. Bu aşamada test seçeneğini kullanıcılara göstererek ne kadar risk alabileceğinize karar vermelisiniz. Trafiği iki seçenek arasında eşit olarak dağıtabilir veya örneğin 20/80'lik bir bölme yapabilirsiniz. Ayrıca, bu aşamada, deneyi izleyicinin hangi kısmına göstereceğinizi seçmelisiniz. Herkese göster mi, yoksa %20 alıp iki seçeneğin arasında mı dağıtsın? Bunu neden yapmak isteyebilirsiniz? Büyük bir mağazanız varsa, hipotezinizden emin değilsiniz ve trafiğin yarısını riske atmak istemiyorsunuz.

Klasik A/B testlerine ek olarak, Optimize'da çok değişkenli testler (birden çok kombinasyonda birden çok değişen öğeye sahip olduğunuz) ve yeniden yönlendirilmiş testler (farklı URL'lere ve tasarımlara sahip sayfalar için) çalıştırabilirsiniz.

Google Optimize ile ilk A/B testinizi nasıl yapacağınızla ilgili makalemizde, Google Optimize'ın arayüzü ve ayarları hakkında daha fazla bilgi edinebilirsiniz.

Google Optimize'daki raporlarla, denemeniz sırasında sonuçları izleyebilir ve toplanan verileri bittikten hemen sonra analiz edebilirsiniz.

Optimize raporlarındaki terimler:

• İyileştirme — dönüşüm oranı için olası aralık
• En iyi olma olasılığı — bu seçeneğin diğerlerinden daha iyi olma olasılığı
• Temel çizgiyi geçme olasılığı — bu seçeneğin orijinalinden daha iyi bir dönüşüm oranı getirme olasılığı
• Dönüşüm oranı — tahmini ortalama dönüşüm oranı
• Dönüşümler — dönüşüm içeren oturumların sayısı

Kazanan nasıl belirlenir
Google Optimize, istatistik oluşturmak için Bayes çıkarımını kullanır. Bu, ayrıntılara girmeden, deneme sırasında Optimize raporlarında, deneme sona ermeden B varyantının kazanan olma olasılığını görebileceğiniz anlamına gelir. Olasılık belirli bir seviyeye ulaşırsa, deneyi planlanandan önce bitirmek ve zamandan ve paradan tasarruf etmek mümkündür.

Buna ek olarak, Google ekibi, denemenin bitiminden önce en iyi seçenek lehine trafiği yeniden dağıtmak için bir mekanizma uygulamayı planlıyor. Test sırasında daha az kullanıcı etkisiz bir seçenek göreceğinden, bu size para kazandıracaktır.

Optimize'ı Google Analytics hesabınızla entegre ederseniz, Google Analytics arayüzündeki Davranış / Deneyler bölümündeki testlerin sonuçlarına göz atabilir ve bunları analiz edebilirsiniz:

Denemeniz başarılı olduysa, kazanan seçeneği web sitenize yerleştirebilirsiniz.

• Optimize 360, sitenizdeki kullanıcı deneyimini test etmek için kodlama gerektirmeyen doğru bir çözüm olduğunu kanıtlıyor
• İlk A/B testinizi nasıl gerçekleştirebilirsiniz: Süreci Google Optimize ile otomatikleştirin
• Web analitiğinde istatistikler veya nasıl gerçek bir veri bilimcisi olunacağı
• Ücretsiz web semineri: Test ve kişiselleştirme için Google Optimize
• Video eğitimleri
• Terimler Sözlüğü
• Görsel düzenleyicinin tanıtılması
• Optimize'ı dağıtın
• Yardım Merkezini Optimize Edin
• Optimize ve Google Analytics raporlarındaki farklılıklar
• Görsel Düzenleyici

Not: A/B testlerini çalıştırma ve işletmeniz için özel ölçümler oluşturma konusunda yardıma ihtiyacınız varsa, bize [email protected] adresinden e-posta gönderin veya sitemizdeki iletişim formunu doldurun.