7 ปัญหาทั่วไปที่ทำให้การทดสอบอีเมล A/B/n ล้มเหลว

เมื่อใดก็ตามที่ฉันเริ่มทำงานกับลูกค้าใหม่ที่ประสบปัญหาสำคัญเกี่ยวกับการตลาดผ่านอีเมล สิ่งแรกที่ฉันจะทบทวนคือวิธีที่พวกเขาทำการทดสอบอีเมล

การทดสอบ A/B/n เป็นวิธีที่ดีที่สุดที่ฉันรู้ในการจัดโครงสร้างแคมเปญที่มีประสิทธิภาพ และเพื่อวัดว่ากลยุทธ์และยุทธวิธีอีเมลของแบรนด์ประสบความสำเร็จหรือล้มเหลว แต่บ่อยครั้งที่ทีมมีปัญหาในการตั้งค่าการทดสอบอย่างถูกต้องและวัดผลลัพธ์ได้อย่างแม่นยำ ซึ่งมักจะนำไปสู่การทดสอบอีเมลที่ไม่มีประสิทธิภาพและผลลัพธ์ที่ไม่ดี

หากโปรแกรมการทดสอบของคุณไม่น่าเชื่อถือ คุณจะไม่รู้ว่ากลยุทธ์และยุทธวิธีที่คุณเลือกใช้ได้ผลหรือล้มเหลว อย่าโทษตัวแชนเนลอีเมลหากความพยายามอีเมลของคุณไม่ได้ผลลัพธ์ที่คุณต้องการ ให้พิจารณาว่าคุณทดสอบและวัดผลอย่างไร

7 ปัญหาการทดสอบทั่วไปและวิธีแก้ไข

สิ่งเหล่านี้เกิดขึ้นบ่อยที่สุดในการทำงานของฉันกับลูกค้า การแก้ปัญหาความท้าทายเหล่านี้จะต้องเปลี่ยนความคิดทั้งหมด สำหรับคนอื่นๆ การเรียนรู้วิธีตั้งค่าการทดสอบอย่างเหมาะสมสามารถแก้ไขปัญหาปัจจุบันของคุณได้หลายอย่าง

นั่นเป็นส่วนที่ดีในการทดสอบ ทุกปัญหาย่อมมีวิธีแก้ไข ทุกครั้งที่คุณแก้ปัญหาด้วยการทดสอบ คุณจะก้าวไปอีกขั้นในการทำให้โปรแกรมอีเมลของคุณอยู่ในเส้นทางที่ถูกต้อง

1. การทดสอบโดยไม่มีสมมติฐาน

นักการตลาดอีเมลจำนวนมากใช้พื้นฐานของการทดสอบโดยใช้เครื่องมือที่ ESP มอบให้ ส่วนใหญ่สำหรับการตั้งค่าการทดสอบแยก A/B ขั้นพื้นฐานเกี่ยวกับคุณสมบัติง่ายๆ เช่น หัวเรื่อง

อย่างไรก็ตาม แนวทางเฉพาะกิจนี้ เหมือนกับการเรียนรู้ที่จะขับรถโดยไม่รู้วิธีอ่านแผนที่ คุณสามารถเปิดรถได้ดี แต่คุณต้องการทักษะด้านแผนที่เพื่อวางแผนการเดินทางที่จะพาคุณไปยังที่ที่คุณต้องการด้วยการจราจรติดขัดและทางอ้อมน้อยที่สุด

ได้ คุณสามารถปล่อยให้ Google Maps วางแผนงานให้คุณได้ แต่ข้อมูลทั้งหมด – สิ่งที่คุณให้และสิ่งที่พวกเขาดึงมาจากแหล่งอื่น – จะต้องอยู่ในแนวเดียวกัน หากคุณพิมพ์ปลายทางผิดหรือขับรถเข้าไปในเขตอันตราย คุณอาจจะไปจากจุดที่คุณต้องการได้หลายไมล์

นั่นคือสิ่งที่เกิดขึ้นกับโปรแกรมอีเมลของคุณ เมื่อคุณไม่ได้ทดสอบหรือทดสอบอย่างไม่ถูกต้อง สมมติฐานของคุณคือแผนงานสำหรับการทดสอบ โดยจะจัดวางสิ่งที่คุณคิดว่าอาจเกิดขึ้นและแนะนำตัวเลือกของคุณสำหรับตัวแปร กลุ่มการทดสอบ ตัวชี้วัดความสำเร็จ และแม้แต่วิธีการใช้ผลลัพธ์

2. ใช้การคำนวณการแปลงที่ไม่ถูกต้อง

สิ่งนี้เกี่ยวข้องกับการเดินทางของลูกค้าและวัตถุประสงค์ของการทดสอบ

เมื่อคุณทำการทดสอบการแยก A/B แบบมาตรฐานบนหน้า Landing Page ของเว็บไซต์ คุณมักจะใช้ “ธุรกรรม/เซสชันของเว็บ” เป็นการคำนวณ Conversion เพื่อดูว่าหน้านั้นมีการแปลงดีเพียงใด เรื่องนี้สมเหตุสมผลเพราะคุณไม่ทราบเส้นทางที่ลูกค้าของคุณใช้เพื่อไปยังไซต์นั้น ดังนั้นคุณจึงมุ่งความสนใจไปที่ส่วนนี้ของการเดินทางโดยเฉพาะ เนื่องจากจะไม่สนใจทุกสิ่งที่เกิดขึ้นก่อนหน้านั้น

ในอีเมล เราทราบเส้นทางที่ลูกค้าของเราใช้จากอีเมลไปยังหน้า Landing Page เราใส่ไว้ และเราต้องการเพิ่มประสิทธิภาพ เราต้องการทำความเข้าใจว่าอีเมลของเราแปลงมาได้ดีเพียงใด ดังนั้นเราจึงต้องใช้ “ธุรกรรม/อีเมลที่ส่ง” เพื่อคำนวณการแปลงของเรา การดำเนินการนี้จะพิจารณาเส้นทางอีเมลทั้งหมดและไม่ได้พิจารณาว่าหน้า Landing Page แปลงไปได้ดีเพียงใด

ดังที่คุณเห็นในตัวอย่างลูกค้าทั้งสองนี้ การแปลงตามด้วยสิ่งที่เปิดและคลิกมีความหมาย นักการตลาดใช้การคำนวณ "เซสชันของหน้า/การซื้อ" สำหรับความไร้สาระเนื่องจากให้ผลเป็นเปอร์เซ็นต์ที่สูงขึ้น อย่างไรก็ตาม หมายความว่าคุณสามารถเพิ่มประสิทธิภาพสำหรับผลลัพธ์ที่ไม่ถูกต้องได้

ทดสอบเซกเมนต์ผ่านแคมเปญทางธุรกิจตามปกติ

การทดสอบโปรแกรมอัตโนมัติ

3. การวัดความสำเร็จด้วยตัวชี้วัดที่ไม่ถูกต้อง

แผนการทดสอบที่ใช้การได้ต้องการเมตริกที่เกี่ยวข้องเพื่อวัดความสำเร็จอย่างแม่นยำ เมตริกที่ไม่ถูกต้องอาจทำให้ผลลัพธ์ของคุณขยายหรือขยายออกได้ ในทางกลับกัน อาจทำให้คุณเข้าใจผิดในการเพิ่มประสิทธิภาพสำหรับตัวแปรที่แพ้แทนที่จะเป็นผู้ชนะ

ตัวอย่างเช่น อัตราการเปิดเป็นตัวชี้วัดความสำเร็จที่ได้รับความนิยม นับตั้งแต่เราได้เรียนรู้วิธีใช้งานในช่วงแรกๆ ของอีเมล HTML แต่เป็นตัวชี้วัดที่มีข้อบกพร่องและไม่น่าเชื่อถือ โดยเฉพาะอย่างยิ่งตอนนี้ฟีเจอร์การป้องกันความเป็นส่วนตัวของ Mail ของ Apple ปิดบังอัตราการเปิดที่แท้จริงของแคมเปญ แต่ถึงแม้ว่าการเปิดจะแม่นยำทุกครั้ง อัตราการเปิดก็ยังไม่จำเป็นต้องเป็นตัวชี้วัดที่ถูกต้อง

ตัวอย่างเช่น คลิกเป็นการวัดการมีส่วนร่วมที่แม่นยำยิ่งขึ้น แต่ไม่ได้เปิดเผยว่าแคมเปญของคุณสร้างรายได้ได้มากเพียงใด หากเป้าหมายของคุณคือการได้รับคลิกเท่านั้น ไปข้างหน้าและใช้อัตราการคลิก แต่ถ้าคุณได้รับรางวัลเป็นรายได้จากแคมเปญ คุณต้องใช้เมตริกรายได้ เช่น จำนวนการซื้อหรือมูลค่าตะกร้า

4. การทดสอบโดยไม่มีนัยสำคัญทางสถิติ

หากผลการทดสอบของคุณมีนัยสำคัญทางสถิติ แสดงว่าความแตกต่างระหว่างกลุ่มทดสอบ (กลุ่มควบคุมที่ไม่เปลี่ยนแปลง และกลุ่มที่ได้รับตัวแปร เช่น คำกระตุ้นการตัดสินใจหรือหัวเรื่องที่แตกต่างกัน) ไม่ได้เกิดขึ้นเนื่องจาก โอกาส ความผิดพลาด หรือเหตุการณ์ที่นับไม่ถ้วน

การมีผลลัพธ์จำนวนน้อยอาจทำให้การทดสอบนัยสำคัญไม่ได้ผล เนื่องจากคุณสามารถทดสอบได้เพียงเศษเสี้ยวของประชากร หรือเนื่องจากการทดสอบใช้เวลาไม่นานพอที่จะสร้างผลลัพธ์ที่เพียงพอ นั่นเป็นสาเหตุที่การทดสอบควรทำงานให้นานที่สุด (สำหรับการทำงานอัตโนมัติ) และต้องมีขนาดตัวอย่างที่มีนัยสำคัญทางสถิติ (สำหรับแคมเปญ)

การทดสอบส่วนใหญ่ใช้ปัจจัยที่มีนัยสำคัญ 5% ซึ่งหมายความว่าตัวแปรของคุณสร้างความแตกต่างอย่างน้อย 95 ของทุกๆ 100 ผลลัพธ์ในการทดสอบของคุณ และอีกห้าผลลัพธ์อาจเป็นแบบสุ่ม

ผลลัพธ์ที่ไม่มีนัยสำคัญทางสถิติอาจทำให้คุณคาดเดาข้อสรุปที่ผิด และตีความทั้งผลการทดสอบและผลลัพธ์ของแคมเปญของคุณผิด การบรรลุนัยสำคัญทางสถิติ 95% บ่งชี้ถึงความเสี่ยง 5% ในการสรุปว่ามีความแตกต่างเมื่อไม่มีความแตกต่างที่แท้จริง

ทุกสิ่งที่คุณจำเป็นต้องรู้เกี่ยวกับความสามารถในการส่งมอบการตลาดผ่านอีเมลที่ลูกค้าของคุณต้องการและกล่องจดหมายจะไม่ถูกบล็อก รับตารางธาตุการตลาดผ่านอีเมลของ MarTech

คลิกที่นี่เพื่อตรวจสอบออก!

5. หยุดด้วยการทดสอบเดียว

ปราชญ์เฮราคลิตุสกล่าวว่า “ไม่มีใครเคยเหยียบแม่น้ำสายเดียวกันสองครั้ง เพราะมันไม่ใช่แม่น้ำสายเดียวกัน และเขาก็ไม่ใช่คนเดียวกัน”

เช่นเดียวกับแคมเปญอีเมลของคุณ ฐานสมาชิกของคุณได้รับสมาชิกใหม่และสูญเสียสมาชิกเก่าอยู่เสมอ และลูกค้าไม่ได้ตอบสนองแบบเดียวกันทุกครั้งกับทุกแคมเปญ แคมเปญที่ทำงานได้ดีในครั้งเดียวอาจล้มเหลวในครั้งต่อไป

หากคุณทำการทดสอบเพียงครั้งเดียวแล้วใช้ผลลัพธ์กับแคมเปญในอนาคตทั้งหมด คุณจะพลาดการเปลี่ยนแปลงที่สำคัญแต่เล็กน้อยเหล่านี้ นั่นคือเหตุผลที่คุณต้องรวมการทดสอบเข้ากับทุกแคมเปญ ทดสอบทุกอย่างมากกว่าหนึ่งครั้งเพื่อยกเว้นความผิดปกติ

สิ่งนี้จะให้แนวโน้มที่คุณสามารถปรึกษาเพื่อเรียนรู้ความจริงทั่วไปเกี่ยวกับผู้ฟังของคุณและบ่งบอกถึงการเปลี่ยนแปลงที่สำคัญในทัศนคติและพฤติกรรม ใช้สิ่งเหล่านี้เพื่อปรับแต่งหรือยกเครื่องแนวทางแคมเปญของคุณ

6. การทดสอบเพียงองค์ประกอบเดียวในแคมเปญ

การทดสอบหัวเรื่องมีอยู่ทั่วไป สาเหตุหลักมาจากแพลตฟอร์มอีเมลจำนวนมากสร้างหัวเรื่อง A/B แยกการทดสอบออกเป็นแพลตฟอร์มของตน นั่นเป็นการเริ่มต้นที่ดี แต่มันให้ภาพเพียงบางส่วนและทำให้เข้าใจผิดบ่อยๆ หัวข้อที่ชนะซึ่งวัดจากอัตราการเปิดไม่ได้คาดการณ์แคมเปญที่บรรลุเป้าหมายเสมอไป

นั่นเป็นเหตุผลหนึ่งที่ว่าทำไมฉันจึงพัฒนาวิธีปฏิบัติที่เรียกว่าการทดสอบแบบองค์รวม ซึ่งก้าวไปไกลกว่าการทดสอบแบบช่องสัญญาณเดียว แบบครั้งเดียว และแบบตัวแปรเดียว

ต่อไปนี้คือตัวอย่างสมมติฐานที่อิงตามแรงจูงใจซึ่งคุณสามารถใช้เป็นส่วนหนึ่งของการทดสอบแบบองค์รวม โดยตั้งชื่อเมตริกที่เหมาะสม (Conversion) และรวมปัจจัยที่เกี่ยวข้องกับการคัดลอก เช่น หัวเรื่อง หัวเรื่อง บล็อกการคัดลอก คำกระตุ้นการตัดสินใจ และแม้แต่หน้า Landing Page:

ตราบใดที่การเปลี่ยนแปลงของตัวแปรสนับสนุนสมมติฐาน แสดงว่าคุณกำลังทำให้การทดสอบมีประสิทธิภาพมากขึ้นด้วยการใช้ตัวแปรหลายตัว ความแตกต่างระหว่างสิ่งนี้กับการทดสอบหลายตัวแปรคือ ตัวแปรทั้งหมดสนับสนุนสมมติฐาน และเมื่อมีการประกาศผู้ชนะ เราก็สามารถนำสิ่งที่เราได้เรียนรู้ไปใช้

7. ไม่ใช้สิ่งที่คุณเรียนรู้เพื่อทำให้อีเมลดีขึ้น

เราไม่ได้ทดสอบเพื่อดูว่าเกิดอะไรขึ้นในแคมเปญเดียวหรือตอบสนองความอยากรู้ เราทดสอบเพื่อดูว่าโปรแกรมของเราทำงานอย่างไรและอะไรจะปรับปรุงให้ดีขึ้น ทั้งในปัจจุบันและในระยะยาว เราทดสอบเพื่อดูว่าเราใช้จ่ายเงินกับสิ่งที่ช่วยให้เราบรรลุเป้าหมายหรือไม่

เราทดสอบเพื่อค้นหาแนวโน้มและการเปลี่ยนแปลงในกลุ่มผู้ชมของเรา ซึ่งเราสามารถนำไปใช้กับช่องทางการตลาดอื่นๆ – เนื่องจากผู้ชมอีเมลของเราคือประชากรลูกค้าของเราในจักรวาลเล็กๆ อย่าปล่อยให้ผลการทดสอบของคุณอ่อนล้าในแพลตฟอร์มอีเมลของคุณหรือในสมุดบันทึกของทีม

แผนปฏิบัติการสำหรับการทดสอบเพื่อปรับแต่งแคมเปญอีเมลจะมีลักษณะดังนี้:

การทดสอบมีความสำคัญมากกว่าที่เคย คุณพร้อมไหม?

การระบาดใหญ่ของ COVID-19 ทำให้ความรู้ของนักการตลาดผ่านอีเมลเกี่ยวกับลูกค้าของเรา ในปี 2020 เราจำเป็นต้องทดสอบเพื่อดูว่าลูกค้าต้องการอะไร อะไรเปลี่ยนแปลง และอะไรยังคงเหมือนเดิมในการตอบสนองต่อแคมเปญของเรา

การระบาดใหญ่กำลังคลี่คลายในหลายพื้นที่ แต่กำลังคุกคามที่อื่นๆ การทดสอบจะช่วยให้เรานำหน้าการเปลี่ยนแปลงใหม่ๆ และนำข้อมูลเชิงลึกเหล่านั้นไปใช้งานได้ทันที ที่ช่วยให้โปรแกรมอีเมลของเรามีความเกี่ยวข้องและมีคุณค่าต่อลูกค้า และยกระดับโปรไฟล์ของอีเมลให้เป็นเครื่องมือที่เชื่อถือได้เพื่อช่วยให้บริษัทของเราประสบความสำเร็จ

ฉันได้กล่าวถึงก่อนหน้านี้ว่าฐานข้อมูลอีเมลของคุณเป็นส่วนย่อยของฐานลูกค้าของคุณ ผลการทดสอบที่แม่นยำสามารถเผยให้เห็นถึงการเปลี่ยนแปลงในความคิดและแรงจูงใจของลูกค้า ซึ่งคุณสามารถใช้เพื่อทดสอบและอัปเดตโซเชียลมีเดีย เว็บไซต์ การตลาดผ่าน SMS และแม้แต่ออฟไลน์ในการตลาดทางตรง

ฉันไม่สามารถนึกถึงเครื่องมืออื่นๆ ในชุดการตลาดที่ใช้งานได้หลากหลาย คุ้มค่า และปรับเปลี่ยนได้มากไปกว่าอีเมล การทดสอบที่แม่นยำและเป็นปัจจุบันช่วยให้เครื่องมือเก่าที่เชื่อถือได้นี้มีความเงางามและใหม่อยู่เสมอ

ความคิดเห็นที่แสดงในบทความนี้เป็นความคิดเห็นของผู้เขียนรับเชิญและไม่จำเป็นต้องเป็น MarTech ผู้เขียนพนักงานอยู่ที่นี่