A/B/n 이메일 테스트 성공을 방해하는 7가지 일반적인 문제

이메일 마케팅에 중대한 문제에 직면한 신규 고객과 작업을 시작할 때마다 가장 먼저 검토하는 것 중 하나는 이메일 테스트를 수행하는 방법입니다.

A/B/n 테스트는 효과적인 캠페인을 구성하고 브랜드의 이메일 전략과 전술의 성공 여부를 측정하는 가장 좋은 방법입니다. 그러나 너무 자주 팀은 테스트를 올바르게 설정하고 결과를 정확하게 측정하기 위해 고군분투합니다. 이는 일반적으로 비효율적인 이메일 실험과 좋지 않은 결과로 이어집니다.

테스트 프로그램이 신뢰할 수 없다면 선택한 전략과 전술이 작동하는지 실패하는지 알 수 없습니다. 이메일 노력이 필요한 결과를 제공하지 못한다고 이메일 채널 자체를 탓하지 마십시오. 대신 결과를 테스트하고 측정하는 방법을 살펴보십시오.

7가지 일반적인 테스트 문제 및 해결 방법

이것은 고객과의 작업에서 가장 자주 발생합니다. 이러한 문제 중 일부에 대한 솔루션은 전체적인 사고 방식의 변화가 필요합니다. 다른 사람들에게는 테스트를 설정하는 적절한 방법을 배우는 것만으로도 현재의 많은 문제를 해결할 수 있습니다.

테스트의 좋은 점입니다. 모든 문제에는 해결할 수 있는 방법이 있습니다. 테스트를 통해 문제를 해결할 때마다 이메일 프로그램을 올바른 경로로 안내하기 위한 또 다른 단계를 밟게 됩니다.

1. 가설 없는 테스트

많은 이메일 마케팅 담당자는 주로 제목과 같은 간단한 기능에 대한 기본 A/B 분할 테스트를 설정하기 위해 ESP가 제공하는 도구를 사용하여 테스트의 기초를 선택합니다.

그러나 이 임시적인 일회성 접근 방식은 지도를 읽을 줄도 모른 채 자동차 운전을 배우는 것과 같습니다. 차를 잘 켤 수 있습니다. 그러나 교통 체증과 우회로를 최소화하면서 가고자 하는 곳으로 이동할 수 있는 여행을 계획하려면 지도 기술이 필요합니다.

예, Google 지도에서 계획 작업을 수행하도록 할 수 있습니다. 그러나 모든 데이터(귀하가 제공한 데이터와 다른 소스에서 가져온 데이터)가 올바르게 정렬되어야 합니다. 목적지를 잘못 입력하거나 사각지대에 진입하면 원하는 곳에서 몇 마일 떨어진 곳까지 갈 수 있습니다.

테스트를 하지 않거나 잘못 테스트하면 이메일 프로그램에 이런 일이 발생합니다. 귀하의 가설은 테스트를 위한 로드맵입니다. 발생할 수 있다고 생각하는 상황을 제시하고 변수, 테스트 세그먼트, 성공 메트릭 및 결과 사용 방법에 대한 선택을 안내합니다.

2. 잘못된 변환 계산 사용

이것은 고객의 여정 및 테스트의 목표와 관련이 있습니다.

웹사이트 방문 페이지에서 표준 A/B 분할 테스트를 수행할 때 페이지가 얼마나 잘 전환되고 있는지 확인하기 위해 종종 "거래/웹 세션"을 전환 계산으로 사용합니다. 이는 고객이 사이트에 도달하기까지 이동한 경로를 모르기 때문에 의미가 있습니다. 따라서 이전에 발생하는 모든 것을 무시하므로 여정의 이 특정 부분에 집중합니다.

이메일에서 우리는 고객이 이메일에서 랜딩 페이지까지 이동한 경로를 알고 있습니다. 우리는 그것들을 그 위에 놓고 그것을 최적화하기를 원합니다. 우리는 이메일이 얼마나 잘 변환되었는지 이해하기를 원하므로 "트랜잭션/이메일 전달"을 사용하여 변환을 계산해야 합니다. 이것은 전체 이메일 여정을 고려하며 랜딩 페이지가 얼마나 잘 전환되었는지 확인하지 않습니다.

이 두 클라이언트 예에서 볼 수 있듯이 전환은 열기와 클릭이 의미하는 대로 이어졌습니다. 마케터는 더 높은 비율을 산출하기 때문에 허영심을 위해 "페이지 세션/구매" 계산을 사용합니다. 그러나 이는 잘못된 결과에 대해 최적화할 수 있음을 의미합니다.

평소와 같은 캠페인을 통해 세그먼트 테스트

자동화된 프로그램 테스트

3. 잘못된 지표로 성공 측정하기

실행 가능한 테스트 계획에는 성공을 정확하게 측정하기 위한 관련 메트릭이 필요합니다. 잘못된 측정항목은 결과를 부풀리거나 축소할 수 있습니다. 이는 결과적으로 승자가 아닌 지는 변형을 최적화하도록 오도할 수 있습니다.

예를 들어, 공개율은 HTML 이메일의 초창기에 이를 사용하는 방법을 배운 이후로 인기 있는 성공 지표였습니다. 그러나 이는 결함이 있고 신뢰할 수 없는 지표입니다. 특히 Apple의 메일 개인 정보 보호 기능이 캠페인의 실제 개방률을 은폐하기 때문에 더욱 그렇습니다. 그러나 개방이 매번 정확하더라도 개방 비율이 반드시 올바른 측정 기준은 아닙니다.

예를 들어 클릭은 더 정확한 참여 측정이지만 캠페인에서 얼마나 많은 수익을 창출했는지는 나타내지 않습니다. 목표가 클릭수만 얻는 것이라면 클릭률을 사용하세요. 그러나 캠페인 수익으로 보상을 받는 경우 구매 횟수 또는 장바구니 금액과 같은 수익 측정항목을 사용해야 합니다.

4. 통계적 유의성이 없는 테스트

테스트 결과가 통계적으로 유의미한 경우 테스트 그룹(변경되지 않은 대조군과 다른 클릭 유도문안이나 제목 줄과 같은 변수를 받은 그룹) 간의 차이가 다음으로 인해 발생하지 않았음을 의미합니다. 기회, 오류 또는 계산되지 않은 이벤트.

모집단의 일부만 테스트할 수 있거나 테스트가 충분한 결과를 생성할 만큼 충분히 오래 실행되지 않았기 때문에 결과 수가 적으면 유의성 테스트가 중단될 수 있습니다. 그렇기 때문에 테스트는 가능한 한 오래 실행되어야 하고(자동화의 경우) 통계적으로 유의미한 샘플 크기(캠페인의 경우)에 도달해야 합니다.

대부분의 테스트는 5% 유의 요소를 사용합니다. 이는 변수가 테스트에서 100개 결과 중 최소 95개에서 차이를 만들었으며 나머지 5개 결과는 무작위일 수 있음을 의미합니다.

통계적으로 유의하지 않은 결과는 잘못된 결론을 가정하고 테스트 결과와 캠페인 결과를 모두 잘못 해석하게 만들 수 있습니다. 95%의 통계적 유의성을 달성한다는 것은 실제 차이가 없을 때 차이가 존재한다고 결론을 내릴 위험이 5%임을 나타냅니다.

고객이 원하고 받은 편지함이 차단되지 않는 이메일 마케팅 전달 가능성에 대해 알아야 할 모든 것. MarTech의 이메일 마케팅 주기율표를 받으십시오.

확인하려면 여기를 클릭하세요!

5. 한 번의 테스트로 중지

철학자 헤라클레이토스는 “아무도 같은 강물에 두 번 발을 담그지 않는다. 그것은 같은 강이 아니며 그는 같은 사람도 아니기 때문이다.”라고 말했습니다.

이메일 캠페인도 마찬가지입니다. 구독자 기반은 항상 새로운 구독자를 늘리고 기존 구독자를 잃으며 고객은 모든 캠페인에 매번 같은 방식으로 반응하지 않습니다. 한 번 효과가 있었던 캠페인이 다음에는 실패할 수 있습니다.

하나의 테스트만 실행하고 그 결과를 이후의 모든 캠페인에 적용하면 이러한 미묘하지만 중요한 변경 사항을 놓칠 수 있습니다. 그렇기 때문에 모든 캠페인에 테스트를 적용하고 모든 항목을 두 번 이상 테스트하여 이상을 배제해야 합니다.

이것은 청중에 대한 일반적인 진실을 배우고 태도와 행동의 중요한 변화를 나타내기 위해 참조할 수 있는 경향을 제공할 것입니다. 이를 사용하여 캠페인 접근 방식을 미세 조정하거나 점검하십시오.

6. 캠페인에서 하나의 요소만 테스트하기

많은 이메일 플랫폼이 A/B 제목 줄 분할 테스트를 플랫폼에 구축하기 때문에 제목 줄 테스트는 어디에나 있습니다. 그것은 훌륭한 시작이지만 그림의 일부만 제공하고 종종 오해의 소지가 있습니다. 공개율로 측정한 성공적인 제목 행이 항상 목표 달성 캠페인을 예측하는 것은 아닙니다.

이것이 내가 단일 채널, 일회성, 단일 변수 테스트를 넘어 전체론적 테스트라는 방식을 개발한 이유 중 하나입니다.

다음은 전체론적 테스트의 일부로 사용할 수 있는 동기 기반 가설의 예입니다. 적절한 메트릭(전환)의 이름을 지정하고 제목, 제목, 카피 블록, 클릭 유도문안 및 방문 페이지와 같은 카피 관련 요소를 통합합니다.

변수에 대한 변경 사항이 가설을 뒷받침하는 한 여러 변수를 사용하여 테스트를 보다 강력하게 만듭니다. 이 테스트와 다변수 테스트의 차이점은 모든 변수가 가설을 뒷받침하고 승자가 발표되면 배운 것을 적용할 수 있다는 것입니다.

7. 더 나은 이메일을 만들기 위해 배운 것을 사용하지 않음

우리는 단일 캠페인에서 어떤 일이 일어나는지 확인하거나 호기심을 충족시키기 위해 테스트하지 않습니다. 우리는 현재와 장기적으로 우리 프로그램이 어떻게 작동하고 무엇이 개선될지 알아보기 위해 테스트합니다. 우리는 목표를 달성하는 데 도움이 되는 일에 돈을 쓰고 있는지 확인하기 위해 테스트합니다.

이메일 청중은 축소판의 고객 집단이기 때문에 다른 마케팅 채널에 적용할 수 있는 청중의 추세와 변화를 발견하기 위해 테스트합니다. 이메일 플랫폼이나 팀 노트북에서 테스트 결과가 시들지 않도록 하십시오.

이메일 캠페인을 개선하기 위한 테스트를 위한 실행 계획은 다음과 같습니다.

테스트는 그 어느 때보다 중요합니다. 준비 되었나요?

COVID-19 전염병은 이메일 마케팅 담당자가 고객에 대한 지식을 뒤집었습니다. 2020년에는 고객이 무엇을 원하고 무엇이 변경되었으며 캠페인에 대한 응답에서 동일하게 유지되었는지 감지하기 위한 테스트가 필요했습니다.

팬데믹은 많은 지역에서 줄어들고 있지만 다른 지역에서는 다시 증가할 것이라고 위협하고 있습니다. 테스트를 통해 새로운 변경 사항을 미리 파악하고 이러한 통찰력을 즉시 적용할 수 있습니다. 이는 이메일 프로그램을 고객과 관련성 있고 가치 있게 유지하고 이메일의 프로필을 회사의 성공을 돕는 신뢰할 수 있는 도구로 높입니다.

이메일 데이터베이스는 고객 기반의 축소판이라고 앞서 언급했습니다. 정확한 테스트 결과는 소셜 미디어, 웹사이트, SMS 마케팅 및 오프라인 다이렉트 마케팅을 테스트하고 업데이트하는 데 사용할 수 있는 고객 생각과 동기의 변화를 발견할 수 있습니다.

이메일보다 더 다재다능하고 비용 효율적이며 적응력이 뛰어난 마케팅 키트의 다른 도구는 생각나지 않습니다. 정확하고 최신 테스트를 통해 이 오래된 신뢰할 수 있는 도구를 빛나고 새 것으로 유지합니다.

이 기사에 표현된 의견은 게스트 작성자의 의견이며 반드시 MarTech가 아닙니다. 직원 저자가 여기에 나열됩니다.