Mopinion을 사용한 A/B 테스트 2023년 2월 17일

CRO 전문가와 그로스 마케터는 실험과 A/B 테스트에 중점을 둡니다. A/B 테스트 또는 분할 테스트는 두 가지 버전의 콘텐츠를 테스트하고 성능을 비교하는 방법입니다. A/B 테스트의 목표는 종종 어떤 버전이 더 많은 전환과 더 높은 CTR로 이어지는지 확인하는 것입니다. 정성적 데이터는 종종 원시 수치만큼 많은 주목을 받지 못합니다. 예를 들어 특정 A/B 테스트는 특정 버튼에 대한 더 많은 전환 또는 클릭으로 이어질 수 있지만 사용자의 경험이나 감정은 더 좋지 않을 수 있습니다. 방문자가 버튼을 클릭하면 어떤 일이 발생하는지 명확하지 않았기 때문에 버튼 클릭이 발생했을 수 있습니다.
그렇기 때문에 A/B 테스트에 대한 피드백을 수집하고 정성적 데이터를 캡처하는 것이 중요하다고 생각합니다.

이 기사에서는 Mopinion으로 A/B 테스트를 수행할 수 있는 두 가지 실용적인 방법을 보여줍니다.

1. 피드백 양식을 사용하여 사용자가 두 가지 버전의 A/B 테스트를 어떻게 경험하는지 측정합니다.
2. 두 가지 서로 다른 피드백 형식을 테스트하여 어느 것이 더 높은 응답률을 보이는지 측정합니다.

온라인 고객 피드백은 가정에 기반하지 않는 가설을 형성하는 데 도움이 될 수도 있습니다. 수집한 피드백을 기반으로 고객이 온라인 채널에서 겪는 문제를 식별할 수 있습니다. 이 정보를 입력으로 사용하여 다양한 가설을 테스트할 수 있습니다. 그러나 이 기사에서는 위의 두 가지 사항에 중점을 둘 것입니다.

전체 기사를 읽을 시간이 없습니까? 저(모피니언 그로스 마케터)가 모피니언으로 어떻게 A/B 테스트를 할 수 있는지 설명하는 동영상을 시청하세요.

A/B 테스트란?

A/B 테스트를 사용하면 두 가지 버전의 콘텐츠를 테스트하여 어느 버전이 더 나은지 확인할 수 있습니다. 잠재고객의 50%에게는 한 버전의 콘텐츠인 변형 A를 제공하고 나머지 50%에게는 다른 버전의 콘텐츠인 변형 B를 제공합니다. 배포는 무작위여야 합니다.

다음으로 전환율, 클릭률 또는 고객 경험을 측정하여 어떤 테스트 버전이 더 나은지 확인합니다. 표본 크기가 충분히 크면 통계적으로 유의미한 결과를 얻을 수 있고 어떤 버전이 의도한 목표에 도달하여 더 나은 성과를 낼 수 있는지 알 수 있습니다. 그것은 실제로 구현하고 원하는 개선을 가져올 버전이 될 것입니다.

무엇을 A/B 테스트할 수 있나요?

A/B 테스트는 종종 웹사이트 페이지, 인앱, 이메일과 같은 디지털 채널에서 수행됩니다. 웹사이트 또는 인앱의 (방문) 페이지에서 다음과 같은 많은 변수를 테스트할 수 있습니다.

• 제목 및 부제
• 바디카피
• 그림 물감
• 콘텐츠 유형(동영상, 이미지, 텍스트, 아래 이미지 참조)
• 공들여 나열한 것
• 설계
• 클릭 유도문안(CTA)
• 항해
• 피드백 양식

이메일의 A/B 테스트를 통해 제목 , 레이아웃 , 이메일 길이 , 심지어 이메일을 보내는 시간까지 테스트할 수 있습니다.

A/B 테스트는 자신의 채널에만 국한되지 않습니다. 또한 소셜 광고 및 검색 광고를 테스트하여 웹사이트로 가장 많은 트래픽을 유도하는 광고와 방문자 전환 가능성이 가장 높은 광고를 확인할 수 있습니다. 여기에서 색상 , 디자인 및 CTA를 가지고 놀 수도 있습니다.

피드백 양식은 A/B 테스트의 가능성이기도 합니다. 어떤 종류의 피드백 양식이 가장 많은 인사이트를 제공하는지 알고 싶지 않으신가요? 피드백 양식 내에는 다시 레이아웃 , 복사 , 디자인 , 질문 순서 , 질문 유형 , 피드백 양식 유형 , 트리거 방법 및 시기 등과 같은 테스트할 많은 항목이 있습니다. 변수 중 하나를 변경하면 피드백 양식의 응답률에 긍정적인 영향을 미칠 수 있습니다.

왜 A/B 테스트를 해야 합니까(모피니언으로)?

A/B 테스트를 통해 웹 사이트, 앱, 이메일 또는 기타 디지털 채널에 의미 있는 데이터 기반 변경을 수행하여 실제로 의도한 개선으로 이어질 수 있습니다. 더 높은 ROI, 더 많은 전환, 더 나은 고객 경험 등이 될 수 있습니다. 테스트는 추측과 가정을 제거합니다.

이제 특별히 Mopinion으로 A/B 테스트를 시작해야 하는 이유에 초점을 맞추겠습니다. 위에서 설명한 대로 Mopinion을 사용하여 A/B를 수행하는 두 가지 방법에 중점을 둘 것입니다.

1. 피드백 양식을 사용하여 사용자가 두 가지 버전의 A/B 테스트를 어떻게 경험하는지 측정합니다.

청중이 A/B 테스트의 두 가지 버전을 어떻게 경험하는지 측정하면 질적 데이터를 얻을 수 있습니다. 청중의 감정과 의견에 대한 통찰력을 제공합니다. 예를 들어 다양한 유형의 콘텐츠로 이메일에서 A/B 테스트를 수행하고 있습니다. 청중은 평가를 제공하고 이메일의 피드백 양식에 열린 댓글을 남길 수 있습니다. A/B 테스트는 두 버전의 평가가 다를 수 있습니다. 이는 CSAT, NPS 또는 측정하는 모든 항목에 영향을 미치고 청중의 정서에 대한 통찰력을 제공합니다. 열려 있는 댓글은 특정 등급이 부여된 이유 와 두 버전에 차이가 있을 수 있는 이유에 대해 자세히 알려줍니다. 열린 댓글은 청중의 일반적인 의견도 알려줍니다. CTR 및 (판매) 전환을 기반으로 한 정량적 목표 옆에 두 가지 버전의 이메일에 대한 청중의 생각을 알 수 있습니다.

원시 판매 수치와 직접적인 관련이 없는 목표를 갖는 것은 일반적이지 않지만 더 나은 사용자 경험을 만드는 데 초점을 맞추고 있을 수 있습니다. 개선된 경험은 판매 지표에 긍정적인 영향을 미칠 수 있고 종종 그렇게 합니다. 이 경우에도 피드백을 수집하는 것이 좋습니다. 다음 예를 살펴보세요.

특정 웹사이트 페이지에서 사용자 경험을 개선하고 싶다고 가정해 보겠습니다. 페이지에 머문 시간, 방문한 페이지 수 또는 스크롤 깊이를 측정하려고 합니다. 실험 변형(B)은 더 많은 페이지를 방문하고 페이지에 더 오래 머무는 것으로 이어져 더 나은 웹사이트 경험을 나타낼 수 있습니다. 그러나 이는 방문자가 원하는 정보를 찾을 수 없어서 정보를 찾기 위해 더 많은 시간이 필요하거나 더 많은 페이지를 방문했다는 신호일 수도 있습니다. 변경 사항이 실제로 경험에 긍정적인 영향을 미쳤는지 확인하려면 정성적 데이터를 수집해야 합니다.

2. 두 가지 서로 다른 피드백 형식을 테스트하여 어느 것이 더 높은 응답률을 보이는지 측정합니다.

Mopinion을 사용한 A/B 테스트의 두 번째 방법은 질문 순서 또는 양식 디자인과 같은 피드백 양식으로 A/B 테스트를 수행할 때 어떤 피드백 양식이 가장 많은 응답을 제공하는지 또는 공개 댓글을 제공하는지 결정할 수 있고 따라서 가장 통찰력이 있습니다.

Mopinion을 사용한 두 가지 A/B 테스트 방법

1. 피드백 양식을 사용하여 사용자가 두 가지 버전의 A/B 테스트를 어떻게 경험하는지 측정

예:
웹사이트의 랜딩 페이지에서 A/B 테스트를 하고 있습니다. 위 이미지와 같이 페이지 레이아웃을 변경했습니다. 고객 만족도를 측정하고 변형당 평균 평점이 다른지 알고 싶습니다. 테스트를 수행한 후 원래 변형 (A)의 평균 평점은 3/5 이고 실험 변형 (B)의 평균 평점은 5/5 입니다. 충분히 큰 샘플 크기와 유의미한 결과를 통해 등급의 차이가 B 변형에서 변경한 사항 때문이라고 말할 수 있습니다. 방문자가 실험 변형에 더 만족하고 페이지에 변경 사항을 구현해야 한다는 분명한 표시입니다.

Mopinion으로 이 작업을 수행하는 방법은 무엇입니까?

A/B 테스트에서 피드백 양식을 구현하는 것은 그리 어렵지 않습니다. 하나의 양식만 있으면 됩니다. 테스트 중인 페이지에 이미 양식이 있는 경우 원본 양식을 유지하거나 새 피드백 양식을 만들어 페이지에 게시할 수 있습니다. 청중의 100%가 사용할 수 있는지 확인해야 합니다.

그런 다음 피드백 양식에 데이터 요소를 입력하기만 하면 됩니다. 데이터 요소는 피드백이 제공된 변형(A 또는 B)을 나타낼 수 있어야 합니다. 피드백 양식*에서 이것이 어떻게 표시되는지 아래 이미지를 참조하십시오.


모피니언 피드백 양식 디자인 – A/B 테스트 데이터 요소

다음 이미지는 받은 편지함의 피드백 항목에서 어떻게 보이는지 보여줍니다. 제공된 모든 피드백은 변형을 Mopinion으로 전송하고 받은 편지함의 개별 피드백 항목에 표시됩니다. 이렇게 하면 어떤 피드백 항목이 어떤 테스트 변형에 속하는지 알 수 있습니다.


Mopinion 피드백 수신함 – A/B 테스트 변형 가시성

대시보드에서 실험을 쉽게 추적할 수 있습니다. 차트를 작성하고 변형(데이터 요소 포함)을 기반으로 등급을 필터링하여 이를 수행할 수 있습니다. 대시보드에서 어떻게 보이는지 아래 스크린샷을 참조하십시오. 원래 변형 A의 평균 평점은 3이고 실험 변형 B의 평균 평점은 5임을 알 수 있습니다. 또한 차트를 작성할 때 이것이 시간 경과에 따라 또는 잠재고객 세그먼트별로 변경되는지 확인할 수 있으며 무한한 가능성이 있습니다.


Mopinion 그래프 – 변수별 A/B 테스트 평균 등급

조건별 대시보드에서 차이가 보이면 변형별 피드백 항목을 자세히 살펴보고 열린 댓글을 읽어야 합니다. 아마도 그곳에서 시청률 차이의 이유를 찾고 청중의 정서와 생각을 맛보게 될 것입니다.

기술 자료에서 Mopinion으로 A/B 테스트를 수행하는 방법에 대한 단계별 가이드를 찾을 수 있습니다. Google Optimize, Optimizely 및 AB Tasty의 세 가지 A/B 테스트 도구에 대한 가이드를 작성했습니다. 물론 다른 A/B 테스트 도구를 사용 중이고 A/B 테스트에서 피드백을 수집하려는 경우 지원팀이 도와드립니다.

* 데이터 요소가 있는 스크린샷은 Google Optimize를 기반으로 합니다.

2. 두 가지 서로 다른 피드백 형식을 테스트하여 어느 것이 더 높은 응답률을 보이는지 측정합니다.

예:
웹 페이지에서 서로 다른 두 가지 피드백 양식을 테스트하고 어느 것이 청중으로부터 더 많은 응답을 받는지 확인하려고 합니다. 대화형 피드백 양식이 기존 Mopinion 양식보다 더 많은 응답을 받는지 알고 싶습니다. 테스트를 수행한 후 대화 양식에 75개의 응답이 있고 기본 양식에 50개의 응답이 있으며 양식은 자주 열립니다. 피드백 양식에 대한 충분한 응답과 충분한 보기가 있으면 대화형 피드백 양식이 더 많은 응답을 받고 따라서 더 많은 통찰력을 제공한다고 어느 정도 확신을 가지고 말할 수 있습니다.

Mopinion으로 이 작업을 수행하는 방법은 무엇입니까?

동일한 웹 또는 앱 페이지 또는 이메일에 두 가지 다른 양식을 배포할 수 있으므로 Mopinion을 사용하면 이 작업을 매우 쉽게 수행할 수 있습니다. 공정한 테스트를 위해 동일한 수의 사람들에게 양식을 보여줘야 합니다. 각 변형은 절반 또는 청중에게 표시되므로 분할은 50/50이어야 합니다. 첫 번째 양식(변형 A)은 방문자의 50%에게 표시됩니다. 다른 양식(변형 B)은 첫 번째 양식을 보지 않은 방문자의 100%에게 표시됩니다. 또한 1초 지연은 두 양식이 동시에 표시되지 않도록 하는 데 도움이 됩니다.


Mopinion 배포 – A/B 테스트를 위해 동일한 페이지에 두 개의 양식

피드백이 들어오기 시작하면 응답률, 평점(예: CSAT, NPS) 및 열린 댓글과 같은 두 가지 조건 사이에서 피드백을 비교할 수 있습니다. 동일한 그래프에 두 양식을 추가하고 응답 수를 비교하여 실험을 쉽게 추적할 수 있습니다.

Mopinion 양식으로 수행한 A/B 테스트의 실제 예를 살펴보겠습니다.

Mopinion이 Mopinion을 사용하여 AB 테스트를 수행하는 방법

2022년 10월에 저희 홈페이지에서 대화식 피드백 양식과 고전적인 피드백 양식인 수동적 피드백 양식을 테스트했습니다. 내 A/B 테스트의 목표는 어떤 피드백 양식이 더 많은 응답을 받고 어떤 피드백 양식이 더 높은 평가를 받는지 이해하는 것이었습니다. 내 가설은 대화식 피드백 양식이 기존 피드백 양식보다 더 많은 응답과 더 높은 평가를 받을 것이라는 것입니다.


모피니언 대시보드 – 피드백 양식 A/B 테스트 응답


모피니언 대시보드 – 피드백 양식 A/B 테스트 평균 평점

여기에서 내 실험 결과와 내 개인 대시보드에서 어떻게 보이는지 볼 수 있습니다. 나의 첫 번째 가설은 대화형 피드백 양식이 나의 고전적인 양식보다 11개 더 많은 응답을 받았기 때문에 지지되었습니다 (중요하지 않음**). 두 번째 가설은 지지되지 않았습니다 (다시 말하지만 유의미하지 않음). 고전적인 형식이 내 대화 형식보다 0.2점 높은 3.8의 평균 평점을 받았기 때문입니다.

피드백 양식으로 A/B 테스트를 수행하면 어떤 피드백 양식이 가장 많은 응답과 통찰력을 제공하는지 알 수 있습니다.

다양한 Mopinion 피드백 양식을 직접 테스트하려면 단계별 가이드를 찾을 수 있는 기술 자료로 이동하십시오.

** 테스트 기간이 길지 않아 유의미한 효과를 얻을 수 없었지만 피드백 항목이 많을수록 유의미한 효과를 얻을 수 있을 것입니다.

Mopinion의 도움으로 A/B 테스트 시작

결론적으로 Mopinion은 A/B 테스트에 큰 도움이 됩니다. A/B 테스트에 대한 정성적 데이터를 얻고 청중의 감정과 경험을 이해하는 데 도움이 됩니다. 정성적 데이터로 테스트의 정량적 데이터를 풍부하게 합니다. 또한 어떤 종류의 피드백 양식이 가장 많은 응답과 통찰력을 얻을 수 있는지 이해하는 데 도움이 됩니다.

A/B 테스트에서 행운을 빕니다!