A/B 테스팅: 존재 여부

고통도 없고 이득도 없고 리드도 없습니다. 광고로 인한 트래픽을 판매로 전환하려면 사용자 경험을 개선하고 사용자 행동을 변화시키며 전환율을 높여 사이트를 지속적으로 최적화해야 합니다. 그러나 구현한 변경 사항이 예상한 결과를 가져올 것이라고 어떻게 확신할 수 있습니까? 그것이 바로 A/B 테스팅입니다. 이 기사에서는 A/B 테스트가 무엇인지, 어떻게 수행하는지, 어떤 뉘앙스를 주의해야 하는지 알려줍니다.

마케팅에서 A/B 테스트는 분할 테스트와 동일합니다. 하나의 매개변수만 다른 웹사이트 페이지의 두 가지 변형을 비교하는 것입니다. A/B 테스트의 목표는 이 두 가지 옵션 중 어느 것이 더 효과적이고 더 많은 전환을 가져오는지 결정하는 것입니다.

소프트웨어를 판매한다고 가정해 보겠습니다. 제품 설명이 있는 방문 페이지와 페이지 하단에 평가판 구독 버튼이 있습니다. 구독자 수를 늘리기 위해 귀하의 제품에 대해 이미 알고 있거나 세부 정보를 읽지 않고 바로 사용해 보고 싶어하는 사람들을 위해 방문 페이지에 버튼을 하나 더 추가하기로 결정합니다.

다른 버튼을 추가하면 더 많은 구독자를 얻을 수 있다는 가설이 맞는지 확인하려면 원래 방문 페이지의 사본을 만들고 여기에 버튼을 추가합니다. 그런 다음 페이지 방문자를 두 그룹으로 나눕니다. 하나는 원본 페이지(변형 A)로 표시되고 다른 하나는 업데이트된 페이지(변형 B)로 표시됩니다. 테스트가 끝나면 성능 지표(이 예에서는 구독 수)를 비교하고 승자를 결정합니다.

A/B 테스트(또는 분할 테스트)가 달성하는 데 도움이 되는 몇 가지 주요 사항을 살펴보겠습니다.

1. 사용자를 더 잘 이해하고 원하는 것을 제공하십시오 . 전자상거래와 온라인 마케팅을 얼마나 오랫동안 해왔든, 전적으로 개인적인 경험에 의존하는 것은 실수일 것입니다.

웹사이트 사용자의 행동을 예측하고 콘텐츠를 구성하는 방법을 정확히 이해하여 판매 유입경로를 통해 최대한 빨리 이동할 수 있는 것처럼 보이더라도 A/B 테스트를 수행하십시오. 결과는 당신을 놀라게 할 수 있습니다.

실습에서 알 수 있듯이 우리의 가정은 항상 현실과 일치하지 않습니다. 따라서 우리는 우리 자신의 신념만으로는 고객에게 가장 좋은 것을 결정할 수 없습니다.

2. 전문가의 의견보다 데이터에 의존하십시오. 첫 번째 문제에서 발생하는 두 번째 문제는 사이트를 변경하고 관련된 위험을 최소화할 수 있는 가능성입니다.

종종 가설은 청중의 관점과 일치하지 않을 수 있는 개인의 관점을 기반으로 합니다. 결과적으로 A/B 테스트 없이 도입된 변경 사항은 원하는 효과를 내지 못하거나 더 심하게는 전환을 감소시킵니다.

따라서 의사 결정에 무엇을 사용할지(데이터 또는 전문가 의견)에 대한 질문에 직면할 때 항상 데이터를 선택하십시오.

3. 고객과의 커뮤니케이션을 개인화합니다. 고객은 다양한 장치를 사용하고, 출처가 다르며, 사이트와 상호 작용하고, 다양한 상품을 탐색하고 구매합니다.

Google Analytics 및 Yandex.Metrics와 같은 웹 분석 서비스는 이 데이터를 결합하고 사용자에 대한 지식을 체계화하는 데 도움이 됩니다. 마케터는 사용자가 방문한 페이지와 해당 페이지에서 수행한 작업에 대한 정보를 수집합니다. 이를 통해 잠재고객을 수십 또는 수백 개의 세그먼트로 나누고 예를 들어 자연 또는 유료 트래픽에서 온 사용자가 어떻게 행동하는지 배울 수 있습니다.

그러나 우리는 이 정보를 항상 올바르게 사용하지 않으며 항상 최대한의 이점을 활용하지도 않습니다. 간단한 예: 대부분의 온라인 프로젝트는 행동 및 트래픽 소스에 관계없이 모든 사용자에게 여전히 동일한 콘텐츠를 표시합니다.

그렇게 하는 경우 분할 테스트를 통해 상황을 수정하고 사이트의 콘텐츠를 개인화할 수 있습니다.

이제 분할 테스트의 주요 단계(및 미묘한 차이)를 살펴보겠습니다.

가장 먼저 해야 할 일은 사이트의 약점 목록을 식별하는 것입니다. 이렇게 하려면 다음을 수행할 수 있습니다.

• Google Analytics 및 기타 웹 분석 시스템의 데이터를 탐색하여 실패율이 높고 스크롤 깊이가 낮고 전환율이 낮은 페이지를 확인하십시오.
• Webvisor를 사용하고 히트 맵을 클릭하여 사용자가 사이트 요소와 상호 작용하는 방식을 이해하십시오.
• 지원 사례를 분석하거나 활성 고객을 인터뷰하여 사이트에서 누락된 사항을 확인합니다.

예를 들어 Google 웹로그 분석에서 향상된 전자상거래 유입경로를 살펴보고 장바구니에 특정 항목을 추가하는 사람이 거의 없다는 것을 확인했다고 가정해 보겠습니다. 동시에 오프라인 판매 지점이 있고 이 제품이 인기가 있다는 것을 알고 있습니다. 이 경우 온라인 상점에 문제가 있을 가능성이 큽니다.

무엇을 고칠 것인지 결정했으면 정확히 어떻게 고칠 것인지 생각해야 합니다. A/B 가설이 없으면 테스트는 의미가 없습니다. 결과의 가치는 작을 것입니다. 실험의 목적, 테스트할 웹 페이지의 요소, 달성하고자 하는 정량적 결과를 명확하게 이해해야 합니다.

가설을 공식화할 때 전환 유입경로에 대해 뒤로 미루십시오. 사용자가 유입경로를 더 빨리 통과하도록 하려면 페이지의 한 부분에서 무엇을 변경해야 합니까?" 테스트당 하나의 가설을 확인하십시오. 그렇지 않으면 어떤 변경이 최종 결과에 어느 정도 영향을 미쳤는지 정의하기 어려울 것입니다.

테스트할 수 있는 항목:

• 변환 버튼의 색상, 크기, 텍스트 및 위치
• 제목 - 텍스트를 변경합니다. 더 짧고, 더 흥미롭고, 더 관련성 있게 만드십시오.
• 양식 — 필드 수를 줄이거나 도구 설명을 추가하고 예제를 작성하십시오.
• 방문 — 페이지 구조, 글꼴 또는 색상 팔레트 변경
• 콘텐츠 - 고품질 사진 및 비디오, 행동에 대한 호소, 판촉 제안, "무료"라는 단어 등을 추가합니다.

성과 지표 선택은 가설과 달성하려는 목표에 따라 다릅니다. 수익, 구매 횟수, 전환율, 평균 수표 크기, 애플리케이션 및 구독, 실패율 등이 될 수 있습니다.

다음 단계는 필요한 모든 메트릭을 구현하고 기록했는지 확인하는 것입니다. 이를 기반으로 테스트가 끝나면 결론을 도출하게 됩니다. 우리의 작업에서 우리는 클라이언트가 약점을 식별하고 가설을 형성했지만 예를 들어 버튼 변경으로 인해 전환율이 정확하게 변경되었음을 이해할 수 있도록 측정 시스템을 올바르게 규정하지 않은 경우를 접했습니다. 다른 요인 때문입니다.

실험을 실행하기 전에 다음 요소를 고려하십시오.

• 최소 샘플 크기. 테스트 결과가 통계적으로 유의미하고 신뢰할 수 있는지 확인하려면 필요한 참가자 수를 결정하십시오. Abtasty 및 Optimizely와 같은 무료 온라인 계산기를 사용하여 이 작업을 수행할 수 있습니다. 원래 방문 페이지의 전환율이 5%이고 페이지의 테스트 버전이 7%에 도달할 것으로 예상한다고 가정해 보겠습니다. 이 경우 최소 가시 효과는 40%입니다. 이 숫자를 계산기에 입력하면 변형당 최소 1964명이 필요하다는 것을 알 수 있습니다.

• 외부 요인: 계절성, 공휴일, 주식, 날씨, 환율 등 외부 요인이 실험 결과를 왜곡하지 않도록 하려면 동일한 기간 동안 두 페이지 버전을 동시에 표시하는 것이 중요합니다.
• 먼저 매크로 변환을 테스트하십시오. 특정 페이지를 방문하는 목표를 설정하면 사용자는 목표를 달성하지만 거래를 하지 않거나 다른 목표 행동을 취하지 않을 가능성이 높습니다. 사이트에서 어떤 사용자 작업이 가장 우선 순위가 높은지 이해하려면 유입경로 전체에 대해 항상 생각해야 합니다.
• 장치 유형을 고려하십시오. 웹사이트에 대한 모든 트래픽에 대한 실험을 시작하고 모바일 및 데스크톱 버전이 있는 경우 테스트 옵션이 모바일 장치에서 어떻게 보이는지 확인하십시오.
• 웹사이트에서 직원의 행동이 통계를 왜곡하지 않도록 내부 트래픽을 제외 합니다. 이것은 IP 주소 필터링을 통해 Google Analytics에서 수행할 수 있습니다.

이러한 요소를 고려한 후 테스트를 실행할 수 있습니다. 잠시 후 이를 수행하는 데 사용할 수 있는 도구에 대해 알려 드리겠습니다.

실험이 끝나면 결과를 분석합니다. 예를 들어 방문 페이지의 원래 전환율이 3%이고 이를 5%로 높일 수 있다고 가정했고 테스트 변형은 3.5%를 표시했습니다. 전환율은 증가했지만 약간만 증가했습니다. 이제 사이트에 변경 사항을 적용할지 아니면 다른 가설을 시도할지 결정해야 합니다.

온라인 계산기나 통계적 방법을 이용하여 분할 검정 결과가 통계적 유의성을 갖는지 확인할 수 있습니다.

통계적 검정력, 표본 길이, 신뢰 구간, 통계적 유의성 및 측정 방법에 대한 자세한 내용은 웹 분석의 통계에 대한 기사 또는 진정한 데이터 과학자가 되는 방법을 참조하십시오.
프로세스가 성공적이고 신뢰할 수 있는 데이터를 받았다면 방문 페이지 승자를 사이트로 가져와 다음 실험을 진행합니다.

결과를 분석할 때 발생할 수 있는 오류:

• 성급하게 결과를 평가합니다. 최소 14일 동안 분할 테스트를 수행하는 것이 좋습니다. 작업이 켜져 있고 사이트의 전역 기능에 영향을 주지 않는 사소한 변경을 테스트하고 있으며(예: 버튼의 색상을 변경한 경우) 구글 최적화. 최적화 도구 보고서에서 새 옵션이 80~90%의 확률로 성공하는 것을 확인하면 실험을 중지할 수 있습니다. 지표가 크게 바뀌지는 않을 것입니다.
• 95% 미만의 유효성 임계값에서 결과를 평가하는 것은 최적화 도구 보고서의 또 다른 측정항목입니다. 실험을 수행할 때 Google 최적화 도구는 최종 결과의 유효성을 고려합니다. 95% 미만이면 최적화 도구에서 실험을 계속할 것을 권장합니다. 활성 실험이 있는 탭에서 이 임계값을 볼 수 있습니다.
• 테스트 결과를 사소한 것으로 무시합니다. 한 번에 전환을 두 배로 늘리고 싶지 않은 사람이 있습니까?! 그러나 언뜻 보기에는 전환율이 2-3%로 약간 증가하더라도 나쁜 결과는 아닙니다. 특히 랜딩 페이지의 변경 사항이 작은 경우.
• 귀하의 사이트에 대한 글로벌 지표를 확인하지 않습니다. 결국 실험의 일부로 선택한 지표뿐만 아니라 글로벌 사이트 지표를 확인해야 합니다. 단일 매개변수로는 변경 효과를 평가하기에 충분하지 않을 수 있습니다. 예를 들어, 평균 수표 크기가 줄어들 수 있고 전환율을 높이면 총 수익이 증가할 수 있습니다. 따라서 상호 연결된 모든 KPI를 모니터링하십시오.

A/B 테스트를 실행하려면 페이지의 테스트 버전을 만들고 잠재고객을 분류하고 각 세그먼트에 대한 대상 메트릭을 별도로 계산해야 합니다. 프로그래밍 기술과 충분한 리소스가 있다면 A/B 테스트를 수동으로 실행할 수 있습니다. 그러나 특수 도구를 사용하면 더 쉽고 편리합니다.

인기 있는 분할 테스트 도구를 비교하는 작은 표를 준비했습니다.

OWOX BI에서는 테스트에 Google 최적화 도구를 사용하므로 이 도구의 기능에 더 집중할 것입니다.

최적화 도구는 웹사이트에 연결되어 다양한 콘텐츠 표시 방법을 실험할 수 있는 온라인 서비스입니다.

최적화 도구를 사용하면 Google 애널리틱스에서 축적한 데이터를 사용하여 사용자에게 가장 편리하고 비즈니스에 가장 수익성이 높은 페이지 버전을 제공할 수 있습니다.

• 데이터의 완전성 . 실험을 설정하고 분석하기 위해 Google Analytics의 목적과 세그먼트를 사용할 수 있습니다. 귀하가 알고 있고 좋아하는 Google Analytics의 일반적인 측정항목으로 작업할 수 있습니다.
• 개인화를 위한 충분한 기회. 테스트를 성공적으로 완료한 후 예를 들어 Google 태그 관리자의 dataLayer에서 구현되는 Google 애널리틱스 잠재고객 및 변수를 사용하여 다양한 콘텐츠의 데모를 구성할 수 있습니다. 실험을 통해 일반 사용자의 웹사이트 생산성을 향상시킬 수 있다면 사용자에 대한 정보를 기반으로 한 개인화를 통해 각 세그먼트 내에서 더 높은 수익을 얻을 수 있습니다.
• 보다 심층적인 타겟팅 및 분석을 위해 다른 Google 제품과 통합 (Google Ads, Data Studio, Tag Manager 등)
• 이해하기 쉬운 편리한 인터페이스 . 비주얼 편집기를 사용하면 개발자의 개입 없이 새로운 실험을 구성하고 시작할 수 있습니다. 실험 수행 시간을 크게 단축합니다.
• 페이지 로딩 속도에 최소한의 영향을 미칩니다.
• 데이터를 수동으로 요약하고 보고서를 작성하고 통계 공식을 적용하여 결과를 확인할 필요가 없습니다 . Google 최적화 도구는 모든 작업을 자체적으로 수행합니다.

• 지금까지는 Google 최적화 도구를 사용하여 모바일 애플리케이션을 테스트할 수 없습니다.

• 테스트를 예약할 수 없습니다. 즉, 수십 개의 테스트를 준비하고 싶지만 어떤 이유로 동시에 시작할 수 없는 경우 또는 무료 버전에서 동시 테스트 수에 제한이 있거나 시도하고 싶지 않은 경우 동일한 청중에게 수십 가지 옵션이 있으면 문제가 될 수 있습니다. 인터페이스에서 각 테스트를 수동으로 시작해야 합니다. 이것은 치명적인 단점은 아니지만 일부 다른 서비스에서 이 작업을 수행할 수 있습니다.
  

Google 최적화 도구는 실험 및 개인화를 수행하기 위한 다른 도구와 유사하게 작동합니다.

1. 먼저 사용자에게 표시할 페이지, 팝업 및 기타 개체의 변형을 만들어야 합니다.
2. 그런 다음 승리 옵션을 결정할 목표(메트릭)를 결정해야 합니다. 최적화 도구에 내장된 측정항목(페이지 조회수, 세션 시간, 거래, 수익 및 실패율) 또는 Google 애널리틱스의 맞춤 목표가 될 수 있습니다.
3. 그런 다음 실험에 참여할 대상을 식별하고 실험을 시작해야 합니다. 이 단계에서 테스트 옵션을 사용자에게 보여줌으로써 얼마나 많은 위험을 감수할 수 있는지 결정해야 합니다. 두 옵션 간에 트래픽을 균등하게 분배하거나 예를 들어 20/80 분할을 수행할 수 있습니다. 또한 이 단계에서 실험을 보여줄 청중의 일부를 선택해야 합니다. 모두에게 보여주시겠습니까, 아니면 20%를 가져가서 두 가지 옵션을 그들 사이에 배포하시겠습니까? 왜 이것을 하고 싶습니까? 큰 상점이 있는 경우 가설이 확실하지 않으며 트래픽의 절반을 위험에 빠뜨리고 싶지 않습니다.

기존 A/B 테스트 외에도 최적화 도구에서 다변수 테스트(여러 조합의 여러 변경 요소가 있는 경우)와 리디렉션된 테스트(URL 및 디자인이 다른 페이지의 경우)를 실행할 수 있습니다.

Google 최적화 도구로 첫 번째 A/B 테스트를 수행하는 방법에 대한 기사에서 Google 최적화 도구의 인터페이스 및 설정에 대해 자세히 알아볼 수 있습니다.

Google Optimize의 보고서를 사용하면 실험 중 결과를 모니터링하고 실험 종료 직후 수집된 데이터를 분석할 수 있습니다.

최적화 도구 보고서의 용어:

• 개선 — 가능한 전환율 범위
• 최선의 확률 — 이 옵션이 다른 모든 옵션보다 더 나을 확률
• 기준을 능가할 확률 — 이 옵션이 원래보다 더 나은 전환율을 가져올 확률
• 전환율 — 예상 평균 전환율
• 전환 — 전환이 있는 세션 수

승자가 결정되는 방식
Google 최적화 도구는 베이지안 추론을 사용하여 통계를 생성합니다. 세부정보로 이동하지 않고 실험 중에 최적화 도구 보고서에서 실험이 종료되기 전에 대안 B가 승자가 될 확률을 확인할 수 있습니다. 확률이 일정 수준에 도달하면 예정보다 빨리 실험을 완료하고 시간과 비용을 절약할 수 있습니다.

또한 Google 팀은 실험이 끝나기 전에 최상의 옵션을 위해 트래픽 재분배 메커니즘을 구현할 계획입니다. 테스트 중에 비효율적인 옵션이 표시되는 사용자가 줄어들기 때문에 비용을 절감할 수 있습니다.

최적화 도구를 Google 애널리틱스 계정과 통합하면 행동/실험 섹션의 Google 애널리틱스 인터페이스에서 테스트 결과를 찾아보고 분석할 수 있습니다.

실험이 성공적이었다면 웹사이트에 성공적인 옵션을 배포할 수 있습니다.

• 최적화 도구 360은 사이트에서 사용자 경험을 테스트하기 위한 정확한 노코딩 솔루션임이 입증되었습니다.
• 첫 번째 A/B 테스트를 수행하는 방법: Google 최적화 도구로 프로세스 자동화
• 웹 분석의 통계 또는 진정한 데이터 과학자가 되는 방법
• 무료 웨비나: 테스트 및 개인화를 위한 Google 최적화 도구
• 비디오 자습서
• 용어집
• 비주얼 에디터를 소개합니다
• 최적화 도구 배포
• 최적화 도움말 센터
• 최적화 도구와 Google 애널리틱스 보고서의 차이점
• 비주얼 에디터

추신 A/B 테스트를 실행하고 비즈니스에 대한 사용자 지정 메트릭을 만드는 데 도움이 필요하면 [email protected]으로 이메일을 보내거나 당사 사이트의 문의 양식을 작성하십시오.