A/B 테스트는 죽었습니까?

AI 회사 OfferFit의 CEO인 George Khachatryan은 최근 웨비나에서 "오늘날 A/B 테스트가 번창하고 있습니다. A/B가 아닌 테스트에 비해 크게 개선되었습니다."라고 말했습니다. "동시에 이러한 테스트를 매일 수행하는 사람들은 이것이 보이는 것보다 훨씬 더 어렵다는 것을 인식합니다."

A/B 테스트를 설계하고, 샘플 크기를 결정하고, 배포하려면 많은 시간과 리소스가 필요하며, 결과를 분석하려면 높은 수준의 정밀도가 필요합니다. 대체로 A/B 테스팅에 필요한 수동 작업은 마케터에게 큰 부담을 줄 수 있습니다.

Khachatryan은 “전체 실험 프로그램을 실행할 때 A/B 테스트를 하나만 실행하는 것만으로는 충분하지 않습니다. “하나를 실행하면 귀중한 통찰력을 얻고 필연적으로 더 많은 것을 얻고 싶어합니다. 그래서 더 많이 뛰게 됩니다.”

그는 "이러한 실습을 수행하는 사람들은 필요한 테스트 수가 급격히 증가한다는 사실을 깨닫습니다. 이 지수 곡선의 초기에는 실행 불가능하게 됩니다."라고 덧붙였습니다.

마케터는 데이터를 분석할 충분한 시간을 동시에 제공하면서 점점 더 많은 캠페인 변수를 테스트할 수 있는 솔루션이 필요합니다. 다행히 A/B 테스팅은 진화하고 있습니다.

A/B 테스팅의 힘 확장

웨비나에서 Khachatryan은 현대 A/B 테스트에 영향을 미치는 "다중 무장 도적 문제"를 강조했습니다. 이 시나리오의 전통적인 버전에서 카지노 사람은 어떤 슬롯 머신(당신의 돈을 훔치는 "한팔 도적")이 최고의 지불금을 가질 것인지 결정한 다음 어떤 순서가 최적인지 파악해야 합니다. A/B 테스트의 경우 변수는 다중 무장 도적이며 마케터는 가장 효과적인 것을 발견해야 잘 수행되는 영역에 더 많은 리소스를 할당할 수 있습니다.

"[다중 무장 도적]을 스마트 A/B 테스트와 같이 생각할 수 있습니다."라고 그는 말했습니다. "탐사-탐사 트레이드오프를 탐색할 것입니다. 10개의 핸들을 무작위로 당기기 시작하지만, 진행되면서 리소스를 동적으로 재할당하여 무언가가 나빠 보일 경우 당기는 것을 중지합니다."

그는 “이러한 다중 팔 도적은 적절한 양의 실험을 하도록 설계되었으므로 학습할 뿐만 아니라 이미 학습한 내용도 활용할 수 있습니다.”라고 덧붙였습니다.

이러한 다중 무장(A/B) 모델은 수년 동안 마케터에게 많은 도움이 되었지만 더 정확하고 효과적인 프레임워크의 새로운 반복이 있습니다. Khachatryan에 따르면 이들은 "상황에 맞는 도적"입니다.

"다중 무장 도적이 하는 일을 하지만 다른 상황을 고려합니다."라고 그는 말했습니다. "따라서 서로 다른 특성을 가진 두 명의 고객이 있다면 서로 다른 레버를 당겨야 한다는 것을 알게 될 것입니다."

Contextual bandit 프레임워크는 기본적으로 자동화된 실험 및 대규모 개인화입니다. 이는 프로세스를 완전히 자동화할 수 있는 모델이며 모든 마케터가 캠페인 효과를 대규모로 개선하기 위해 나아가야 하는 방향입니다.

디지털 마케터가 의존하는 일간 뉴스레터를 받아보세요.

처리 중...잠시 기다려 주십시오.

구독하다

약관을 참조하십시오.

자동화된 실험이 미래입니다

많은 기술 대기업이 이미 상황별 산적 프레임워크를 채택했지만 마케터는 이 기술이 여전히 믿을 수 없을 정도로 새롭다는 점에 유의해야 합니다. Khachatryan에 따르면 브랜드는 전환 프로세스를 보다 쉽게 ​​수행할 수 있도록 충분한 시간과 리소스를 할당해야 합니다. 왜냐하면 이는 "실험의 미래"이기 때문입니다.

"과거에는 수동 A/B 테스트가 한 번에 하나의 멘션으로 작동합니다."라고 그는 말했습니다. "이러한 상황에 맞는 밴딧을 사용하여 여러 차원을 동시에 테스트하도록 설정할 수 있습니다."

이메일 제목 줄의 효율성, 클릭 유도문안 클릭률 또는 최적의 기사 게시 시간을 테스트하든 마케터는 따라잡아야 할 실험 데이터가 많습니다. 자동화된 테스트 솔루션은 수동 작업에 소요되는 시간을 줄이고 지속적인 자동화 실험으로 대체함으로써 이러한 프로세스를 보다 쉽게 ​​관리할 수 있도록 합니다.

Khachatryan은 "이것은 실험의 다음 반복 또는 테스트 및 학습 프로그램으로 생각할 수 있습니다."라고 말했습니다. "마케터가 지속적으로 자동화된 실험 시스템을 설정하면 어떤 일이 발생하는지 확인하고 통찰력을 얻은 다음 이러한 통찰력을 사용하여 새로운 아이디어를 얻을 수 있는 상호 작용이 생성됩니다."

그는 "그래서 여전히 민첩한 테스트 및 학습 주기가 있지만 가속화되고 있습니다."라고 덧붙였습니다.

마케터가 이러한 자동화된 실험 기술을 얼마나 빨리 채택하는지 시간이 말해줄 것입니다. 그러나 지난 1년 동안 높은 수준의 마케팅 기술 교체가 이루어졌기 때문에 더 많은 브랜드가 조만간 서명할 가능성이 높습니다.

Digital Marketing Depot에서 이 웨비나 프레젠테이션을 시청하십시오.