A/B-тестирование мертво?

«Сегодня A/B-тестирование процветает — это огромный шаг вперед по сравнению с не-A/B-тестированием», — сказал Джордж Хачатрян, генеральный директор компании OfferFit, занимающейся искусственным интеллектом, на недавнем вебинаре. «В то же время люди, проводящие эти тесты каждый день, признают, что это намного сложнее, чем может показаться».

Разработка A/B-тестов, определение размера выборки и их развертывание требуют много времени и ресурсов, а анализ результатов требует высокой точности. В целом, ручные задачи, необходимые для A/B-тестирования, могут стать тяжелым бременем для маркетологов.

«Когда вы запускаете полную программу экспериментов, одного A/B-теста никогда не бывает достаточно», — сказал Хачатрян. «Когда вы запускаете один, вы получаете ценную информацию и неизбежно хотите получить больше. Таким образом, вы в конечном итоге бегаете больше».

Он добавил: «Те, кто занимается этим на практике, понимают, что это просто становится быстрым взрывом в количестве необходимых им тестов — это становится невозможным очень рано на этой экспоненциальной кривой».

Маркетологам необходимо решение, которое позволит им тестировать растущее число переменных кампании и в то же время даст им достаточно времени для анализа данных. К счастью, A/B-тестирование развивается.

Расширение возможностей A/B-тестирования

На вебинаре Хачатрян обратил внимание на «проблему многорукого бандита», которая влияет на современное A/B-тестирование. В традиционной версии этого сценария человек в казино должен определить, какие игровые автоматы («однорукие бандиты», которые крадут ваши деньги) будут иметь наилучшие выплаты, а затем выяснить, какой порядок будет оптимальным. При A/B-тестировании переменные — это многорукие бандиты, и маркетолог должен выяснить, какие из них наиболее эффективны, чтобы он мог выделить больше ресурсов в областях, которые работают хорошо.

«Вы можете думать о [многоруком бандите] как об умном A/B-тесте», — сказал он. «Он будет находить компромисс между разведкой и эксплуатацией — он начнет случайным образом тянуть эти десять ручек, но по ходу дела будет динамически перераспределять ресурсы, так что, если что-то пойдет не так, он перестанет тянуть».

Он добавил: «Эти многорукие бандиты созданы для того, чтобы экспериментировать в нужном количестве, чтобы вы не только учились, но и извлекали выгоду из того, что уже узнали».

Хотя эти многорукие, или A/B, модели хорошо служили маркетологам на протяжении многих лет, существует новая версия этой схемы, которая является более точной и эффективной. По словам Хачатряна, это «контекстные бандиты».

«Он делает то же, что и многорукий бандит, но учитывает разные контексты», — сказал он. «Итак, если у вас есть два разных клиента с разными характеристиками, он будет знать, как использовать разные рычаги».

Контекстные бандитские фреймворки — это, по сути, автоматизированные эксперименты и масштабируемая персонализация. Это модель, которая может полностью автоматизировать процесс, и это то, к чему должен двигаться каждый маркетолог, чтобы повысить эффективность кампании в любом масштабе.

Получайте ежедневный информационный бюллетень, на который полагаются цифровые маркетологи.

Обработка... Пожалуйста, подождите.

ПОДПИСЫВАТЬСЯ

См. условия.

Будущее за автоматическими экспериментами

Многие технологические гиганты уже внедрили контекстуальные бандитские фреймворки, но маркетологи должны отметить, что эта технология все еще невероятно нова. Бренды должны выделять достаточно времени и ресурсов, чтобы облегчить процесс перехода, потому что, по словам Хачатряна, это «будущее экспериментов».

«Раньше ручное A/B-тестирование работало с одним упоминанием за раз», — сказал он. «С этими контекстными бандитами вы можете настроить его для одновременного тестирования нескольких измерений».

Будь то проверка эффективности темы письма, кликабельности призывов к действию или оптимального времени публикации статей, у маркетологов есть множество экспериментальных данных, за которыми нужно следить. Решения для автоматизированного тестирования могут сделать эти процессы более управляемыми, сократив время, затрачиваемое на ручные задачи, заменив их непрерывным автоматизированным экспериментированием.

«Вы можете думать об этом как о следующей итерации экспериментов или программ «тестируй и учись», — сказал Хачатрян. «Когда маркетолог устанавливает эту систему непрерывных автоматизированных экспериментов, он создает взаимодействие, в котором вы можете видеть, что происходит, получать информацию, а затем использовать эту информацию для получения новых идей».

Он добавил: «Таким образом, у вас все еще есть гибкий цикл тестирования и обучения, но он ускорен».

Время покажет, насколько быстро маркетологи освоят эти автоматизированные технологии экспериментов. Но, учитывая высокий уровень замены маркетинговых технологий, который произошел за последний год, есть большая вероятность, что больше брендов подпишут контракт раньше, чем позже.

Посмотрите эту презентацию вебинара в Digital Marketing Depot.