7 распространенных проблем, которые мешают успеху A/B/n-тестирования электронной почты

Всякий раз, когда я начинаю работать с новыми клиентами, которые сталкиваются с серьезными проблемами с их почтовым маркетингом, первое, что я просматриваю, — это то, как они проводят тестирование своей электронной почты.

A/B/n-тестирование — это лучший известный мне способ структурировать эффективные кампании и оценить, насколько успешны или нет стратегии и тактики электронной почты бренда. Но слишком часто командам сложно правильно настроить тесты и точно измерить результаты. Обычно это приводит к неэффективным экспериментам с электронной почтой и плохим результатам.

Если ваша программа тестирования ненадежна, вы не будете знать, работают ли выбранные вами стратегии и тактики или нет. Не вините сам канал электронной почты, если ваши усилия по электронной почте не приносят желаемых результатов. Вместо этого посмотрите, как вы тестируете и измеряете результаты.

7 распространенных проблем с тестированием и способы их решения

Они чаще всего возникают в моей работе с клиентами. Решение некоторых из этих проблем потребует полного изменения мышления. Для других простое изучение правильного способа настройки тестов может решить многие из ваших текущих проблем.

Это хорошая часть тестирования. Для каждой проблемы есть способ ее исправить. Каждый раз, когда вы решаете проблему с помощью тестирования, вы делаете еще один шаг к тому, чтобы поставить свою программу электронной почты на правильный путь.

1. Проверка без гипотезы

Многие маркетологи электронной почты усваивают азы тестирования, используя инструменты, которые им дают их ESP, в основном для настройки базовых сплит-тестов A/B для простых функций, таких как строки темы.

Однако такой разовый подход подобен обучению вождению автомобиля, не умея читать карту. Завести машину можно нормально. Но вам нужны навыки карты, чтобы спланировать путешествие, которое доставит вас туда, куда вы хотите, с наименьшим количеством пробок и объездов.

Да, вы можете позволить Google Maps сделать всю работу по планированию за вас. Но все данные — то, что вы предоставляете, и то, что они извлекают из других источников, — должны правильно совпадать. Если вы введете неправильный пункт назначения или въедете в мертвую зону, вы можете оказаться за много миль от того места, где хотите быть.

Вот что происходит с вашей почтовой программой, когда вы либо не тестируете, либо тестируете неправильно. Ваша гипотеза — это ваша дорожная карта для тестирования. В нем излагается то, что, по вашему мнению, может произойти, и направляет ваш выбор переменных, тестовых сегментов, показателей успеха и даже того, как использовать результаты.

2. Использование неправильного расчета конверсии

Это связано с путешествием клиента и целью теста.

Когда вы выполняете стандартный сплит-тест A/B на целевой странице веб-сайта, вы часто используете «транзакции/веб-сеансы» в качестве расчета конверсии, чтобы увидеть, насколько хорошо конвертируется страница. Это имеет смысл, потому что вы не знаете путь, по которому ваши клиенты попали на сайт, поэтому вы сосредотачиваетесь на этой конкретной части пути, поскольку она игнорирует все, что происходит до нее.

Что касается электронной почты, мы знаем путь, который прошли наши клиенты, чтобы перейти от электронного письма к целевой странице. Мы ставим их на него, и мы хотим его оптимизировать. Мы хотим понять, насколько хорошо наша электронная почта конвертируется, поэтому нам нужно использовать «транзакции / доставленные электронные письма» для расчета нашей конверсии. При этом учитывается весь путь электронной почты, а не только то, насколько хорошо конвертируется целевая страница.

Как вы можете видеть в этих двух клиентских примерах, конверсия прошла с тем, что означали открытия и клики. Маркетологи используют расчет «посещения страниц/покупки» для тщеславия, поскольку он дает более высокий процент. Однако это означает, что вы могли оптимизировать для получения неправильного результата.

Тестирование сегментов с помощью обычных кампаний

Тестирование автоматизированных программ

3. Измерение успеха с помощью неправильных показателей

Работоспособный план тестирования нуждается в соответствующих метриках для точного измерения успеха. Неправильные показатели могут завышать или занижать ваши результаты. Это, в свою очередь, может привести к тому, что вы оптимизируете проигрышный вариант, а не выигрышный.

Например, показатель открываемости был популярным показателем успеха с тех пор, как мы научились его использовать еще на заре электронной почты в формате HTML. Но это ошибочный и ненадежный показатель, особенно теперь, когда функция защиты конфиденциальности почты Apple маскирует истинный коэффициент открытия кампании. Но даже если открытие каждый раз было точным, показатель открытия все равно не обязательно является правильным показателем.

Клики, например, являются более точным показателем вовлеченности, но они не показывают, сколько денег принесла ваша кампания. Если ваша цель состоит только в том, чтобы получить клики, используйте рейтинг кликов. Но если вы получаете вознаграждение за доход от кампании, вам нужно использовать показатель дохода, такой как количество покупок или стоимость корзины.

4. Тестирование без статистической значимости

Если результаты вашего тестирования статистически значимы, это означает, что различия между группами тестирования (контрольной группой, которая не изменилась, и группой, которая получила переменную, например, другой призыв к действию или строку темы) не произошли из-за шанс, ошибка или неучтенные события.

Небольшое количество результатов может испортить тестирование значимости либо потому, что вы могли протестировать только часть своей совокупности, либо потому, что тест выполнялся недостаточно долго для получения достаточного количества результатов. Вот почему тесты должны работать как можно дольше (для автоматизации) и достигать статистически значимого размера выборки (для кампаний).

В большинстве тестов используется коэффициент значимости 5%. Это означает, что ваша переменная повлияла как минимум на 95 из каждых 100 результатов вашего теста, а остальные пять результатов могут быть случайными.

Результаты, которые не являются статистически значимыми, могут привести к неправильным выводам и неправильной интерпретации как результатов тестирования, так и результатов вашей кампании. Достижение статистической значимости 95 % указывает на 5 % риск сделать вывод о существовании различия, когда фактического различия нет.

Все, что вам нужно знать о доставляемости рассылок по электронной почте, которую хотят ваши клиенты и которую не блокируют почтовые ящики. Получите Периодическую таблицу маркетинга по электронной почте MarTech.

Нажмите сюда, чтобы проверить это!

5. Остановка одним тестом

Философ Гераклит сказал: «Ни один человек не войдет в одну и ту же реку дважды, потому что это не одна и та же река и не один и тот же человек».

То же самое верно и для ваших кампаний по электронной почте. Ваша подписная база всегда набирает новых подписчиков и теряет старых, и клиенты не реагируют одинаково каждый раз на каждую кампанию. Кампания, которая хорошо сработала один раз, может провалиться в следующий раз.

Если вы запустите только один тест, а затем примените результаты ко всем будущим кампаниям, вы пропустите эти тонкие, но важные изменения. Вот почему вы должны внедрять тестирование в каждую кампанию, проверяя все более одного раза, чтобы исключить аномалии.

Это даст вам тенденции, с которыми вы сможете ознакомиться, чтобы узнать общие истины о вашей аудитории и указать на важные изменения в отношении и поведении. Используйте их для тонкой настройки или пересмотра подходов к кампаниям.

6. Тестирование только одного элемента в кампании

Тестирование темы сообщения распространено повсеместно, главным образом потому, что многие почтовые платформы встраивают в свои платформы сплит-тестирование A/B-темы. Это отличное начало, но оно дает вам только часть картины и часто вводит в заблуждение. Выигрышная строка темы, которая измеряется по показателю открываемости, не всегда предсказывает достижение цели кампании.

Это одна из причин, по которой я разработал практику комплексного тестирования, которая выходит за рамки одноканального, одноразового тестирования с одной переменной.

Вот пример гипотезы, основанной на мотивации, которую вы можете использовать как часть целостного тестирования. Он называет соответствующую метрику (конверсии) и включает факторы, связанные с копированием, такие как строки темы, заголовки, блоки для копирования, призывы к действию и даже целевые страницы:

Если изменения переменных подтверждают гипотезу, то, используя несколько переменных, вы делаете тест более надежным. Разница между этим и многомерным тестом заключается в том, что все переменные поддерживают гипотезу, и когда объявляется победитель, мы можем применить то, что узнали.

7. Не использовать полученные знания для улучшения электронной почты

Мы не тестируем, чтобы увидеть, что происходит в одной кампании, или удовлетворить любопытство. Мы тестируем, чтобы узнать, как работают наши программы и что их улучшит — сейчас и в долгосрочной перспективе. Мы тестируем, чтобы определить, тратим ли мы деньги на вещи, которые помогают нам достичь наших целей.

Мы тестируем, чтобы обнаружить тенденции и изменения в нашей аудитории, которые мы можем применить к другим маркетинговым каналам, потому что наша аудитория электронной почты — это наша клиентская группа в микромире. Не позволяйте результатам теста томиться в вашей электронной почте или в командном блокноте.

План действий по тестированию для улучшения кампании по электронной почте будет выглядеть следующим образом:

Тестирование важнее, чем когда-либо. Вы готовы?

Пандемия COVID-19 перевернула знания маркетологов по электронной почте о наших клиентах. В 2020 году нам нужно было провести тестирование, чтобы определить, чего хотят клиенты, что изменилось, а что осталось прежним в их ответах на наши кампании.

Пандемия отступает во многих областях, но угрожает снова подняться в других. Тестирование поможет нам опережать новые изменения и сразу же применять эти идеи в работе. Благодаря этому наши почтовые программы остаются актуальными и ценными для клиентов, а также повышает авторитет электронной почты как надежного инструмента, помогающего нашим компаниям добиваться успеха.

Я упоминал ранее, что ваша база данных электронной почты — это микрокосм вашей клиентской базы. Точные результаты тестирования могут выявить сдвиги в мышлении и мотивации клиентов, которые вы можете использовать для тестирования и обновления ваших социальных сетей, вашего веб-сайта, SMS-маркетинга и даже оффлайн в прямом маркетинге.

Я не могу придумать другого инструмента в маркетинговом наборе, который был бы более универсальным, экономичным и адаптируемым, чем электронная почта. Точные и актуальные тесты делают этот старый надежный инструмент блестящим и новым.

Мнения, выраженные в этой статье, принадлежат приглашенному автору, а не обязательно MarTech. Штатные авторы перечислены здесь.