A/B-тестирование: быть или не быть

Без боли, без выгоды и без проводов. Чтобы превратить трафик, который приносит ваша реклама, в продажи, вам необходимо постоянно оптимизировать свой сайт, улучшая взаимодействие с пользователем, изменяя поведение пользователей и повышая коэффициент конверсии. Но как вы можете быть уверены, что внедряемые вами изменения принесут ожидаемые результаты? Вот для чего нужно A/B-тестирование. В статье мы рассказываем, что такое A/B-тестирование, как его проводить и на какие нюансы стоит обратить внимание.

A/B-тестирование в маркетинге — это то же самое, что и сплит-тестирование — сравнение двух вариантов страницы сайта, отличающихся всего одним параметром. Цель A/B-тестирования — определить, какой из этих двух вариантов более эффективен и приносит больше конверсий.

Допустим, вы продаете программное обеспечение. У вас есть целевая страница с описанием продукта и кнопкой внизу страницы для подписки на пробную версию. Чтобы увеличить количество подписчиков, вы решаете добавить еще одну кнопку на лендинг для тех, кто уже знает о вашем продукте или предпочитает сразу его попробовать, не вчитываясь в подробности.

Чтобы проверить, верна ли ваша гипотеза — что вы получите больше подписчиков, добавив еще одну кнопку, — вы создаете копию исходной целевой страницы и добавляете на нее кнопку. Затем вы делите посетителей страницы на две группы: одной будет показана исходная страница (вариант А), другой — обновленная страница (вариант Б). В конце теста вы сравниваете показатели эффективности (в нашем примере количество подписок) и определяете победителя.

Давайте рассмотрим некоторые из основных вещей, которые помогают нам достичь с помощью A/B-тестов (или сплит-тестов).

1. Лучше понять своих пользователей и дать им то, что они хотят . Независимо от того, как долго вы занимаетесь электронной коммерцией и онлайн-маркетингом, было бы ошибкой полагаться исключительно на свой личный опыт.

Даже если кажется, что вы можете предсказать поведение пользователей сайта и точно понимаете, как организовать контент, чтобы они как можно быстрее продвигались по воронке продаж, проведите A/B-тестирование. Результаты могут Вас удивить.

Как показывает практика, наши предположения не всегда совпадают с реальностью. Поэтому мы не можем решать, что лучше для наших клиентов, основываясь только на наших собственных убеждениях.

2. Положитесь на данные, а не на мнение экспертов. Вторая проблема, вытекающая из первой, заключается в возможности внесения изменений на сайт и минимизации связанных с этим рисков.

Часто гипотезы основываются на личных взглядах, которые могут не совпадать с мнением аудитории. В результате изменения, внесенные без A/B-тестирования, не дают желаемого эффекта или, что еще хуже, снижают конверсию.

Поэтому, когда вы сталкиваетесь с вопросом, что использовать для принятия решений — данные или мнение экспертов — всегда выбирайте данные.

3. Персонализируйте общение с клиентами. Клиенты используют разные устройства, приходят из разных источников, по-разному взаимодействуют с вашим сайтом, просматривают и покупают разные товары...

Сервисы веб-аналитики, такие как Google Analytics и Яндекс.Метрика, помогают объединять эти данные и систематизировать знания о пользователях. Маркетологи собирают информацию о том, какие страницы посещали пользователи и что они на них делали. Это дает возможность разделить аудиторию на несколько десятков или сотен сегментов и узнать, например, как ведут себя пользователи, пришедшие с органического или платного трафика.

Но мы не всегда правильно используем эту информацию и не всегда извлекаем из нее максимальную пользу. Простой пример: большинство онлайн-проектов по-прежнему показывают один и тот же контент всем пользователям, вне зависимости от их поведения и источника трафика:

Если вы делаете это, сплит-тест может помочь вам исправить ситуацию и персонализировать контент на вашем сайте.

Теперь рассмотрим основные этапы (и нюансы) сплит-тестирования:

Первое, что вам нужно сделать, это определить список слабых мест на вашем сайте. Для этого вы можете:

• Изучите данные в Google Analytics и других системах веб-аналитики, чтобы увидеть, какие страницы имеют высокий процент отказов, низкую глубину прокрутки и низкий коэффициент конверсии.
• Используйте вебвизор и кликайте по тепловым картам, чтобы понять, как пользователи взаимодействуют с элементами вашего сайта.
• Проанализируйте обращения в службу поддержки или опросите активных клиентов, чтобы узнать, чего им не хватает на сайте.

Например, вы смотрите на воронку расширенной электронной торговли в Google Analytics и видите, что очень немногие люди добавляют определенный товар в корзину. При этом у вас есть оффлайн точка продаж и вы знаете, что этот товар популярен. В таком случае, скорее всего, что-то не так с вашим интернет-магазином.

После того, как вы решили, что исправить, вам нужно подумать о том, как именно вы будете это исправлять. Без A/B-гипотезы тестирование не имеет смысла — ценность ваших выводов будет небольшой. Вы должны четко понимать цель эксперимента, какой элемент веб-страницы вы будете тестировать и каких количественных результатов хотите достичь.

Формулируя гипотезу, оттолкнитесь от воронки конверсии. Спросите себя: что мне нужно изменить в одной части страницы, чтобы пользователь быстрее продвигался по воронке?» Проверяйте одну гипотезу за тест, иначе будет сложно определить, какое изменение в какой степени повлияло на конечный результат.

Что можно протестировать:

• Цвет, размер, текст и расположение кнопок конверсии
• Заголовки — изменить текст; сделать его короче, интереснее и актуальнее
• Формы — уменьшите количество полей или добавьте всплывающие подсказки и примеры заполнения
• Лендинг — изменить структуру страницы, шрифт или цветовую палитру
• Контент — добавляйте качественные фото и видео, призывы к действию, акционные предложения, слово «бесплатно» и т. д.

Ваш выбор показателей эффективности зависит от вашей гипотезы и целей, которых вы хотите достичь. Это может быть выручка, количество покупок, коэффициент конверсии, средний размер чека, заявки и подписки, процент отказов и т.д.

Следующий шаг — убедиться, что у вас реализованы и зафиксированы все необходимые метрики, на основе которых вы сделаете выводы в конце теста. В нашей работе мы сталкивались со случаями, когда клиенты выявили слабые места и сформировали гипотезы, но не прописали правильно систему метрик, чтобы понять, что коэффициент конверсии изменился именно из-за смены кнопки, например, а не из-за других факторов.

Перед запуском эксперимента учитывайте следующие факторы:

• Минимальный размер выборки. Чтобы убедиться, что результаты вашего теста статистически значимы и им можно доверять, определите необходимое количество участников. Вы можете сделать это с помощью бесплатных онлайн-калькуляторов, таких как Abtasty и Optimizely. Допустим, коэффициент конверсии вашей исходной целевой страницы составляет 5%, и вы ожидаете, что тестовая версия страницы достигнет 7%. Минимальный видимый эффект в этом случае составит 40%. Введите эти числа в калькулятор, и вы увидите, что вам нужно минимум 1964 человека для каждого варианта:

• Внешние факторы: сезонность, праздники, акции, погода, курс валют и т. д. Чтобы внешние факторы не искажали результаты эксперимента, важно показывать обе версии страницы параллельно в один и тот же период.
• Сначала протестируйте преобразование макросов. Если поставить цель посетить определенную страницу, есть вероятность, что пользователи ее достигнут, но не совершат транзакцию или не совершат другого целевого действия. Всегда необходимо думать о вашей воронке в целом, чтобы понимать, какие действия пользователей на сайте имеют наивысший приоритет.
• Учитывайте тип устройства. Если вы запускаете эксперимент со всем трафиком на свой сайт и у вас есть мобильная и десктопная версии, проверьте, как тестовый вариант выглядит на мобильных устройствах.
• Исключите внутренний трафик , чтобы действия ваших сотрудников на сайте не искажали статистику. Это можно сделать в Google Analytics с помощью фильтрации IP-адресов.

После того, как вы рассмотрели эти факторы, вы можете запустить тест. Чуть позже мы расскажем вам об инструментах, которые можно использовать для этого.

По окончании эксперимента проанализируйте результаты. Например, исходный коэффициент конверсии на вашей целевой странице составлял 3 %, вы предполагали, что сможете увеличить его до 5 %, а тестовый вариант показал 3,5 %. Конверсия увеличилась, но незначительно. Теперь вам нужно решить, вводить ли изменение на сайте или попробовать другую гипотезу.

Проверить, имеют ли результаты сплит-теста статистическую значимость, можно с помощью онлайн-калькулятора или статистических методов.

Узнайте больше о статистической мощности, длине выборки, доверительных интервалах, статистической значимости и способах их измерения в нашей статье о статистике в веб-аналитике или о том, как стать настоящим специалистом по данным.
Если процесс прошел успешно и вы получили достоверные данные, добавьте на сайт победителя целевой страницы и приступайте к следующему эксперименту.

Возможные ошибки при анализе результатов:

• Преждевременная оценка результатов. Мы рекомендуем проводить сплит-тест не менее 14 дней. Вы можете сделать исключение из этого правила, если задача включена, вы тестируете мелкие изменения, не влияющие на глобальную функциональность сайта (например, вы изменили цвет кнопки), и вы используете Гугл Оптимизация. Если вы видите в своем отчете Оптимизации, что новый вариант выигрывает с вероятностью 80—90%, эксперимент можно прекращать. Показатели вряд ли сильно изменятся.
• Оценка результатов с порогом достоверности менее 95 % — еще один показатель из отчетов Оптимизации. Когда вы проводите эксперимент, Google Optimize учитывает достоверность конечного результата. Если он ниже 95 %, Оптимизация порекомендует продолжить эксперимент. Вы можете увидеть этот порог на вкладке с активным экспериментом.
• Игнорирование результатов теста как незначительных. Кто не хочет удвоить конверсию сразу?! Впрочем, даже такой скромный (на первый взгляд) прирост конверсии в 2—3% — неплохой результат. Особенно, если изменения на посадочной странице были небольшими.
• Не проверять глобальные показатели для вашего сайта. В конце концов, вам нужно проверить глобальные показатели вашего сайта, а не только те, которые вы выбрали в рамках эксперимента. Одного параметра может быть недостаточно для оценки эффекта изменений. Например, средний размер чека может уменьшиться, а общий доход может увеличиться за счет повышения коэффициента конверсии. Поэтому отслеживайте все взаимосвязанные KPI.

Для запуска A/B-теста необходимо создать тестовую версию страницы, сегментировать аудиторию и рассчитать целевые показатели для каждого сегмента отдельно. Если у вас есть навыки программирования и достаточно ресурсов, вы можете запустить A/B-тестирование вручную. Но проще и удобнее это делать с помощью специальных инструментов.

Мы подготовили небольшую таблицу со сравнением популярных инструментов сплит-тестирования:

В OWOX BI мы используем Google Optimize для тестов, поэтому больше сосредоточимся на возможностях этого инструмента.

Optimize — это онлайн-сервис, подключенный к вашему веб-сайту и позволяющий вам экспериментировать с различными способами отображения контента.

Оптимизация позволяет вам использовать данные, которые вы накопили в Google Analytics, чтобы предложить пользователю тот вариант страницы, который будет наиболее удобен для него и наиболее выгоден для вашего бизнеса.

• Полнота данных . Для настройки и анализа эксперимента можно использовать цели и сегменты из Google Analytics. Вы можете работать с обычными метриками из Google Analytics, которые вы знаете и любите.
• Широкие возможности для персонализации. После успешного прохождения теста вы можете настроить демонстрацию различного контента с помощью аудиторий и переменных Google Analytics, которые реализованы, например, в dataLayer в Google Tag Manager. Если эксперименты позволяют повысить продуктивность вашего сайта для среднего пользователя, то персонализация на основе информации о пользователях позволит добиться более высокой отдачи в каждом сегменте.
• Интеграция с другими продуктами Google для более глубокого таргетинга и анализа (Google Ads, Data Studio, Tag Manager и т. д.)
• Удобный интерфейс, в котором легко разобраться . Визуальный редактор позволяет настраивать и запускать новые эксперименты без участия разработчиков. Это значительно сокращает время проведения эксперимента.
• Минимально влияет на скорость загрузки страницы.
• Нет необходимости вручную обобщать данные, готовить отчеты и применять статистические формулы для проверки результатов. Google Optimize все делает сам.

• Пока Google Optimize нельзя использовать для тестирования мобильных приложений.

• Вы не можете запланировать тесты. То есть, если вы хотите подготовить десятки тестов, но не можете запустить их одновременно по каким-либо причинам — или если в бесплатной версии есть ограничения на количество одновременных тестов, или вы не хотите пробовать десятки вариантов на одну и ту же аудиторию, это может стать проблемой. Вам нужно будет запускать каждый тест вручную в интерфейсе. Это не является критическим недостатком, но тем не менее в некоторых других сервисах это можно сделать.
  

Google Optimize работает аналогично другим инструментам для проведения экспериментов и персонализации:

1. Во-первых, вам нужно создать варианты страниц, всплывающих окон и других объектов, которые вы будете показывать пользователю.
2. Затем вам нужно определить цели (метрики), по которым вы будете определять выигрышный вариант. Это могут быть показатели, встроенные в Оптимизацию — количество просмотров страниц, продолжительность сеанса, транзакции, доход и процент отказов — или любая пользовательская цель из Google Analytics.
3. После этого нужно определить аудиторию, которая будет участвовать в эксперименте, и запустить эксперимент. На этом этапе вы должны решить, на какой риск вы можете пойти, показав тестовый вариант пользователям. Вы можете распределить трафик между двумя вариантами поровну или, например, сделать сплит 20/80. Плюс на этом этапе вам предстоит выбрать, какой части аудитории вы будете показывать эксперимент. Показать всем, или взять 20% и распределить между ними свои два варианта? Почему вы можете захотеть это сделать? Если у вас большой магазин, вы не уверены в своей гипотезе и не хотите рисковать половиной трафика.

Помимо классических A/B-тестов, в Optimize вы можете запускать многовариантные тесты (в которых у вас есть несколько изменяющихся элементов в нескольких комбинациях) и перенаправленные (для страниц с разными URL-адресами и дизайном).

Вы можете узнать больше об интерфейсе и настройках Google Optimize в нашей статье о том, как провести свой первый A/B-тест с Google Optimize.

С отчетами в Google Optimize вы можете отслеживать результаты во время эксперимента и анализировать собранные данные сразу после его завершения.

Термины в отчетах Оптимизации:

• Улучшение — вероятный диапазон коэффициента конверсии.
• Вероятность быть лучшим — вероятность того, что этот вариант лучше всех остальных.
• Вероятность превзойти базовый уровень — вероятность того, что этот вариант принесет более высокий коэффициент конверсии, чем исходный.
• Коэффициент конверсии — прогнозируемый средний коэффициент конверсии.
• Конверсии — количество сеансов с конверсиями.

Как определяется победитель
Google Optimize использует байесовский вывод для создания статистики. Не вдаваясь в подробности, это означает, что во время эксперимента вы можете увидеть в отчетах Optimize вероятность того, что вариант B окажется победителем до окончания эксперимента. Если вероятность достигает определенного уровня, можно закончить эксперимент досрочно и сэкономить время и деньги.

Кроме того, команда Google планирует реализовать механизм перераспределения трафика в пользу лучшего варианта до окончания эксперимента. Это сэкономит вам деньги, так как меньше пользователей увидят неэффективный вариант во время теста.

Если вы интегрируете Оптимизацию со своей учетной записью Google Analytics, вы сможете просматривать и анализировать результаты тестов в интерфейсе Google Analytics в разделе « Поведение/Эксперименты »:

Если ваш эксперимент прошел успешно, вы можете развернуть выигрышный вариант на своем веб-сайте.

• Оптимизация 360 оказалась точным решением без программирования для тестирования взаимодействия с пользователем на вашем сайте.
• Как провести свой первый A/B-тест: автоматизируйте процесс с помощью Google Optimize
• Статистика в веб-аналитике, или как стать настоящим дата-сайентистом
• Бесплатный вебинар: Google Optimize для тестирования и персонализации
• Видеоуроки
• Словарь терминов
• Знакомство с визуальным редактором
• Развернуть Оптимизировать
• Справочный центр Оптимизации
• Различия в отчетах Оптимизации и Google Analytics
• Визуальный редактор

PS Если вам нужна помощь в проведении A/B-тестирования и создании пользовательских метрик для вашего бизнеса, напишите нам по адресу [email protected] или заполните контактную форму на нашем сайте.