Сравнение точности: SEMrush и SimilarWeb

Одним из наиболее распространенных методов маркетингового анализа является сравнительный анализ рынка. Предположим, ваша маркетинговая команда не выполнила план на 5 процентных пунктов. Если рынок за рассматриваемый период сократился на 15%, то, возможно, ваша маркетинговая команда все же показала положительный результат. Но если рынок вырос на такой же объем, значит, ваш маркетинг идет не так хорошо.

Инструментов для бенчмаркинга конкурентов очень много. Однако каждый из них собирает данные о трафике и обрабатывает их по-разному. И 100% точности от них ждать не приходится. Учитывая это, какие инструменты достаточно точны, чтобы вы могли использовать результаты для проведения значимого анализа?

Мы провели небольшое исследование, чтобы выяснить, насколько точны два популярных анализатора трафика — SEMrush Traffic Analytics и SimilarWeb. В качестве основы для сравнения мы использовали данные из учетных записей Google Analytics 787 анонимных веб-сайтов, наблюдаемых OWOX BI.

Прежде чем мы поделимся нашими результатами, давайте рассмотрим, как работают сервисы анализа трафика.

SimilarWeb использует следующие источники данных:

• Прямые данные от владельцев сайтов
• Данные от партнеров и интернет-провайдеров с миллионами пользователей
• Общедоступные источники данных: запатентованные технологии и механизмы индексации, которые постоянно сканируют общедоступные данные.
• Анонимизированные данные панели из расширений браузера на посещаемых сайтах

Отчеты SEMrush Traffic Analytics также основаны на обезличенных данных, собранных из сторонних источников и обработанных с помощью алгоритмов искусственного интеллекта. Эти данные собираются и аппроксимируются на основе анонимных данных о поведении миллионов пользователей Интернета.

За последние 10 лет SEMrush запустил несколько инструментов, которые раскрывают не только данные о поисковых позициях конкурентов, но и то, что конкуренты делают в платном поиске, PR, контент-маркетинге и социальных сетях, а также подробные данные о посещаемости их веб-сайтов. SEMrush использует самые актуальные источники данных для каждой сферы маркетинга (SEO, PPC, контент, SMM).

И SEMrush, и SimilarWeb можно использовать для оценки конкурентов, потенциальных клиентов и трафика, генерируемого партнерами. Поскольку у нас есть доступ к анонимным данным Google Analytics о пользователях OWOX BI, мы предположили, что у нас есть достаточно точные данные о посетителях для ряда анонимных веб-сайтов. Затем мы сравнили данные, предоставленные SEMrush и SimilarWeb для тех же анонимных веб-сайтов, с данными Google Analytics. Нашей задачей было описать неточности в конкретных сферах бизнеса и посмотреть, насколько они велики по каждой услуге.

Образец данных

Наша выборка состояла из данных, собранных из Google Analytics, SEMrush и SimilarWeb для всех сеансов в январе 2020 года на каждом из 787 веб-сайтов. Эти веб-сайты базируются в Австралии, Канаде, США, Великобритании и Германии и были сгруппированы по сферам бизнеса:

1. Компьютеры, электроника и технологии
2. Развлекательная программа
3. Финансы
4. Здоровье и красота
5. Работа и образование
6. Новости и СМИ
7. Профессиональные услуги
8. Розничная торговля
9. Телеком
10. Путешествовать

Сравнительный подход

Чтобы узнать точность подсчета трафика конкурентов сервисами SimilarWeb и SEMrush, мы объединили следующие данные в одну таблицу:

• Обезличенные данные Google Analytics с 787 веб-сайтов с посещаемостью более 100 000 человек в месяц по данным OWOX BI.
• Данные о трафике с тех же сайтов по данным SEMrush и SimilarWeb

Мы исключили веб-сайты с низким трафиком, который мог быть вызван фильтрами свойств.

Затем мы рассчитали абсолютное значение отклонений между данными, предоставленными SEMrush и SimilarWeb, по сравнению с Google Analytics.

Поскольку отклонения могут быть как положительными, так и отрицательными, а нас интересовала только точность, мы использовали абсолютное значение. Это также уберегло нас от потенциальной ошибки при вычислениях, когда положительные и отрицательные значения могли дать ноль.

Затем мы сегментировали наши сайты по количеству посещений в месяц:

• 100 000 – 500 000
• 500 001 – 1 000 000
• Более 1 000 000

Чем выше стандартное отклонение, тем больше неточность данных из данной службы по сравнению с контрольным показателем Google Analytics. Отклонение для SimilarWeb составляло от 57% до 61% и не коррелировало с объемами трафика веб-сайта. Данные SEMrush показали четкую тенденцию: сайты с огромным объемом трафика (1 000 000 сессий и более) показали большую точность и меньшее отклонение (45%) от данных Google Analytics.

Для веб-сайтов с 500 000 сеансов и более цифры были на 9–12 процентных пунктов точнее в SEMrush. Для проектов с небольшим трафиком SimilarWeb работал чуть лучше, но оба сервиса продемонстрировали большие неточности среди этой группы сайтов.

Эти различия в точности вызваны алгоритмами сбора и обработки SimilarWeb и SEMrush, а также особенностями данных о посещениях. Службы анализа трафика используют алгоритмы искусственного интеллекта и машинного обучения для аппроксимации данных обо всех посетителях веб-сайта на основе данных о посещениях, то есть данных о образцах трафика веб-сайта. Таким образом, чем меньше веб-сайт, тем менее точны аппроксимации, основанные на данных о посещениях.

Что делать, если ваш сайт и сайты ваших конкурентов имеют низкую посещаемость и точность ваших данных крайне низкая? В этом случае вам следует провести сравнение с более крупными конкурентами на вашем рынке. Если вы сравните некоторых крупных игроков рынка, то увидите не только их показатели, но и общие тенденции рынка. И, сравнивая производительность и тенденции, выявленные SimilarWeb или SEMrush, с вашими собственными достижениями, вы сможете оценить эффективность своего маркетинга.

На приведенном ниже графике показана доля наблюдений — процент веб-сайтов в каждом сегменте, для которых SimilarWeb и SEMrush соответственно оказались ближе к контрольному показателю Google Analytics. Например, в сегменте более 1 000 000 сессий SEMrush дал более точные данные, чем SimilarWeb, для 57% проанализированных веб-сайтов:

Сравнивая сегмент от 100 000 до 500 000 сеансов на графиках «Стандартное отклонение» и «Доля наблюдений», мы обнаруживаем интересное открытие: данные SEMrush имеют более высокое стандартное отклонение, что говорит нам о том, что приближения сеансов, как правило, менее точны. При этом SEMrush все же точнее в 53% случаев. Короче говоря, SEMrush совершает меньше ошибок, но ошибки, которые он совершает, имеют тенденцию быть массовыми.

Точность данных зависит от множества факторов:

• Как настроен Google Analytics, на каких страницах есть теги GA и что именно эти теги измеряют.
• Насколько активен сайт в Google. Для веб-сайта перенаправления, например из рекламной сети или промо-сайта с большим платным рекламным трафиком, SEMrush покажет меньшие цифры.
• Насколько велика доля органического трафика для сайта. SEMrush, вероятно, более точен для сайтов с большей долей органического трафика.
• Регион и сфера бизнеса. Предположим, у SEMrush больше проектов из США. В этом случае у него будет больше данных из США и расчеты для сайтов США будут более точными.

Следующие два графика демонстрируют стандартное отклонение и долю более точных данных по обоим сервисам в разбивке по сферам бизнеса.

Как видите, отклонение как SEMrush, так и SimilarWeb зависит от сферы бизнеса:

Процент сайтов, для которых SimilarWeb и SEMrush оказались ближе к бенчмарку Google Analytics, также зависит от сферы бизнеса:

Например, в сфере « Компьютеры » SimilarWeb оказался более точным для 58% веб-сайтов, а SEMrush — для 42% веб-сайтов (первая колонка на графике выше).

На этом точечном графике показаны положительные и отрицательные значения отклонения для SEMrush (синие точки) и SimilarWeb (зеленые точки):

Даже визуально можно сделать вывод, что в нижней части графика больше зеленых точек, а это значит, что SimilarWeb с большей вероятностью покажет значения ниже, чем реальные данные трафика из Google Analytics.

Мы нашли это:

• Точность SimilarWeb и SEMrush одинакова.
• SEMrush показал лучшие результаты для сайтов среднего размера. Ошибки были редки, и если их избегать, данные были более точными.
• В сегменте более 1 000 000 сеансов SEMrush оказался более точным, чем SimilarWeb.
• SimilarWeb чаще недооценивает объемы трафика.

Важно помнить, что ни SimilarWeb, ни SEMrush не гарантируют вам 100% точность. Для анализа данных вашего собственного веб-сайта у вас есть Google Analytics. Но SimilarWeb и SEMrush вполне достаточно для самостоятельного сравнения сайтов и распознавания трендов. Однако при использовании любого инструмента аналитики вы должны понимать происхождение собранных данных и отклонения измерений.