정확도 비교: SEMrush와 SimilarWeb

가장 일반적인 마케팅 분석 방법 중 하나는 시장 벤치마킹입니다. 마케팅 팀이 계획을 이행하는 데 5% 포인트 부족하다고 가정해 보겠습니다. 해당 기간 동안 시장이 15% 감소했다면 마케팅 팀은 여전히 ​​긍정적인 결과를 보였을 수 있습니다. 그러나 시장이 같은 규모로 성장하면 마케팅이 잘 되지 않습니다.

경쟁사 벤치마킹을 위한 많은 도구가 있습니다. 그러나 각각은 트래픽 데이터를 수집하고 처리하는 방식이 다릅니다. 그리고 100% 정확도를 기대할 수는 없습니다. 그렇다면 어떤 도구가 충분히 정확하여 결과를 사용하여 의미 있는 분석을 수행할 수 있습니까?

우리는 인기 있는 두 트래픽 분석기인 SEMrush Traffic Analytics와 SimilarWeb이 얼마나 정확한지 알아보기 위해 몇 가지 연구를 수행했습니다. 비교 기준으로 OWOX BI에서 관찰한 787개의 익명 웹사이트에 대한 Google Analytics 계정의 데이터를 사용했습니다.

결과를 공유하기 전에 트래픽 분석 서비스가 어떻게 작동하는지 살펴보겠습니다.

SimilarWeb은 다음 데이터 소스를 사용합니다.

• 웹사이트 소유자의 직접적인 데이터
• 수백만 명의 사용자가 있는 파트너 및 인터넷 제공업체의 데이터
• 공개 데이터 소스: 공개 데이터를 지속적으로 스캔하는 특허 기술 및 인덱싱 메커니즘
• 방문한 웹사이트의 브라우저 확장 프로그램에서 익명화된 패널 데이터

SEMrush 트래픽 분석 보고서는 또한 제3자 소스에서 수집되고 인공 지능 알고리즘의 도움으로 처리된 익명 데이터를 기반으로 합니다. 이 데이터는 수백만 명의 인터넷 사용자에 대한 익명화된 행동 데이터를 기반으로 수집되고 근사화됩니다.

지난 10년 동안 SEMrush는 경쟁업체의 검색 위치에 대한 데이터뿐만 아니라 경쟁업체가 유료 검색, PR, 콘텐츠 마케팅 및 소셜 미디어에서 수행하는 작업을 웹사이트 트래픽에 대한 자세한 데이터와 함께 공개하는 몇 가지 도구를 출시했습니다. SEMrush는 각 마케팅 영역(SEO, PPC, 콘텐츠, SMM)에 가장 관련성이 높은 데이터 소스를 사용합니다.

SEMrush와 SimilarWeb은 모두 경쟁사, 리드 및 파트너가 생성한 트래픽을 평가하는 데 사용할 수 있습니다. 우리는 OWOX BI 사용자의 익명화된 Google Analytics 데이터에 액세스할 수 있으므로 많은 익명화된 웹사이트 방문자에 대한 상당히 정확한 데이터가 있다고 가정했습니다. 그런 다음 동일한 익명 웹사이트에 대해 SEMrush 및 SimilarWeb에서 제공한 데이터를 Google Analytics 데이터와 비교했습니다. 우리의 임무는 특정 비즈니스 영역에서 부정확성을 설명하고 각 서비스에 대해 얼마나 큰지 확인하는 것이었습니다.

데이터 샘플

우리의 샘플은 2020년 1월 각 787개 웹사이트의 모든 세션에 대해 Google Analytics, SEMrush 및 SimilarWeb에서 수집한 데이터로 구성되었습니다. 이 웹사이트는 호주, 캐나다, 미국, 영국 및 독일에 기반을 두고 있으며 비즈니스 영역별로 그룹화되어 있습니다.

1. 컴퓨터, 전자 및 기술
2. 오락
3. 재원
4. 건강과 아름다움
5. 직업 및 교육
6. 뉴스 및 미디어
7. 전문적인 서비스
8. 소매
9. 통신
10. 여행하다

비교 접근법

SimilarWeb 및 SEMrush에 의한 경쟁자 트래픽 계산의 정확성을 확인하기 위해 다음 데이터를 하나의 테이블로 병합했습니다.

• OWOX BI에 따르면 월 방문자가 100,000명 이상인 787개 웹사이트의 익명화된 Google Analytics 데이터
• SEMrush 및 SimilarWeb에 따른 동일한 웹사이트의 트래픽 데이터

속성 필터로 인해 트래픽이 적은 웹사이트는 제외했습니다.

그런 다음 SEMrush와 SimilarWeb에서 제공하는 데이터 간의 편차를 Google Analytics와 비교하여 절대값을 계산했습니다.

편차가 양수 또는 음수일 수 있고 정확도에만 관심이 있었기 때문에 절대값을 사용했습니다. 이것은 또한 양수 및 음수 값이 0이 될 수 있는 계산의 잠재적인 실수로부터 우리를 구해주었습니다.

그런 다음 월별 세션 수에 따라 웹사이트를 분류했습니다.

• 100,000 – 500,000
• 500,001 – 1,000,000
• 1,000,000개 이상

표준 편차가 높을수록 Google 애널리틱스 벤치마크와 비교하여 측정된 특정 서비스의 데이터 부정확도가 커집니다. SimilarWeb의 편차는 57%에서 61% 사이였으며 웹사이트 트래픽 양과 상관관계가 없었습니다. SEMrush 데이터는 분명한 경향을 보여주었습니다. 트래픽이 많은 웹사이트(세션 1,000,000개 이상)는 Google 애널리틱스 데이터에서 정확도가 더 높았고 편차(45%)가 작았습니다.

세션 수가 500,000회 이상인 웹사이트의 경우 SEMrush에서 수치가 9~12% 포인트 더 정확했습니다. 트래픽이 거의 없는 프로젝트의 경우 유사웹이 약간 더 잘 작동했지만 두 서비스 모두 이 웹사이트 그룹에서 큰 부정확성을 보여주었습니다.

정확도의 이러한 차이는 유사웹 및 SEMrush의 수집 및 처리 알고리즘과 클릭스트림 데이터의 특수 측면에 의해 발생합니다. 트래픽 분석 서비스는 인공 지능 및 기계 학습 알고리즘을 사용하여 웹 사이트 트래픽 샘플에 대한 데이터인 클릭스트림 데이터를 기반으로 모든 웹 사이트 방문자에 대한 데이터를 근사화합니다. 따라서 웹사이트가 작을수록 클릭스트림 데이터를 기반으로 한 근사치는 덜 정확합니다.

귀하의 웹사이트와 경쟁업체 사이트의 트래픽이 적고 데이터 정확도가 매우 낮은 경우 어떻게 해야 합니까? 이 경우 시장에서 더 큰 경쟁업체와 벤치마킹해야 합니다. 일부 큰 시장 플레이어를 비교하면 성능뿐만 아니라 일반적인 시장 동향도 볼 수 있습니다. 그리고 SimilarWeb이나 SEMrush가 공개한 성과와 추세를 자신의 성과와 비교함으로써 마케팅의 효율성을 확인할 수 있습니다.

아래 그래프는 관찰 비율, 즉 SimilarWeb과 SEMrush가 각각 Google Analytics 벤치마크에 더 가까운 각 세그먼트 내 웹사이트의 비율을 나타냅니다. 예를 들어, 1,000,000개 이상의 세션 세그먼트에서 SEMrush는 분석된 웹사이트의 57%에 대해 SimilarWeb보다 더 정확한 데이터를 제공했습니다.

표준 편차 및 관찰 비율 그래프에서 100,000~500,000 세션 세그먼트를 비교하여 흥미로운 통찰력을 발견했습니다. SEMrush 데이터의 표준 편차가 더 높기 때문에 세션 근사치가 일반적으로 덜 정확하다는 것을 알 수 있습니다. 동시에 SEMrush는 53%의 경우에서 여전히 더 정확합니다. 간단히 말해서 SEMrush는 실수를 더 적게 하지만 실수를 많이 하는 경향이 있습니다.

데이터의 정확성은 다양한 요인에 따라 달라집니다.

• Google Analytics 설정 방법, GA 태그가 있는 페이지, 해당 태그가 정확히 무엇을 측정하는지.
• 웹사이트가 Google에서 얼마나 활성화되어 있는지. 광고 네트워크 또는 대규모 유료 광고 트래픽이 있는 프로모션 웹사이트와 같은 리디렉션 웹사이트의 경우 SEMrush는 더 낮은 수치를 표시합니다.
• 웹사이트에서 유기적 트래픽이 차지하는 비율입니다. SEMrush는 유기적 트래픽이 더 많은 사이트에 더 정확할 수 있습니다.
• 지역 및 비즈니스 영역. SEMrush가 미국에서 더 많은 프로젝트를 가지고 있다고 가정해 봅시다. 이 경우 미국에서 더 많은 데이터를 갖게 되며 미국 사이트에 대한 계산이 더 정확해집니다.

다음 두 그래프는 비즈니스 영역별로 분류된 두 서비스의 보다 정확한 데이터의 표준 편차와 점유율을 보여줍니다.

보시다시피 SEMrush와 SimilarWeb의 편차는 비즈니스 영역에 따라 다릅니다.

SimilarWeb 및 SEMrush가 Google Analytics 벤치마크에 더 가까운 웹사이트의 비율도 비즈니스 영역에 따라 다릅니다.

예를 들어 컴퓨터 영역에서 SimilarWeb은 웹사이트의 58%에 대해 더 정확했고 SEMrush는 웹사이트의 42%에 대해 더 정확했습니다(위 그래프의 첫 번째 열).

이 점 그래프는 SEMrush(파란색 ​​점) 및 SimilarWeb(녹색 점)에 대한 양수 및 음수 편차 값을 보여줍니다.

시각적으로도 그래프의 아래쪽 부분에 녹색 점이 더 많다는 결론을 내릴 수 있습니다. 즉, SimilarWeb이 Google Analytics의 실제 트래픽 데이터보다 더 낮은 값을 표시할 가능성이 더 높다는 것을 의미합니다.

우리는 다음을 발견했습니다.

• SimilarWeb과 SEMrush의 정확도는 비슷합니다.
• SEMrush는 중간 규모의 웹사이트에서 더 나은 결과를 보였습니다. 실수는 드물었고 실수를 피했다면 데이터가 더 정확했습니다.
• 1,000,000개 이상의 세션 세그먼트에서 SEMrush는similarWeb보다 더 정확했습니다.
• SimilarWeb은 트래픽 양을 과소평가할 가능성이 더 큽니다.

기억해야 할 중요한 점은 SimilarWeb이나 SEMrush가 100% 정확도를 보장하지 않는다는 것입니다. 자신의 웹사이트 데이터를 분석하려면 Google Analytics가 있어야 합니다. 하지만 웹사이트를 독립적으로 비교하고 트렌드를 파악하는 데에는 SimilarWeb과 SEMrush만으로도 충분합니다. 그러나 분석 도구를 사용할 때는 수집된 데이터의 출처와 측정 편차를 이해해야 합니다.