고급 분석을 위해 샘플링을 피하고 완전한 데이터를 수집하는 방법

Google Analytics 표준 보고서에서 샘플링 및 제한을 피하는 방법이 궁금하신가요? 마케팅 보고를 위한 완전한 데이터를 얻으려면 어떻게 해야 합니까? 다음과 같은 몇 가지 솔루션이 있습니다.

• 유료 Google Analytics 360으로 전환하고 원시 데이터를 Google BigQuery(GBQ)로 내보내기를 설정합니다.
• Google 애널리틱스 앱+WEB을 사용하세요. 이 제품은 아직 베타 버전이며 사용자 행동 데이터를 Google BigQuery에 무료로 다운로드할 수 있습니다.
• 웹사이트에서 Google BigQuery로 데이터를 수집하는 다른 서비스를 사용합니다.

이러한 각 솔루션에는 고유한 특성과 제한 사항이 있습니다. 이 기사에서는 이러한 기능에 대해 자세히 설명하고 OWOX BI를 사용하는 방법을 설명합니다.

Google Analytics 360의 주요 제한 사항은 높은 비용입니다. 가장 최근의 사용자 작업은 15분 이상 후에 BigQuery 테이블에 나타납니다. 이러한 데이터 새로 고침 빈도를 설정하려면 추가 비용을 지불해야 합니다. 기본적으로 세션 테이블은 하루에 세 번 업데이트됩니다.

경우에 따라 Google BigQuery에서 요청을 처리하기 위해 추가 비용을 지불해야 합니다. GA 360의 내보내기 테이블에는 80%의 경우에 비어 있을 수 있는 많은 중첩 수준과 필드가 있습니다. 테이블에 중첩 수준이 많을수록 쿼리 비용이 더 많이 듭니다. 매일 또는 매주 업데이트할 보고서가 많은 경우 데이터 처리로 인해 대부분의 GBQ 비용이 발생합니다.

App+Web은 표준 Google Analytics와 다른 구조로 데이터를 수집합니다. GA의 경우 모든 것이 세션, App+Web의 경우 사용자 및 이벤트를 기반으로 합니다. GA에 익숙해진 많은 분석가와 마케터에게는 문제가 될 수 있습니다. 새로운 데이터 구조를 탐색하고 웹사이트의 메트릭 시스템을 다시 만들고 기존 보고서를 다시 작성해야 합니다. 자체 구조로 웹사이트에서 GBQ로 데이터를 수집하는 다른 서비스에도 이 문제가 있을 수 있습니다.

GA 360 및 App+Web에서 Google BigQuery로 내보내기는 Google 애널리틱스로 수집된 데이터를 나타내므로 소급 레코드 업데이트를 제공하지 않습니다. 예를 들어, 구매 반품은 일반적으로 지불 세션과 연결되지 않는 별도의 세션으로 기록됩니다. 따라서 이 주문의 올바른 수익은 수동으로 다시 계산해야 합니다.

언급된 솔루션 중 어느 것도 세션 수준의 광고 캠페인 비용을 Google BigQuery로 전송할 수 없습니다. 이는 특정 사용자 세그먼트를 유치하는 데 얼마나 많은 비용을 지출했는지 알 수 없음을 의미합니다. 다양한 동질 집단, 제품 그룹 및 방문 페이지에 대한 ROI 및 DRR을 계산할 수 없습니다.

이러한 한계를 알고 OWOX는 모든 종류의 비즈니스에 대한 원시 데이터 처리 경험을 개선하기로 결정했습니다. 수백 건의 제품 인터뷰를 진행했으며 다음과 같은 요청을 받았습니다.

1. 웹사이트 데이터는 집계되지 않은 형식으로 Google BigQuery에 완전히 수집되어야 합니다.
2. 사용자 행동 데이터는 거의 실시간 모드로 Google BigQuery에 전달되어야 합니다.
3. Google BigQuery의 세션 테이블에는 광고 비용 데이터가 포함되어야 합니다.
4. 테이블 구조는 데이터 쿼리를 최적으로 사용하기 위해 압축되고 가능한 한 가득 차 있어야 합니다.
5. 데이터는 과거 기간의 주요 매개변수에 의해 동기화되어야 합니다.
6. 상당한 불일치가 나타날 경우 GBQ 데이터를 GA 데이터와 비교할 가능성이 있어야 합니다.

우리는 이러한 모든 요청을 고려하고 Google BigQuery로 스트리밍되는 자체 웹사이트 데이터를 개발했습니다.

OWOX BI가 Google Analytics 및 표준 BigQuery 내보내기의 제한을 우회하는 방법과 비즈니스에서 이점을 얻을 수 있는 방법을 자세히 살펴보겠습니다.

샘플링의 개념은 사용 가능한 데이터의 전체 볼륨이 아니라 데이터 샘플에 대한 보고서를 작성하는 것입니다. 샘플이 너무 작으면 이러한 샘플을 기반으로 작성된 보고서를 신뢰할 수 없습니다. OWOX BI를 사용하면 샘플링되지 않은 완전한 데이터를 수집하여 보다 정확한 보고서를 만들고 데이터에 기반한 결정을 내릴 수 있습니다.

웹사이트에서의 각 사용자 작업(페이지 보기, 버튼 클릭, 배너 보기 또는 주문하기)은 별도의 메시지(히트)를 통해 GA로 전송됩니다. 데이터 수집 시 조회 수에는 제한이 없음을 고려해야 합니다.

GA 인터페이스는 데이터 처리 및 보고에 적중 제한을 적용합니다. 따라서 데이터 샘플링 또는 집계된 테이블(보고서의 다른 행)을 얻습니다. 게다가 세그먼트를 사용하거나 수동 보고서를 작성하려는 경우 대부분 샘플링된 형식으로 표시됩니다.

이 서비스는 웹사이트에서 출발할 때 히트 콘텐츠를 복사한 다음 Google BigQuery에서 프로젝트로 보냅니다. 따라서 무제한으로 수집 및 처리된 조회수와 함께 샘플링되지 않은 원시 데이터를 얻을 수 있습니다.

더 가치 있는 데이터를 수집하기 위해 별도의 Google Analytics 속성으로 각 브랜드/제조업체에 대한 프로모션 페이지 트래픽, 광고 파트너 데이터 또는 방문 페이지 통계를 수집해야 한다고 가정해 보겠습니다. 어쨌든 GA 제한 사항을 충족하려면 자신에게 중요한 트래픽을 꺼야 합니다. OWOX BI를 통해 Google BigQuery의 단일 테이블에서 이 데이터를 수집할 수 있을 때. 웹사이트 및 광고 캠페인 효과에 대한 포괄적인 비전과 전략적 솔루션의 기반을 제공합니다.

OWOX BI를 사용하면 사용자 행동 데이터가 1-5분 이내에 프로젝트에 나타나기 때문에 트리거된 이메일을 빠르게 보내거나 Google BigQuery에서 수집된 웹사이트 데이터의 이상을 감지할 수 있습니다.

매일 수집된 모든 데이터는 48시간 후에만 GA에 반영됩니다(GA 360에서는 - 4시간 후). 실시간 보고서는 제한된 수의 매개변수와 측정항목을 표시하며 사용자 작업을 개인화할 수 없습니다.

GA 360에서 GBQ로의 표준 내보내기는 두 가지 모드에서 작동할 수 있습니다.

• 대략 8시간에 한 번씩 데이터를 무료로 업로드하십시오(GA 360 라이선스 및 GBQ의 데이터 저장 비용 지불).
• 15분마다 데이터를 업로드합니다(처리된 테라바이트마다 추가 비용을 지불해야 함).

App+WEB은 두 개의 테이블을 생성합니다.

• 과도기 — 현재 날짜의 이벤트 레코드를 포함합니다. 테이블은 15분마다 업데이트되며 하루 종일 테이블이 생성된 후 삭제됩니다.
• 하루 종일 데이터가 포함된 테이블 — 하루에 한 번 생성됩니다.

OWOX BI는 웹사이트에서 GBQ 프로젝트로 데이터를 즉시 전송합니다. 이벤트 발생 후 1-5분 이내에 집계되지 않은 완전한 사용자 행동 데이터를 받습니다.

웹사이트에서 실시간으로 사용자 활동을 모니터링하여 이메일 캠페인 및 개인 제안을 트리거하여 판매를 촉진할 수 있습니다. 예를 들어 사용자가 장바구니에 항목을 추가했지만 아무것도 구매하지 않았거나 웹사이트에서 보증금에 서명하지 않은 경우입니다.

또한 웹사이트의 문제를 적시에 감지하고 수정하는 데 도움이 될 수 있습니다. 웹사이트 코드 오류 및 트래픽 또는 전환 감소에 대한 트리거로부터 알림을 받을 수 있습니다.

OWOX BI를 사용하면 사용자가 15개 이상의 항목으로 구성된 주문을 하거나 많은 항목 목록을 탐색하더라도 웹사이트에서 사용자 활동에 대한 광범위한 그림을 얻을 수 있습니다.

GA에는 전송된 적중 크기에 대한 제한이 있습니다(8KB). 예를 들어 트랜잭션 메시지가 이 한도를 초과하면 GA에 포함되지 않습니다.

OWOX BI에서 Google BigQuery로 전송되는 최대 적중 크기는 16KB로 증가합니다.

향상된 전자상거래로 카탈로그 페이지를 탐색하는 사용자를 추적할 때 조회수는 제품 목록에 대한 정보를 포함하는 8KB를 초과할 수 있습니다. 다음과 같은 경우에 발생합니다.

• 한 번의 히트로 10개 이상의 항목이 전송됩니다.
• 각 항목에는 추가 매개변수가 있습니다.

이 경우 팩 히트는 GA에 포함되지 않습니다. 그러나 GBQ의 원시 데이터에서 찾을 수 있으며 OWOX BI 덕분에 조회된 제품 목록에 대한 보다 정확한 보고서를 작성할 수 있습니다.

은행 상품 요청과 함께 고객 및 상품 자체에 대한 추가 정보를 수집하려고 한다고 가정해 보겠습니다. OWOX BI를 사용하면 보다 정확한 전환 통계를 얻을 수 있습니다.

OWOX BI는 각 세션의 가치를 계산합니다. 신규 및 복귀 사용자에 대한 ROAS를 계산할 수 있습니다. 또한 다음 작업을 수행할 수 있습니다.

• 배너를 본 고객과 그렇지 않은 고객으로 구성된 동질 집단의 수익성을 비교합니다.
• 각 제품 그룹에서 지출하고 벌어들이는 금액을 알아보십시오.
• 다양한 지역, 방문 페이지, 모바일 버전 및 애플리케이션에 대한 광고의 효과를 평가합니다.

다양한 광고 서비스의 광고 비용을 GA로 수동으로 로드할 수 있습니다. 그러나 GA의 비용 데이터가 집계되고 광고 캠페인에 연결되기 때문에 특정 고객 또는 사용자 세그먼트를 유치하는 데 얼마나 많은 비용을 지출했는지 알 수 없습니다.

또한 App+WEB에서는 세션/사용자 수준의 광고 캠페인 비용을 Google BigQuery로 이전할 수 없습니다.

OWOX BI는 광고 비용을 Google Analytics 및 Google BigQuery에 자동으로 업로드하여 UTM 태그에 따라 세션 간에 분배합니다. 이것이 5가지 주요 UTM 태그(소스, 매체, 캠페인, 키워드, 콘텐츠)에 걸쳐 각 세션의 비용을 알고 원시 데이터에 대한 CPC, CPA, CPO 및 CRR에 대한 보고서를 작성할 수 있는 이유입니다. 보고서 정확도를 높이고 마케팅 예산을 보다 효율적으로 할당하는 데 도움이 됩니다.

OWOX BI를 사용하면 각 세션에 지출한 금액을 확인하고 특정 사용자, 집단 또는 랜딩 페이지별로 비용 및 수익을 그룹화할 수 있습니다.

예를 들어, 사용자를 끌어들이는 제품이 사용자가 구매하는 동일한 제품이 반드시 필요한 것은 아니기 때문에 더 많은 수익을 내기 위해 어떤 제품 그룹을 홍보해야 하는지 이해하려고 합니다. 홍보할 가장 효과적인 제품 범주를 찾으려면 디지털 광고 비용을 범주로 그룹화해야 합니다. 이것은 GA에서 GBQ로 비용 데이터를 변환하고 UTM 태그를 사용하여 모든 세션에 비용을 분배하여 OWOX BI로 수행할 수 있습니다. 이 경우 비용과 수입은 모두 세션의 속성이 됩니다.

OWOX BI를 사용하면 주문 상환, 구매 반품을 평가하거나 새 구독자가 지난 3개월 동안 사이트에서 무엇을 했는지 알아보기 위해 추가 작업이 필요하지 않습니다. Google 서비스를 사용하면 Google BigQuery에 업로드된 데이터를 소급하여 업데이트할 수 있습니다.

표준 GA에서는 주문 후 결제까지 4시간 미만이 경과된 경우에만 주문 상태를 소급하여 업데이트할 수 있습니다. 그렇지 않으면 지불이 GA에 새 세션으로 기록됩니다. 예를 들어, 3월 18일에 이루어진 거래에 대해 4월 3일의 수익률을 추가하면 3월 18일에 대한 보고서에는 여전히 전체 거래 총액이 표시됩니다. 따라서 이러한 실수로 인해 채널 전반에 걸친 가치 분포가 정확하지 않을 것입니다.

측정 프로토콜 은 현재 앱+웹에서 사용할 수 없습니다. 주문 상태의 소급 업데이트 또는 사용자 정보 다운로드를 방지합니다.

OWOX BI가 Google BigQuery의 데이터로 채우는 테이블에서 다음 정보를 소급하여 업데이트할 수 있습니다.

• 거래 세부 정보 — 반품, 부분 반품을 입력하거나 30일 동안 합계를 변경할 수 있습니다.
• 사용자 정보 — 사용자가 웹사이트에 로그인하거나 로그인한 경우, 사용자 ID는 인증 날짜 전 지난 30일 동안 나타난 세션에 대해 되감기되고 지정됩니다.
• Google Analytics로 가져온 모든 광고 서비스의 비용을 포함하여 90일 동안의 비용 데이터(adCost,tributedAdCost 필드).

사용자 ID가 있는 사용자가 오늘 크레딧을 신청한 경우 이 사용자 ID는 동일한 장치의 모든 이전 세션에 나타납니다. 이 세션을 사용하여 주문에 대한 사용자의 경로를 추정하고, 광고 캠페인의 수익을 보다 정확하게 파악하고, 다른 사용자의 전환을 예측할 수 있습니다.

OWOX BI를 사용하면 수익을 더 쉽게 고려하고 광고 캠페인의 효과를 측정할 수 있습니다. 스트리밍 테이블은 항상 현재 주문 합계를 보여줍니다. 다른 날에 반환된 경우 다른 날의 테이블에서 검색할 필요가 없습니다.

ROPO(Research Online Purchase Offline) 보고서를 작성하려는 경우 사용자 ID가 클라이언트의 최대 기록 세션 수로 지정되면 계산이 더 쉽습니다.

위에서 언급했듯이 Google Analytics 360에서 Google BigQuery로의 표준 내보내기 테이블에는 중첩 및 빈 필드가 너무 많아 이 데이터의 처리 비용이 증가합니다.

OWOX BI는 GBQ에서 데이터 저장 및 처리 비용을 최적화하는 데 도움이 됩니다. 스트리밍 테이블에는 빈 필드가 적고 중첩 수준이 적으므로 테이블 자체와 쿼리의 "무게"가 줄어듭니다.

OWOX BI는 데이터 수집에 대한 GA 제한을 피하는 데 도움이 됩니다. 배너 보기부터 주문에서 추가 서비스 선택에 이르기까지 모든 사용자 활동을 추적하려는 경우 모든 추가 조회를 Google BigQuery로 직접 보낼 수 있습니다.

귀하의 웹사이트와 사용자 상호작용에 대한 모든 정보는 별도의 조회(GA 서버에 대한 메시지)를 통해 Google Analytics로 전송됩니다.

히트 생성 순간에 OWOX BI는 GA 리소스에서 데이터를 보내기 위한 주소를 Google BigQuery의 프로젝트 주소로 바꿉니다. 모든 GA 주소 지정 히트를 GBQ 테이블에 복제하거나 GA의 모든 데이터를 (전체 또는 부분적으로) 차단하고 GBQ 테이블에만 히트를 보낼 수 있습니다.

이 솔루션에는 다음과 같은 장점이 있습니다.

1. 이미 작성된 수천 개의 SQL 쿼리가 포함된 Google Analytics 360의 잘 알려진 구조로 웹사이트에서 샘플링되지 않은 데이터를 얻습니다. 시간을 절약하고 정기적인 분석가 컨설팅에 소요되는 시간을 줄입니다.
2. 웹사이트의 로드 속도를 낮추지 않고 데이터 수집을 설정할 수 있습니다. OWOX BI가 별도의 JS 카운터로 GTM을 오버로드하는 대신 GA 조회수를 복제하기 때문에 가능합니다.
3. 우리는 계약에서 SLA를 보장하고 데이터 품질을 모니터링하고 Google 애널리틱스 및 Google Cloud 프로젝트가 실패할 경우 정보를 자동으로 저장하는 데 필요한 기능을 가지고 있습니다. 추가 노력 없이 보고서의 데이터 품질을 확신할 수 있습니다.

OWOX BI를 사용하면 Google Analytics JS 카운터 없이도 사용자 행동 데이터를 수집할 수 있습니다. 추적 코드를 사용하여 웹사이트의 조회수 데이터를 Google BigQuery로 수집할 수 있습니다.

웹사이트에서 민감한 데이터(고객 유형, 세부정보, 주문 매개변수)를 수집하려는 경우 Tier 4 보안 표준이 정보 보호를 규제하는 Google BigQuery로 직접 보내야 합니다. 민감한 정보는 해시 또는 암호화된 형태로 전송될 수 있습니다.

귀하의 사이트에 1,000개 이상의 배너가 있다고 가정해 보겠습니다. 각각에 대한 조회수 및 클릭수를 추적하고 현재 또는 다음 세션에서 구매에 미치는 영향을 측정할 계획입니다. 각 배너의 실제 조회수를 추적하면 GA로 전송되는 데이터 양이 한도를 20-25% 초과합니다.

OWOX BI를 사용하면 모든 배너 통계를 Google BigQuery로 직접 보낼 수 있고(GA 우회) 내부 프로모션 캠페인의 효과에 대한 통찰력을 얻을 수 있습니다. 따라서 표준 GA의 데이터 샘플링 및 집계로 인해 정보가 손실되지 않으며 GA 360의 한계를 뛰어 넘습니다.

OWOX BI를 사용하면 웹사이트에서 Google BigQuery로 사용자 매개변수와 차원을 무제한으로 전송할 수 있습니다. 이를 통해 기능별로 사용자를 분류하고 심층 분석을 위해 보다 자세한 보고서를 작성할 수 있습니다.

Google Analytics는 또한 웹사이트에서 수집되는 맞춤 측정항목의 수에 대한 제한이 있습니다. 표준 버전의 경우 20개, GA 360의 경우 200개입니다. App+Web에도 매우 엄격한 제한이 있습니다: 이벤트 500개, 이벤트 매개변수 25개, 사용자 속성 25개.

OWOX 사용자 ID는 잠재고객이 교차하는 웹사이트 네트워크가 있는 경우 프로모션 및 리마케팅 ​​비용을 최적화하는 데 도움이 됩니다. 배너 및 미디어 광고의 조회 후 효과를 평가할 수도 있습니다.

타사 쿠키의 도움으로 OWOX BI는 다른 웹사이트에 동일한 식별자를 배치합니다(다른 도메인의 다른 웹사이트 또는 독립 광고 플랫폼의 미디어 광고일 수 있음). 그런 다음 이 ID는 여러 웹사이트의 세션을 통합하고 교차하는 잠재고객을 분석할 수 있습니다.

회사 그룹이 여러 브랜드와 웹사이트로 구성된 경우 OWOX BI는 잠재고객의 교차점을 측정하고 리마케팅 ​​및 홍보 캠페인을 위해 예산을 최적화하는 방법을 보여줄 수 있습니다.

경험상 OWOX BI에서 사용자의 지리적(지역) 위치를 결정하는 정확도는 유사한 GA 보고서보다 평균 20% 더 높습니다.

GA는 Google API를 사용하여 지리적 위치를 정의합니다. 이 방법은 일부 브라우저 또는 사용자 작업(특히 GDPR 덕분에)에서 지원되지 않거나 차단될 수 있기 때문에 항상 신뢰할 수 있는 것은 아닙니다.

OWOX BI는 다른 Google 서비스인 Cloud Load Balancing을 사용하여 지리적 위치를 결정합니다. 이 서비스는 네트워크 부하의 균형을 맞추고 특정 IP 주소 내에서 지리적 데이터를 연결하는 데 특화되어 있습니다. 따라서 스트리밍에는 사용자 권한이 필요하지 않습니다. 우리는 차단을 피하고 더 정확한 지리 데이터를 얻습니다.

isTrueDirect는 세션이 직접 웹 사이트 액세스(직접 트래픽)를 참조하는지 아니면 다른 소스에 기인해야 하는지를 지정하는 매개변수입니다.

GA의 isTrueDirect 변수는 다음과 같은 경우 true입니다.

• 그것은 웹사이트에 대한 직접 링크였습니다(사용자가 웹사이트 주소를 입력하거나 책갈피를 사용함).
• 두 번의 연속 방문에 대해 소스, 채널, 캠페인 매개변수가 완전히 일치하는 경우. GA는 두 번째 세션을 직접 트래픽으로 정의하지만 광고에 의해 시작됩니다.

OWOX BI 테이블에서는 직접 웹사이트 액세스의 경우에만 isTrueDirect = true로 정의합니다. 브랜드 인지도를 정확하게 평가하고 특정 세션의 비용을 정확하게 추정할 수 있습니다.

isTrueDirect 매개변수가 있는 보고서는 브랜드 인지도 광고의 효과를 측정하는 데 도움이 됩니다. 사용자 여정 초기에 직접 입력이 증가하면 마케팅을 위한 오프라인 및 아웃리치 캠페인의 기여도를 평가할 수 있습니다.

Google Analytics와 달리 Google BigQuery에서 이메일 및 전화번호를 포함한 PII 고객 데이터를 수집하고 사용할 수 있습니다. 유입경로의 끝에 도달하지 않았지만 웹사이트에 요청을 남기려는 사용자를 잃지 마십시오. GBQ의 전화 또는 이메일을 사용하여 사용자를 분류하고 피드백을 보낼 수 있습니다.

GA는 암호화되지 않은 형태의 개인 데이터 전송을 허용하지 않습니다. 그렇지 않으면 계정이 차단됩니다.

OWOX BI 테이블에서 &tel 및 &email 매개변수(GA에서는 지원되지 않음)를 사용하여 사용하기 쉬운 방식으로 BigQuery에 개인 데이터를 전송합니다.

웹 사이트에서 대출 또는 기타 서비스를 신청하려고 했지만 어떤 이유로 양식을 제출하지 못한 사용자에 대한 데이터를 수집할 수 있습니다. 그런 다음 콜 센터는 이러한 고객에게 연락하여 전화로 절차를 완료하도록 도울 수 있습니다.

온라인 및 오프라인 시스템 내에서 사용자 ID를 수집하지 않으면 전화번호와 이메일을 사용하여 사용자의 온라인 및 오프라인 데이터를 연결할 수 있습니다.

원시 데이터로 작업하는 분석가가 없는 경우 스마트 데이터에서 보고서 작성기를 사용하십시오. SQL 지식 없이도 준비된 템플릿을 선택하거나 사용자 지정 대시보드를 만들 수 있습니다. Smart Data를 사용하면 스트리밍과 CRM 데이터를 병합하여 분석 및 의사 결정을 위한 신뢰할 수 있는 기반을 얻을 수 있습니다.

Google Analytics에서 찾을 수 없는 새 보고서를 정기적으로 추가합니다.

• CPA 파트너 모니터링.
• ROPO 분석.
• 사용자 전환 경로.
• CRM에서 주문 상환.
• 통화 추적 효율성.

OWOX BI 스마트 데이터의 모든 기능을 무료로 사용해 볼 수 있습니다.

비즈니스 요구 사항 및 회계 시스템에 따른 특별 보고서가 필요한 경우 OWOX BI 분석가 팀이 도움을 드릴 수 있습니다. 회의를 요청하고 세부 사항을 알아보려면 데모에 등록하십시오.