高度な分析のためにサンプリングを回避して完全なデータを収集する方法

Google Analyticsの標準レポートでサンプリングと制限を回避する方法を考えたことはありますか？ マーケティングレポートの完全なデータを取得するにはどうすればよいですか？ 次のようないくつかの解決策があります。

• 有料のGoogleAnalytics360に切り替えて、生データのGoogle BigQuery（GBQ）へのエクスポートを設定します。
• Google Analytics App+WEBを使用します。 この製品はまだベータ版であり、ユーザーの行動データをGoogleBigQueryに無料でダウンロードできます。
• ウェブサイトからGoogleBigQueryにデータを収集する他のサービスを使用します。

これらの各ソリューションには、それぞれの専門分野と制限があります。 この記事では、これらの機能について詳しく説明し、OWOXBIを回避する方法について説明します。

Google Analytics 360の主な制限は、コストが高いことです。 最新のユーザーアクションは、15分以上でBigQueryテーブルに表示されます。 このようなデータリフレッシュレートを設定するには、追加料金を支払う必要があります。デフォルトでは、セッションテーブルは1日に3回更新されます。

状況によっては、GoogleBigQueryでリクエストを処理するために追加料金を支払う必要があります。 GA 360からのエクスポートテーブルには、80％の場合に空白になる可能性のある多くのネストレベルとフィールドが含まれています。 テーブル内のネストレベルが多いほど、クエリのコストは高くなります。 毎日または毎週更新するレポートが多数ある場合、データ処理によってGBQコストの大部分が発生します。

App + Webは、標準のGoogleAnalyticsとは別の構造でデータを収集します。 GAの場合、すべてがセッションに基づいており、App+Webではユーザーとイベントに基づいています。 GAに慣れた多くのアナリストやマーケターにとっては問題になる可能性があります。新しいデータ構造を調査し、Webサイトのメトリックシステムを作り直し、既存のレポートを再構築する必要があります。 WebサイトからGBQに独自の構造でデータを収集する他のサービスでも、この問題が発生する可能性があります。

GA360およびApp+WebからGoogleBigQueryへのエクスポートはGoogleAnalyticsに収集されたデータの表現であるため、レコードの遡及的な更新は提供されません。 たとえば、購入返品は通常、支払いセッションに関連付けられない別個のセッションとして記録されます。 したがって、この注文からの正しい収益は手動で再計算する必要があります。

上記のソリューションはいずれも、セッションレベルでの広告キャンペーンの費用をGoogleBigQueryに転送することはできません。 これは、特定のユーザーセグメントを引き付けるためにどれだけ費やしたかがわからないことを意味します。 異なるコホート、製品グループ、およびランディングページのROIとDRRを計算することはできません。

これらの制限を認識して、OWOXは、あらゆる種類のビジネスの生データ処理エクスペリエンスを改善することを決定しました。 何百もの製品インタビューを実施し、次のリクエストを受け取りました。

1. ウェブサイトのデータは、集約されていない形式でGoogleBigQueryに完全に収集される必要があります。
2. ユーザーの行動データは、ほぼリアルタイムモードでGoogleBigQueryに配信する必要があります。
3. Google BigQueryのセッションテーブルには、広告費用データが含まれている必要があります。
4. データクエリを最適に使用するには、テーブル構造がコンパクトで可能な限り完全である必要があります。
5. データは、履歴期間の主要なパラメータによって同期される必要があります。
6. 重大な不一致が見られる場合は、GBQデータをGAデータと比較する可能性が必要です。

これらすべてのリクエストを検討し、GoogleBigQueryにストリーミングする独自のウェブサイトデータを開発しました。

OWOXBIがGoogleAnalyticsと標準のBigQueryエクスポートの制限をどのように回避するか、そしてビジネスがそれからどのように利益を得ることができるかを詳しく見てみましょう。

サンプリングの考え方は、利用可能なデータの全量ではなく、データのサンプルに関するレポートを作成することです。 サンプルが小さすぎると、そのようなサンプルに基づいて作成されたレポートを信頼できません。 OWOX BIを使用すると、完全な非サンプリングデータを収集して、より正確なレポートを作成し、データに基づいた意思決定を行うことができます。

Webサイトでの各ユーザーアクション（ページビュー、ボタンのクリック、バナービュー、または注文）は、個別のメッセージ（ヒット）によってGAに送信されます。 データ収集の時点でのヒット数に制限はないことを考慮する必要があります。

GAインターフェースは、データ処理とレポートにヒット制限を適用します。 したがって、データサンプリングまたは集計テーブル（レポート内の他の行）のいずれかを取得します。 また、セグメントを使用したり、手動レポートを作成したりする場合は、ほとんどの場合、サンプル形式で表示されます。

このサービスは、ヒットしたコンテンツがWebサイトから離れたときにコピーし、GoogleBigQueryのプロジェクトに送信します。 したがって、収集および処理されたヒットが無制限の生の非サンプリングデータを取得します。

より価値のあるデータを収集するために、各ブランド/メーカーのプロモーションページのトラフィック、広告パートナーのデータ、またはランディングページの統計を個別のGoogleAnalyticsプロパティに収集する必要があるとします。 とにかく、GAの制限を満たすには、自分にとって価値のあるトラフィックをオフにする必要があります。 OWOX BIを使用して、このデータをGoogleBigQueryの単一のテーブルに収集できる場合。 それはあなたに戦略的解決策とウェブサイトと広告キャンペーンの有効性の包括的なビジョンの基礎を提供します。

OWOX BIを使用すると、ユーザーの行動データが1〜5分以内にプロジェクトに表示されるため、トリガーされたメールをすばやく送信したり、GoogleBigQueryで収集されたウェブサイトデータの異常を検出したりできます。

毎日収集されるすべてのデータは、48時間後（GA 360では4時間後）にのみGAに反映されます。 リアルタイムレポートには限られた数のパラメーターとメトリックが表示され、ユーザーアクションをパーソナライズすることはできません。

GA 360からGBQへの標準のエクスポートは、次の2つのモードで動作できます。

• データを8時間に1回、ほぼ無料でアップロードします（GA 360ライセンスとGBQのデータストレージの料金を支払います）。
• 15分ごとにデータをアップロードします（処理されるテラバイトごとに追加料金を支払う必要があります）。

App+WEBは2つのテーブルを作成します。

• 移行—当日のイベントレコードが含まれます。 テーブルは15分ごとに更新され、終日のテーブルが生成された後に削除されます。
• 1日分のデータを含むテーブル—1日1回生成されます。

OWOX BIは、WebサイトからGBQプロジェクトにデータをすぐに送信します。 イベントが発生してから1〜5分以内に、完全な非集計ユーザー行動データを受け取ります。

ウェブサイトでのユーザーアクティビティをリアルタイムで監視することで、トリガーメールキャンペーンや個人的なオファーで売り上げを伸ばすことができます。 たとえば、ユーザーがショッピングカートに商品を追加したが、何も購入しなかった場合や、ウェブサイトの保証金に署名しなかった場合です。

また、ウェブサイトの問題を時間内に検出して修正するのにも役立ちます。ウェブサイトのコードエラーのトリガーから通知を受け取ることができ、トラフィックやコンバージョンが減少します。

OWOX BIを使用すると、15以上のアイテムで構成される注文を行ったり、アイテムの大規模なリストを閲覧したりする場合でも、Webサイトでのユーザーアクティビティの全体像を把握できます。

GAには、転送されるヒットのサイズに制限があります—8KB。 たとえば、トランザクションメッセージがこの制限を超えた場合、GAには入りません。

OWOX BIでは、GoogleBigQueryに転送されるヒットの最大サイズが16KBに増加しました。

拡張eコマースを使用してユーザーによるカタログページの閲覧を追跡している場合、ヒットは製品リストに関する情報を含む8KBを超える可能性があります。 次の場合に発生します。

• 1回のヒットで10個を超えるアイテムが送信されます。
• 各アイテムには追加のパラメーターがあります。

この場合、パックされたヒットはGAに入りません。 ただし、OWOX BIのおかげで、GBQの生データでそれを見つけて、表示された製品リストでより正確なレポートを作成できます。

銀行の商品リクエストとともに、顧客と商品自体に関する詳細情報を収集するとします。 OWOX BIを使用すると、より正確なコンバージョン統計が得られます。

OWOX BIは、各セッションの値を計算します。 これにより、新規ユーザーとリピーターのROASを計算できます。 また、次のアクションを実行できます。

• バナーを見た顧客と見なかった顧客から作成されたコホートの収益性を比較します。
• 各製品グループに費やして稼ぐ金額を調べます。
• さまざまな地域、ランディングページ、モバイルバージョン、およびアプリケーションの広告の効果を評価します。

さまざまな広告サービスからGAに広告費用を手動で読み込むことができます。 ただし、GAの費用データは集約されて広告キャンペーンにリンクされているため、特定の顧客またはユーザーセグメントを引き付けるためにどれだけの費用を費やしたかはわかりません。

App + WEBでは、セッション/ユーザーレベルの広告キャンペーン費用をGoogleBigQueryに転送することもできません。

OWOX BIは、広告費用をGoogleAnalyticsとGoogleBigQueryに自動的にアップロードし、UTMタグに従ってセッション全体に配信します。 これが、5つの主要なUTMタグ（ソース、メディア、キャンペーン、キーワード、コンテンツ）にわたる各セッションのコストを把握し、生データのCPC、CPA、CPO、およびCRRに関するレポートを作成できる理由です。 レポートの精度が向上し、マーケティング予算をより効率的に割り当てるのに役立ちます。

OWOX BIを使用すると、各セッションに費やした金額を確認し、特定のユーザー、コホート、またはランディングページごとにコストと収益をグループ化できます。

たとえば、ユーザーを引き付ける商品はユーザーが購入するのと同じ商品である必要はないため、より多くの利益をもたらすためにどの商品グループを宣伝する必要があるかを理解する必要があります。 宣伝する最も効果的な製品カテゴリを見つけるには、デジタル広告の費用をカテゴリにグループ化する必要があります。 これは、コストデータをGAからGBQに変換し、UTMタグを使用してすべてのセッションにコストを分散することにより、OWOXBIで実行できます。 この場合、費用と収入の両方がセッションのプロパティになります。

OWOX BIを使用すると、注文の引き換えや購入の返品を評価したり、過去3か月間に新しいサブスクライバーがサイトで何をしていたかを確認したりするための追加のアクションは必要ありません。 Googleのサービスでは、GoogleBigQueryにアップロードされたデータを遡及的に更新できます。

標準のGAでは、注文から支払いまで4時間以内に経過した場合にのみ、注文ステータスを遡及的に更新できます。 それ以外の場合、支払いは新しいセッションとしてGAに記録されます。 たとえば、3月18日に行われた取引の返品を4月3日に追加した場合、3月18日のレポートには、取引の全額が表示されます。 したがって、この間違いのために、チャネル間での値の分布は正しくありません。

測定プロトコルは現在、App+Webでは利用できません。 これにより、注文ステータスの遡及更新やユーザー情報のダウンロードを防ぐことができます。

OWOXBIがGoogleBigQueryのデータでいっぱいになるテーブルでは、次の情報を遡及的に更新できます。

• 取引の詳細—返品、部分返品、または30日間の合計の変更を入力できます。
• ユーザー情報—ユーザーがWebサイトに署名またはログインしている場合、ユーザーIDは巻き戻され、認証日の前の過去30日間に表示されたセッションに割り当てられます。
• Google Analyticsにインポートされたすべての広告サービスからの費用を含む、90日間の費用データ（adCost、attributedAdCostフィールド）。

ユーザーIDを持つユーザーが今日クレジットを申請した場合、このユーザーIDは同じデバイスからの以前のすべてのセッションに表示されます。 これらのセッションを使用して、注文へのユーザーの経路を推定し、広告キャンペーンからの収益をより正確に評価し、他のユーザーのコンバージョンを予測することができます。

OWOX BIを使用すると、収益を検討し、広告キャンペーンの効果を測定するのが簡単になります。ストリーミングテーブルには、常に現在の注文額が表示されます。 返品が別の日に行われた場合は、他の日のテーブルで検索する必要はありません。

ROPO（Research Online Purchase Offline）レポートを作成する場合は、ユーザーIDがクライアントの履歴セッションの最大数に指定されていると、計算が簡単になります。

前述のように、Google Analytics360からGoogleBigQueryへの標準のエクスポートテーブルには、ネストされたフィールドと空のフィールドが多すぎるため、このデータの処理コストが増加します。

OWOX BIは、GBQでのデータストレージと処理のコストを最適化するのに役立ちます。 ストリーミングテーブルの空白フィールドが少なくなり、ネストレベルが少なくなるため、テーブル自体とそのクエリの「重み」が少なくなります。

OWOX BIは、データ収集に関するGAの制限を回避するのに役立ちます。 バナーの表示から順番に追加のサービスを選択するまで、すべてのユーザーアクティビティを追跡する場合は、追加のヒットをすべてGoogleBigQueryに直接送信できます。

ユーザーのウェブサイトとのやり取りに関するすべての情報は、個別のヒット（GAサーバーへのメッセージ）を介してGoogleアナリティクスに送信されます。

ヒットの作成時に、OWOX BIは、GAリソースからデータを送信するためのアドレスをGoogleBigQueryのプロジェクトのアドレスに置き換えます。 GAでアドレス指定されたすべてのヒットをGBQテーブルに複製するか、GA内のすべてのデータを（完全にまたは部分的に）ブロックして、ヒットをGBQテーブルにのみ送信できます。

このソリューションには、次の利点があります。

1. よく知られているGoogleAnalytics360の構造で、ウェブサイトからサンプリングされていないデータを取得します。このデータには、すでに何千ものSQLクエリが記述されています。 それはあなたの時間を節約し、定期的なアナリストのコンサルティングに費やされる時間を減らします。
2. Webサイトの読み込み速度を下げることなく、データ収集を設定できます。 OWOX BIは、個別のJSカウンターでGTMをオーバーロードするのではなく、GAヒットを複製するために可能です。
3. 契約でSLAを保証し、データ品質を監視し、GoogleアナリティクスとGoogleCloudプロジェクトが失敗した場合に情報を自動的に保存するために必要な機能を備えています。 追加の作業をしなくても、レポートのデータ品質を確認できます。

OWOX BIを使用すると、GoogleAnalyticsJSカウンターなしでユーザーの行動データを収集することもできます。 トラッキングコードを使用して、お客様のウェブサイトからGoogleBigQueryにヒットデータを収集できます。

ウェブサイトから機密データ（顧客の種類、詳細、注文パラメータ）を収集する場合は、Tier4セキュリティ標準が情報保護を規制しているGoogleBigQueryに直接送信する必要があります。 機密情報は、ハッシュまたは暗号化された形式で送信される場合があります。

あなたのサイトに1,000以上のバナーがあるとしましょう。 それぞれのビューとクリックを追跡し、それが現在または次のセッションで購入にどのように影響したかを測定することを計画しています。 各バナーの実際のビューを追跡すると、GAに送信されるデータの量が制限を20〜25％超えます。

OWOX BIを使用すると、すべてのバナー統計をGoogle BigQueryに直接送信して（GAをバイパス）、内部プロモーションキャンペーンの有効性に関する洞察を得ることができます。 したがって、標準GAでのデータのサンプリングと集計、およびGA 360での制限を超えても、情報が失われることはありません。

OWOX BIを使用すると、無制限の数のユーザーパラメータとディメンションをウェブサイトからGoogleBigQueryに転送できます。 これにより、ユーザーを任意の機能でセグメント化し、より詳細なレポートを作成して詳細な分析を行うことができます。

Google Analyticsには、Webサイトから収集されるカスタムメトリックの数にも制限があります。標準バージョンでは20、GA 360では200です。App+Webにも、500イベント、25イベントパラメーター、25ユーザープロパティという非常に厳しい制限があります。

OWOXユーザーIDは、オーディエンスが交差するWebサイトのネットワークがある場合に、プロモーションとリマーケティングのコストを最適化するのに役立ちます。 バナー広告とメディア広告のポストビュー効果を評価することもできます。

サードパーティのCookieを使用して、OWOX BIは同じ識別子を別のWebサイトに配置します（別のドメインの別のWebサイト、または独立した広告プラットフォームのメディア広告にすることができます）。 次に、このIDは複数のWebサイトのセッションをまとめ、交差するオーディエンスを分析できるようになります。

企業グループが複数のブランドとそのWebサイトで構成されている場合、OWOX BIはオーディエンスの共通部分を測定し、リマーケティングおよびアウトリーチキャンペーンの予算を最適化する方法を示します。

私たちの経験では、OWOX BIでのユーザーの地理的（地理的）位置を決定する精度は、同様のGAレポートよりも平均して20％高くなっています。

GAは、GoogleAPIを使用してジオロケーションを定義します。 この方法は、一部のブラウザまたはユーザーの操作によってサポートまたはブロックされない可能性があるため（特にGDPRのおかげで）、常に信頼できるとは限りません。

OWOX BIは、別のGoogleサービスであるクラウド負荷分散を使用してジオロケーションを決定します。 このサービスは、ネットワーク負荷の分散と特定のIPアドレス内の地理データのリンクを専門としています。 したがって、ストリーミングにはユーザー権限は必要ありません。 ブロッキングを回避し、より正確な地理データを取得します。

isTrueDirectは、セッションがWebサイトへの直接アクセス（直接トラフィック）を参照するか、別のソースに起因する必要があるかを指定するパラメーターです。

GAのisTrueDirect変数は、次の場合にtrueになります。

• これは、Webサイトへの直接リンクでした（ユーザーがWebサイトのアドレスを入力するか、ブックマークを使用しました）。
• ソース、チャネル、キャンペーンのパラメータが2回の連続訪問で完全に一致している場合。 GAは、広告によって開始されますが、2番目のセッションを直接トラフィックとして定義します。

OWOX BIテーブルでは、Webサイトに直接アクセスする場合にのみisTrueDirect=trueを定義します。 これにより、ブランド認知度を正確に評価し、特定のセッションのコストを正しく見積もることができます。

isTrueDirectパラメータを使用したレポートは、ブランド認知度広告の効果を測定するのに役立ちます。 ユーザージャーニーの開始時に直接エントリが増えることで、マーケティングに対するオフラインキャンペーンとアウトリーチキャンペーンの貢献度を評価することができます。

Google Analyticsとは異なり、GoogleBigQueryではメールアドレスや電話番号などのPII顧客データを収集して使用できます。 目標到達プロセスの終わりに到達しなかったが、ウェブサイトにリクエストを残そうとしたユーザーを失うことはありません。 GBQの電話または電子メールを使用して、ユーザーをセグメント化し、フィードバックを送信できます。

GAは、暗号化されていない形式での個人データの転送を許可していません。 そうしないと、アカウントがブロックされます。

OWOX BIテーブルでは、＆telパラメーターと＆emailパラメーター（GAではサポートされていません）を使用して、個人データを使いやすい方法でBigQueryに送信します。

ウェブサイトでローンやその他のサービスを申し込もうとしたユーザーに関するデータを収集できますが、何らかの理由でフォームを送信できませんでした。 その後、コールセンターはこれらのクライアントに連絡し、電話で手続きを完了するのを支援できます。

オンラインシステムとオフラインシステムでユーザーIDを収集しない場合は、電話番号と電子メールを使用して、ユーザーのオンラインデータとオフラインデータをリンクできます。

生データを扱うアナリストがいない場合は、スマートデータのレポートビルダーを使用してください。 SQLの知識がなくても、すぐに使用できるテンプレートを選択したり、カスタムダッシュボードを作成したりできます。 スマートデータを使用すると、ストリーミングデータとCRMデータをマージして、分析と意思決定のための信頼できる基盤を得ることができます。

GoogleAnalyticsでは見つからない新しいレポートを定期的に追加しています。

• CPAパートナーの監視。
• ROPO分析。
• ユーザー変換パス。
• CRMでの注文の償還。
• 通話追跡の効率。

OWOX BISmartDataのすべての機能を無料で試すことができます。

ビジネスニーズと会計システムに応じた特別なレポートが必要な場合は、OWOXBIアナリストのチームがお手伝いします。 デモにサインアップして会議をリクエストし、詳細を確認してください。