OWOX BI トランスフォーメーション: デジタル マーケティング データを簡単に正規化、準備、調整します

企業がさまざまなソースから収集するデータが増えるほど、分析システム全体がより複雑になります。 したがって、分析システムを管理し、信頼できる洞察を見つけることがより困難になります。 アナリストは、データの増加点やリスク領域を探す代わりに、レポート用のデータの処理と準備に多くの時間を費やさなければなりません。

ここ OWOX では、20 年以上にわたって分析に携わってきましたが、データを扱う各段階でアナリストが直面する困難を十分に認識しています。 その結果、アナリストがレポートとデータ管理を簡素化し、ビジネス対応のデータをより迅速かつ簡単に取得できるようにする、アナリストフレンドリーな UI を備えたソフトウェアを作成しました。

ビジネス対応データは、ビジネス モデルに一致する構造で最終的にクリーンアップされたデータ セットです。 ビジネス データは実際にビジネス モデルを表します。 たとえば、特定の企業において、ユーザー、B2B ユーザー、トランザクション、リードなどの用語は正確には何を意味するのでしょうか? これらの定義は、ビジネスの中核を説明しています。 ビジネス データ モデルにより、すべての従業員は、データがどのように使用され、理解されるかについて共通の理解を持つことができます。

つまり、すぐにビジネスに使用できるデータは、マーケティングや製品レポートですぐに使用でき、任意の視覚化サービス (Power BI、Tableau、Google Data Studio) に送信できます。

未加工のモデル化されていないデータでレポートを作成すると、繰り返し発生する多くの問題に遭遇する可能性があります。エラーや不一致の原因の検索には多くの時間がかかり、すべての SQL クエリでビジネス ロジックを常に複製する必要があります。

したがって、未加工データをビジネス対応データに変換することは、スキップしてはならない重要なステップです。

アナリストは、さまざまなサービスやシステムからデータを収集します。 当然のことながら、これらのソースのデータの構造と形式はさまざまです。 レポートを作成するには、さまざまなソースからのデータを正しくマージする必要があります。 コネクタやさまざまな ETL サービスを介してアップロードされたデータ自体は不正確であり (エラー、重複、不一致を含む)、統一されたロジックと構造が欠けています。 不正確で断片化されたデータは、クリーンアップして、分析に対応した形式に正規化する必要があります。

さまざまなソースからのデータを単一の形式に変換することは困難です。 たとえば、さまざまな広告プラットフォーム (Google 広告、Twitter 広告、Facebook 広告) からコスト データを収集でき、各システムはこのフィールドに対して独自の通貨と独自のラベルを持つことができます。

データの正規化のもう 1 つの目標は、データの冗長性の問題を解決することです (同じデータがデータベースの複数の場所に格納されている場合)。 データの冗長性は、さまざまな異常の原因となり、パフォーマンスを低下させ、データ管理を不便にします。

すべてのデータを手動で正規化することは非常に困難です。 大量のデータを扱う場合、多くのエラーや不整合が発生する可能性がありますが、これは主に無限の SQL クエリとスクリプトに関連しています。 何か問題が発生したり変更されたりすると (たとえば、サービス API が更新された場合)、すべてが崩壊します。

データの正規化は、アナリストがより興味深いタスクを実行したり、洞察を探したりすることから気をそらす雑用です。 通常、アナリストの作業時間の最大 50% を占めることは言うまでもありません。

OWOX は、すべてのマーケティング ソースから分析用のデータを便利な形式で自動的に収集します。

1. Google アナリティクス 4、Firebase、AppsFlyer
2. GDPR に完全に準拠した未加工のウェブサイト データ
3. 広告プラットフォーム
4. CRMシステム
5. その他のマーケティング ソース

OWOX BI を使用すると、データを手動でクリーニング、構造化、および処理する必要はありません。 このサービスは、次の方法で生データを分析に対応した形式に自動的に正規化します。

• UTM タグの動的パラメーターを認識して、広告キャンペーンに関する完全なデータを取得する
• 広告費を単一の通貨に変換して、統合して比較できるようにする
• 国や地域ごとにレポートを作成できるように、ユーザーの位置情報を特定する
• ボット アクティビティを検出してレポートから古いデータを削除する
• データの不整合と不正確さの排除
• すべてのデータを単一の形式 (日付、通貨など) に変換する
• ターゲット データ ストアのスキーマに従ってデータをテーブルにフォーマットする
• 重複排除を実施して冗長データを排除する
• 未使用データの削除と異常のフラグ付け
• 必要に応じて、2 つの値のデータを 1 つにマージするか、逆に 1 つの値のデータを 2 つに分割します。
• データ品質監査とコンプライアンス チェックの実施

これらのデータ操作の結果として、統一されたタグ形式、単一の通貨、二重化されたデータなど、正確な構造化データが出力として得られます。

上で述べたように、レポートを作成するには、さまざまなソースからのデータを正しくマージする必要があります。 たとえば、コンバージョンを広告キャンペーンに結び付けるには、ユーザー アクションをセッションに組み合わせる必要があります。 これらのソースの有効性を比較できるように、さまざまなソースからのコストを 1 つの構造に結合する必要があります。

さまざまなソースからのデータの互換性を調査するには、多くの時間がかかります。 さらに、ソース データが更新されるたびにデータ マージが定期的に行われる必要があり、アナリストはビジネス要件に従ってビジネス ロジックを柔軟に管理できる必要があります。

レポート システムを準備するには、アナリストは、相互接続された SQL データ変換のカスケード全体を作成して維持する必要があります。 時間の経過とともに、どのプロジェクトでも、これは SQL クエリとスクリプトのもつれに変わり、そのデバッグには多くの時間がかかり、新しい価値は追加されません。

データの準備はプロセスです。 レポートを作成するだけでは十分ではありません (または多くのレポートを作成することもできます)。 データは定期的に更新する必要があり、レポートへの変更は永続的に行われます。 現在、これはすべてアナリストによって手動で行われていますが、これには多くの時間がかかり、SQL クエリやスクリプトを使用することもあります。

ビジネスに対応していない未加工のデータでレポートを作成すると、繰り返し発生する多くの問題に遭遇する可能性があります。エラーや不一致の原因の検索には多くの時間がかかり、すべての SQL クエリでビジネス ロジックを常に複製する必要があります。

生データのレポート作成プロセスはどのようなものですか?

まず、マーケティング担当者はアナリストに何をすべきかを伝えます。 次に、アナリストは SQL クエリを作成し、その結果に基づいてダッシュボードを構築します。 いつものように、いくつかの不一致が見つかり、いくつかの新しい条件が要求に追加され、数回の反復が行われ、フィードバックが受け取られます。 しかし、すべての決定は、この 1 つのレポートのコンテキストで行われます。 他のソースからのデータ、新しい列、またはデータのいくつかのスライスを含む別のレポートが必要な場合は、データの収束と検証を確認するプロセスを繰り返す必要があります。 または、アナリストは、たとえば異なる計算ロジックが適用されたためにクライアントの数が異なる 10 個のレポートを作成できます。 データ変換とモデリングにより、このタスクはレポートが作成される前に解決されます。

OWOX BI Transformation は、セッション化やコスト データのマージなど、誰もが必要とする基本的な変換を自動的に適用します。 さらに、独自の (カスタム) 変換を簡単に作成して適用できます。

OWOX BI は、分析の準備が整ったデータを提供し、データ準備の時間を節約します。

1. セッション ヒットを自動的にマージする

OWOX BI アルゴリズムは、セッション形成の Google アナリティクス ロジックに頼ることなく、セッション内のヒットを自動的にマージします。 複雑なデータ変換を記述する必要なく、すぐに使用できる自動更新されたセッション テーブルを便利な構造で取得できます。

2. チャネル間での費用データのブレンド

広告費用を換算するには、アナリストは広告アカウントから別のファイルにデータをアップロードし、BigQuery インターフェースを介して手動でアップロードする必要があります。 この方法の欠点は明らかです。不要な作業が多く、自動化されていません。

必要な情報をマーケティング サービスからダウンロードする独自のスクリプトを作成することもできます。 ただし、このソリューションの作業は常に監視および維持する必要があります。 この場合、異なるアカウントからの異なる日付のデータをマージし、その品質をチェックし、広告サービス API で起こりうる変更に迅速に対応するために、開発者のリソースを費やすことになります。 これを行わないと、品質の低いデータがビジネスにコストのかかる不適切な意思決定につながる可能性があります。

OWOX BI は大規模な広告アカウントでスムーズに動作し、キャンペーンの数に関係なくすべてのデータをアップロードします。 不要なフィールドのない、自動的に更新され、統合された使いやすいテーブルにすべてのコスト データが収集されます。

コスト データを自動的にインポートするだけでなく、OWOX BI は UTM タグの動的パラメーターを認識し、コストを 1 つの通貨に変換し、広告サービスで変更があった場合は Google BigQuery のデータをさかのぼって更新し、データの関連性を監視します。

3. 単一のクロスデバイス ユーザー プロファイル

サイトだけでなく、さまざまなデバイスやアプリケーションからのユーザーの行動に関するすべてのデータが、1 つのプロファイルに統合されます。 各ユーザーの行動の全体像を把握して、広告キャンペーンの品質を分析できます。

4. ユーザーのタイプ (新規またはリピーター)

OWOX BI はユーザー タイプ (新規またはリピーター) を定義するため、さまざまなユーザー コホートに関するレポートを作成できます。

5. 各セッションに起因する広告費用

OWOX BI 属性は、セッション レベルでデータをコストします。 広告キャンペーンの範囲内でのマーケティング効果の評価に限定されなくなり、ユニット エコノミクスを正しく計算できるようになりました。 さまざまなコホート、地域、ランディング ページ、および製品グループに対する広告の効果を評価します。

6. アトリビューション モデリング

OWOX BI では、任意の標準アトリビューション モデルをレポートに接続したり、OWOX コンバージョン予測に基づいてデータドリブン アトリビューション モデルを設定したり、ルールやセールス ファネルに合わせてカスタム モデルを設定したりできます。 これらはすべて、データ エンジニアの助けを借りなくても、製品インターフェイスで簡単に実行できます。

OWOX BI データ変換を使用すると、コンバージョンに対するキャンペーンの影響を測定する幅広い機会が得られます。

• 定義済みのテンプレートから、業界で認められている任意のアトリビューション モデル (ラスト クリック、ファースト クリック、U 字型) を選択します
• アルゴリズムによる目標到達プロセス ベースのアトリビューション モデルを使用する
• 独自のカスタム モデルを作成する
• さまざまなアトリビューション モデルに基づいてレポートを作成し、結果を比較します

7. モデル変換

推定コンバージョンを使用して、Cookie を使用しない測定とコンバージョン予測を行います。

GDPR 要件に準拠するために、サイト所有者は、Cookie を共有したくないユーザーの特定を拒否し、魔法の [Cookie を受け入れる] ボタンをクリックしないようにする必要があります。 その結果、同意モードでは、トラフィック ソースを特定できるコンバージョン数が 30% 減少します。

コンバージョン モデリングは、この問題の解決に役立ちます。 まず、機械学習システムが利用可能なデータと履歴統計を処理します。 次に、Cookie の設定を許可したユーザーの割合と、それらのユーザーがどのように変換したかを把握して、許可しなかったユーザーの最も可能性の高いアトリビューション パスを決定します。 これにより、キャンペーンの結果とキャンペーンの費用をより正確に一致させることができ、同時に Cookie に関するユーザーの決定に従うことができます。

このような一貫性のないトランザクションのソースを特定するために、一貫したデータと追加のパラメーター (ユーザー エージェント、地域、デバイスなど) でトレーニングされた機械学習モデルを使用します。 簡単に言えば、モデルは既知のソースと一致するコンバージョンを分析し、残りの一貫性のないコンバージョンをデータ内のソースとメディアに比例して分配します。

レポート用のデータをどのように準備しても、常に次のことを行う必要があります。

• データ変換ロジックを制御する
• データがどのように相互に関連しているかを明確に把握する
• データ更新の失敗や遅延の原因をいち早く特定

内部データ ストアの分岐が増えるほど、ビジネス対応のデータを収集するロジックを記述することが難しくなり、アナリストがデータを管理することも難しくなります。 便利なオーケストレーション ツールがなければ、アナリストは大量のデータ、多数のコネクタ、およびさまざまな変換とレポートの間を行き来し、それらがどのように接続されているかを明確に把握できません。 その結果、エラーや不一致を検索して排除するには長い時間がかかります。

OWOX BI ワークスペースを使用すると、分析しやすい UI でデータ フローを管理できます。 プロセス全体を簡素化して、アナリストにデータを操作するまったく新しい方法を提供しました。 アナリストは、生データの取得から同じ製品内での視覚化まで、すべての作業を行うことができます。

• コネクタからダッシュボードへのデータの移動と変更を追跡する
• 各レポートでのデータ変換と指標計算ロジックの設定と制御
• 数回クリックするだけで SQL 変換を管理
• データの更新をスケジュールして、データを最新の状態に保ちます
• データ更新のエラーや遅延をすぐに確認

私たちの製品は、理解できない結果を生み出す閉じた箱ではありません。 データがどのように、どこで、なぜ移動しているかを明確に示す変換の明確なグラフが得られます。 計算ロジックを確認して影響を与えるのは簡単です。 結果を見るだけでなく、それがどのように生じたかを理解することができます。

アトリビューション モデルの定義、新しいデータ ソースの接続、困難なデータ変換の実行など、アナリストが単独で実行できないことがあります。 これらのタスクには、データ エンジニアが必要です。

Airflow や dbt などのカスタム変換オーケストレーション ツールをカスタマイズして維持するには、データ エンジニアが必要です。これは、希少なリソースです。 このようなツールの使用は、開発者にとっては便利ですが、アナリストにとっては便利ではありません。 詳細については、benn.substack の記事を参照してください。

これが、アナリストがしばしば助けを待たなければならず、データ エンジニアが主要なタスクから気が散ってしまう理由です。 これらすべてが洞察を得るまでの時間を遅らせ、ビジネス ユーザーがデータに基づく意思決定を間に合わせるのを妨げています。

OWOX は、データを操作するためのまったく新しい、より効率的な方法を提供します。この方法では、アナリストは自給自足で非常に効果的なビジネス ユニットになります。 アナリストは、データを扱う作業の流れ全体を制御できるようになり、定型的なタスクに行き詰まる代わりに、分析の才能を発揮することができます。

OWOX を使用すると、SQL 対応の形式で正確なビジネス対応データを取得して、洞察を簡単に探索し、エンジニアやアナリストの重要な時間を節約できます。 OWOX がすべてを自動的に行うため、データ エンジニアは必要ありません。

ビジネス対応のフォーマットへの道のりでは、データを使って多くの作業を行う必要があります。 また、レポート用のデータは定期的に更新する必要があります。 これらの日常的なタスクでアナリストの時間を無駄にしないためには、OWOX BI を使用してデータを操作するプロセス全体を自動化し、アナリストの時間をデータの分析と洞察の検索に解放することをお勧めします。