OWOX BI Transformation: Normalisieren, bereiten und orchestrieren Sie Ihre digitalen Marketingdaten mit Leichtigkeit

Je mehr Daten ein Unternehmen aus verschiedenen Quellen sammelt, desto komplexer wird das gesamte Analytics-System. Daher wird es schwieriger, das Analysesystem zu verwalten und Erkenntnisse zu finden, denen Sie vertrauen können. Analysten müssen mehr Zeit mit der Verarbeitung und Vorbereitung von Daten für Berichte verbringen, anstatt nach Datenwachstumspunkten und Risikobereichen zu suchen.

Hier bei OWOX beschäftigen wir uns seit über 20 Jahren mit Analytik und sind uns der Schwierigkeiten bewusst, mit denen Analysten in jeder Phase der Arbeit mit Daten konfrontiert sind. Als Ergebnis haben wir eine Software mit einer analystenfreundlichen Benutzeroberfläche entwickelt, die Analysten hilft, die Berichterstellung und das Datenmanagement zu vereinfachen und schneller und einfacher betriebsbereite Daten zu erhalten.

Business-Ready-Daten sind der endgültig bereinigte Datensatz in einer Struktur, die zu Ihrem Geschäftsmodell passt. Geschäftsdaten beschreiben eigentlich das Geschäftsmodell. Was genau ist beispielsweise in einem bestimmten Unternehmen mit den Begriffen Benutzer, B2B-Benutzer, Transaktionen, Leads usw. gemeint? Diese Definitionen beschreiben das Geschäft in seinem Kern. Das Geschäftsdatenmodell ermöglicht allen Mitarbeitern ein gemeinsames Verständnis davon, wie Daten verwendet und verstanden werden.

Mit anderen Worten, betriebsbereite Daten sind bereit für die Verwendung in Marketing- und Produktberichten und können an jeden Visualisierungsdienst (Power BI, Tableau, Google Data Studio) gesendet werden.

Wenn Sie Berichte auf rohen, nicht modellierten Daten erstellen, können Sie auf viele wiederkehrende Probleme stoßen: Die Suche nach Fehlern und den Ursachen von Abweichungen nimmt viel Zeit in Anspruch, und die Geschäftslogik muss ständig in allen SQL-Abfragen dupliziert werden.

Daher ist die Umwandlung von Rohdaten in betriebsbereite Daten ein wichtiger Schritt, der nicht übersprungen werden sollte.

Analysten sammeln Daten von unterschiedlichen Diensten und Systemen. Natürlich variieren die Struktur und das Format der Daten in diesen Quellen. Um Berichte zu erstellen, müssen Daten aus verschiedenen Quellen korrekt zusammengeführt werden. Die über Konnektoren oder verschiedene ETL-Dienste hochgeladenen Daten sind an sich ungenau (enthalten Fehler, Duplikate und Diskrepanzen) und es fehlt ihnen eine einheitliche Logik und Struktur. Ungenaue und fragmentierte Daten müssen bereinigt und in ein für Analysen geeignetes Format normalisiert werden.

Das Konvertieren von Daten aus unterschiedlichen Quellen in ein einziges Format ist schwierig. Beispielsweise können Sie Kostendaten von verschiedenen Werbeplattformen (Google Ads, Twitter Ads, Facebook Ads) sammeln und jedes System kann seine eigene Währung und seine eigene Bezeichnung für dieses Feld haben.

Ein weiteres Ziel der Datennormalisierung ist die Lösung von Datenredundanzproblemen (wenn dieselben Daten an mehreren Stellen in der Datenbank gespeichert sind). Datenredundanz trägt zu verschiedenen Anomalien bei, verringert die Leistung und erschwert die Datenverwaltung.

Alle Daten manuell zu normalisieren ist eine ziemliche Herausforderung. Beim Arbeiten mit großen Datenmengen können viele Fehler und Inkonsistenzen auftreten, hauptsächlich im Zusammenhang mit endlosen SQL-Abfragen und Skripten. Wenn etwas schief geht oder sich ändert (z. B. wenn eine Service-API aktualisiert wird), bricht alles zusammen.

Die Datennormalisierung ist eine lästige Pflicht, die Analysten davon abhält, interessantere Aufgaben zu übernehmen und nach Erkenntnissen zu suchen. Ganz zu schweigen davon, dass dies in der Regel bis zu 50 % der Arbeitszeit eines Analysten in Anspruch nimmt.

OWOX sammelt automatisch Daten zur Analyse in einem praktischen Format aus all Ihren Marketingquellen:

1. Google Analytics 4, Firebase und AppsFlyer
2. Website-Rohdaten mit vollständiger DSGVO-Konformität
3. Werbeplattformen
4. CRM-Systeme
5. Andere Marketingquellen

Mit OWOX BI müssen Sie Daten nicht manuell bereinigen, strukturieren und verarbeiten. Der Dienst normalisiert Rohdaten automatisch in ein analysebereites Format, indem er:

• Erkennung dynamischer Parameter in UTM-Tags, damit Sie vollständige Daten zu Werbekampagnen erhalten
• Anzeigenkosten in eine einzige Währung umrechnen, damit Sie sie zusammenführen und vergleichen können
• Bestimmen der Geolokalisierung von Benutzern, damit Sie Berichte nach Land und Region erstellen können
• Erkennen von Bot-Aktivitäten, um Ihre Berichte von veralteten Daten zu bereinigen
• Beseitigung von Dateninkonsistenzen und -ungenauigkeiten
• Konvertieren aller Daten in ein einziges Format (Datum, Währung usw.)
• Formatieren von Daten in Tabellen gemäß dem Schema des Zieldatenspeichers
• Durchführen einer Deduplizierung, um redundante Daten zu eliminieren
• Entfernen ungenutzter Daten und Kennzeichnen von Anomalien
• Bei Bedarf Daten von zwei Werten zu einem zusammenführen oder umgekehrt Daten von einem Wert in zwei aufteilen
• Durchführung von Datenqualitätsaudits und Compliance-Checks

Als Ergebnis dieser Datenmanipulationen erhalten Sie genau strukturierte Daten als Ausgabe: einheitliche Tag-Formate, eine einheitliche Währung, entdoppelte Daten usw.

Wie bereits erwähnt, müssen zum Erstellen von Berichten Daten aus verschiedenen Quellen korrekt zusammengeführt werden. Beispielsweise müssen Benutzeraktionen zu Sitzungen zusammengefasst werden, um Conversions mit Werbekampagnen zu verbinden. Kosten aus verschiedenen Quellen sollten in einer einzigen Struktur kombiniert werden, damit die Effektivität dieser Quellen verglichen werden kann.

Das Studium der Datenkompatibilität aus verschiedenen Quellen nimmt viel Zeit in Anspruch. Darüber hinaus muss die Datenzusammenführung regelmäßig erfolgen, wenn die Quelldaten aktualisiert werden, und ein Analyst sollte in der Lage sein, die Geschäftslogik gemäß den Geschäftsanforderungen flexibel zu verwalten.

Um ein Berichtssystem vorzubereiten, muss ein Analyst eine ganze Kaskade miteinander verbundener SQL-Datentransformationen erstellen und verwalten. Daraus wird mit der Zeit in jedem Projekt ein Wirrwarr von SQL-Abfragen und Skripten, deren Debugging viel Zeit in Anspruch nimmt und keinen Mehrwert bringt.

Die Datenaufbereitung ist ein Prozess. Es reicht nicht aus, einen Bericht (oder sogar viele Berichte) vorzubereiten. Daten müssen regelmäßig aktualisiert werden, und Änderungen an Berichten werden permanent vorgenommen. All dies geschieht nun manuell durch Analysten, was viel Zeit in Anspruch nimmt, sowie mit Hilfe von SQL-Abfragen und Skripten.

Wenn Sie Berichte auf nicht betriebsbereiten Rohdaten erstellen, können Sie auf viele wiederkehrende Probleme stoßen: Die Suche nach Fehlern und Ursachen für Abweichungen nimmt viel Zeit in Anspruch, und die Geschäftslogik muss ständig in allen SQL-Abfragen dupliziert werden.

Wie sieht der Berichterstellungsprozess für Rohdaten aus?

Zunächst teilt ein Vermarkter einem Analysten mit, was zu tun ist. Dann schreibt der Analyst SQL-Abfragen und erstellt basierend auf den Ergebnissen ein Dashboard. Wie üblich werden einige Diskrepanzen gefunden, einige neue Bedingungen zu Anfragen hinzugefügt, ein paar Iterationen vorgenommen, Feedback erhalten. Aber alle Entscheidungen werden im Kontext dieses einen Berichts getroffen. Wenn Sie einen weiteren Bericht mit Daten aus anderen Quellen, neuen Spalten oder mehreren Datensegmenten benötigen, muss der Prozess der Überprüfung der Datenkonvergenz und -validierung wiederholt werden. Oder ein Analyst kann 10 Berichte erstellen, in denen sich beispielsweise die Anzahl der Kunden unterscheidet, weil eine andere Berechnungslogik angewendet wurde. Mit Datentransformation und -modellierung wird diese Aufgabe gelöst, bevor der Bericht erstellt wird.

OWOX BI Transformation wendet automatisch die grundlegenden Transformationen an, die jeder benötigt, wie Sessionization und Zusammenführen von Kostendaten. Außerdem können Sie ganz einfach Ihre eigenen (benutzerdefinierten) Transformationen erstellen und anwenden.

OWOX BI liefert Ihnen Daten, die bereit für die Analyse sind, wodurch Stunden bei der Datenvorbereitung eingespart werden.

1. Sitzungstreffer automatisch zusammenführen

Der OWOX BI-Algorithmus führt automatisch Treffer in Sitzungen zusammen, ohne auf die Google Analytics-Logik der Sitzungsbildung zurückzugreifen. Sie erhalten sofort einsatzbereite, automatisch aktualisierte Sitzungstabellen in einer praktischen Struktur, ohne komplexe Datentransformationen schreiben zu müssen.

2. Kostendatenverschmelzung über Kanäle hinweg

Um Werbekosten umzurechnen, müssen Analysten Daten aus dem Werbekonto in separate Dateien hochladen und sie dann manuell über die BigQuery-Oberfläche hochladen. Die Nachteile dieser Methode liegen auf der Hand – viel unnötige Arbeit und keine Automatisierung.

Sie können auch Ihre eigenen Skripts schreiben, die die benötigten Informationen vom Marketingdienst herunterladen. Aber die Arbeit dieser Lösung muss ständig überwacht und gewartet werden. In diesem Fall werden Sie Entwicklerressourcen aufwenden, um Daten von verschiedenen Konten und für verschiedene Daten zusammenzuführen, ihre Qualität zu überprüfen und schnell auf mögliche Änderungen in den Werbedienst-APIs zu reagieren. Geschieht dies nicht, können Daten von schlechter Qualität zu schlechten Entscheidungen führen, die für das Unternehmen kostspielig sind.

OWOX BI funktioniert reibungslos mit großen Werbekonten und lädt alle Daten unabhängig von der Anzahl der Kampagnen hoch. Es sammelt alle Kostendaten in einer automatisch aktualisierten, einheitlichen und benutzerfreundlichen Tabelle ohne unnötige Felder.

Neben dem automatischen Import von Kostendaten erkennt OWOX BI dynamische Parameter in UTM-Tags, rechnet Kosten in eine Währung um, aktualisiert Daten in Google BigQuery rückwirkend, wenn sie sich im Werbedienst ändern, und überwacht die Datenrelevanz.

3. Einzelne geräteübergreifende Benutzerprofile

Alle Daten über das Nutzerverhalten von Ihrer Seite sowie von verschiedenen Geräten und Anwendungen werden in einem einzigen Profil zusammengeführt. Sie erhalten ein vollständiges Bild des Verhaltens jedes Benutzers, um die Qualität von Werbekampagnen zu analysieren.

4. Benutzertyp (neu oder wiederkehrend)

OWOX BI definiert den Benutzertyp (neu oder wiederkehrend), sodass Sie Berichte zu verschiedenen Benutzerkohorten erstellen können.

5. Jeder Sitzung zugeordnete Werbekosten

OWOX BI ordnet Kostendaten auf Sitzungsebene zu. Sie beschränken sich nicht mehr auf die Bewertung der Marketingwirksamkeit im Rahmen einer Werbekampagne und können die Stückzahl richtig kalkulieren. Bewerten Sie die Wirksamkeit von Werbung für verschiedene Kohorten, Regionen, Zielseiten und Produktgruppen.

6. Attributionsmodellierung

In OWOX BI können Sie jedes standardmäßige Attributionsmodell mit Ihrer Berichterstellung verbinden, ein datengesteuertes Attributionsmodell basierend auf OWOX-Conversion-Prognosen einrichten oder ein benutzerdefiniertes Modell einrichten, das Ihren Regeln und Ihrem Verkaufstrichter entspricht. All dies kann einfach in der Produktoberfläche ohne die Hilfe von Dateningenieuren durchgeführt werden.

Mit OWOX BI-Datentransformationen haben Sie vielfältige Möglichkeiten, die Auswirkungen von Kampagnen auf Conversions zu messen:

• Wählen Sie aus vordefinierten Vorlagen ein branchenweit anerkanntes Attributionsmodell (Letzter-Klick, Faust-Klick, U-Form) aus
• Verwenden Sie das algorithmische trichterbasierte Attributionsmodell
• Erstellen Sie Ihre eigenen benutzerdefinierten Modelle
• Erstellen Sie Berichte basierend auf verschiedenen Attributionsmodellen, um Ergebnisse zu vergleichen

7. Modellierte Konvertierung

Verwenden Sie Modeled Conversion für cookielose Messungen und Conversion-Vorhersagen.

Um die DSGVO-Anforderungen zu erfüllen, muss der Websitebesitzer es ablehnen, Benutzer zu identifizieren, die ihre Cookies nicht teilen möchten, und nicht auf die magische Schaltfläche „Cookies akzeptieren“ klicken. Dadurch reduziert der Zustimmungsmodus die Anzahl der Conversions, für die eine Verkehrsquelle ermittelt werden kann, um 30 %.

Conversion Modeling hilft bei der Lösung dieses Problems. Zunächst verarbeiten maschinelle Lernsysteme die verfügbaren Daten und historischen Statistiken. Wenn sie dann wissen, welcher Prozentsatz der Benutzer das Setzen von Cookies zugelassen hat und wie diese Benutzer konvertiert haben, bestimmen sie den wahrscheinlichsten Zuordnungspfad für diejenigen, die dies nicht getan haben. Auf diese Weise können Sie Kampagnenergebnisse genauer den Kampagnenkosten zuordnen – und gleichzeitig Benutzerentscheidungen in Bezug auf Cookies erfüllen.

Um die Quelle für solche inkonsistenten Transaktionen zu bestimmen, verwenden wir ein maschinelles Lernmodell, das auf konsistenten Daten sowie zusätzlichen Parametern (User-Agent, Geo, Device und andere) trainiert wurde. Einfach ausgedrückt analysiert das Modell übereinstimmende Conversions mit bekannten Quellen und verteilt die verbleibenden inkonsistenten Conversions proportional auf die Quellen und Medien, die in den Daten enthalten sind.

Unabhängig davon, wie Sie Daten für die Berichterstellung vorbereiten, müssen Sie immer:

• Steuern Sie die Datenumwandlungslogik
• Verschaffen Sie sich ein klares Bild davon, wie Daten miteinander verknüpft sind
• Identifizieren Sie schnell Ursachen für Fehler und Verzögerungen bei der Aktualisierung von Daten

Je verzweigter der interne Datenspeicher ist, desto schwieriger ist es, eine Logik zu schreiben, die betriebsbereite Daten sammelt – und desto schwieriger ist es für den Analysten, die Daten zu verwalten. Ohne ein praktisches Orchestrierungstool eilen Analysten zwischen einer großen Datenmenge, zahlreichen Konnektoren und verschiedenen Transformationen und Berichten hin und her, ohne ein klares Bild davon zu haben, wie sie alle miteinander verbunden sind. Die Suche und Behebung von Fehlern und Unstimmigkeiten nimmt daher viel Zeit in Anspruch.

Mit OWOX BI Workspace können Sie den Datenfluss in einer analysefreundlichen Benutzeroberfläche verwalten. Wir haben den gesamten Prozess vereinfacht, um Analysten eine völlig neue Art der Arbeit mit Daten zu bieten. Analysten können den ganzen Weg gehen, von der Beschaffung von Rohdaten bis hin zur eigenständigen Visualisierung innerhalb desselben Produkts.

• Verfolgen Sie, wie Daten von Konnektoren zu Dashboards verschoben und geändert werden
• Legen Sie die Datentransformation und die Berechnungslogik für Metriken in jedem Bericht fest und steuern Sie sie
• Verwalten Sie SQL-Umwandlungen mit wenigen Klicks
• Planen Sie Datenaktualisierungen, um die Daten aktuell zu halten
• Sehen Sie sofort alle Fehler oder Verzögerungen bei der Aktualisierung von Daten

Unser Produkt ist keine geschlossene Box, die unverständliche Ergebnisse liefert. Sie erhalten ein klares Diagramm der Transformationen, das deutlich zeigt, wie sich Ihre Daten bewegen, wohin und warum. Es ist einfach, die Berechnungslogik zu sehen und zu beeinflussen. Sie werden nicht nur das Ergebnis sehen, sondern auch verstehen, wie es dazu kam.

Es gibt bestimmte Dinge, die Analysten nicht alleine erledigen können, wie z. B. das Definieren des Attributionsmodells, das Verbinden neuer Datenquellen und das Durchführen schwieriger Datentransformationen. Für diese Aufgaben wird ein Data Engineer benötigt.

Das Anpassen und Warten benutzerdefinierter Transformations-Orchestrierungstools wie Airflow oder dbt erfordert Datentechniker – eine knappe Ressource. Die Verwendung solcher Tools ist für Entwickler praktisch, aber nicht für Analysten. Mehr dazu können Sie im Artikel benn.substack nachlesen.

Aus diesem Grund müssen Analysten oft auf Hilfe warten und Dateningenieure werden oft von ihren Hauptaufgaben abgelenkt. All dies verlangsamt die Zeit bis zu Erkenntnissen und hindert Geschäftsanwender daran, rechtzeitig datenbasierte Entscheidungen zu treffen.

OWOX bietet eine völlig neue, effizientere Art, mit Daten zu arbeiten, bei der der Analyst zu einer autarken und hocheffektiven Geschäftseinheit wird. Der Analyst erhält die Kontrolle über den gesamten Ablauf der Arbeit mit Daten und kann seine Talente in der Analyse verwirklichen, anstatt sich in Routineaufgaben zu verzetteln.

Mit OWOX erhalten Sie genaue, betriebsbereite Daten in einem SQL-fähigen Format, um Erkenntnisse einfach zu untersuchen und so wertvolle Zeit für Ingenieure und Analysten zu sparen. Sie brauchen keinen Datentechniker, da OWOX alles automatisch erledigt.

Auf dem Weg zu einem Business-Ready-Format gibt es viel zu tun mit Daten. Außerdem sollten die Daten für die Berichterstattung regelmäßig aktualisiert werden. Um die Zeit der Analysten nicht mit diesen Routineaufgaben zu verschwenden, ist es am besten, den gesamten Prozess der Arbeit mit Daten mithilfe von OWOX BI zu automatisieren und die Zeit Ihrer Analysten für die Analyse von Daten und die Suche nach Erkenntnissen freizugeben.