Wer ist für die Datenqualität verantwortlich? Verantwortungsmatrix für Analytics-Teams

Da Daten von schlechter Qualität alle weiteren Aktionen nutzlos machen können (z. B. das Berechnen der Zuordnung, das Senden von Geboten an Werbedienste oder das Erstellen von Berichten), bleibt die Sicherstellung der Datenqualität die größte Herausforderung in der digitalen Analyse. Es ist üblich zu sagen, dass Analysten für alle datenbezogenen Probleme verantwortlich sind. Aber ist das wahr?

Wer ist in einem Unternehmen für die Datenqualität verantwortlich? Entgegen der landläufigen Meinung sind es nicht nur die Analysten. Beispielsweise arbeiten Marketer mit UTM-Tags, Ingenieure setzen Tracking-Codes ein usw. Kein Wunder also, dass bei der Arbeit mit Daten Chaos herrscht: Jeder Mitarbeiter hat viele Aufgaben, und es ist nicht klar, wer was macht, wer wofür zuständig ist und was wer nach dem Ergebnis gefragt werden soll.

In diesem Artikel versuchen wir zu verstehen, wer in jeder Phase für die Datenqualität verantwortlich ist und wie sie verwaltet wird.

Auch innerhalb eines Unternehmens kann die Welt der Daten voller Unstimmigkeiten und Missverständnisse sein. Um Geschäftsanwendern qualitativ hochwertige Daten bereitzustellen und zu vermeiden, dass wertvolle Daten verloren gehen, müssen Sie die Erfassung aller erforderlichen Marketingdaten planen. Indem Sie den Daten-Workflow vorbereiten, demonstrieren Sie den Kollegen in allen Abteilungen, wie Daten zusammenhängen, sodass es einfach wird, die Punkte miteinander zu verbinden. Das ist jedoch nur der erste Schritt. Sehen wir uns an, was die anderen Schritte bei der Vorbereitung von Daten für Berichte und Dashboards sind:

1. Richten Sie die primäre Datenerfassung ein.
2. Sammeln Sie Rohdaten in einem Datenspeicher oder einer Datenbank.
3. Verwandeln Sie die Rohdaten in betriebsbereite Daten mit bereinigtem Markup und in einer für das Unternehmen verständlichen Struktur.
4. Bereiten Sie einen Data Mart vor – eine flache Struktur, die als Datenquelle für die Visualisierung von Daten dient.
5. Visualisieren Sie Daten für das Dashboard.

Doch trotz aller Vorbereitung stoßen Entscheidungsträger oft auf einen Bericht oder ein Dashboard mit Daten von schlechter Qualität. Und als erstes wenden sie sich an den Analysten mit der Frage: Warum gibt es eine Diskrepanz? oder Sind die Daten hier relevant?

Die Realität sieht jedoch so aus, dass verschiedene Spezialisten an diesen Prozessen beteiligt sind: Dateningenieure sind mit der Einrichtung des Analysesystems beschäftigt, Marketingspezialisten fügen UTM-Tags hinzu, Benutzer geben Daten ein. Lassen Sie uns im Detail sehen, welche Phasen Sie durchlaufen und wie sie implementiert werden sollten, um Benutzern qualitativ hochwertige Daten bereitzustellen.

Obwohl dieser Schritt wie der einfachste aussieht, gibt es mehrere versteckte Hindernisse. Zunächst einmal müssen Sie planen, alle Daten aus allen Quellen zu sammeln und alle Kundenkontaktpunkte zu berücksichtigen. Manchmal wird dieser Planungsschritt übersprungen, aber dies ist unvernünftig und riskant. Ein unstrukturierter Ansatz führt dazu, dass Sie unvollständige oder falsche Daten erhalten.

Die größte Herausforderung besteht darin, dass Sie fragmentierte Daten von verschiedenen Werbeplattformen und Diensten sammeln müssen, mit denen Sie arbeiten. Da die Verarbeitung massiver Datenfelder in kürzester Zeit kompliziert und ressourcenintensiv ist, sehen wir uns an, welche möglichen Engpässe auftreten können:

• Nicht auf allen Seiten ist ein GTM-Container installiert und daher werden keine Daten an Google Analytics gesendet.
• Ein neues Konto auf einer Werbeplattform wird erstellt, aber Analysten werden nicht informiert und es werden keine Daten darüber gesammelt.
• Eine API unterstützt keine dynamischen Parameter in UTM-Tags und sammelt oder überträgt sie nicht.
• Die mit dem Google Cloud-Projekt verbundene Karte hat kein ausreichendes Guthaben oder Guthaben.
• Falsche Validierung der von einem Benutzer eingegebenen Daten.

Bei diesem Schritt müssen Sie neben allen anderen Herausforderungen auch die Kontrolle des Datenzugriffs berücksichtigen. Dazu empfehlen wir die Verwendung der klassischen RACI-Matrix, die Rollen für Prozesse definiert und betont, wer was tut, kontrolliert, verwaltet und wofür verantwortlich ist. Hier sind die möglichen Rollen:

• R (Responsible) – jemand, der für einen bestimmten Prozess verantwortlich ist und diesen ausführt
• C (Konsultiert) – eine Person, die die erforderlichen Daten zur Implementierung des Prozesses konsultiert und bereitstellt
• A (Accountable oder Approver) – jemand, der für das Ergebnis der Arbeit verantwortlich ist
• I (informiert) – eine Person, die über den Fortgang der Arbeiten informiert werden muss

Gemäß der RACI-Matrix sehen die Rollen und Verantwortlichkeiten für die Datenerhebung wie folgt aus:

Der nächste Schritt besteht darin, zu entscheiden, wo alle erhaltenen Daten gespeichert werden sollen. Wenn Sie die vollständige Kontrolle über Ihre Rohdaten erhalten möchten, ohne sie zu verändern, empfehlen wir die Verwendung eines einzelnen Speichers mit automatischem Datenimport. Da die Verwendung eigener Server zur Speicherung jedes Datenbytes ein Vermögen kostet, empfehlen wir die Verwendung von Cloud-Lösungen, die Ihre Ressourcen schonen und überall Zugriff auf Daten bieten.

Die beste Option für diese Aufgabe ist Google BigQuery, da es die Bedürfnisse von Vermarktern berücksichtigt und zum Speichern von Rohdaten von Websites, CRM-Systemen, Werbeplattformen usw. verwendet werden kann. Heutzutage gibt es unzählige Marketing-Softwarelösungen. Wir empfehlen OWOX BI, das automatisch Daten von verschiedenen Diensten und Websites in einem Data Warehouse (oder Data Lake) sammelt.

Mal sehen, welche klassischen Fehler beim Sammeln von Rohdaten auftreten können:

• Die API des Werbedienstes hat sich geändert. Dementsprechend hat sich auch das Datenformat geändert.
• Die API für externe Dienste ist nicht verfügbar. Der Stakeholder sieht bestimmte Nummern in seinem persönlichen Konto, aber die API desselben Werbedienstes gibt andere Daten aus. Diese Daten stimmen nicht überein, da sich wie in jedem verteilten System die Datenquelle für die Werbedienst-API von der Datenquelle für das Webportal unterscheidet.
• Daten in der Webschnittstelle und API des externen Dienstes sind unterschiedlich. Dokumentations- und Datenverarbeitungsformate können unterschiedlich sein. Ein interessanter Fehler in einem der beliebten Werbedienste ist beispielsweise, dass die Ausgaben Null sind, sowohl wenn sie nicht existieren, als auch wenn sie tatsächlich Null sind. Alle Dateningenieure und Analysten wissen, dass Null und Null unterschiedliche Werte sind und unterschiedlich verarbeitet werden. In einem Fall können diese Ausgaben erscheinen und müssen erneut angefordert werden, und Null bedeutet, dass sie wirklich nicht da sind und als Null gezählt werden.
• Die API eines externen Dienstes liefert falsche Daten.

Gemäß der Matrix ist der Vermarkter in diesem Prozess ein Berater und eine Wissensquelle: zum Beispiel Wissen darüber, von welchen Konten Sie Daten herunterladen müssen, was die UTM-Tags sind und Markups für Werbekampagnen.

Es gibt auch Entwickler, die wissen möchten, welche Änderungen sich bei Verwendung von Google Tag Manager auf Container auswirken würden, da sie für die Downloadgeschwindigkeit der Website verantwortlich sind.

An dieser Stelle übernehmen Data Engineers bereits die verantwortungsvolle Rolle, da sie Datenpipelines konfigurieren. Und Analysten sind für das Ergebnis der Arbeit verantwortlich. Auch wenn ein Mitarbeiter diese Funktionen ausübt, gibt es tatsächlich zwei Rollen. Wenn das Unternehmen also nur einen Analysten hat, empfehlen wir trotzdem, die Matrix nach Rollen zu implementieren. Mit dem Wachstum des Unternehmens haben Sie dann eine Stellenbeschreibung für einen neuen Kollegen, und es wird klar sein, welche Verantwortlichkeiten für eine bestimmte Rolle gelten.

Der Interessenvertreter ist in dieser Phase daran interessiert zu wissen, welche Daten verfügbar sind und welche Probleme mit ihrer Qualität bestehen, da er Prioritäten und Ressourcen für die Datenerhebung identifiziert. Beispielsweise wird die OWOX BI-Datenüberwachungsfunktion von unseren Kunden häufig angewendet.

Die Datenvorbereitung ist der nächste Schritt. Es wird oft als Data Mart-Vorbereitung bezeichnet – dies ist eine flache Struktur, die die Parameter und Metriken enthält, die auf dem Dashboard angezeigt werden. Ein Analyst, dem nur begrenzte Tools, Budget und Zeit zur Verfügung stehen, überspringt oft die Phase der Aufbereitung von Geschäftsdaten und bereitet sofort einen Data Mart vor. Es sieht aus wie Rohdaten, die in einem Data Warehouse gesammelt wurden. Dann gibt es eine Million verschiedener SQL-Abfragen zusammen mit Python- und R-Skripten – und dieses Durcheinander wird zu etwas auf dem Dashboard führen.

Wenn Sie immer wieder die Aufbereitung betriebsbereiter Daten überspringen, führt dies zu wiederholten Fehlern, die in jeder der Quellen korrigiert werden müssen. Andere Dinge, die schief gehen könnten, sind:

• Regelmäßige Fehler in Primärdaten
• Geschäftslogik wird in allen SQL-Abfragen dupliziert
• Hoher Zeitaufwand, um die Ursachen von Datenabweichungen zu finden
• Die Zeit, um bestehende Data Marts zu verfeinern, ist vergleichbar mit der Zeit, eine Anfrage neu zu schreiben
• Für den Kunden unverständliche Meldelogik

Das einfachste und häufigste Beispiel für einen Fehler ist die Definition eines neuen Benutzers und eines zurückgegebenen Benutzers . Die meisten Unternehmen machen diese Unterscheidung nicht so wie Google Analytics. Daher wird die Logik der Benutzertypdefinitionen häufig in verschiedenen Berichten dupliziert. Häufige Fehler sind auch eine nicht nachvollziehbare Meldelogik. Das erste, wonach sich der Geschäftskunde fragt, wenn er sich den Bericht ansieht, ist, wie er erstellt wurde, auf welchen Annahmen er basierte, warum die Daten verwendet wurden und so weiter. Daher ist die Aufbereitung von Geschäftsdaten ein Schritt, den Sie auf keinen Fall überspringen sollten. Der Aufbau eines Data Mart aus Rohdaten ist, als würde man Gemüse und Obst nicht waschen, bevor man sie isst.

Wenn wir die Verantwortlichkeiten gemäß der Matrix zuweisen, erhalten wir für die Datenaufbereitung Folgendes:

Geschäftsfertige Daten sind ein bereinigter endgültiger Datensatz, der dem Geschäftsmodell entspricht. Es handelt sich um vorgefertigte Daten, die an jeden Datenvisualisierungsdienst (Power BI, Tableau, Google Data Studio usw.) gesendet werden können.

Natürlich arbeiten verschiedene Unternehmen mit unterschiedlichen Modellen. Beispielsweise bedeuten die Definitionen von „Benutzern“, „B2B-Benutzern“, „Transaktionen“, „Leads“ usw. für verschiedene Unternehmen unterschiedliche Dinge. Diese Geschäftsobjekte beantworten eigentlich die Frage, wie ein Unternehmen über sein Geschäftsmodell in Bezug auf Daten denkt. Dies ist eine Beschreibung des Geschäfts im Kern und nicht der Struktur von Ereignissen in Google Analytics.

Das Datenmodell ermöglicht es allen Mitarbeitern, sich zu synchronisieren und ein allgemeines Verständnis dafür zu haben, wie Daten verwendet werden und was darüber verstanden wird. Daher ist die Umwandlung von Rohdaten in betriebsbereite Daten ein wichtiger Schritt, der nicht übersprungen werden kann.

Was könnte in dieser Phase schief gehen:

• Unklar, welches Datenmodell das Unternehmen hat/verwendet
• Schwierig, simulierte Daten vorzubereiten und zu pflegen
• Änderungen in der Transformationslogik sind schwer zu kontrollieren

Hier müssen Sie entscheiden, welches Datenmodell Sie wählen und wie Sie Änderungen in der Logik der Datentransformation steuern. Dementsprechend sind dies die Rollen der Beteiligten im Veränderungsprozess:

Der Stakeholder wird nicht mehr nur informiert, sondern zum Berater. Sie treffen Entscheidungen darüber, was als neuer oder wiederkehrender Benutzer zu verstehen ist. Die Aufgabe des Analysten in dieser Phase besteht darin, die Stakeholder so weit wie möglich in diese Entscheidungen einzubeziehen. Andernfalls ist das Beste, was passieren kann, dass der Analyst gebeten wird, den Bericht zu wiederholen.

Unserer Erfahrung nach bereiten einige Unternehmen immer noch keine betriebsbereiten Daten vor und erstellen Berichte nicht auf Basis von Rohdaten. Das Hauptproblem bei diesem Ansatz ist das endlose Debuggen und Umschreiben von SQL-Abfragen. Auf lange Sicht ist es billiger und einfacher, mit aufbereiteten Daten zu arbeiten, anstatt immer wieder mit Rohdaten herumzulaufen und die gleichen Dinge zu tun.

OWOX BI sammelt automatisch Rohdaten aus verschiedenen Quellen und konvertiert sie in ein berichtsfreundliches Format. Als Ergebnis erhalten Sie vorgefertigte Datensätze, die automatisch in die gewünschte Struktur transformiert werden, unter Berücksichtigung der für Marketer wichtigen Nuancen. Sie müssen keine Zeit damit verbringen, komplexe Transformationen zu entwickeln und zu unterstützen, sich in die Datenstruktur einzuarbeiten und stundenlang nach den Ursachen von Abweichungen zu suchen.

Buchen Sie eine kostenlose Demo, um zu sehen, wie OWOX BI Sie bei der Aufbereitung von Geschäftsdaten unterstützt und wie Sie noch heute von einem vollautomatisierten Datenmanagement profitieren können.

Der nächste Schritt ist die Vorbereitung des Data Marts. Einfach ausgedrückt handelt es sich um eine vorbereitete Tabelle, die genau die Daten enthält, die von bestimmten Benutzern einer bestimmten Abteilung benötigt werden, was die Anwendung erheblich erleichtert.

Warum brauchen Analysten einen Data Mart und warum sollten Sie diese Phase nicht überspringen? Marketer und andere Mitarbeiter ohne analytische Fähigkeiten haben Schwierigkeiten, mit Rohdaten zu arbeiten. Die Aufgabe des Analysten besteht darin, allen Mitarbeitern den Zugriff auf die Daten in der bequemsten Form zu ermöglichen, damit sie nicht jedes Mal komplexe SQL-Abfragen schreiben müssen.

Ein Data Mart hilft, dieses Problem zu lösen. In der Tat enthält es bei einer kompetenten Füllung genau die Datenscheibe, die für die Arbeit einer bestimmten Abteilung erforderlich ist. Und die Kollegen wissen genau, wie man eine solche Datenbank bedient und verstehen den Kontext der darin dargestellten Parameter und Metriken.

Die Hauptfälle, in denen bei der Vorbereitung des Data Marts etwas schief gehen kann, sind:

• Die Datenzusammenführungslogik ist unverständlich. Beispielsweise können Daten von einer mobilen Anwendung und Website vorhanden sein, und Sie müssen entscheiden, wie und mit welchen Schlüsseln sie zusammengeführt werden, oder entscheiden, wie Sie Werbekampagnen mit Aktivitäten in einer mobilen App zusammenführen. Es gibt viele Fragen. Indem wir diese Entscheidungen bei der Aufbereitung von Geschäftsdaten treffen, treffen wir sie einmal, und ihr Wert ist größer als die Entscheidungen, die hier und jetzt ad hoc für einen bestimmten Bericht getroffen werden. Solche Ad-hoc-Entscheidungen müssen immer wieder getroffen werden.
• Eine SQL-Abfrage wird aufgrund technischer Einschränkungen des Data Warehouse nicht ausgeführt. Das Vorbereiten von Geschäftsdaten ist eine Möglichkeit, Daten zu bereinigen und in eine simulierte Struktur zu bringen, die die Verarbeitung billiger macht und Abfragen beschleunigt.
• Es ist nicht klar, wie die Datenqualität überprüft werden kann .

Mal sehen, wer in dieser Phase gemäß der Matrix für was verantwortlich ist:

Es liegt auf der Hand, dass die Datenaufbereitung in der Verantwortung von Datenanalysten zusammen mit Stakeholdern und Dateningenieuren liegt, die Berater in diesem Prozess sind. Beachten Sie, dass OWOX BI-Analysten diese Aufgabe für Sie erledigen können. Wir können Daten sammeln und zusammenführen, für Ihr Geschäftsmodell modellieren und einen Data Mart erstellen, begleitet von einer detaillierten Anleitung mit einer Beschreibung der Build-Logik, damit Sie bei Bedarf Änderungen auf Ihrer Seite vornehmen können (z. B. Hinzufügen neuer Felder).

Die visuelle Darstellung von Daten in Berichten und Dashboards ist die letzte Phase, mit der eigentlich alles begonnen wurde. Natürlich sollten Daten informativ und benutzerfreundlich präsentiert werden. Ganz zu schweigen davon, dass automatisierte und richtig konfigurierte Visualisierungen die Zeit zum Auffinden von Risikozonen, Problemen und Wachstumsmöglichkeiten erheblich verkürzen.

Wenn Sie betriebsbereite Daten und einen Data Mart aufbereitet haben, werden Sie keine Schwierigkeiten mit Visualisierungen haben. Es können jedoch auch Fehler auftreten wie:

• Irrelevante Daten im Data Mart. Wenn sich ein Unternehmen der Datenqualität nicht sicher ist, besteht der erste Schritt für den Geschäftskunden darin, den Analysten zu bitten, alles noch einmal zu überprüfen, selbst wenn die Daten von hoher Qualität sind. Das ist ineffizient. Es ist klar, dass das Unternehmen vor Fehlern geschützt werden und keine voreiligen Schlüsse ziehen möchte. Daher ist die hohe Qualität der Daten eine Garantie dafür, dass jemand sie später verwendet.
• Auswahl einer falschen Datenvisualisierungsmethode.
• Dem Kunden die Logik der Metrik- und Parameterberechnungen nicht richtig erklären. Oft muss ein Geschäftskunde, der nicht mit SQL und Metriken lebt, um die Daten richtig zu interpretieren, sehen, was jede Metrik im Kontext des Berichts bedeutet, wie sie berechnet wird und warum. Analysten sollten nicht vergessen, dass jeder, der den Bericht verwendet, Zugang zu einer Erklärung haben sollte, was sich hinter dem Bericht verbirgt, welche Annahmen im Mittelpunkt des Berichts standen usw.

Gemäß der RACI-Matrix hat der Analyst bereits eine Doppelrolle – Genehmigender und Verantwortlicher . Der Stakeholder ist hier ein Berater und hat höchstwahrscheinlich bereits im Vorfeld die Frage beantwortet, welche Entscheidungen er zu treffen beabsichtigt und welche Hypothesen er überprüfen möchte. Diese Hypothesen bilden die Grundlage für das Design der Visualisierung, mit der der Analytiker arbeitet.

Die RACI-Matrix ist keine Antwort auf alle möglichen Fragen zur Arbeit mit Daten, aber sie kann definitiv die Implementierung und Anwendung des Datenflusses in Ihrem Unternehmen erleichtern.

Da Personen in unterschiedlichen Rollen an verschiedenen Phasen des Datenflusses beteiligt sind, ist es falsch anzunehmen, dass der Analyst allein für die Datenqualität verantwortlich ist. Die Datenqualität liegt auch in der Verantwortung aller Kollegen, die an Datenauszeichnung, -bereitstellung, -vorbereitung oder -managemententscheidungen beteiligt sind.

Alle Daten sind immer von schlechter Qualität, und es ist unmöglich, Datenabweichungen dauerhaft zu beseitigen, Daten konsistent zu machen und sie von Rauschen und Duplizierung zu befreien. Das passiert immer wieder, besonders in einer sich so schnell und dynamisch verändernden Datenrealität wie dem Marketing. Sie können diese Probleme jedoch proaktiv identifizieren und sich zum Ziel setzen, Ihre Datenqualität bekannt zu machen. So erhalten Sie beispielsweise Antworten auf Fragen wie: Wann wurden die Daten aktualisiert? In welcher Granularität liegen Daten vor? Welche Fehler in den Daten sind uns bekannt? und Mit welchen Metriken können wir arbeiten?

Wer zur Verbesserung der Datenqualität seines Unternehmens beitragen möchte, dem empfehlen wir drei einfache Schritte:

1. Erstellen Sie ein Datenflussschema. Verwenden Sie zum Beispiel Miro und skizzieren Sie, wie Ihr Unternehmen Daten verwendet. Sie werden überrascht sein, wie viele unterschiedliche Meinungen es innerhalb eines Unternehmens zu diesem Schema gibt.
2. Erstellen Sie eine Verantwortungsmatrix und einigen Sie sich zumindest auf dem Papier darauf, wer wofür verantwortlich ist.
3. Beschreiben Sie das Geschäftsdatenmodell.

Mit langjähriger Expertise weiß das OWOX BI-Team, wie Verantwortlichkeiten verteilt werden sollten und was Analysten brauchen. Basierend auf diesem Wissen haben wir eine Matrixvorlage für die Verantwortungsverteilung für Analystenteams erstellt.

Holen Sie sich die Matrix

Darüber hinaus kann Ihnen das OWOX BI-Team bei der Konfiguration und Automatisierung aller in diesem Artikel beschriebenen Datenschritte behilflich sein. Wenn Sie bei einer dieser Aufgaben Hilfe benötigen oder Ihr Analyse- und Datenqualitätssystem prüfen möchten, buchen Sie eine Demo.

1. Dunkle Daten: Warum das, was Sie nicht wissen, wichtig ist von David J. Hand
2. Das Signal und das Rauschen: Warum so viele Vorhersagen scheitern – aber manche nicht von Nate Silver
3. Vorhersehbar irrational von Dr. Dan Ariely
4. Der irrationale Affe: Warum wir auf Desinformation, Verschwörungstheorie und Propaganda hereinfallen von David Robert Grimes
5. Eine Erfahrung eines „Daten-Ökosystems“ von Antriksh Goel