Kto odpowiada za jakość danych? Macierz odpowiedzialności dla zespołów analitycznych

Ponieważ dane niskiej jakości mogą sprawić, że dalsze działania (takie jak obliczanie atrybucji, wysyłanie stawek do usług reklamowych lub tworzenie raportów) mogą być bezużyteczne, zapewnienie jakości danych nadal jest największym wyzwaniem w analityce cyfrowej. Powszechnie mówi się, że analitycy są odpowiedzialni za wszystkie kwestie związane z danymi. Ale czy to prawda?

Kto odpowiada za jakość danych w firmie? Wbrew powszechnemu przekonaniu to nie tylko analitycy. Na przykład marketerzy pracują z tagami UTM, inżynierowie stosują kody śledzące itp. Nic więc dziwnego, że podczas pracy z danymi pojawia się chaos: każdy pracownik ma wiele zadań i nie jest jasne, kto co robi, kto jest za co odpowiedzialny i kogo należy zapytać o wynik.

W tym artykule staramy się zrozumieć, kto odpowiada za jakość danych na każdym etapie i jak nimi zarządzać.

Nawet w ramach jednej firmy świat danych może być wypełniony rozbieżnościami i nieporozumieniami. Aby zapewnić użytkownikom biznesowym wysokiej jakości dane i uniknąć utraty cennych danych, musisz zaplanować gromadzenie wszystkich niezbędnych danych marketingowych. Przygotowując przepływ danych, pokazujesz, w jaki sposób dane są powiązane ze współpracownikami we wszystkich działach, dzięki czemu łączenie kropek staje się łatwe. To jednak dopiero pierwszy krok. Zobaczmy, jakie są inne etapy przygotowywania danych do raportów i pulpitów nawigacyjnych:

1. Skonfiguruj podstawowe zbieranie danych.
2. Zbieraj surowe dane do magazynu danych lub bazy danych.
3. Przekształć surowe dane w gotowe dane biznesowe, ze znacznikami, które są oczyszczone i mają strukturę zrozumiałą dla firmy.
4. Przygotuj hurtownię danych — płaską strukturę, która służy jako źródło danych do wizualizacji danych.
5. Wizualizuj dane dla pulpitu nawigacyjnego.

Jednak niezależnie od wszelkich przygotowań decydenci często napotykają raport lub pulpit nawigacyjny z danymi niskiej jakości. A pierwszą rzeczą, jaką robią, jest zwrócenie się do analityka z pytaniem: Dlaczego istnieje rozbieżność? lub Czy dane są tutaj istotne?

Jednak rzeczywistość jest taka, że ​​w te procesy zaangażowani są różni specjaliści: inżynierowie danych zajmują się konfiguracją systemu analitycznego, marketerzy dodają tagi UTM, użytkownicy wprowadzają dane. Zobaczmy szczegółowo, przez jakie etapy należy przejść i jak należy je wdrożyć, aby zapewnić użytkownikom wysokiej jakości dane.

Chociaż ten krok wygląda na najłatwiejszy, istnieje kilka ukrytych przeszkód. Przede wszystkim musisz zaplanować zbieranie wszystkich danych ze wszystkich źródeł, uwzględniając wszystkie punkty kontaktu z klientem. Czasami ten krok planowania jest pomijany, ale jest to nierozsądne i ryzykowne. Przyjęcie nieustrukturyzowanego podejścia prowadzi do uzyskania niekompletnych lub niepoprawnych danych.

Głównym wyzwaniem jest to, że musisz zbierać fragmentaryczne dane z różnych platform reklamowych i usług, z którymi współpracujesz. Ponieważ przetwarzanie ogromnych macierzy danych w jak najkrótszym czasie jest skomplikowane i wymagające dużej ilości zasobów, zobaczmy, jakie mogą pojawić się możliwe wąskie gardła:

• Nie wszystkie strony mają zainstalowany kontener GTM, dlatego dane nie są wysyłane do Google Analytics.
• Tworzone jest nowe konto na platformie reklamowej, ale analitycy nie są informowani i nie są z niego pobierane dane.
• Interfejs API nie obsługuje parametrów dynamicznych w tagach UTM i nie zbiera ich ani nie przesyła.
• Karta podłączona do projektu Google Cloud ma niewystarczające środki lub środki.
• Nieprawidłowa walidacja danych wprowadzonych przez użytkownika.

Podczas tego kroku, oprócz wszystkich innych wyzwań, musisz rozważyć kontrolowanie dostępu do danych. W tym celu zalecamy użycie klasycznej macierzy RACI, która definiuje role dla procesów i podkreśla, kto za co robi, kontroluje, zarządza i jest za co odpowiedzialny. Oto możliwe role:

• R (Odpowiedzialny) — ktoś, kto jest odpowiedzialny i jest wykonawcą określonego procesu
• C (Konsultowany) — osoba, która konsultuje i udostępnia dane niezbędne do realizacji procesu
• A (Odpowiedzialny lub Zatwierdzający) — osoba odpowiedzialna za wynik pracy
• Ja (Poinformowany) — osoba, która musi być poinformowana o postępach prac

Zgodnie z macierzą RACI role i obowiązki związane z gromadzeniem danych wyglądają następująco:

Następnym krokiem jest podjęcie decyzji, gdzie przechowywać wszystkie uzyskane dane. Jeśli chcesz uzyskać pełną kontrolę nad surowymi danymi bez ich modyfikowania, zalecamy korzystanie z jednego magazynu z automatycznym importem danych. Ponieważ korzystanie z własnych serwerów do przechowywania każdego bajtu danych będzie kosztować fortunę, zalecamy korzystanie z rozwiązań chmurowych, które oszczędzają Twoje zasoby i zapewniają dostęp do danych w dowolnym miejscu.

Najlepszą opcją do tego zadania jest Google BigQuery, ponieważ uwzględnia potrzeby marketerów i może służyć do przechowywania surowych danych ze stron internetowych, systemów CRM, platform reklamowych itp. Obecnie istnieje mnóstwo rozwiązań oprogramowania marketingowego. Polecamy OWOX BI, który automatycznie zbiera dane do hurtowni danych (lub data lake) z różnych serwisów i stron internetowych.

Zobaczmy, jakie klasyczne błędy mogą wystąpić podczas zbierania surowych danych:

• Zmieniło się API usługi reklamowej. W związku z tym zmienił się również format danych.
• Interfejs API usługi zewnętrznej jest niedostępny. Interesariusz widzi pewne liczby na swoim koncie osobistym, ale API tej samej usługi reklamowej podaje inne dane. Te dane nie są zgodne, ponieważ, podobnie jak w każdym systemie rozproszonym, źródło danych dla interfejsu API usługi reklamowej różni się od źródła danych dla portalu internetowego.
• Dane w interfejsie WWW i API usługi zewnętrznej są inne. Formaty dokumentacji i przetwarzania danych mogą być różne. Na przykład interesującym błędem w jednym z popularnych serwisów reklamowych jest to, że wydatki są zerowe zarówno wtedy, gdy nie istnieją, jak i wtedy, gdy faktycznie wynoszą zero. Wszyscy inżynierowie i analitycy danych wiedzą, że zero i Null to różne wartości i są inaczej przetwarzane. W jednym przypadku te wydatki mogą się pojawić i trzeba je ponownie zgłosić, a zero oznacza, że ​​tak naprawdę ich nie ma i są liczone jako zero.
• API usługi zewnętrznej podaje nieprawidłowe dane.

Zgodnie z macierzą, w tym procesie marketer jest konsultantem i źródłem wiedzy: na przykład wiedzy o tym, z jakich kont trzeba pobierać dane, czym są tagi UTM, a także znaczników na kampaniach reklamowych.

Są też programiści, którzy chcą wiedzieć, jakie zmiany zaszłyby w kontenerach, gdyby został użyty Menedżer tagów Google, ponieważ to oni odpowiadają za prędkość pobierania witryny.

W tym momencie inżynierowie danych już pełnią odpowiedzialną rolę, ponieważ konfigurują potoki danych. A za wynik pracy odpowiedzialni są analitycy. Nawet jeśli jeden pracownik pełni te funkcje, w rzeczywistości będą dwie role. Jeśli więc firma ma tylko jednego analityka, nadal zalecamy wdrażanie macierzy według ról. Następnie, wraz z rozwojem firmy, będziesz mieć opis stanowiska dla nowego współpracownika i będzie jasne, jakie są obowiązki dla określonej roli.

Interesariusz na tym etapie jest zainteresowany tym, jakie dane są dostępne i jakie są problemy z ich jakością, ponieważ identyfikuje priorytety i zasoby służące gromadzeniu danych. Na przykład funkcja OWOX BI Data Monitoring jest szeroko stosowana przez naszych klientów.

Kolejnym krokiem jest przygotowanie danych. Często nazywa się to przygotowaniem data mart — jest to płaska struktura zawierająca te parametry i metryki, które będą prezentowane na dashboardzie. Analityk, który jest ograniczony w narzędziach, budżecie i czasie, często pomija etap przygotowania danych biznesowych i od razu przygotowuje data mart. Wygląda jak surowe dane zebrane w hurtowni danych. Następnie jest milion różnych zapytań SQL wraz ze skryptami Python i R — i ten bałagan spowoduje, że coś pojawi się na desce rozdzielczej.

Jeśli będziesz ciągle pomijać przygotowywanie danych gotowych do biznesu, doprowadzi to do powtarzających się błędów, które należy poprawić w każdym ze źródeł. Inne rzeczy, które mogą pójść nie tak, to:

• Regularne błędy w danych pierwotnych
• Logika biznesowa duplikowana we wszystkich zapytaniach SQL
• Dużo czasu potrzebnego na znalezienie przyczyn rozbieżności danych
• Czas na dopracowanie istniejących data martów porównywalny z czasem na przepisanie żądania
• Logika raportu niezrozumiała dla klienta

Najprostszym i najczęstszym przykładem błędu jest definicja nowego użytkownika i powracającego użytkownika . Większość firm nie dokonuje tego rozróżnienia w taki sam sposób jak Google Analytics. Dlatego logika definicji typu użytkownika jest często powielana w różnych raportach. Częste błędy to także niezrozumiała logika raportu. Pierwszą rzeczą, o którą zapyta klient biznesowy, patrząc na raport, jest to, w jaki sposób został on zbudowany, na jakich założeniach został oparty, dlaczego dane zostały użyte i tak dalej. Dlatego przygotowanie danych biznesowych to etap, którego zdecydowanie nie należy pomijać. Tworzenie bazy danych na podstawie surowych danych jest jak niemycie warzyw i owoców przed ich zjedzeniem.

Jeśli przyporządkujemy obowiązki zgodnie z matrycą, to do przygotowania danych otrzymamy to:

Dane gotowe do pracy to oczyszczony ostateczny zestaw danych, który odpowiada modelowi biznesowemu. To gotowe dane, które można przesłać do dowolnej usługi wizualizacji danych (Power BI, Tableau, Google Data Studio itp.).

Oczywiście różne firmy działają według różnych modeli. Na przykład definicje „użytkowników”, „użytkowników B2B”, „transakcje, „potencjalni klienci” itp. będą oznaczać różne rzeczy dla różnych firm. Te obiekty biznesowe faktycznie odpowiadają na pytanie, jak firma myśli o swoim modelu biznesowym w kategoriach danych. Jest to opis istoty biznesu, a nie struktura zdarzeń w Google Analytics.

Model danych umożliwia wszystkim pracownikom synchronizację i ogólne zrozumienie, w jaki sposób dane są wykorzystywane i co jest na ich temat rozumiane. Dlatego konwertowanie nieprzetworzonych danych na dane gotowe do pracy jest ważnym etapem, którego nie można pominąć.

Co może pójść nie tak na tym etapie:

• Nie jest jasne, jaki model danych ma/używa firma
• Trudne w przygotowaniu i utrzymaniu symulowanych danych
• Trudne do kontrolowania zmiany w logice transformacji

Tutaj musisz zdecydować, który model danych wybrać i jak kontrolować zmiany w logice transformacji danych. W związku z tym są to role uczestników procesu zmiany:

Interesariusz nie jest już tylko informowany, ale staje się konsultantem. Podejmują decyzje takie jak, co należy rozumieć jako nowy lub powracający użytkownik. Zadaniem analityka na tym etapie jest jak największe zaangażowanie interesariuszy w podejmowanie tych decyzji. W przeciwnym razie najlepszą rzeczą, jaka może się zdarzyć, jest to, że analityk zostanie poproszony o ponowne wykonanie raportu.

Z naszego doświadczenia wynika, że ​​niektóre firmy nadal nie przygotowują gotowych danych biznesowych i nie budują raportów na danych surowych. Głównym problemem tego podejścia jest niekończące się debugowanie i przepisywanie zapytań SQL. Na dłuższą metę tańsza i łatwiejsza jest praca z przygotowanymi danymi, zamiast biegać po surowych danych, robiąc te same rzeczy w kółko.

OWOX BI automatycznie zbiera surowe dane z różnych źródeł i konwertuje je do formatu przyjaznego dla raportów. W efekcie otrzymujesz gotowe zestawy danych, które są automatycznie przekształcane do pożądanej struktury, uwzględniającej ważne dla marketerów niuanse. Nie będziesz musiał spędzać czasu na opracowywaniu i wspieraniu złożonych transformacji, zagłębiać się w strukturę danych i spędzać godzin na szukaniu przyczyn rozbieżności.

Zarezerwuj bezpłatne demo, aby zobaczyć, jak OWOX BI pomaga w przygotowaniu danych biznesowych i jak możesz skorzystać z w pełni zautomatyzowanego zarządzania danymi już dziś.

Kolejnym etapem jest przygotowanie data martu. Mówiąc najprościej, jest to przygotowana tabela zawierająca dokładne dane potrzebne określonym użytkownikom danego działu, co znacznie ułatwia aplikację.

Dlaczego analitycy potrzebują data mart i dlaczego nie należy pominąć tego etapu? Marketerzy i inni pracownicy bez umiejętności analitycznych mają trudności z pracą z surowymi danymi. Zadaniem analityka jest zapewnienie wszystkim pracownikom dostępu do danych w najwygodniejszej formie, dzięki czemu nie muszą za każdym razem pisać skomplikowanych zapytań SQL.

Data mart pomaga rozwiązać ten problem. Rzeczywiście, przy kompetentnym wypełnieniu, będzie zawierał dokładnie wycinek danych niezbędny do pracy określonego działu. A koledzy będą dokładnie wiedzieć, jak korzystać z takiej bazy i zrozumieją kontekst prezentowanych w niej parametrów i metryk.

Główne przypadki, w których coś może pójść nie tak podczas przygotowywania data martu to:

• Logika scalania danych jest niezrozumiała. Na przykład mogą istnieć dane z aplikacji mobilnej i strony internetowej i musisz zdecydować, jak je scalić i według jakich kluczy, lub zdecydować, jak połączyć kampanie reklamowe z działaniami w aplikacji mobilnej. Pytań jest bardzo dużo. Podejmując te decyzje przygotowując dane biznesowe, podejmujemy je raz, a ich wartość jest większa niż decyzje podejmowane ad hoc dla konkretnego raportu tu i teraz. Takie doraźne decyzje muszą być podejmowane wielokrotnie.
• Zapytanie SQL nie jest uruchamiane z powodu ograniczeń technicznych hurtowni danych. Przygotowanie danych biznesowych to jeden ze sposobów oczyszczenia danych i wprowadzenia ich w symulowaną strukturę, która obniży koszty przetwarzania i przyspieszy zapytania.
• Nie jest jasne, jak sprawdzić jakość danych .

Zobaczmy, kto za co odpowiada na tym etapie według macierzy:

Oczywiste jest, że za przygotowanie danych odpowiadają analitycy danych oraz interesariusze i inżynierowie danych, którzy są konsultantami w procesie. Pamiętaj, że analitycy OWOX BI mogą wykonać to zadanie za Ciebie. Możemy zbierać i scalać dane, modelować je pod Twój model biznesowy, a także przygotować data mart wraz ze szczegółowymi instrukcjami z opisem logiki kompilacji, umożliwiającymi wprowadzenie zmian po Twojej stronie w razie potrzeby (np. dodanie nowych pól).

Wizualna prezentacja danych w raportach i dashboardach to ostatni etap, od którego właściwie wszystko się zaczęło. Oczywiście dane powinny być prezentowane w sposób informacyjny i przyjazny dla użytkownika. Nie wspominając o tym, że zautomatyzowane i odpowiednio skonfigurowane wizualizacje znacznie skracają czas na znalezienie stref ryzyka, problemów i możliwości rozwoju.

Jeśli masz przygotowane dane biznesowe i data mart, nie będziesz miał trudności z wizualizacjami. Mogą jednak również pojawić się błędy takie jak:

• Nieistotne dane w data mart. Jeśli firma nie jest pewna jakości danych, to nawet jeśli dane są wysokiej jakości, pierwszym krokiem klienta biznesowego jest poproszenie analityka o ponowne sprawdzenie wszystkiego. To jest nieefektywne. To oczywiste, że biznes chce być chroniony przed błędami i nie spieszyć się z wyciąganiem wniosków. Dlatego wysoka jakość danych jest gwarancją, że ktoś później z nich skorzysta.
• Wybór niewłaściwej metody wizualizacji danych.
• Niewłaściwe wyjaśnienie klientowi logiki obliczeń metryk i parametrów. Często klient biznesowy, który nie korzysta z SQL i metryk, aby poprawnie zinterpretować dane, musi zobaczyć, co oznacza każda metryka w kontekście raportu, jak jest obliczana i dlaczego. Analitycy nie powinni zapominać, że każdy, kto korzysta z raportu, powinien mieć dostęp do wyjaśnienia, co kryje się za raportem, jakie założenia były podstawą raportu itp.

Według macierzy RACI analityk ma już podwójną rolę — zatwierdzającego i odpowiedzialnego . Interesariusz jest tutaj konsultantem i najprawdopodobniej z góry odpowiedział na pytanie, jakie decyzje planuje podjąć i jakie hipotezy chcą przetestować. Hipotezy te stanowią podstawę do zaprojektowania wizualizacji, z którą pracuje analityk.

Macierz RACI nie jest odpowiedzią na wszystkie możliwe pytania dotyczące pracy z danymi, ale zdecydowanie może ułatwić wdrożenie i zastosowanie przepływu danych w Twojej firmie.

Ponieważ na różnych etapach przepływu danych zaangażowane są osoby pełniące różne role, błędem jest zakładanie, że za jakość danych odpowiada wyłącznie analityk. Jakość danych jest również obowiązkiem wszystkich współpracowników, którzy są zaangażowani w oznaczanie danych, dostarczanie, przygotowywanie lub decyzje dotyczące zarządzania.

Wszystkie dane są zawsze słabej jakości i niemożliwe jest trwałe usunięcie rozbieżności danych, zapewnienie spójności danych oraz pozbycie się szumu i duplikacji. Dzieje się tak zawsze, zwłaszcza w tak szybko i dynamicznie zmieniającej się rzeczywistości danych jak marketing. Możesz jednak proaktywnie identyfikować te problemy i wyznaczać cel, aby znana była jakość Twoich danych. Na przykład możesz uzyskać odpowiedzi na pytania takie jak: Kiedy dane zostały zaktualizowane? W jakim stopniu są dostępne dane? O jakich błędach w danych wiemy? i Z jakimi wskaźnikami możemy pracować?

Tym, którzy chcą przyczynić się do poprawy jakości danych swojej firmy, polecamy trzy proste kroki:

1. Utwórz schemat przepływu danych. Na przykład użyj Miro i naszkicuj, w jaki sposób Twoja firma wykorzystuje dane. Zdziwisz się, jak wiele jest różnych opinii na temat tego schematu w jednej firmie.
2. Ułóż macierz odpowiedzialności i ustal, kto jest za co odpowiedzialny, przynajmniej na papierze.
3. Opisz model danych biznesowych.

Posiadając wieloletnie doświadczenie zespół OWOX BI wie, jak należy rozmieścić obowiązki i czego potrzebują analitycy. Bazując na tej wiedzy, przygotowaliśmy szablon macierzy alokacji odpowiedzialności dla zespołów analityków.

Pobierz macierz

Ponadto zespół OWOX BI może pomóc w konfiguracji i automatyzacji wszystkich kroków związanych z danymi opisanych w tym artykule. Jeśli potrzebujesz pomocy przy którymkolwiek z tych zadań lub chcesz przeprowadzić audyt swojego systemu analityki i jakości danych, zarezerwuj demo.

1. Dark Data: Dlaczego to, czego nie wiesz, ma znaczenie, David J. Hand
2. Sygnał i hałas: dlaczego tak wiele prognoz zawodzi — ale niektóre nie — Nate Silver
3. Przewidywalnie irracjonalny dr Dan Ariely
4. Irracjonalna małpa: dlaczego ulegamy dezinformacji, teorii spiskowej i propagandzie Davida Roberta Grimesa
5. Doświadczenie „Ekosystemu danych” Antriksha Goel