Transformacja OWOX BI: Normalizuj, przygotuj i zorganizuj swoje cyfrowe dane marketingowe z łatwością

Im więcej danych firma zbiera z różnych źródeł, tym bardziej złożony staje się cały system analityczny. W związku z tym zarządzanie systemem analitycznym i znajdowanie informacji, którym można zaufać, staje się trudniejsze. Analitycy muszą poświęcać więcej czasu na przetwarzanie i przygotowywanie danych do raportów, zamiast szukać punktów wzrostu danych i obszarów ryzyka.

W OWOX zajmujemy się analityką od ponad 20 lat i doskonale zdajemy sobie sprawę z trudności, z jakimi borykają się analitycy na każdym etapie pracy z danymi. W rezultacie stworzyliśmy oprogramowanie z przyjaznym dla analityków interfejsem użytkownika, który pomaga analitykom uprościć raportowanie i zarządzanie danymi oraz szybciej i łatwiej uzyskiwać gotowe dane biznesowe.

Dane gotowe do pracy to ostateczny, oczyszczony zestaw danych w strukturze zgodnej z Twoim modelem biznesowym. Dane biznesowe faktycznie opisują model biznesowy. Na przykład, co dokładnie oznacza w konkretnej firmie terminy użytkownicy, użytkownicy B2B, transakcje, potencjalni klienci itp.? Te definicje opisują sedno działalności. Model danych biznesowych pozwala wszystkim pracownikom na wspólne zrozumienie, w jaki sposób dane są wykorzystywane i rozumiane.

Innymi słowy, dane gotowe do użytku biznesowego są gotowe do wykorzystania w marketingu i raportowaniu produktów i mogą zostać przesłane do dowolnej usługi wizualizacji (Power BI, Tableau, Google Data Studio).

Jeśli tworzysz raporty na surowych, niemodelowanych danych, możesz napotkać wiele powtarzających się problemów: wyszukiwanie błędów i przyczyn rozbieżności zajmuje dużo czasu, a logika biznesowa musi być stale powielana we wszystkich zapytaniach SQL.

Dlatego konwertowanie nieprzetworzonych danych na dane gotowe do pracy jest ważnym krokiem, którego nie należy pomijać.

Analitycy zbierają dane z różnych usług i systemów. Oczywiście struktura i format danych w tych źródłach są różne. Aby tworzyć raporty, dane z różnych źródeł muszą być poprawnie scalone. Dane przesyłane za pośrednictwem łączników lub różnych usług ETL same w sobie są niedokładne (zawierają błędy, duplikaty i rozbieżności) oraz nie mają ujednoliconej logiki i struktury. Niedokładne i pofragmentowane dane muszą zostać oczyszczone i znormalizowane do formatu gotowego do analizy.

Konwertowanie danych z różnych źródeł do jednego formatu jest trudne. Na przykład możesz zbierać dane o kosztach z różnych platform reklamowych (Google Ads, Twitter Ads, Facebook Ads), a każdy system może mieć własną walutę i własną etykietę dla tego pola.

Kolejnym celem normalizacji danych jest rozwiązanie problemów z redundancją danych (gdy te same dane są przechowywane w bazie danych w kilku miejscach). Nadmiarowość danych przyczynia się do różnych anomalii, zmniejsza wydajność i sprawia, że ​​zarządzanie danymi jest niewygodne.

Ręczna normalizacja wszystkich danych jest nie lada wyzwaniem. Podczas pracy z dużą ilością danych może pojawić się wiele błędów i niespójności, głównie związanych z niekończącymi się zapytaniami SQL i skryptami. Jeśli coś pójdzie nie tak lub zmieni się (na przykład zaktualizuje się interfejs API usługi), wszystko się zawali.

Normalizacja danych to zadanie, które odwraca uwagę analityków od podejmowania ciekawszych zadań i szukania spostrzeżeń. Nie wspominając o tym, że zwykle zajmuje to do 50% czasu pracy analityka.

OWOX automatycznie zbiera dane do analizy w wygodnym formacie ze wszystkich Twoich źródeł marketingowych:

1. Google Analytics 4, Firebase i AppsFlyer
2. Surowe dane strony internetowej z pełną zgodnością z RODO
3. Platformy reklamowe
4. Systemy CRM
5. Inne źródła marketingowe

Dzięki OWOX BI nie musisz ręcznie czyścić, strukturyzować i przetwarzać danych. Usługa automatycznie normalizuje nieprzetworzone dane do formatu gotowego do analizy poprzez:

• Rozpoznawanie parametrów dynamicznych w tagach UTM, dzięki czemu uzyskasz pełne dane o kampaniach reklamowych
• Zamiana kosztów reklam na jedną walutę, dzięki czemu można je łączyć i porównywać
• Określanie geolokalizacji użytkowników, aby móc tworzyć raporty według kraju i regionu
• Wykrywanie aktywności botów w celu czyszczenia raportów z nieaktualnych danych
• Eliminacja niespójności i nieścisłości danych
• Konwersja wszystkich danych do jednego formatu (daty, waluty itp.)
• Formatowanie danych do tabel zgodnie ze schematem docelowej składnicy danych
• Przeprowadzanie deduplikacji w celu wyeliminowania zbędnych danych
• Usuwanie nieużywanych danych i oznaczanie anomalii
• W razie potrzeby scalanie danych z dwóch wartości w jedną lub odwrotnie, dzielenie danych z jednej wartości na dwie
• Przeprowadzanie audytów jakości danych i kontroli zgodności

W wyniku tych manipulacji danymi otrzymujesz dokładne dane strukturalne jako dane wyjściowe: ujednolicone formaty tagów, pojedyncza waluta, dane z deduplikacją itp.

Jak powiedzieliśmy powyżej, aby budować raporty, dane z różnych źródeł muszą być poprawnie połączone. Na przykład działania użytkowników muszą być połączone w sesje, aby powiązać konwersje z kampaniami reklamowymi. Koszty z różnych źródeł należy połączyć w jedną strukturę, aby można było porównać efektywność tych źródeł.

Badanie zgodności danych z różnych źródeł zajmuje dużo czasu. Ponadto scalanie danych musi odbywać się regularnie, gdy dane źródłowe są aktualizowane, a analityk powinien być w stanie elastycznie zarządzać logiką biznesową zgodnie z wymaganiami biznesowymi.

Aby przygotować system raportowania, analityk musi stworzyć i utrzymać całą kaskadę połączonych ze sobą transformacji danych SQL. Z czasem w każdym projekcie zamienia się to w plątaninę zapytań SQL i skryptów, których debugowanie zajmuje dużo czasu i nie dodaje nowej wartości.

Przygotowanie danych to proces. Nie wystarczy przygotować raport (lub nawet dużo raportów). Dane muszą być regularnie aktualizowane, a zmiany w raportach wprowadzane są na stałe. Wszystko to jest teraz wykonywane ręcznie przez analityków, co zajmuje dużo czasu, a także przy pomocy zapytań i skryptów SQL.

Jeśli tworzysz raporty na surowych danych, które nie są gotowe do pracy, możesz napotkać wiele powtarzających się problemów: wyszukiwanie błędów i przyczyn rozbieżności zajmuje dużo czasu, a logika biznesowa musi być stale powielana we wszystkich zapytaniach SQL.

Jak wygląda proces tworzenia raportu dla surowych danych?

Najpierw marketer mówi analitykowi, co należy zrobić. Następnie analityk pisze zapytania SQL i na podstawie ich wyników buduje dashboard. Jak zwykle pojawiają się pewne rozbieżności, do żądań dodawane są nowe warunki, wykonywanych jest kilka iteracji, otrzymywana jest informacja zwrotna. Ale wszystkie decyzje podejmowane są w kontekście tego jednego raportu. Gdy potrzebujesz kolejnego raportu z danymi z innych źródeł, nowych kolumn lub kilku wycinków danych, proces sprawdzania zbieżności i walidacji danych będzie musiał zostać powtórzony. Analityk może też zbudować 10 raportów, w których np. liczba klientów różni się, ponieważ zastosowano inną logikę obliczeń. Dzięki transformacji danych i modelowaniu to zadanie jest rozwiązywane przed utworzeniem raportu.

OWOX BI Transformation automatycznie stosuje podstawowe przekształcenia, których każdy potrzebuje, takie jak sesje i scalanie danych o kosztach. Ponadto możesz łatwo tworzyć i stosować własne (niestandardowe) przekształcenia.

OWOX BI dostarcza dane gotowe do analizy, oszczędzając godziny na przygotowaniu danych.

1. Automatycznie łącz trafienia sesji

Algorytm OWOX BI automatycznie łączy trafienia w sesje bez uciekania się do logiki tworzenia sesji Google Analytics. Otrzymasz gotowe do użycia automatycznie aktualizowane tabele sesji w wygodnej strukturze bez konieczności pisania skomplikowanych przekształceń danych.

2. Łączenie danych o kosztach w różnych kanałach

Aby przeliczyć koszty reklamy, analitycy muszą przesłać dane z konta reklamowego do oddzielnych plików, a następnie ręcznie przesłać je przez interfejs BigQuery. Wady tej metody są oczywiste — dużo niepotrzebnej pracy i brak automatyzacji.

Możesz także napisać własne skrypty, które będą pobierać potrzebne informacje z serwisu marketingowego. Ale praca tego rozwiązania musi być stale monitorowana i utrzymywana. W takim przypadku wydasz zasoby programistów na scalanie danych z różnych kont i dla różnych dat, sprawdzanie ich jakości i szybkie reagowanie na ewentualne zmiany w interfejsach API usług reklamowych. W przeciwnym razie dane niskiej jakości mogą prowadzić do złych decyzji, które są kosztowne dla firmy.

OWOX BI działa płynnie z dużymi kontami reklamowymi i przesyła wszystkie dane niezależnie od liczby kampanii. Zbiera wszystkie dane o kosztach w automatycznie aktualizowanej, ujednoliconej i przyjaznej dla użytkownika tabeli bez zbędnych pól.

Oprócz automatycznego importowania danych o kosztach, OWOX BI rozpoznaje parametry dynamiczne w tagach UTM, przelicza koszty na jedną walutę, aktualizuje dane w Google BigQuery z mocą wsteczną w przypadku zmiany usługi reklamowej oraz monitoruje trafność danych.

3. Pojedyncze profile użytkowników na różnych urządzeniach

Wszystkie dane o zachowaniu użytkowników z Twojej witryny, a także z różnych urządzeń i aplikacji są łączone w jeden profil. Otrzymasz pełny obraz zachowania każdego użytkownika, aby przeanalizować jakość kampanii reklamowych.

4. Typ użytkownika (nowy lub powracający)

OWOX BI definiuje typ użytkownika (nowego lub powracającego), dzięki czemu można tworzyć raporty dotyczące różnych kohort użytkowników.

5. Koszty reklamy przypisane do każdej sesji

OWOX BI przypisuje dane o kosztach na poziomie sesji. Nie jesteś już ograniczony do oceny skuteczności marketingu w ramach kampanii reklamowej i możesz poprawnie obliczyć ekonomię jednostkową. Oceń skuteczność reklam dla różnych kohort, regionów, stron docelowych i grup produktów.

6. Modelowanie atrybucji

W OWOX BI możesz połączyć dowolny standardowy model atrybucji z raportami, skonfigurować model atrybucji oparty na danych na podstawie prognozowania konwersji OWOX lub skonfigurować model niestandardowy, aby pasował do Twoich reguł i lejka sprzedaży. Wszystko to można łatwo zrobić w interfejsie produktu bez pomocy inżynierów danych.

Dzięki transformacjom danych OWOX BI masz szerokie możliwości pomiaru wpływu kampanii na konwersje:

• Wybierz dowolny uznany w branży model atrybucji (ostatnie kliknięcie, kliknięcie pięścią, kształt litery U) ze wstępnie zdefiniowanych szablonów
• Użyj algorytmicznego modelu atrybucji opartego na ścieżce
• Twórz własne niestandardowe modele
• Twórz raporty na podstawie różnych modeli atrybucji, aby porównywać wyniki

7. Konwersja modelowana

Użyj modelowanej konwersji do pomiarów bez plików cookie i prognoz konwersji.

Aby spełnić wymagania RODO, właściciel witryny musi odmówić identyfikacji użytkowników, którzy nie chcą udostępniać swoich plików cookie i nie klikać magicznego przycisku „Akceptuj pliki cookie”. Dzięki temu tryb zgody zmniejsza liczbę konwersji, dla których można określić źródło ruchu o 30%.

Modelowanie konwersji pomaga rozwiązać ten problem. Po pierwsze, systemy uczenia maszynowego przetwarzają dostępne dane i statystyki historyczne. Następnie, wiedząc, jaki procent użytkowników zezwolił na ustawienie plików cookie i jak ci użytkownicy dokonali konwersji, określają najbardziej prawdopodobną ścieżkę atrybucji dla tych, którzy tego nie zrobili. Pozwala to na dokładniejsze dopasowanie wyników kampanii do kosztów kampanii — a jednocześnie zgodne z decyzjami użytkowników dotyczącymi plików cookie.

Aby określić źródło takich niespójnych transakcji, korzystamy z modelu uczenia maszynowego wytrenowanego na spójnych danych oraz dodatkowych parametrach (User-Agent, Geo, Device i inne). Mówiąc prościej, model analizuje dopasowane konwersje ze znanymi źródłami i proporcjonalnie rozdziela pozostałe niespójne konwersje do tych źródeł i nośników, które znajdują się w danych.

Bez względu na to, jak przygotujesz dane do raportowania, zawsze będziesz musiał:

• Kontroluj logikę transformacji danych
• Mieć jasny obraz tego, jak dane są ze sobą powiązane
• Szybko zidentyfikuj przyczyny awarii i opóźnień w aktualizacji danych

Im bardziej rozgałęziony wewnętrzny magazyn danych, tym trudniej napisać jakąkolwiek logikę, która zbierze dane gotowe do pracy — i tym trudniej analitykowi zarządzać danymi. Bez wygodnego narzędzia do aranżacji analitycy pędzą między dużą ilością danych, licznymi łącznikami oraz różnymi przekształceniami i raportami, nie mając jasnego obrazu, w jaki sposób są one połączone. W efekcie wyszukiwanie i usuwanie błędów i rozbieżności zajmuje dużo czasu.

OWOX BI Workspace umożliwia zarządzanie przepływem danych w przyjaznym dla analizy interfejsie użytkownika. Uprościliśmy cały proces, aby zaoferować analitykom zupełnie nowy sposób pracy z danymi. Analitycy mogą przejść całą drogę od uzyskania surowych danych do samodzielnej wizualizacji w ramach tego samego produktu.

• Śledź, jak dane są przenoszone i zmieniane od łączników do pulpitów nawigacyjnych
• Ustaw i kontroluj transformację danych i logikę obliczania metryk w każdym raporcie
• Zarządzaj transformacjami SQL za pomocą kilku kliknięć
• Zaplanuj aktualizacje danych, aby zachować aktualność danych
• Natychmiast zobacz każdy błąd lub opóźnienie w aktualizacji danych

Nasz produkt nie jest zamkniętym pudełkiem, które daje niezrozumiałe rezultaty. Otrzymasz przejrzysty wykres przekształceń, który wyraźnie pokazuje, jak przemieszczają się Twoje dane, gdzie i dlaczego. Łatwo zobaczyć i wpłynąć na logikę obliczeń. Nie tylko zobaczysz wynik: zrozumiesz, jak do tego doszło.

Są pewne rzeczy, których analitycy nie mogą zrobić samodzielnie, na przykład definiowanie modelu atrybucji, podłączanie nowych źródeł danych i dokonywanie trudnych transformacji danych. Do tych zadań wymagany jest inżynier danych.

Dostosowywanie i utrzymywanie niestandardowych narzędzi do aranżacji transformacji, takich jak Airflow lub dbt, wymaga inżynierów danych — zasobu rzadkiego. Korzystanie z takich narzędzi jest wygodne dla programistów, ale nie dla analityków. Możesz przeczytać więcej na ten temat w artykule benn.substack.

Dlatego analitycy często muszą czekać na pomoc, a inżynierowie danych często odrywają się od swoich głównych zadań. Wszystko to spowalnia czas uzyskiwania informacji, uniemożliwiając użytkownikom biznesowym podejmowanie na czas decyzji opartych na danych.

OWOX oferuje zupełnie nowy, wydajniejszy sposób pracy z danymi, w którym analityk staje się samowystarczalną i wysoce efektywną jednostką biznesową. Analityk uzyskuje kontrolę nad całym przepływem pracy z danymi i może realizować swoje talenty w analizie, zamiast grzęznąć w rutynowych zadaniach.

Dzięki OWOX otrzymujesz dokładne dane biznesowe w formacie gotowym do SQL, aby łatwo analizować spostrzeżenia, oszczędzając krytyczny czas inżynierów i analityków. Nie potrzebujesz inżyniera danych, ponieważ OWOX robi wszystko automatycznie.

Na drodze do formatu biznesowego trzeba wykonać wiele pracy z danymi. Poza tym dane do sprawozdawczości powinny być regularnie aktualizowane. Aby nie marnować czasu analityków na te rutynowe zadania, najlepiej zautomatyzować cały proces pracy z danymi za pomocą OWOX BI i uwolnić czas analityków na analizę danych i wyszukiwanie insightów.