Jak uniknąć próbkowania i zebrać pełne dane do zaawansowanej analityki

Czy zastanawiałeś się kiedyś, jak uniknąć próbkowania i limitów w standardowych raportach Google Analytics? Jak uzyskać pełne dane do raportowania marketingowego? Istnieje kilka rozwiązań, takich jak:

• Przejdź na płatną usługę Google Analytics 360 i skonfiguruj eksport nieprzetworzonych danych do Google BigQuery (GBQ).
• Korzystaj z aplikacji+internetu Google Analytics. Produkt jest nadal w wersji beta i umożliwia bezpłatne pobieranie danych o zachowaniach użytkowników do Google BigQuery.
• Korzystaj z innych usług, które zbierają dane ze strony do Google BigQuery.

Każde z tych rozwiązań ma swoje specjalizacje i ograniczenia. W artykule szczegółowo wyjaśniamy te funkcje i opisujemy, jak poruszać się z OWOX BI.

Głównym ograniczeniem Google Analytics 360 jest jego wysoki koszt. Najnowsze działania użytkownika pojawiają się w tabelach BigQuery po ponad 15 minutach. Aby ustawić taką częstotliwość odświeżania danych, będziesz musiał dodatkowo zapłacić: domyślnie tabela sesji jest aktualizowana trzy razy dziennie.

W niektórych sytuacjach trzeba dodatkowo płacić za przetwarzanie żądań w Google BigQuery. Tabela eksportu z GA 360 zawiera wiele poziomów zagnieżdżenia i pól, które w 80% przypadków mogą być puste. Im więcej poziomów zagnieżdżenia znajduje się w tabeli, tym droższe są zapytania. Jeśli masz wiele raportów do aktualizowania codziennie lub co tydzień, przetwarzanie danych spowoduje większość kosztów GBQ.

App+Web zbiera dane w innej strukturze niż standardowe Google Analytics. Jeśli w GA wszystko opiera się na sesjach, w App+Web — na użytkownikach i zdarzeniach. Może to stanowić problem dla wielu analityków i marketerów, którzy przyzwyczaili się do GA — muszą zbadać nową strukturę danych, przerobić system metryk dla witryny i przebudować istniejące raporty. Inne usługi, które zbierają dane z serwisu do GBQ we własnej strukturze, również mogą mieć ten problem.

Ponieważ eksport z GA 360 i App+Web do Google BigQuery jest reprezentacją danych zebranych w Google Analytics, nie zapewnia retrospektywnej aktualizacji rekordów. Na przykład zwrot zakupu będzie zwykle rejestrowany jako oddzielna sesja, która nie będzie powiązana z sesją płatności. Dlatego prawidłowe przychody z tego zamówienia muszą zostać ponownie obliczone ręcznie.

Żadne z wymienionych rozwiązań nie może przenieść kosztów kampanii reklamowej na poziomie sesji do Google BigQuery. Oznacza to, że nie będziesz wiedzieć, ile wydałeś na przyciągnięcie określonej grupy użytkowników. Nie można obliczyć ROI i DRR dla różnych kohort, grup produktów i stron docelowych.

Znając te ograniczenia, w OWOX zdecydowaliśmy się ulepszyć przetwarzanie surowych danych dla każdego rodzaju biznesu. Przeprowadziliśmy setki wywiadów produktowych i otrzymaliśmy następujące prośby:

1. Dane witryny powinny być w całości gromadzone w Google BigQuery w formie niezagregowanej.
2. Dane o zachowaniu użytkowników muszą być dostarczane do Google BigQuery w trybie zbliżonym do czasu rzeczywistego.
3. Tabele sesji w Google BigQuery powinny zawierać dane o kosztach reklamy.
4. Struktura tabeli musi być zwarta i możliwie pełna, aby optymalnie wykorzystywać zapytania o dane.
5. Dane muszą być synchronizowane według kluczowych parametrów w okresie historycznym.
6. Musi istnieć możliwość porównania danych GBQ z danymi GA, jeśli pojawią się znaczące rozbieżności.

Rozpatrzyliśmy wszystkie te żądania i opracowaliśmy własną transmisję danych z witryny do Google BigQuery.

Przyjrzyjmy się bliżej, w jaki sposób OWOX BI omija ograniczenia Google Analytics i standardowego eksportu BigQuery oraz jak biznes może z tego skorzystać.

Ideą próbkowania jest budowanie raportów na próbkach danych, a nie na całej objętości dostępnych danych. Jeśli próbka jest zbyt mała, nie można ufać raportowi zbudowanemu na takiej próbce. Dzięki OWOX BI możesz zbierać kompletne niespróbkowane dane, aby tworzyć dokładniejsze raporty i podejmować decyzje oparte na danych.

Każda akcja użytkownika na stronie (podgląd strony, kliknięcie przycisku, widok banera, złożenie zamówienia) jest przekazywana do GA osobnym komunikatem – trafienie. Należy wziąć pod uwagę, że w momencie zbierania danych nie ma ograniczeń co do liczby trafień.

Interfejs GA stosuje limit trafień do przetwarzania danych i raportowania. W ten sposób otrzymujesz próbkowanie danych lub tabele zagregowane (wiersz inny w raporcie). Poza tym, jeśli chcesz użyć segmentu lub stworzyć raport ręczny, jest on najczęściej wyświetlany w formie próbnej.

Usługa kopiuje treść trafienia, gdy opuszcza Twoją witrynę, a następnie wysyła ją do Twojego projektu w Google BigQuery. W ten sposób otrzymujesz surowe, niespróbkowane dane z nieograniczoną liczbą zebranych i przetworzonych trafień.

Załóżmy, że jesteś zmuszony zbierać ruch na stronach promocyjnych, dane partnerów reklamowych lub statystyki strony docelowej dla każdej marki/producenta w oddzielnych usługach Google Analytics, aby zebrać bardziej wartościowe dane. W każdym razie, aby sprostać ograniczeniom GA, musisz wyłączyć ruch, który jest dla Ciebie cenny. Kiedy możesz zebrać te dane w jednej tabeli w Google BigQuery za pomocą OWOX BI. Daje Ci podstawę do strategicznych rozwiązań oraz kompleksowej wizji serwisu i skuteczności kampanii reklamowych.

Dzięki OWOX BI możesz szybko wysłać wyzwoloną wiadomość e-mail lub wykryć anomalię w zebranych danych o witrynie w Google BigQuery, ponieważ dane behawioralne użytkowników pojawiają się w Twoim projekcie w ciągu 1-5 minut.

Wszystkie zebrane codziennie dane odzwierciedlają się w GA dopiero po 48 godzinach (w GA 360 — po 4 godzinach). Raporty w czasie rzeczywistym wyświetlają ograniczoną liczbę parametrów i metryk oraz nie pozwalają na personalizację działań użytkowników.

Standardowy eksport z GA 360 do GBQ może działać w dwóch trybach:

• Przesyłaj dane mniej więcej raz na 8 godzin za darmo (płacisz za licencję GA 360 i przechowywanie danych w GBQ).
• Przesyłaj dane co 15 minut (musisz dodatkowo zapłacić za każdy przetworzony terabajt).

App+WEB tworzy dwie tabele:

• Przejściowe — zawiera zapisy zdarzeń z bieżącego dnia. Tabela jest aktualizowana co 15 minut i usuwana po wygenerowaniu tabeli całodniowej.
• Tabela z danymi za cały dzień — generowana raz dziennie.

OWOX BI przesyła dane bezpośrednio ze strony internetowej do Twojego projektu GBQ. W ciągu 1-5 minut po wystąpieniu zdarzenia otrzymasz pełne niezagregowane dane behawioralne użytkowników.

Monitorując aktywność użytkowników na stronie w czasie rzeczywistym, możesz stymulować sprzedaż za pomocą wyzwalających kampanii e-mailowych i osobistych ofert. Na przykład, gdy użytkownik dodał produkt do koszyka, ale niczego nie kupił lub nie podpisał wpłaty na stronie internetowej.

Może również pomóc w wykryciu i naprawieniu problemów w witrynie na czas: możesz otrzymywać powiadomienia z wyzwalaczy o błędach kodu witryny i zmniejszeniu ruchu lub konwersji.

Dzięki OWOX BI uzyskasz szeroki obraz aktywności użytkowników w Twojej witrynie, nawet jeśli składają oni zamówienia składające się z ponad 15 pozycji lub przeglądają duże listy pozycji.

W GA istnieje limit rozmiaru przesyłanego trafienia — 8 KB. Na przykład, jeśli komunikat o transakcji przekracza ten limit, nie trafia do GA.

W OWOX BI maksymalny rozmiar trafienia przesyłanego do Google BigQuery został zwiększony do 16 KB.

Trafienie może przekroczyć 8 KB i zawierać informacje o liście produktów, gdy śledzisz przeglądanie przez użytkownika stron katalogu za pomocą Ulepszonego e-commerce. Dzieje się tak, jeśli:

• W jednym trafieniu wysyłanych jest ponad 10 pozycji;
• Każdy przedmiot posiada dodatkowy parametr.

W takim przypadku spakowane trafienie nie trafi do GA. Można go jednak znaleźć w surowych danych w GBQ i dzięki OWOX BI zbudować dokładniejszy raport z przeglądanych list produktów.

Załóżmy, że chcesz zebrać więcej informacji o kliencie i samym produkcie wraz z zapytaniami o produkty bankowe. Dzięki OWOX BI masz dokładniejsze statystyki konwersji.

OWOX BI oblicza wartość każdej sesji. Pozwala obliczyć ROAS dla nowych i powracających użytkowników. Możesz także wykonać następujące czynności:

• Porównaj rentowność kohort utworzonych z tych klientów, którzy widzieli baner, i tych, którzy go nie widzieli.
• Dowiedz się, ile wydajesz i zarabiasz na każdej z grup produktów.
• Oceń skuteczność reklam dla różnych regionów, stron docelowych, wersji mobilnych i aplikacji.

Możesz ręcznie wczytać do GA koszty reklam z różnych usług reklamowych. Nie wiesz jednak, ile wydałeś na przyciągnięcie konkretnego klienta lub segmentu użytkowników, ponieważ dane o kosztach w GA są agregowane i łączone z kampaniami reklamowymi.

Usługa App+WEB nie pozwala również na przeniesienie kosztów kampanii reklamowych na poziomie sesji/użytkownika do Google BigQuery.

OWOX BI automatycznie przesyła koszty reklam do Google Analytics i Google BigQuery, rozkładając je na sesje zgodnie z tagami UTM. Dlatego znasz koszt każdej sesji w 5 głównych tagach UTM (źródło, medium, kampania, słowo kluczowe, treść) i możesz tworzyć raporty dotyczące CPC, CPA, CPO i CRR na surowych danych. Poprawia dokładność raportów i pomaga efektywniej alokować budżet marketingowy.

Dzięki OWOX BI możesz dowiedzieć się, ile wydałeś na każdą sesję oraz pogrupować koszty i przychody według określonego użytkownika, kohorty lub strony docelowej.

Na przykład chcesz zrozumieć, które grupy towarów powinny być promowane, aby przynosić większe zyski, ponieważ produkt, który przyciąga użytkownika, nie jest obowiązkowo tym samym produktem, który kupuje użytkownik. Musisz pogrupować koszty reklam cyfrowych w kategorie, aby znaleźć najskuteczniejsze kategorie produktów do promowania. Można to zrobić za pomocą OWOX BI, przenosząc dane o kosztach z GA do GBQ i rozdzielając koszty na wszystkie sesje za pomocą tagów UTM. W tym przypadku właściwościami sesji będą zarówno koszty, jak i przychody.

Dzięki OWOX BI nie musisz podejmować żadnych dodatkowych działań w celu oceny realizacji zamówienia, zwrotu zakupów lub sprawdzenia, co nowy subskrybent robił w Twojej witrynie przez ostatnie trzy miesiące. Nasza usługa umożliwia retrospektywną aktualizację danych przesłanych do Google BigQuery.

W standardowym GA możesz retrospektywnie zaktualizować status zamówienia tylko wtedy, gdy od złożenia zamówienia do płatności minęło mniej niż 4 godziny. W przeciwnym razie płatność jest rejestrowana w GA jako nowa sesja. Na przykład, jeśli dodasz zwrot 3 kwietnia za transakcję z 18 marca, w raporcie z 18 marca nadal zobaczysz pełną sumę transakcji. W związku z tym rozkład wartości w kanałach nie będzie prawidłowy z powodu tego błędu.

Protokół pomiaru nie jest obecnie dostępny w App+Web. Uniemożliwia retrospektywną aktualizację statusu zamówienia lub pobieranie informacji o użytkowniku.

W tabelach, które OWOX BI wypełnia danymi w Google BigQuery, możesz retrospektywnie aktualizować następujące informacje:

• Szczegóły transakcji — możesz wprowadzić zwrot, zwrot częściowy lub zmienić kwotę na okres 30 dni.
• Informacje o użytkowniku — jeśli użytkownik zalogował się lub zalogował do serwisu, jego identyfikator użytkownika zostanie przewinięty i przypisany do sesji, które pojawiły się w ciągu ostatnich 30 dni przed datą uwierzytelnienia.
• Dane o kosztach z 90 dni (w polach adCost, attributedCost), w tym koszty wszystkich usług reklamowych zaimportowanych do Google Analytics.

Jeśli użytkownik z identyfikatorem użytkownika złożył dziś wniosek o kredyt, ten identyfikator użytkownika pojawi się we wszystkich poprzednich sesjach z tego samego urządzenia. Możesz wykorzystać te sesje do oszacowania ścieżki użytkownika do Twojego zamówienia, dokładniejszego przypisania przychodów z kampanii reklamowych i przewidzenia konwersji innych użytkowników.

Dzięki OWOX BI łatwiej jest Ci brać pod uwagę zwroty i mierzyć skuteczność kampanii reklamowych — tabele strumieniowe zawsze pokazują aktualną sumę zamówień. Jeśli zwrot nastąpił innego dnia, nie musisz go szukać w tabelach z tego dnia.

Jeśli planujesz zbudować raport ROPO (Research Online Purchase Offline), łatwiej jest dokonać obliczeń, gdy User ID jest przypisany do maksymalnej liczby sesji historycznych klienta.

Jak wspomniano powyżej, standardowa tabela eksportu z Google Analytics 360 do Google BigQuery ma zbyt wiele zagnieżdżonych i pustych pól, co zwiększa koszt przetwarzania tych danych.

OWOX BI pomaga zoptymalizować koszty przechowywania i przetwarzania danych w GBQ. W tabelach strumieniowych jest mniej pustych pól, mniej poziomów zagnieżdżenia, więc same tabele i ich zapytania „ważą” mniej.

OWOX BI pomaga uniknąć ograniczeń GA dotyczących gromadzenia danych. Jeśli planujesz śledzić całą aktywność użytkowników — od wyświetlenia banera po wybór dodatkowych usług w zamówieniu — wszystkie dodatkowe działania możesz wysyłać bezpośrednio do Google BigQuery.

Wszystkie informacje o interakcji użytkownika z Twoją witryną są przesyłane do Google Analytics za pomocą oddzielnych odwiedzin — wiadomości do serwera GA.

W momencie tworzenia hitu OWOX BI zastępuje adres do wysyłania danych z zasobu GA adresem Twojego projektu w Google BigQuery. Możemy zduplikować wszystkie trafienia zaadresowane do GA do tabel GBQ lub zablokować (całkowicie lub częściowo) wszystkie dane w GA i wysyłać trafienia tylko do tabel GBQ.

To rozwiązanie ma następujące zalety:

1. Dostajesz niespróbkowane dane ze strony w dobrze znanej strukturze Google Analytics 360, z tysiącami zapytań SQL, które zostały już dla niej napisane. Oszczędza Twój czas i skraca czas spędzany na regularnych konsultacjach analityków.
2. Możesz skonfigurować zbieranie danych bez zmniejszania szybkości ładowania witryny. Jest to możliwe, ponieważ OWOX BI duplikuje trafienia GA, zamiast przeciążać GTM oddzielnym licznikiem JS.
3. Gwarantujemy SLA w umowie i posiadamy niezbędną funkcjonalność do monitorowania jakości danych i automatycznego przechowywania informacji w przypadku niepowodzenia Twojego projektu Google Analytics i Google Cloud. Możesz być pewien jakości danych dla swoich raportów bez dodatkowych wysiłków.

Dzięki OWOX BI możliwe jest również zbieranie danych o zachowaniach użytkowników bez licznika Google Analytics JS. Możemy zbierać dane trafień z Twojej witryny do Google BigQuery za pomocą naszego kodu śledzenia.

Jeśli planujesz zbierać wrażliwe dane ze strony (typ klienta, szczegóły, parametry zamówienia), powinieneś przesłać je bezpośrednio do Google BigQuery, gdzie standard bezpieczeństwa Tier 4 reguluje ochronę informacji. Wszelkie poufne informacje mogą być przesyłane w postaci zaszyfrowanej lub zaszyfrowanej.

Załóżmy, że w Twojej witrynie znajduje się ponad 1000 banerów. Planujesz śledzić wyświetlenia i kliknięcia dla każdego z nich i mierzyć, jak wpłynęło to na zakup w bieżącej lub kolejnych sesjach. Jeśli śledzisz rzeczywiste wyświetlenia każdego banera, ilość danych wysyłanych do GA przekroczy limit o 20-25%.

Dzięki OWOX BI możesz wysyłać wszystkie statystyki banerów bezpośrednio do Google BigQuery (z pominięciem GA) i uzyskać wgląd w skuteczność wewnętrznych kampanii promocyjnych. Dzięki temu nie tracisz żadnych informacji z powodu próbkowania i agregacji danych w standardowym GA oraz przekraczania limitów w GA 360.

Dzięki OWOX BI możesz przenieść nieograniczoną liczbę parametrów użytkownika i wymiarów ze strony internetowej do Google BigQuery. Umożliwia segmentację użytkowników według dowolnej funkcji i budowanie bardziej szczegółowych raportów do dogłębnej analizy.

Google Analytics ma również ograniczenia dotyczące liczby niestandardowych danych zbieranych z witryny: 20 w przypadku wersji standardowej i 200 w przypadku GA 360. Aplikacje+internet też mają dość wąskie limity: 500 zdarzeń, 25 parametrów zdarzeń i 25 właściwości użytkownika.

Identyfikator użytkownika OWOX pomaga zoptymalizować koszty promocji i remarketingu, jeśli masz sieć witryn z przecinającymi się grupami odbiorców. Możesz także ocenić efekt post-View banerów i reklam multimedialnych.

Za pomocą plików cookie stron trzecich OWOX BI umieszcza ten sam identyfikator na różnych stronach internetowych (może to być Twoja druga strona internetowa w innej domenie lub reklama medialna na niezależnej platformie reklamowej). Następnie ten identyfikator łączy sesje kilku witryn i umożliwia analizę przecinających się odbiorców.

Jeśli Twoja grupa firm składa się z wielu marek i ich witryn internetowych, OWOX BI może zmierzyć przecięcie odbiorców i pokazać Ci, jak zoptymalizować budżet na kampanie remarketingowe i typu outreach.

Z naszego doświadczenia wynika, że ​​dokładność określania położenia geograficznego (Geo) użytkownika w OWOX BI jest średnio o 20% wyższa niż w podobnych raportach GA.

GA definiuje geolokalizację za pomocą Google API. Ta metoda nie zawsze jest niezawodna, ponieważ może nie być obsługiwana lub blokowana w niektórych przeglądarkach lub przez działania użytkowników (szczególnie dzięki RODO).

OWOX BI określa geolokalizację za pomocą innej usługi Google — Cloud Load Balancing. Usługa ta specjalizuje się w równoważeniu obciążenia sieci i łączeniu danych geograficznych w ramach określonego adresu IP. W związku z tym przesyłanie strumieniowe nie wymaga żadnych uprawnień użytkownika; unikamy blokowania i dzięki temu uzyskujemy dokładniejsze dane geograficzne.

isTrueDirect to parametr określający, czy sesja dotyczy bezpośredniego dostępu do witryny (ruch bezpośredni), czy też musi być przypisana do innego źródła.

Zmienna isTrueDirect w GA jest prawdziwa, gdy:

• Był to bezpośredni link do strony (użytkownik wpisywał adres strony lub korzystał z zakładki).
• Jeśli źródło, kanał i parametry kampanii są w pełni dopasowane dla dwóch kolejnych wizyt. GA definiuje drugą sesję jako ruch bezpośredni, chociaż jest inicjowany przez reklamę.

W tabelach OWOX BI isTrueDirect = true definiujemy tylko w przypadku bezpośredniego dostępu do strony internetowej. Pozwala dokładnie ocenić świadomość marki i poprawnie oszacować koszt danej sesji.

Raporty z parametrem isTrueDirect pomagają mierzyć skuteczność reklam budujących świadomość marki. Wzrost liczby wejść bezpośrednich na początku podróży użytkownika umożliwia ocenę wkładu kampanii offline i kampanii typu outreach w Twój marketing.

W przeciwieństwie do Google Analytics, w Google BigQuery możesz zbierać i wykorzystywać dane klientów umożliwiające identyfikację, w tym adresy e-mail i numery telefonów. Nie trać użytkowników, którzy nie dotarli do końca ścieżki, ale próbowali zostawić prośbę w witrynie. Telefon lub e-mail w GBQ może służyć do segmentacji użytkowników i wysyłania im opinii.

GA nie zezwala na przesyłanie danych osobowych w postaci niezaszyfrowanej. W przeciwnym razie Twoje konto zostanie zablokowane.

W tabelach OWOX BI używamy parametrów &tel i &email (nie są obsługiwane w GA), aby przesyłać dane osobowe do BigQuery w łatwy w użyciu sposób.

Możesz zbierać dane o użytkownikach, którzy próbowali ubiegać się o pożyczkę lub inną usługę w serwisie, ale z jakiegoś powodu nie mogli przesłać formularza. Wówczas call center może skontaktować się z tymi klientami i pomóc im telefonicznie zakończyć procedurę.

Jeśli nie zbierasz identyfikatora użytkownika w swoich systemach online i offline, numer telefonu i adres e-mail mogą służyć do łączenia danych online i offline użytkowników.

Jeśli nie masz analityka, który pracuje z nieprzetworzonymi danymi, skorzystaj z Konstruktora raportów w naszym Smart Data. Możesz wybierać gotowe szablony lub tworzyć niestandardowe dashboardy bez znajomości SQL. Smart Data pozwala łączyć dane strumieniowe i CRM, aby uzyskać niezawodną bazę do analiz i podejmowania decyzji.

Regularnie dodajemy nowe raporty, których nie można znaleźć w Google Analytics:

• Monitorowanie partnerów CPA.
• Analiza ROPO.
• Ścieżki konwersji użytkownika.
• Realizacja zamówień w CRM.
• Skuteczność śledzenia połączeń.

Możesz wypróbować wszystkie funkcje OWOX BI Smart Data za darmo.

Jeśli potrzebujesz specjalnych raportów zgodnych z potrzebami Twojej firmy i systemu księgowego, zespół analityków OWOX BI może Ci pomóc. Zapisz się na demo, aby umówić się na spotkanie i poznać szczegóły.