Jak wyeksportować surowe dane z Google Analytics

Dlaczego musisz zbierać surowe, niespróbkowane dane? Uzyskanie pełnych danych do raportowania marketingowego i prawidłowe oszacowanie skuteczności reklam. W tym artykule dowiemy się, jak możesz zbierać surowe dane i gdzie je przechowywać.

Google Analytics jest niekwestionowanym liderem wśród usług analityki internetowej. Jest bezpłatny, łatwy w obsłudze i zapewnia wgląd w kluczowe KPI firm internetowych. Istnieją jednak ograniczenia w systemie, które uniemożliwiają zagłębienie się w dane i eksplorację ich ze wszystkich stron.

1. Dane widoczne w raportach Google Analytics są zawsze zagregowane, a proces ten jest poza kontrolą.
2. Próbkowanie, które może poważnie zniekształcić Twoje dane i prowadzić do błędnych decyzji biznesowych.
3. Raporty mogą zawierać tylko ograniczoną liczbę i tylko określone kombinacje parametrów i kluczowych liczb.
4. Ogranicz liczbę linii.
5. Czas przetwarzania danych — Jeśli korzystasz z bezpłatnej wersji Google Analytics, musisz odczekać do 24-48 godzin, aż system zakończy przetwarzanie danych.

Na szczęście większość tych problemów można rozwiązać za pomocą surowych danych. Całkiem fajnie, co? Zastanówmy się, jak uzyskać surowe dane.

Skonfiguruj automatyczne zbieranie nieprzetworzonych danych przez OWOX BI Pipeline — wszystkie działania, które są wysyłane z Twojej witryny do Google Analytics, są wysyłane równolegle do Google BigQuery. Dzięki temu każdy hit jest dostępny w GBQ w kilka minut.

Tabele z danymi sesji tworzone są zgodnie z algorytmem OWOX BI — proces ten szczegółowo opisaliśmy w naszym centrum pomocy. Jednocześnie OWOX BI wykorzystuje strukturę danych zgodną ze strukturą GA, pod którą pisanych jest wiele przykładów zapytań SQL. Oszczędza to czas Twojego zespołu na przygotowywaniu raportów.

Zbieranie surowych danych o trafieniach za pomocą OWOX BI daje następujące korzyści:

• Dane o zachowaniach użytkowników są przesyłane do Google BigQuery w czasie rzeczywistym i bez ograniczeń liczby trafień.
• W Google Analytics liczba parametrów użytkownika jest ograniczona: 20 w wersji standardowej i 200 w wersji płatnej. Ale w GBQ możesz zebrać tyle niestandardowych parametrów, ile chcesz i tworzyć głębsze raporty do szczegółowej analizy.
• Możesz budować raporty w GBQ bez próbkowania i ograniczeń co do liczby i zgodności parametrów i wymiarów, za dowolny okres.
• W przeciwieństwie do Google Analytics, w BigQuery możesz gromadzić i wykorzystywać dane osobowe klientów, w tym adresy e-mail i numery telefonów.
• OWOX BI oblicza wartość każdej sesji. Dzięki temu możesz obliczyć ROI/ROAS dla nowych i powracających użytkowników. Możesz też ocenić skuteczność reklam w różnych regionach, grupach produktów, stronach docelowych, wersjach mobilnych i aplikacjach.
• Usługa umożliwia retrospektywną aktualizację danych o kosztach, użytkownikach i transakcjach już przesłanych do GBQ. Możesz wziąć pod uwagę zakupione zamówienia, zwroty po zakupie, czy np. dowiedzieć się, co nowy subskrybent robił na Twojej stronie 30 dni przed rejestracją.
• OWOX BI każdego dnia porównuje dane w Twoim BigQuery z informacjami z GA i zgłasza znaczne rozbieżności. Nie tracisz żadnych ważnych danych, których nie mogą dostarczyć zewnętrzne narzędzia do śledzenia.

Jak skonfigurować zbieranie surowych danych ze strony internetowej w Google BigQuery przy użyciu OWOX BI:

1. Użyj swojego konta Google, aby się zalogować.
2. Wybierz dane, które chcesz zbierać w GBQ, zapewnij dostęp i utwórz potok danych.
3. Skopiuj kod śledzenia i umieść go na stronie w dogodny dla siebie sposób.

Możesz pobrać szczegółowe instrukcje, jak skonfigurować przesyłanie nieprzetworzonych danych z witryny do BigQuery.

Google Analytics umożliwia pobieranie informacji za pomocą interfejsów API. W szczególności interfejs Core Reporting API umożliwia dostęp do wymiarów i danych dla wybranego widoku raportowania spoza interfejsu GA.

Ponadto istnieje obejście, które umożliwi dostęp do danych dla każdego działania i ułatwi integrację danych. Można to osiągnąć za pomocą funkcji API wraz z niestandardowymi wymiarami w Google Analytics.

Niestandardowych wymiarów można używać do przechwytywania, analizowania i wizualizacji informacji, które nie są domyślnie prezentowane w Google Analytics. Możesz użyć niestandardowych wymiarów jako kluczy do łączenia informacji z GA i innych systemów, a także wzbogacać swoje raporty o informacje istotne dla Twojej firmy. Na przykład możesz zapisać identyfikator użytkownika ze swojej bazy danych i używać go do integracji działań offline i online.

Przykłady wymiarów niestandardowych:

1. Znacznik czasu trafienia — niestandardowy wymiar o zasięgu działania, który przechwytuje dokładną sygnaturę czasową, w której nastąpiło trafienie, w formacie rrrr-mm-ddThh:mm:ss z przesunięciem strefy czasowej.
2. Identyfikator sesji – niestandardowy wymiar o zasięgu sesji, który zbiera unikalną, losową wartość służącą do identyfikowania działań należących do tej samej sesji.
3. Identyfikator klienta — niestandardowy wymiar o zasięgu sesji, który zbiera unikalną wartość przypisaną do urządzenia klienta z pliku cookie _ga.
4. Identyfikator użytkownika — niestandardowy wymiar o zasięgu działania, który zbiera wartość reprezentującą użytkownika, który zalogował się w Twojej witrynie, umożliwiając identyfikację wszystkich sesji i działań tego konkretnego użytkownika.

Podziękowania za tę listę przykładów należą się Simo Ahava za jego świetny post na temat ulepszania zbierania danych za pomocą niestandardowych wymiarów i Menedżera tagów Google.

Dlaczego API nie jest idealnym rozwiązaniem?

Czy interfejs API Google Analytics rozwiąże problem próbkowania? Zależy to od tego, jaki ruch uzyska Twoja witryna. Jeśli ruch nie jest zbyt duży i wybierzesz krótki okres raportowania, możesz uniknąć próbkowania. Z drugiej strony będziesz musiał uruchomić setki zapytań, aby uzyskać niespróbkowane dane.

Ponieważ informacje zostaną wyeksportowane z Google Analytics, obowiązują również wszystkie warunki przetwarzania danych GA, w tym zgodność wymiarów i danych oraz czas przetwarzania danych. Ale w przypadku start-upów i małych projektów API może działać jako rozwiązanie tymczasowe. Simo Ahava ma na swoim blogu świetny post, w którym bada, co można uznać za wady schematu danych Google Analytics.

Istnieją również limity i limity specyficzne dla interfejsu API Google Analytics, takie jak liczba wymiarów i danych w zapytaniu oraz ilość danych, które można wyodrębnić dziennie.

Co więcej, będziesz potrzebować miejsca do przechowywania wyeksportowanych informacji. To prowadzi nas do bardziej wyrafinowanego podejścia, które z pewnością okaże się korzystne dla Twojej firmy.

Google Analytics 360 nie jest tanim narzędziem, ale dostajesz to, za co płacisz i więcej. Oprócz korzystania z zaawansowanych funkcji płatnej platformy użytkownicy Google Analytics 360 mogą eksportować nieprzetworzone dane na poziomie działań i sesji z Google Analytics do Google BigQuery za pośrednictwem natywnej integracji.

Do wyboru są dwie opcje eksportu:

1. Dane eksportowane w sposób ciągły . Dzięki tej opcji każdego dnia otrzymujesz eksportowany jeden plik z danymi Google Analytics z poprzedniego dnia i trzy inne pliki z danymi z dnia bieżącego. Dostępne są również dane z połączonych usług Google.
2. Eksportuj dane w sposób ciągły . Ta opcja umożliwia uzyskiwanie świeższych danych dzięki eksportowi do Google BigQuery co 10-15 minut. W takim przypadku Google BigQuery nalicza dodatkowo 0,05 USD za każdy przetworzony gigabajt danych. Pamiętaj, że dane z usług połączonych z Google Analytics — takich jak DoubleClick for Publishers, AdSense i AdX — można codziennie eksportować tylko z poprzedniego dnia.

Po początkowym połączeniu widoku Google Analytics z Google BigQuery, Google Analytics 360 automatycznie wyeksportuje 10 miliardów działań lub 13 miesięcy danych historycznych do BigQuery. Czy to nie świetna okazja dla tych, którzy cały czas borykają się z samplowaniem?

A oto wisienka na torcie: użytkownicy Google Analytics 360 otrzymują 500 USD miesięcznie kredytu na pokrycie kosztów importowania, przechowywania i przetwarzania danych w Google BigQuery.

Możesz alternatywnie klonować działania, które wysyłasz do Google Analytics i przetwarzać te sklonowane informacje gdzieś poza GA. W tym celu możesz spróbować przechowywać trafienia na własnych serwerach lub skorzystać z rozwiązania opartego na chmurze. Same dane o zasięgu trafień nie dostarczą danych o źródle, medium ani kampanii, ani kosztów reklamy ani informacji o lokalizacji. Takie podejście pozwoli jednak uzyskać nieprzetworzone trafienia natychmiast po ich wysłaniu z witryny i wykorzystać je do celów, które nie wymagają danych na poziomie sesji — takich jak wysyłanie terminowych wiadomości e-mail transakcyjnych i identyfikacja problemów z wydajnością witryny.

Jeśli nie chcesz tracić czasu i pieniędzy na projektowanie własnego złącza, zespół analityków OWOX BI może Ci pomóc. Zapisz się na demo, aby poprosić o spotkanie i dowiedzieć się, jak OWOX może spełnić Twoje potrzeby biznesowe.

Niezależnie od tego, czy jesteś małym start-upem, czy dużym przedsiębiorstwem, przy wyborze systemu przechowywania danych należy wziąć pod uwagę wiele czynników. Niezależnie od wybranej opcji, oto krótki opis tego, czego należy szukać:

• Możliwości przetwarzania danych . Zbieranie surowych danych jest dobre iw ogóle, ale jeśli nie jesteś w stanie ich przetworzyć i wydobyć potrzebnych informacji, te dane nie będą dla Ciebie przydatne.
• Możliwość elastycznego skalowania w oparciu o wymagania biznesowe . Wraz z rozwojem firmy będziesz chciał, aby Twój magazyn odpowiednio się dostosowywał.
• Wysokie standardy bezpieczeństwa . Musisz mieć pewność, że Twoje cenne dane są chronione iw pełni pod Twoją kontrolą.
• Rozsądny koszt .

Na szczęście dla nas wszystkich nie ma potrzeby odkrywania koła na nowo, zwłaszcza że istnieją już dobre usługi, takie jak Google BigQuery, hurtownia danych oparta na Google Cloud Platform, zaprojektowana do analizy danych.

Google BigQuery umożliwia przechowywanie i przetwarzanie miliardów wierszy (czyli gigabajtów i petabajtów danych!) przy użyciu składni podobnej do SQL. Niesamowita szybkość przetwarzania? Sprawdzać. Skalowalność? Sprawdzać. Niezrównane bezpieczeństwo danych? Sprawdzać. Usługa zapewnia wszystko, czego potrzebujesz do zaawansowanej analizy ogromnych ilości danych.

Google BigQuery to usługa płatna, ale płacisz tylko za ilość przechowywanych i przetwarzanych danych. Pierwsze 10 gigabajtów przechowywanych i 1 terabajt przetwarzanych miesięcznie są bezpłatne. Następnie Google pobiera 0,02 USD za każdy przechowywany gigabajt i 5 USD za każdy przetworzony terabajt. Zgodnie z warunkami korzystania z usługi w momencie pisania tego tekstu nowi użytkownicy BigQuery otrzymują również 300 USD kredytu do wydania w ciągu 12 miesięcy.

Dlaczego Google BigQuery nie jest idealnym rozwiązaniem?

Jeśli jesteś całkowicie nowy w GBQ, być może będziesz musiał zastanowić się, jak informacje są zorganizowane w tej usłudze.

Przede wszystkim pamiętaj, że GBQ obsługuje pola zagnieżdżone i powtarzane. Ponieważ dane Google Analytics są zorganizowane w hierarchiczną strukturę działań, sesji i użytkowników, może być konieczne nauczenie się wykonywania zapytań o dane, aby uzyskać dostęp do wartości z tych zagnieżdżonych i powtarzających się pól.

Zapoznaj się z tymi wygodnymi odniesieniami do klauzul JOIN i FLATTEN: być może będziesz musiał ich często używać. Inną rzeczą, o której należy pamiętać podczas korzystania z BigQuery, jest to, że niektóre dane dostępne w interfejsie Google Analytics, takie jak łączna liczba użytkowników i łączna liczba zdarzeń, nie będą obliczane automatycznie.

Eksportowanie nieprzetworzonych danych z Google Analytics jest łatwiejsze niż mogłoby się wydawać na pierwszy rzut oka. To, czy zdecydujesz się zainwestować w nieszablonowe rozwiązanie, czy stworzyć własne, zależy od Ciebie. Tylko nie pozwól, aby ten wielki atut pozostał niewykorzystany.

Wykorzystaj gromadzone dane. Szukaj nowych spostrzeżeń. Zintegrować. Eksperyment. Poznaj puls swojej witryny i łącz się z klientami wtedy, gdy najbardziej Cię potrzebują. I pamiętaj, że zawsze możesz zadać pytania w sekcji komentarzy poniżej. Chętnie odpowiemy!

A jeśli chcesz dowiedzieć się więcej o Google Analytics i innych narzędziach analitycznych, zapisz się do naszego newslettera. Co miesiąc otrzymasz przydatne wskazówki dla nowoczesnych marketerów i analityków.