Как экспортировать необработанные данные из Google Analytics

Зачем вам нужно собирать необработанные данные без выборки? Получить полные данные для маркетинговой отчетности и правильно оценить эффективность рекламы. В этой статье мы рассмотрим, как можно собирать необработанные данные и где их хранить.

Google Analytics — бесспорный лидер среди сервисов веб-аналитики. Он бесплатный, с ним легко работать, и он дает представление о ключевых KPI онлайн-бизнеса. Однако в системе есть ограничения, которые мешают вам глубже вникнуть в данные и изучить их со всех сторон.

1. Данные, которые вы видите в отчетах Google Analytics, всегда агрегированы, и этот процесс не поддается контролю.
2. Выборка, которая может серьезно исказить ваши данные и привести к неправильным бизнес-решениям.
3. Отчеты могут содержать только ограниченное количество и только определенные комбинации параметров и показателей.
4. Ограничение на количество строк.
5. Время обработки данных — если вы используете бесплатную версию Google Analytics, вам нужно подождать до 24-48 часов, пока система завершит обработку данных.

К счастью, большинство этих проблем можно решить с помощью необработанных данных. Довольно круто, да? Давайте разберемся, как получить необработанные данные.

Настройте автоматический сбор сырых данных через OWOX BI Pipeline — все хиты, которые отправляются с вашего сайта в Google Analytics, параллельно отправляются в Google BigQuery. Благодаря этому каждый хит доступен в GBQ уже через несколько минут.

Таблицы с данными сессий формируются по алгоритму OWOX BI — этот процесс подробно описан в нашем справочном центре. При этом в OWOX BI используется структура данных, совместимая со структурой GA, под которую написано множество примеров SQL-запросов. Это экономит время вашей команды на подготовку отчетов.

Сбор необработанных данных о хитах с помощью OWOX BI дает вам следующие преимущества:

• Данные о поведении пользователей передаются в Google BigQuery в режиме реального времени и без ограничений по количеству обращений.
• В Google Analytics количество пользовательских параметров ограничено: 20 в стандартной версии и 200 в платной. Но в GBQ вы можете собирать сколько угодно пользовательских параметров и строить более глубокие отчеты для детального анализа.
• Вы можете строить отчеты в GBQ без выборки и ограничений по количеству и совместимости параметров и измерений, за любой период.
• В отличие от Google Analytics, в BigQuery вы можете собирать и использовать личные данные клиентов, включая адреса электронной почты и номера телефонов.
• OWOX BI считает ценность каждой сессии. Благодаря этому вы можете рассчитать ROI/ROAS для новых и вернувшихся пользователей. И вы сможете оценить эффективность рекламы для разных регионов, товарных групп, лендингов, мобильных версий и приложений.
• Сервис позволяет ретроспективно обновлять данные о затратах, пользователях и транзакциях, уже загруженные в GBQ. Вы можете учитывать оплаченные заказы, возвраты после покупки или, например, узнать, что делал новый подписчик на вашем сайте за 30 дней до регистрации.
• Каждый день OWOX BI сравнивает данные вашего BigQuery с информацией из GA и сообщает о существенных расхождениях. Вы не потеряете важные данные, которые не могут предоставить сторонние трекеры.

Как настроить сбор сырых данных с сайта в Google BigQuery с помощью OWOX BI:

1. Используйте свою учетную запись Google для входа.
2. Выберите, какие данные вы хотите собирать в GBQ, предоставьте доступ и создайте конвейер данных.
3. Скопируйте код отслеживания и разместите его на сайте удобным для вас способом.

Вы можете скачать подробную инструкцию, как настроить загрузку сырых данных с сайта в BigQuery.

Google Analytics позволяет получать информацию с помощью API. В частности, Core Reporting API позволяет вам получать доступ к измерениям и показателям для выбранного вами представления отчетов из-за пределов интерфейса GA.

Кроме того, есть обходной путь, который позволит вам получить доступ к данным для каждого обращения и упростить интеграцию данных. Этого можно добиться, используя функции API вместе с пользовательскими параметрами в Google Analytics.

Специальные параметры можно использовать для сбора, анализа и визуализации информации, которая не представлена ​​в Google Analytics по умолчанию. Вы можете использовать специальные параметры в качестве ключей для объединения информации из GA и других систем, а также для добавления в отчеты информации, имеющей отношение к вашему бизнесу. Например, вы можете сохранить идентификатор пользователя из своей базы данных и использовать его для интеграции офлайн- и онлайн-действий.

Примеры специальных параметров:

1. Временная метка попадания — настраиваемый параметр на уровне обращения, фиксирующий точную временную метку, когда произошло обращение, в формате гггг-мм-ддчч:мм:сс со смещением часового пояса.
2. Идентификатор сеанса — настраиваемый параметр на уровне сеанса, который собирает уникальное случайное значение, используемое для идентификации обращений, принадлежащих одному и тому же сеансу.
3. Идентификатор клиента — настраиваемый параметр на уровне сеанса, который собирает уникальное значение, присвоенное устройству клиента из файла cookie _ga.
4. Идентификатор пользователя — пользовательский параметр с областью обращения, который собирает значение, представляющее пользователя, вошедшего на ваш веб-сайт, что позволяет вам идентифицировать все сеансы и обращения этого конкретного пользователя.

Благодарность за этот список примеров принадлежит Симо Ахава за его отличный пост об улучшении сбора данных с помощью настраиваемых параметров и Диспетчера тегов Google.

Почему API не является идеальным решением?

Решит ли Google Analytics API проблему выборки? Это зависит от того, сколько трафика получает ваш сайт. Если трафик не слишком высок и вы выбрали короткий отчетный период, выборки можно избежать. С другой стороны, вам придется выполнить сотни запросов, чтобы получить данные без выборки.

Поскольку информация будет экспортироваться из Google Analytics, будут также применяться все условия обработки данных GA, включая совместимость параметров и показателей, а также время обработки данных. Но для стартапов и небольших проектов API может работать как временное решение. У Симо Ахава есть отличный пост в своем блоге, в котором он исследует, что можно считать недостатками схемы данных Google Analytics.

Существуют также ограничения и квоты, характерные для Google Analytics API, например, количество параметров и показателей в запросе и объем данных, которые вы можете извлекать в день.

Кроме того, вам потребуется место для хранения экспортированной информации. Это подводит нас к более сложному подходу, который, несомненно, окажется выгодным для вашего бизнеса.

Google Analytics 360 — недешевый инструмент, но вы получаете то, за что платите, и даже больше. Помимо расширенных функций платной платформы, пользователи Google Analytics 360 могут экспортировать необработанные данные на уровне обращений и сеансов из Google Analytics в Google BigQuery с помощью встроенной интеграции.

Вы можете выбрать один из двух вариантов экспорта:

1. Данные экспортируются непрерывно . С помощью этой опции каждый день вы получаете один файл, экспортируемый с данными Google Analytics за предыдущий день, и три других файла, экспортируемых с данными за текущий день. Также доступны данные из связанных сервисов Google.
2. Непрерывный экспорт данных . Эта опция позволяет получать более свежие данные с экспортом в Google BigQuery каждые 10–15 минут. В этом случае Google BigQuery взимает дополнительную плату в размере 0,05 доллара США за каждый гигабайт обработанных данных. Обратите внимание, что данные из сервисов, связанных с Google Analytics, таких как DoubleClick for Publishers, AdSense и AdX, можно ежедневно экспортировать только за предыдущий день.

Когда вы изначально связываете представление Google Analytics с Google BigQuery, Google Analytics 360 автоматически экспортирует 10 миллиардов обращений или исторические данные за 13 месяцев в BigQuery. Разве это не много для тех, кто все это время боролся с сэмплированием?

И вот вишенка на торте: пользователи Google Analytics 360 получают кредит в размере 500 долларов США в месяц для покрытия расходов на импорт, хранение и обработку данных в Google BigQuery.

В качестве альтернативы вы можете клонировать обращения, которые вы отправляете в Google Analytics, и обрабатывать эту клонированную информацию где-то за пределами GA. Для этого вы можете попробовать хранить хиты на своих серверах или использовать облачное решение. Одни только данные по хитам не дадут вам данных об источнике, канале или кампании, а также не дадут вам информации о стоимости рекламы или местоположении. Однако такой подход позволит вам получать необработанные обращения, как только они отправляются с вашего веб-сайта, и использовать их для целей, не требующих данных на уровне сеанса, таких как своевременная отправка транзакционных электронных писем и выявление проблем с производительностью веб-сайта.

Если вы не хотите тратить время и деньги на разработку собственного коннектора, вам может помочь команда аналитиков OWOX BI. Запишитесь на демонстрацию, чтобы запросить встречу и узнать подробности о том, как OWOX может удовлетворить потребности вашего бизнеса.

Независимо от того, являетесь ли вы небольшим стартапом или крупным предприятием, при выборе системы хранения данных необходимо учитывать ряд факторов. Какой бы вариант вы ни выбрали, вот краткий обзор того, что вам следует искать:

• Возможности обработки данных . Сбор необработанных данных — это хорошо, но если вы не в состоянии их обработать и извлечь нужную информацию, эти данные будут вам бесполезны.
• Возможность гибкого масштабирования в зависимости от требований вашего бизнеса . По мере роста вашего бизнеса вы захотите, чтобы ваш склад соответствующим образом адаптировался.
• Высокие стандарты безопасности . Вы должны быть уверены, что ваши ценные данные защищены и находятся под вашим полным контролем.
• Разумная стоимость .

К счастью для всех нас, нет необходимости изобретать велосипед, тем более что хорошие сервисы уже существуют, такие как Google BigQuery, хранилище данных на основе Google Cloud Platform, предназначенное для анализа данных.

Google BigQuery позволяет хранить и обрабатывать миллиарды строк (это гигабайты и петабайты данных!), используя синтаксис, подобный SQL. Невероятная скорость обработки? Проверять. Масштабируемость? Проверять. Непревзойденная безопасность данных? Проверять. Сервис предоставляет все необходимое для расширенного анализа огромных объемов данных.

Google BigQuery — платный сервис, но вы платите только за количество сохраненных и обработанных данных. Первые 10 гигабайт хранения и 1 терабайт обработки в месяц бесплатны. После этого Google взимает 0,02 доллара за каждый сохраненный гигабайт и 5 долларов за каждый обработанный терабайт. Согласно условиям обслуживания на момент написания этой статьи, новые пользователи BigQuery также получают кредит в размере 300 долларов США, который можно потратить в течение 12 месяцев.

Почему Google BigQuery не является идеальным решением?

Если вы новичок в GBQ, вам, возможно, придется разобраться в том, как организована информация в этом сервисе.

Прежде всего, имейте в виду, что GBQ поддерживает вложенные и повторяющиеся поля. Поскольку данные Google Analytics организованы в виде иерархической структуры обращений, сеансов и пользователей, вам может потребоваться научиться запрашивать данные для доступа к значениям из этих вложенных и повторяющихся полей.

Ознакомьтесь с этими удобными справочниками по предложениям JOIN и FLATTEN: возможно, вам придется часто их использовать. Еще одна вещь, о которой следует помнить при использовании BigQuery, это то, что некоторые показатели, доступные в интерфейсе Google Analytics, не будут рассчитываться автоматически, например, общее количество пользователей и общее количество событий.

Экспортировать необработанные данные из Google Analytics проще, чем может показаться на первый взгляд. Решите ли вы инвестировать в готовое решение или создадите свое собственное, решать вам. Просто не позволяйте этому великому активу оставаться неиспользованным.

Используйте данные, которые вы собираете. Ищите новые идеи. Интегрировать. Эксперимент. Знайте пульс своего веб-сайта и общайтесь с клиентами, когда они больше всего в вас нуждаются. И помните, что вы всегда можете задать вопросы в разделе комментариев ниже. Мы с радостью ответим!

А если вы хотите узнать больше о Google Analytics и других инструментах аналитики, подпишитесь на нашу рассылку. Каждый месяц вы будете получать полезные советы для современных маркетологов и аналитиков.