Как избежать выборки и собрать полные данные для расширенной аналитики

Вы когда-нибудь задумывались, как избежать выборки и лимитов в стандартных отчетах Google Analytics? Как получить полные данные для маркетинговой отчетности? Есть несколько решений, например:

• Перейдите на платную версию Google Analytics 360 и настройте экспорт необработанных данных в Google BigQuery (GBQ).
• Используйте приложение Google Analytics + WEB. Продукт все еще находится в стадии бета-тестирования и позволяет бесплатно загружать данные о поведении пользователей в Google BigQuery.
• Используйте другие сервисы, собирающие данные с сайта в Google BigQuery.

Каждое из этих решений имеет свои особенности и ограничения. В статье мы подробно объясним эти функции и расскажем, как обойти OWOX BI.

Основным ограничением Google Analytics 360 является его высокая стоимость. Самые последние действия пользователей появляются в таблицах BigQuery более чем через 15 минут. За установку такой частоты обновления данных придется доплатить: по умолчанию таблица сессий обновляется три раза в день.

В некоторых ситуациях за обработку запросов в Google BigQuery приходится доплачивать. Таблица экспорта из GA 360 содержит множество уровней вложенности и полей, которые могут быть пустыми в 80 % случаев. Чем больше уровней вложенности в таблице, тем дороже запросы. Если у вас есть много отчетов, которые нужно обновлять ежедневно или еженедельно, обработка данных приведет к большей части ваших затрат на GBQ.

App+Web собирает данные в другой структуре, отличной от стандартной Google Analytics. Если в GA все основано на сессиях, то в App+Web — на пользователях и событиях. Для многих аналитиков и маркетологов, привыкших к GA, это может быть проблемой — им приходится исследовать новую структуру данных, переделывать систему метрик для сайта и переделывать существующие отчеты. Эта проблема может быть и у других сервисов, которые собирают данные с сайта в GBQ в своей структуре.

Поскольку экспорт из GA 360 и App+Web в Google BigQuery представляет собой представление данных, собранных в Google Analytics, он не обеспечивает ретроспективное обновление записей. Например, возврат покупки обычно регистрируется как отдельный сеанс, не связанный с платежным сеансом. Поэтому правильный доход от этого заказа необходимо пересчитывать вручную.

Ни одно из упомянутых решений не может перенести затраты вашей рекламной кампании на уровне сеанса в Google BigQuery. Это означает, что вы не будете знать, сколько вы потратили на привлечение определенного сегмента пользователей. Вы не можете рассчитать ROI и DRR для разных когорт, групп товаров и целевых страниц.

Зная об этих ограничениях, мы в OWOX решили улучшить процесс обработки необработанных данных для любого вида бизнеса. Мы провели сотни интервью по продуктам и получили следующие запросы:

1. Данные сайта должны быть полностью собраны в Google BigQuery в неагрегированном виде.
2. Данные о поведении пользователей должны передаваться в Google BigQuery в режиме, близком к реальному времени.
3. Таблицы сессий в Google BigQuery должны содержать данные о расходах на рекламу.
4. Структура таблицы должна быть компактной и максимально полной для оптимального использования запросов к данным.
5. Данные должны быть синхронизированы по ключевым параметрам в историческом периоде.
6. Должна быть возможность сравнения данных GBQ с данными GA в случае появления существенных расхождений.

Мы учли все эти запросы и разработали собственную стриминг данных сайта в Google BigQuery.

Рассмотрим подробнее, как OWOX BI обходит ограничения Google Analytics и стандартного экспорта в BigQuery и какую выгоду от этого может извлечь бизнес.

Идея выборки состоит в том, чтобы строить отчеты по образцам данных, а не по всему объему доступных данных. Если выборка слишком мала, вы не можете доверять отчету, построенному на такой выборке. С OWOX BI вы можете собирать полные данные без выборки, чтобы создавать более точные отчеты и принимать решения на основе данных.

Каждое действие пользователя на сайте (просмотр страницы, нажатие на кнопку, просмотр баннера или оформление заказа) передается в GA отдельным сообщением — хитом. Следует учитывать, что ограничений на количество обращений на момент сбора данных нет.

Интерфейс GA применяет ограничение количества обращений к обработке данных и отчетности. Таким образом, вы получаете либо выборку данных, либо агрегированные таблицы (строка other в отчете). Кроме того, если вы хотите использовать сегмент или создать отчет вручную, он чаще всего отображается в выборочной форме.

Сервис копирует хитовый контент, когда он уходит с вашего сайта, а затем отправляет его в ваш проект в Google BigQuery. Таким образом, вы получаете необработанные несемплированные данные с неограниченным количеством собранных и обработанных хитов.

Допустим, вы вынуждены собирать трафик промо-страницы, данные рекламных партнеров или статистику целевых страниц для каждого бренда/производителя в отдельные свойства Google Analytics для сбора более ценных данных. В любом случае, чтобы соответствовать ограничениям GA, вы должны отключить ценный для вас трафик. Когда вы сможете собрать эти данные в единую таблицу в Google BigQuery средствами OWOX BI. Он дает вам основу для стратегических решений и всестороннего видения эффективности веб-сайта и рекламной кампании.

С OWOX BI вы можете быстро отправить триггерное письмо или обнаружить аномалию в собранных данных сайта в Google BigQuery, ведь данные о поведении пользователей появляются в вашем проекте в течение 1-5 минут.

Все ежедневно собираемые данные отражаются в GA только через 48 часов (в GA 360 — через 4 часа). Отчеты в режиме реального времени отображают ограниченное количество параметров и показателей и не позволяют персонализировать действия пользователя.

Стандартный экспорт из GA 360 в GBQ может работать в двух режимах:

• Загружайте данные раз в 8 часов примерно бесплатно (вы платите за лицензию GA 360 и хранение данных в GBQ).
• Загружайте данные каждые 15 минут (за каждый обработанный терабайт нужно доплачивать).

App+WEB создает две таблицы:

• Переходный — содержит записи событий за текущий день. Таблица обновляется каждые 15 минут и удаляется после создания таблицы за весь день.
• Таблица с данными за полные сутки — формируется один раз в сутки.

OWOX BI сразу отправляет данные с сайта в ваш проект GBQ. Вы получаете полные неагрегированные данные о поведении пользователей в течение 1-5 минут после наступления события.

Отслеживая активность пользователей на сайте в режиме реального времени, вы можете стимулировать продажи с помощью триггерных кампаний по электронной почте и персональных предложений. Например, когда пользователь добавил товар в корзину, но ничего не купил или не подписал залог на сайте.

Это также может помочь вам вовремя обнаружить и исправить проблемы на сайте: вы можете получать уведомления от триггеров об ошибках кода сайта и снижении трафика или конверсий.

С OWOX BI вы получаете полную картину активности пользователей на вашем сайте, даже если они делают заказы, состоящие из 15+ товаров, или просматривают большие списки товаров.

В GA есть ограничение на размер передаваемого хита — 8 КБ. Например, если сообщение о транзакции превышает этот лимит, оно не попадает в GA.

В OWOX BI максимальный размер обращения, передаваемого в Google BigQuery, увеличен до 16 КБ.

Обращение может превышать 8 КБ, содержащее информацию о списке продуктов, когда вы отслеживаете просмотр пользователем страниц каталога с помощью расширенной электронной торговли. Это происходит, если:

• Отправка более 10 предметов одним обращением;
• Каждый элемент имеет дополнительный параметр.

В этом случае упакованный хит не попадет в GA. Однако вы можете найти его в сырых данных в GBQ и построить более точный отчет по спискам просмотренных товаров благодаря OWOX BI.

Допустим, вы хотите собрать больше информации о клиенте и самом продукте, а также о запросах банковских продуктов. С OWOX BI у вас будет более точная статистика конверсий.

OWOX BI считает ценность каждой сессии. Он позволяет рассчитать ROAS для новых и вернувшихся пользователей. Кроме того, вы можете выполнить следующие действия:

• Сравните прибыльность когорт, созданных из тех клиентов, которые видели баннер, и тех, кто не видел.
• Узнайте, сколько вы тратите и зарабатываете на каждой из групп товаров.
• Оценивайте эффективность рекламы для разных регионов, посадочных страниц, мобильных версий и приложений.

Вы можете вручную загружать расходы на рекламу из разных рекламных сервисов в GA. Однако вы не знаете, сколько вы потратили на привлечение определенного клиента или пользовательского сегмента, потому что данные о затратах в GA агрегированы и связаны с рекламными кампаниями.

App+WEB также не позволяет переносить затраты на рекламную кампанию на уровне сеанса/пользователя в Google BigQuery.

OWOX BI автоматически выгружает затраты на рекламу в Google Analytics и Google BigQuery, распределяя их по сессиям в соответствии с UTM-метками. Вот почему вы знаете стоимость каждого сеанса по 5 основным тегам UTM (источник, канал, кампания, ключевое слово, контент) и можете создавать отчеты по CPC, CPA, CPO и CRR на необработанных данных. Это повышает точность отчетов и помогает более эффективно распределять маркетинговый бюджет.

С OWOX BI вы можете узнать, сколько вы потратили на каждую сессию, а также сгруппировать расходы и доходы по конкретному пользователю, когорте или целевой странице.

Например, вы хотите понять, какие группы товаров нужно продвигать, чтобы приносить больше прибыли, потому что товар, который привлекает пользователя, не обязательно тот же самый товар, который пользователь покупает. Вам необходимо сгруппировать расходы на цифровую рекламу по категориям, чтобы найти наиболее эффективные категории продуктов для продвижения. Это можно сделать с помощью OWOX BI, передав данные о затратах из GA в GBQ и распределив затраты по всем сессиям с UTM-метками. В этом случае как затраты, так и доход будут свойствами сеанса.

С OWOX BI не нужно никаких дополнительных действий для оценки выкупа заказов, возвратов покупок или выяснения того, что новый подписчик делал на вашем сайте в течение последних трех месяцев. Наш сервис позволяет задним числом обновлять загруженные в Google BigQuery данные.

В стандартном GA вы можете задним числом обновить статус заказа только в том случае, если с момента оформления заказа до оплаты прошло менее 4 часов. В противном случае платеж записывается в GA как новая сессия. Например, если вы добавите возврат 3 апреля для транзакции, совершенной 18 марта, в отчете за 18 марта вы все равно увидите полную сумму транзакции. Соответственно, из-за этой ошибки распределение значения по каналам будет неверным.

Протокол измерений в настоящее время недоступен в App+Web. Это предотвращает ретроспективное обновление статуса заказа или загрузку информации о пользователе.

В таблицах, которые OWOX BI заполняет данными в Google BigQuery, можно задним числом обновить следующую информацию:

• Детали сделки — вы можете ввести возврат, частичный возврат или изменить сумму за 30 дней.
• Информация о пользователе — если пользователь зарегистрировался или авторизовался на веб-сайте, его идентификатор пользователя будет перемотан и назначен для сессий, возникших в течение последних 30 дней до даты аутентификации.
• Данные о расходах за 90 дней (в полях adCost, attributeAdCost), включая расходы со всех рекламных сервисов, импортированных в Google Analytics.

Если пользователь с идентификатором пользователя подал заявку на кредит сегодня, этот идентификатор пользователя отображается во всех предыдущих сеансах с того же устройства. Вы можете использовать эти сеансы для оценки пути пользователя к вашему заказу, для более точного определения дохода от рекламных кампаний и для прогнозирования конверсии других пользователей.

С OWOX BI вам проще считать возвраты и измерять эффективность рекламных кампаний — таблицы стримов всегда показывают вам текущую сумму заказа. Если возврат был в другой день, вам не нужно искать его в таблицах другого дня.

Если вы планируете построить отчет ROPO (Research Online Purchase Offline), проще производить расчеты, когда User ID назначается максимальному количеству исторических сессий клиента.

Как было сказано выше, стандартная таблица экспорта из Google Analytics 360 в Google BigQuery имеет слишком много вложенных и пустых полей, что увеличивает стоимость обработки этих данных.

OWOX BI помогает оптимизировать затраты на хранение и обработку данных в GBQ. В стриминговых таблицах меньше пустых полей, меньше уровней вложенности, поэтому сами таблицы и их запросы «весят» меньше.

OWOX BI поможет вам обойти ограничения GA на сбор данных. Если вы планируете отслеживать всю активность пользователя — от просмотра баннера до выбора дополнительных услуг в заказе — все дополнительные обращения можно отправлять напрямую в Google BigQuery.

Вся информация о взаимодействии пользователя с вашим сайтом передается в Google Analytics через отдельные обращения — сообщения на сервер GA.

В момент создания хита OWOX BI заменяет адрес для отправки данных с ресурса GA на адрес вашего проекта в Google BigQuery. Мы можем дублировать все обращения, адресованные GA, в таблицы GBQ или заблокировать (полностью или частично) все данные в GA и отправлять обращения только в таблицы GBQ.

Это решение имеет следующие преимущества:

1. Вы получаете несемплированные данные с сайта в известной структуре Google Analytics 360, с уже написанными для нее тысячами SQL-запросов. Это экономит ваше время и сокращает время, затрачиваемое на регулярные консультации аналитиков.
2. Вы можете настроить сбор данных без снижения скорости загрузки вашего сайта. Это возможно, потому что OWOX BI дублирует обращения GA, а не перегружает ваш GTM отдельным JS-счетчиком.
3. Мы гарантируем SLA в договоре и имеем необходимый функционал для контроля качества данных и автоматического сохранения информации в случае сбоя вашего проекта Google Analytics и Google Cloud. Вы можете быть уверены в качестве данных для ваших отчетов без дополнительных усилий.

С OWOX BI также можно собирать данные о поведении пользователей без JS-счетчика Google Analytics. Мы можем собирать данные о посещениях с вашего веб-сайта в Google BigQuery с помощью нашего кода отслеживания.

Если вы планируете собирать конфиденциальные данные с веб-сайта (тип клиента, детали, параметры заказа), вы должны отправить их напрямую в Google BigQuery, где стандарт безопасности Tier 4 регулирует защиту информации. Любая конфиденциальная информация может передаваться в хешированной или зашифрованной форме.

Допустим, на вашем сайте более 1000 баннеров. Вы планируете отслеживать просмотры и клики по каждому из них и измерять, как это повлияло на покупку в текущем или последующих сеансах. Если отслеживать фактические просмотры каждого баннера, объем данных, отправляемых в GA, превысит лимит на 20-25%.

С OWOX BI вы можете отправлять всю статистику по баннерам напрямую в Google BigQuery (минуя GA) и получать инсайты об эффективности внутренних промо-кампаний. Таким образом, вы не потеряете информацию из-за выборки и агрегации данных в стандартной GA и выхода за пределы в GA 360.

С OWOX BI вы можете передавать неограниченное количество пользовательских параметров и измерений с сайта в Google BigQuery. Он позволяет сегментировать пользователей по любому признаку и строить более подробные отчеты для более глубокого анализа.

Google Analytics также имеет ограничения на количество пользовательских метрик, собираемых с веб-сайта: 20 для стандартной версии и 200 для GA 360. App+Web также имеет довольно жесткие ограничения: 500 событий, 25 параметров событий и 25 пользовательских свойств.

OWOX User ID поможет вам оптимизировать расходы на продвижение и ремаркетинг, если у вас есть сеть сайтов с пересекающейся аудиторией. Вы также можете оценить эффект пост-просмотра баннерной и медийной рекламы.

С помощью сторонних файлов cookie OWOX BI размещает один и тот же идентификатор на разных сайтах (это может быть другой ваш сайт на другом домене или медийная реклама на независимой рекламной площадке). Затем этот идентификатор объединяет сеансы нескольких веб-сайтов, и вы сможете анализировать пересекающиеся аудитории.

Если ваша группа компаний состоит из нескольких брендов и их веб-сайтов, OWOX BI может измерить пересечение ваших аудиторий и показать, как оптимизировать бюджет для ремаркетинга и кампаний по охвату.

По нашему опыту, точность определения географического (Geo) положения пользователя в OWOX BI в среднем на 20% выше, чем в аналогичных отчетах GA.

GA определяет геолокацию с помощью Google API. Этот метод не всегда надежен, поскольку он может не поддерживаться или блокироваться в некоторых браузерах или действиях пользователя (особенно благодаря GDPR).

OWOX BI определяет геолокацию с помощью другого сервиса Google — Cloud Load Balancing. Этот сервис специализируется на балансировке сетевой нагрузки и связывании геоданных в пределах определенного IP-адреса. Соответственно, потоковая передача не требует разрешения пользователя; мы избегаем блокировки и таким образом получаем более точные геоданные.

isTrueDirect — параметр, указывающий, относится ли сеанс к прямому доступу к веб-сайту (прямому трафику) или должен быть отнесен к другому источнику.

Переменная isTrueDirect в GA имеет значение true, если:

• Это была прямая ссылка на сайт (пользователь набирал адрес сайта или использовал закладку).
• Если параметры источника, канала, кампании полностью совпадают для двух последовательных посещений. GA определяет второй сеанс как прямой трафик, хотя он инициируется рекламой.

В таблицах OWOX BI мы определяем isTrueDirect = true только в случае прямого доступа к сайту. Он позволяет точно оценить узнаваемость бренда и правильно рассчитать стоимость конкретного сеанса.

Отчеты с параметром isTrueDirect помогают измерять эффективность рекламы для повышения узнаваемости бренда. Рост прямых входов в начале пути пользователя позволяет оценить вклад офлайн- и аутрич-кампаний в ваш маркетинг.

В отличие от Google Analytics, вы можете собирать и использовать данные клиентов PII, включая электронную почту и номера телефонов, в Google BigQuery. Не теряйте пользователей, которые не дошли до конца воронки, но попытались оставить заявку на сайте. Телефон или электронную почту в GBQ можно использовать для сегментации пользователей и отправки им отзывов.

GA не разрешает передачу личных данных в незашифрованном виде. В противном случае ваш аккаунт будет заблокирован.

В таблицах OWOX BI мы используем параметры &tel и &email (они не поддерживаются в GA) для удобной передачи персональных данных в BigQuery.

Вы можете собирать данные о пользователях, которые пытались оформить кредит или другую услугу на сайте, но по каким-то причинам не смогли отправить форму. Затем колл-центр может связаться с этими клиентами и помочь им завершить процедуру по телефону.

Если вы не собираете идентификатор пользователя в своих онлайн- и офлайн-системах, то номер телефона и адрес электронной почты можно использовать для связи онлайн- и офлайн-данных ваших пользователей.

Если у вас нет аналитика, работающего с необработанными данными, используйте построитель отчетов в наших Smart Data. Вы можете выбрать готовые шаблоны или создать собственные информационные панели без каких-либо знаний SQL. Smart Data позволяет объединить потоковые данные и данные CRM, чтобы получить надежную базу для анализа и принятия решений.

Мы регулярно добавляем новые отчеты, которых нет в Google Analytics:

• Мониторинг CPA-партнеров.
• РОПО анализ.
• Пути конверсии пользователей.
• Выкуп заказов в CRM.
• Эффективность коллтрекинга.

Вы можете попробовать все возможности OWOX BI Smart Data бесплатно.

Если вам нужны специальные отчеты в соответствии с потребностями вашего бизнеса и системой учета, команда аналитиков OWOX BI может вам помочь. Запишитесь на демонстрацию, чтобы запросить встречу и узнать подробности.