OWOX BI Transformation: с легкостью нормализуйте, подготовьте и организуйте данные цифрового маркетинга

Чем больше данных компания собирает из различных источников, тем сложнее становится вся система аналитики. Таким образом, становится сложнее управлять системой аналитики и находить инсайты, которым можно доверять. Аналитикам приходится тратить больше времени на обработку и подготовку данных для отчетов вместо того, чтобы искать точки роста данных и зоны риска.

Здесь, в OWOX, мы занимаемся аналитикой более 20 лет и прекрасно понимаем, с какими трудностями сталкиваются аналитики на каждом этапе работы с данными. В результате мы создали программное обеспечение с удобным для аналитиков пользовательским интерфейсом, которое помогает аналитикам упростить отчетность и управление данными, а также быстрее и проще получать готовые для бизнеса данные.

Готовые для бизнеса данные — это окончательный очищенный набор данных в структуре, соответствующей вашей бизнес-модели. Бизнес-данные фактически описывают бизнес-модель. Например, что именно подразумевается в конкретной компании под терминами « пользователи», «пользователи B2B», «транзакции», «лиды» ​​и т. д.? Эти определения описывают бизнес в его основе. Модель бизнес-данных позволяет всем сотрудникам иметь общее представление о том, как используются и понимаются данные.

Другими словами, бизнес-данные готовы к использованию в маркетинге и отчетах о продуктах и ​​могут быть отправлены в любой сервис визуализации (Power BI, Tableau, Google Data Studio).

Если строить отчеты на сырых несмоделированных данных, можно столкнуться с массой повторяющихся проблем: поиск ошибок и причин расхождений занимает много времени, а бизнес-логику нужно постоянно дублировать во всех SQL-запросах.

Таким образом, преобразование необработанных данных в готовые для бизнеса данные является важным шагом, который нельзя пропускать.

Аналитики собирают данные из разрозненных сервисов и систем. Естественно, структура и формат данных в этих источниках различаются. Для построения отчетов необходимо правильно объединить данные из разных источников. Сами по себе данные, загружаемые через коннекторы или различные ETL-сервисы, являются неточными (содержат ошибки, дубликаты и несоответствия), не имеют единой логики и структуры. Неточные и фрагментированные данные необходимо очистить и привести в формат, пригодный для аналитики.

Преобразование данных из разрозненных источников в единый формат затруднено. Например, вы можете собирать данные о расходах с разных рекламных платформ (Google Ads, Twitter Ads, Facebook Ads), и каждая система может иметь свою валюту и свою метку для этого поля.

Еще одной целью нормализации данных является решение проблем избыточности данных (когда одни и те же данные хранятся в базе данных в нескольких местах). Избыточность данных способствует возникновению различных аномалий, снижает производительность и делает управление данными неудобным.

Нормализация всех данных вручную — довольно сложная задача. При работе с большим объемом данных может появиться множество ошибок и несоответствий, в основном связанных с бесконечными SQL-запросами и скриптами. Если что-то пойдет не так или изменится (например, обновится API сервиса), все рухнет.

Нормализация данных — это рутинная работа, которая отвлекает аналитиков от выполнения более интересных задач и поиска информации. Не говоря уже о том, что обычно это занимает до 50% рабочего времени аналитика.

OWOX автоматически собирает данные для анализа в удобном формате со всех ваших маркетинговых источников:

1. Google Analytics 4, Firebase и AppsFlyer
2. Необработанные данные веб-сайта с полным соответствием GDPR
3. Рекламные площадки
4. CRM-системы
5. Другие источники маркетинга

С OWOX BI вам не нужно вручную очищать, структурировать и обрабатывать данные. Служба автоматически нормализует необработанные данные в формат, готовый для аналитики, путем:

• Распознавание динамических параметров в UTM-метках для получения полных данных о рекламных кампаниях
• Преобразование затрат на рекламу в единую валюту, чтобы вы могли их объединять и сравнивать
• Определение геолокации пользователей, чтобы можно было строить отчеты по странам и регионам
• Обнаружение действий ботов для очистки ваших отчетов от устаревших данных
• Устранение несоответствий и неточностей данных
• Преобразование всех данных в единый формат (даты, валюты и т.д.)
• Форматирование данных в таблицы в соответствии со схемой целевого хранилища данных
• Проведение дедупликации для устранения избыточных данных
• Удаление неиспользуемых данных и пометка аномалий
• При необходимости объединение данных из двух значений в одно или, наоборот, разбиение данных из одного значения на два
• Проведение аудитов качества данных и проверок соответствия

В результате этих манипуляций с данными вы получаете на выходе точные структурированные данные: унифицированные форматы тегов, единую валюту, дедублированные данные и т. д.

Как мы уже говорили выше, для построения отчетов необходимо правильно объединить данные из разных источников. Например, действия пользователей нужно объединять в сеансы, чтобы связать конверсии с рекламными кампаниями. Затраты из разных источников должны быть объединены в единую структуру, чтобы можно было сравнить эффективность этих источников.

Изучение совместимости данных из разных источников занимает много времени. Кроме того, слияние данных должно происходить регулярно по мере обновления исходных данных, а аналитик должен иметь возможность гибко управлять бизнес-логикой в ​​соответствии с бизнес-требованиями.

Для подготовки системы отчетности аналитику необходимо создать и поддерживать целый каскад взаимосвязанных преобразований данных SQL. Со временем в любом проекте это превращается в клубок SQL-запросов и скриптов, отладка которых занимает много времени и не добавляет новой ценности.

Подготовка данных — это процесс. Недостаточно подготовить отчет (или даже много отчетов). Данные должны регулярно обновляться, а изменения в отчеты вносятся постоянно. Все это теперь делается аналитиками вручную, что занимает много времени, а также с помощью SQL-запросов и скриптов.

Если вы строите отчеты на сырых, не готовых для бизнеса данных, вы можете столкнуться с массой повторяющихся проблем: поиск ошибок и причин расхождений занимает много времени, а бизнес-логику нужно постоянно дублировать во всех SQL-запросах.

Как выглядит процесс построения отчета для необработанных данных?

Сначала маркетолог говорит аналитику, что нужно делать. Затем аналитик пишет SQL-запросы и по их результатам строит дашборд. Как обычно, обнаруживаются некоторые несоответствия, добавляются какие-то новые условия в запросы, делается пара итераций, поступает обратная связь. Но все решения принимаются в контексте этого одного доклада. Если вам нужен еще один отчет с данными из других источников, новыми столбцами или несколькими фрагментами данных, процесс проверки сходимости и проверки данных необходимо будет повторить. Или аналитик может построить 10 отчетов, в которых количество клиентов, например, разное, потому что применялась разная логика расчета. При преобразовании данных и моделировании эта задача решается до построения отчета.

OWOX BI Transformation автоматически применяет базовые преобразования, необходимые всем, такие как сеансизация и объединение данных о расходах. Кроме того, вы можете легко создавать и применять свои собственные (пользовательские) преобразования.

OWOX BI предоставляет вам данные, готовые к анализу, экономя часы на подготовке данных.

1. Автоматически объединять обращения к сеансу

Алгоритм OWOX BI автоматически объединяет хиты в сессиях, не прибегая к логике формирования сессий Google Analytics. Вы получите готовые к использованию автоматически обновляемые таблицы сеансов в удобной структуре без необходимости написания сложных преобразований данных.

2. Смешивание данных о расходах по каналам

Для конвертации расходов на рекламу аналитикам приходится выгружать данные из рекламного кабинета в отдельные файлы, а затем вручную загружать их через интерфейс BigQuery. Минусы этого метода очевидны — много лишней работы и никакой автоматизации.

Также вы можете написать собственные скрипты, которые будут загружать нужную вам информацию из службы маркетинга. Но работу этого решения нужно постоянно контролировать и поддерживать. В этом случае вы потратите ресурсы разработчика на объединение данных из разных аккаунтов и за разные даты, проверку их качества и оперативную реакцию на возможные изменения в API рекламного сервиса. Если этого не сделать, данные низкого качества могут привести к неверным решениям, которые дорого обходятся бизнесу.

OWOX BI безотказно работает с крупными рекламными аккаунтами и выгружает все данные вне зависимости от количества кампаний. Он собирает все данные о затратах в автоматически обновляемую, унифицированную и удобную таблицу без лишних полей.

Помимо автоматического импорта данных о расходах, OWOX BI распознает динамические параметры в UTM-метках, конвертирует расходы в одну валюту, задним числом обновляет данные в Google BigQuery, если они меняются в рекламном сервисе, и следит за актуальностью данных.

3. Единые профили пользователей для разных устройств

Все данные о поведении пользователей с вашего сайта, а также с различных устройств и приложений объединяются в единый профиль. Вы получите полную картину поведения каждого пользователя для анализа качества рекламных кампаний.

4. Тип пользователя (новый или вернувшийся)

OWOX BI определяет тип пользователя (новый или вернувшийся), поэтому вы можете строить отчеты по разным когортам пользователей.

5. Расходы на рекламу, относящиеся к каждому сеансу

OWOX BI атрибутирует данные о затратах на уровне сеанса. Вы больше не ограничены оценкой эффективности маркетинга в рамках рекламной кампании и можете правильно рассчитать юнит-экономику. Оценивайте эффективность рекламы для разных когорт, регионов, целевых страниц и товарных групп.

6. Моделирование атрибуции

В OWOX BI вы можете подключить любую стандартную модель атрибуции к своей отчетности, настроить модель атрибуции на основе данных на основе прогнозирования конверсий OWOX или настроить собственную модель, соответствующую вашим правилам и воронке продаж. Все это можно легко сделать в интерфейсе продукта без помощи дата-инженеров.

С преобразованиями данных OWOX BI у вас есть широкие возможности для измерения влияния кампаний на конверсии:

• Выберите любую признанную в отрасли модель атрибуции (по последнему клику, по первому клику, по U-образной форме) из готовых шаблонов.
• Используйте алгоритмическую модель атрибуции на основе воронки.
• Создавайте свои собственные модели
• Создавайте отчеты на основе разных моделей атрибуции для сравнения результатов.

7. Смоделированное преобразование

Используйте смоделированную конверсию для измерения без использования файлов cookie и прогнозирования конверсий.

Чтобы соответствовать требованиям GDPR, владелец сайта должен отказаться от идентификации пользователей, которые не хотят делиться своими файлами cookie, и не нажимать волшебную кнопку «Принять файлы cookie». В результате режим согласия снижает количество конверсий, для которых можно определить источник трафика, на 30%.

Моделирование конверсии помогает решить эту проблему. Во-первых, системы машинного обучения обрабатывают имеющиеся данные и историческую статистику. Затем, зная, какой процент пользователей разрешил установку файлов cookie и как эти пользователи конвертировались, они определяют наиболее вероятный путь атрибуции для тех, кто этого не сделал. Это позволяет более точно сопоставлять результаты кампании с затратами на нее и в то же время соблюдать решения пользователей относительно файлов cookie.

Чтобы определить источник таких несогласованных транзакций, мы используем модель машинного обучения, обученную на непротиворечивых данных, а также дополнительные параметры (User-Agent, Geo, Device и другие). Проще говоря, модель анализирует совпадающие конверсии с известными источниками и пропорционально распределяет оставшиеся несогласованные конверсии по тем источникам и каналам, которые есть в данных.

Как бы вы ни готовили данные для отчетности, вам всегда нужно будет:

• Управление логикой преобразования данных
• Иметь четкое представление о том, как данные взаимосвязаны
• Быстрое выявление причин сбоев и задержек в обновлении данных

Чем разветвленнее внутреннее хранилище данных, тем сложнее написать какую-либо логику, которая будет собирать готовые для бизнеса данные — и тем сложнее аналитику управлять данными. Без удобного инструмента оркестровки аналитики мечутся между большими объемами данных, многочисленными соединителями и различными преобразованиями и отчетами, не имея четкого представления о том, как все это связано. В результате поиск и устранение ошибок и несоответствий занимает много времени.

OWOX BI Workspace позволяет вам управлять потоком данных в удобном для анализа пользовательском интерфейсе. Мы упростили весь процесс, чтобы предложить аналитикам совершенно новый способ работы с данными. Аналитики могут пройти весь путь от получения необработанных данных до их самостоятельной визуализации в рамках одного и того же продукта.

• Отслеживайте, как данные перемещаются и изменяются от соединителей к информационным панелям.
• Настраивайте и контролируйте преобразование данных и логику расчета метрик в каждом отчете
• Управляйте преобразованиями SQL в несколько кликов
• Планируйте обновления данных, чтобы данные оставались свежими
• Немедленно увидеть любую ошибку или задержку в обновлении данных

Наш продукт — это не закрытая коробка, выдающая непонятные результаты. Вы получаете четкий график преобразований, который четко показывает, как перемещаются ваши данные, куда и почему. Это легко увидеть и повлиять на логику расчета. Вы не только увидите результат: вы поймете, как он появился.

Есть определенные вещи, которые аналитики не могут сделать самостоятельно, например определение модели атрибуции, подключение новых источников данных и выполнение сложных преобразований данных. Для этих задач требуется дата-инженер.

Для настройки и обслуживания настраиваемых инструментов оркестровки преобразований, таких как Airflow или dbt, требуются инженеры по данным, а это дефицитный ресурс. Использование таких инструментов удобно для разработчиков, но не для аналитиков. Подробнее об этом можно прочитать в статье benn.substack.

Вот почему аналитикам часто приходится ждать помощи, а дата-инженеры часто отвлекаются от своих основных задач. Все это замедляет получение информации, не позволяя бизнес-пользователям вовремя принимать решения на основе данных.

OWOX предлагает совершенно новый, более эффективный способ работы с данными, при котором аналитик становится самодостаточной и высокоэффективной бизнес-единицей. Аналитик получает контроль над всем потоком работы с данными и может реализовать свои таланты в анализе вместо того, чтобы погрязнуть в рутинных задачах.

С OWOX вы получаете точные данные, готовые для бизнеса, в формате, готовом к SQL, чтобы легко изучать идеи, экономя критически важное время для инженеров и аналитиков. Вам не нужен дата-инженер, так как OWOX делает все автоматически.

На пути к бизнес-формату предстоит проделать большую работу с данными. Кроме того, данные для отчетности должны регулярно обновляться. Чтобы не тратить время аналитиков на эти рутинные задачи, лучше всего автоматизировать весь процесс работы с данными с помощью OWOX BI и освободить время ваших аналитиков для анализа данных и поиска инсайтов.