Как загрузить данные из Facebook в Google BigQuery

Facebook — самая популярная социальная сеть в мире, насчитывающая более 2,6 миллиарда активных пользователей в месяц. Неудивительно, что он стал обязательным рекламным каналом для многих предприятий. Более 7 миллионов рекламодателей продвигают свои услуги на этой платформе. Более того, Facebook владеет тремя другими крупнейшими платформами социальных сетей: Instagram, WhatsApp и Facebook Messenger.

Еще одна причина популярности Facebook и Instagram среди рекламодателей — низкая цена охвата аудитории и возможность точного таргетирования аудитории.

Facebook предлагает предприятиям и маркетологам инструменты для работы с рекламными кампаниями: Facebook Ads Manager, Facebook Pixel и Facebook Analytics.

По умолчанию Ads Manager предоставляет информацию об охвате, просмотрах, кликах, стоимости рекламы и т. д. А если вы установите пиксель Facebook на свой сайт и настроите отслеживание событий, то сможете узнавать поведение пользователей, которые переходят на ваш сайт, кликнув по объявлению.

Вы можете отслеживать все виды конверсий на любом устройстве, которое ваша реклама приводит на ваш сайт, и видеть, во сколько вам обходится желаемое действие. Отчеты Facebook показывают вам все клики, регистрации, заказы, покупки и т. д.

Данные, хранящиеся в рекламном профиле Facebook, могут рассказать вам об эффективности только одного источника. Но что, если пользователь приходит к вам из органического трафика, затем возвращается на ваш сайт, переходит по ссылке в Facebook и совершает покупку после получения электронного письма? Как вы можете оценить эффективность канала Facebook в этом случае? Вы не узнаете, как он взаимодействует с другими источниками маркетинга и как они влияют на бизнес в целом, пока не консолидируете свои данные.

В крупных компаниях маркетинг не ограничивается Facebook, а продажи могут быть онлайн и офлайн. Поэтому необходимо совмещать данные Facebook Ads Manager с данными вашего сайта, других рекламных сервисов и вашей CRM, чтобы вы могли видеть полную картину: сколько денег тратится на рекламу, какие рекламные каналы эффективнее, финансовые показатели. полученные результаты.

Загружая данные о расходах из рекламных сервисов в Google BigQuery, вы можете связать расходы с действиями пользователей на сайте, звонками в колл-центр, электронными письмами и купленными заказами из CRM-системы. Это поможет вам настроить расширенную аналитику и оценить влияние всех маркетинговых усилий, как онлайн, так и офлайн, на эффективность бизнеса.

Данные из маркетинговых сервисов, загруженные в Google BigQuery, можно использовать для расчета вашей модели атрибуции, а затем BigQuery может передавать результаты в системы для автоматического управления ставками. Также в Google BigQuery можно создавать аудитории пользователей на основе объединенных данных и результатов расчетов атрибуции, а затем автоматически отправлять эти аудитории в рекламные сервисы. Наконец, вы можете использовать данные, собранные в BigQuery, для построения любых нужных вам отчетов без ограничений.

Наиболее популярными облачными платформами являются Amazon Redshift, Google BigQuery и Microsoft Azure. У них есть общие преимущества перед обычным хранилищем данных:

• Вам не нужно обслуживать серверы и подключать новые при росте нагрузки. Облачное хранилище масштабируется автоматически.
• Облачные платформы работают быстрее традиционных хранилищ и автоматически перераспределяют нагрузку.
• Вам не нужно устанавливать сервер на свой компьютер, чтобы попасть в облачное хранилище. Просто откройте браузер и войдите в облако.

Мы выбрали Google BigQuery и рекомендуем его нашим клиентам по следующим причинам:

• Google — лидер по количеству источников данных для маркетологов: Ads, Analytics, Search Console, YouTube. Все эти сервисы легко интегрируются с BigQuery.
• Быстро обрабатывает большие объемы данных.
• Начать работу с BigQuery легко без помощи администраторов баз данных. Просто создайте учетную запись Google Cloud.
• Вы платите только за те услуги, которыми пользуетесь.
• Есть готовые сервисы и решения для загрузки данных в Google BigQuery без помощи разработчиков.

В Google BigQuery нет встроенного инструмента для импорта данных из Facebook Ads Manager. Решить эту проблему можно несколькими способами: загрузив данные вручную, написав собственные скрипты или воспользовавшись специализированными сервисами, такими как OWOX BI. Давайте подробнее рассмотрим каждый из этих вариантов.

Вы можете выгружать данные о расходах из рекламного профиля Facebook в отдельные файлы и загружать их вручную через интерфейс BigQuery. Недостатки этого метода очевидны: много лишней работы и никакой автоматизации.

Вы также можете написать скрипты, которые будут загружать нужные вам данные из маркетингового сервиса. Однако вам нужно будет постоянно отслеживать и поддерживать эти сценарии. Вам также придется потратить ресурсы разработчика, чтобы объединить данные из разных учетных записей и на разные даты, проверить качество данных и быстро реагировать на возможные изменения в API рекламных сервисов. Кроме того, вам нужно будет ретроспективно обновлять данные, если они изменились в Facebook Ads, конвертировать расходы из всех источников рекламы в единую валюту и т. д. Если вы этого не сделаете, данные низкого качества могут привести к неоптимальным решениям, которые будут дорого обходится вашему бизнесу.

С OWOX BI вы можете настроить автоматический импорт затрат из разных рекламных сервисов в Google Analytics и выгружать данные о затратах в облачное хранилище одним потоком данных. Если вы используете этот метод, учитывайте ограничения Google Analytics:

• В один набор данных в день можно загрузить не более 90 МБ.
• Вы можете скачивать не более 50 файлов в день на один ресурс.
• Google Analytics может потребоваться до 24 часов, чтобы обработать загруженные данные и сделать их доступными в отчетах.
• При загрузке большого объема данных могут возникнуть проблемы с Google Analytics API.
• Вы не можете загрузить больше параметров, чем может содержать схема набора данных о расходах из Google Analytics.

OWOX BI имеет прямые потоки данных из Facebook, Instagram и LinkedIn, с помощью которых вы можете загружать сырые данные по всем своим кампаниям в BigQuery. Эти схемы данных содержат от 80 до 200 параметров, что обеспечивает высокую степень детализации данных для ваших отчетов.

Каковы преимущества прямой интеграции Facebook с Google BigQuery?

OWOX BI предлагает готовое решение «из коробки» — вам не нужно ничего делать вручную. Сервис собирает все нужные вам данные в удобном формате и следит за их качеством и актуальностью.

Если исторические данные изменяются в Facebook Ads, OWOX BI автоматически обновляет данные, загружаемые в BigQuery. Кроме того, при необходимости вы можете загрузить свои исторические данные за последние полгода. Это поможет вам оценить динамику кампании.

Так как импорт данных о расходах происходит без участия Google Analytics:

1. Вы получаете данные быстрее: затраты загружаются непосредственно в BigQuery, и вам не нужно ждать дополнительных 24 часов, пока Google Analytics их обработает.
2. Данные загружаются без ограничений Google Analytics в 90 МБ и 50 загрузок в день.
3. Вы можете загрузить статистику из нескольких рекламных аккаунтов в единую таблицу BigQuery, просто указав один и тот же набор данных при создании потока.
4. Данные из рекламного источника собираются в одностороннюю таблицу в Google BigQuery. Это значительно упрощает составление запросов и анализ загружаемых данных.
5. Данные о расходах загружаются в BigQuery в двух валютах. Одно поле хранит затраты в исходной валюте от рекламного сервиса. Вы можете указать другую валюту для преобразования данных о затратах при создании потока. Преобразованные затраты полезны для отчетов, в которых данные из разных источников должны быть преобразованы в единую валюту.

1. Убедитесь, что ваши рекламные ссылки имеют теги UTM.
2. На главной странице OWOX BI нажмите «Создать пайплайн»:

3. В качестве источника выберите Facebook Ads :

4. В качестве назначения выберите Google BigQuery :

Если у вас нет проекта в Google BigQuery, узнайте, как начать работу с облачным хранилищем и создать набор данных.

5. Выберите учетную запись Facebook (или предоставьте доступ к новой учетной записи Facebook), из которой вы хотите экспортировать данные о стоимости рекламы:

Ни при каких обстоятельствах OWOX BI не меняет настройки вашего аккаунта или рекламных кампаний!

Для большинства рекламных площадок OWOX BI запрашивает доступ только для чтения данных. Этого уровня доступа нам достаточно, чтобы получать статистику и информацию о разметке ссылок в ваших объявлениях. Но не все рекламные сервисы имеют такой уровень доступа или работы, как мы ожидаем. Например, чтобы импортировать необработанные данные из Facebook в Google BigQuery с помощью OWOX BI, вам потребуется разрешение ads_management.

6. Выберите подключенную учетную запись или предоставьте доступ к учетной записи Google BigQuery, в которой вы хотите хранить экспортированные данные:

7. Выберите проект Google BigQuery и набор данных, в который вы хотите загрузить данные (или создайте новый):

Примечание! Чтобы настроить сбор данных, вашему аккаунту Google должны быть предоставлены роли редактора данных BigQuery и пользователя BigQuery для целевого проекта. В противном случае BigQuery не позволит вам загружать данные.

Чтобы проверить/предоставить эти разрешения, перейдите на страницу «Управление идентификацией и доступом» в вашем проекте Google Cloud Platform. Подробнее читайте в документации Google.

8. Укажите параметры вашего пайплайна:

• Выберите дату, с которой вы хотите загрузить данные о расходах. Вы можете установить либо будущую, либо прошлую дату. Если вы выбираете прошлую дату, узнайте об ограничениях на импорт исторических данных.
• Выберите источник/носитель, который вы хотите применить к импортированным данным по умолчанию. Значения по умолчанию, указанные вами для источника/канала UTM, будут записаны в таблицы данных о расходах только в том случае, если OWOX BI не получит фактические значения параметров UTM. Для получения дополнительной информации о том, почему вы должны указать значения по умолчанию для источника/канала UTM в настройках конвейера, обратитесь к справке.

Важный! В любой момент вы можете изменить настройки источника/канала на странице воронки на любые значения, кроме google/organic. Указанные значения будут применяться к новым данным, импортированным после внесения изменений, и к историческим данным в окне обновления.

9. Щелкните Создать конвейер .

Готово! Данные за предыдущий день будут отображаться в таблице в указанном наборе данных ежедневно в 00:00 (UTC). В зависимости от объема данных и особенностей API рекламного сервиса импорт данных может занять до 24 часов. См. в этой статье структуру таблицы.

Если информация в рекламном сервисе изменится задним числом, OWOX BI обновит все данные, загружаемые в BigQuery, в рамках установленного окна обновления.

В рекламном профиле Facebook и системах веб-аналитики вы можете анализировать основы эффективности рекламы. Например, вы можете анализировать CTR, CPC, CPA, CR, сеансы, глубину просмотра, показатель отказов, RPC и ROAS. Для малого бизнеса с небольшим количеством рекламных каналов этого достаточно.

Однако если у вас много точек соприкосновения с покупателями, офлайн-магазины и вы хотите видеть весь путь к покупке, вам следует подумать о настройке расширенной аналитики и создании автоматически обновляемой панели мониторинга со всеми интересующими вас метриками. Это позволит вам всегда иметь актуальную информацию под рукой, проводить комплексную оценку эффективности рекламы и быстрее принимать важные решения.