Как контролировать качество ваших данных, когда у вас десятки веб-сайтов: пример FxPro
Опубликовано: 2022-04-12FxPro является одним из ведущих онлайн-брокеров в мире и уже 15 лет предоставляет трейдерам доступ к финансовым, фондовым, металлургическим, энергетическим и другим рынкам.
С четырьмя торговыми онлайн-платформами, доступными как для Интернета, так и для мобильных устройств, FxPro имеет базу пользователей, насчитывающую более 870 000 трейдеров.
Компания получила более 70 международных наград, в том числе ряд ежегодных наград, таких как «лучший форекс-провайдер», «лучший форекс-брокер», «лучший инструмент/услуга» и «лучшая платформа».
FxPro работает с OWOX BI уже несколько лет. Они начали с консолидации данных в облачном хранилище из разных источников и построения отчетов на основе этих данных. Теперь аналитики OWOX BI консультируют FxPro по проверке гипотез, построению маркетинговых стратегий на основе данных и внедрению продуктов OWOX BI и Google.
В этой статье специалисты по маркетингу FxPro рассказывают о том, как OWOX BI помог им внедрить мониторинг данных и отчеты об аномалиях на десятках локализованных веб-сайтов и сервисов.
Задание
В FxPro мы собираем и анализируем данные обо всех действиях наших пользователей на наших веб-сайтах и в мобильных приложениях для iOS и Android. Благодаря этим данным мы можем:
- контролировать качество данных, управляя торговыми счетами и операциями со средствами, проверяя загружаемые документы, автоматически обновляя данные в Календаре и отслеживая торговые действия на рынках.
- анализировать качество получаемого трафика по ключевым бизнес-показателям: регистрации, депозиты, коэффициенты конверсии и т. д.
- анализировать краткосрочную и долгосрочную эффективность каналов платного трафика.
- анализировать эффективность SEO-трафика.
Имея 870 000 пользователей, нам нужно учитывать огромное количество данных и огромное количество поведенческих факторов. Более того, наш веб-сайт имеет версии на 28 языках, большинство из которых находятся на выделенных доменах, и каждый домен необходимо отслеживать отдельно.
Наличие точных и полных данных имеет решающее значение для принятия маркетинговых решений. В сочетании со скоростью поиска данных эти факторы напрямую влияют на качество предоставляемых нами услуг.
Неполные или неточные данные могут привести к неверным выводам при анализе каналов получения трафика. Это, в свою очередь, может привести к инвестированию в неэффективные каналы и невозможности привлечь новых пользователей или просто к потере денег.
Более того, несвоевременное получение данных влияет на нашу способность реагировать на возникающие проблемы в работе наших сервисов и сайтов.
Неспособность глобального форекс-брокера отреагировать может привести как к материальному, так и к репутационному ущербу.
Чтобы этого избежать, нам необходимо:
- собирать все данные о поведении пользователей со всех наших веб-сайтов и мобильных приложений и хранить эти данные в одном месте. Собранные данные должны быть полными, необработанными и несемплированными.
- анализировать собранные данные с помощью единого инструмента.
- получать своевременные обновления и оповещения о возможных аномалиях и несоответствиях данных с разбивкой по веб-сайтам, приложениям и странам.
Вот как мы это делаем.
Решение
Сбор и хранение данных
Мы собираем необработанные данные о поведении пользователей без выборки и сохраняем их в Google BigQuery. Для сбора этих данных мы используем OWOX BI.
Данные веб-сайта собираются с помощью конвейера потоковой передачи данных веб-сайта OWOX BI. Данные мобильного приложения собираются через конвейер AppsFlyer → Google BigQuery. Все эти данные отправляются в BigQuery почти в режиме реального времени.
Мы также используем OWOX BI для сбора данных о кликах и стоимости рекламы в Google Analytics с платформ сбора трафика, таких как Facebook и Twitter. В конце концов, эти данные также попадают из Google Analytics в BigQuery.
В результате все наши важные данные консолидируются в одном месте, где мы можем формировать их по мере необходимости с помощью SQL-запросов. Как только данные собраны и сформированы, мы можем передать их в инструменты визуализации данных, такие как Google Data Studio и PowerBI.

Визуализация данных
Собрать все нужные нам данные в одном месте — это только полдела.
Не менее важно:
1) получение читаемых и действенных отчетов на основе этих данных
2) мониторинг качества, точности и полноты этих данных
Аналитики OWOX BI решили за нас обе эти задачи. Первое было решено путем внедрения отчетов Google Data Studio, второе — с помощью Google Sheets.
С помощью OWOX BI мы подключили данные, хранящиеся в BigQuery, к Google Data Studio и создали сложный отчет, который автоматически обновляется при изменении исходных данных.
В отчете есть семь информационных панелей:
- Общие метрики — количество сеансов, показатели конверсии и отказов, просмотры страниц и доход:

- Динамика ключевых показателей по каналам трафика:

- Динамика ключевых показателей по электронной почте и другим источникам трафика:


- Динамика ключевых метрик по типу устройства пользователя (мобильный/десктоп/планшет):

- Коэффициент конверсии по странам:

- Коэффициент конверсии по домену сайта:

- Коэффициент конверсии по маркетинговым целям для рекламных каналов, типов устройств, стран, доменов веб-сайтов и версий браузеров:

Мониторинг качества данных
Аналитики OWOX BI настроили систему мониторинга данных с помощью Google Sheets и Apps Script. Эта система автоматически проверяет данные и уведомляет нас о возможных аномалиях и неожиданном поведении.
Вот как это работает.
Данные, используемые для создания отчетов в Студии данных, также подключаются к Google Таблицам, где автоматически запускается ряд запланированных проверок. Google Таблицы проверяют основные показатели веб-сайта, включая количество сеансов, коэффициенты конверсии и оттока, количество просмотров страниц, событий и транзакций, а также общий и средний доход.
После проверки данных мы получаем автоматический отчет по электронной почте с изложением всех этих показателей, сопровождаемый кратким текстовым обзором состояния данных и возможных причин аномалий в данных.
Вот пример такого отчета:

Эти же краткие обзоры данных также отображаются на информационных панелях в Студии данных. Однако благодаря оповещениям по электронной почте нашим аналитикам даже не нужно регулярно открывать Студию данных, чтобы узнавать о возможных аномалиях.
Как только мы получаем уведомление, наша команда FxPro сразу же проверяет данные и решает, есть ли проблемы с данными, и если да, то как их решить.
Полученные результаты
- Благодаря функциям сбора данных OWOX BI, возможностям визуализации Google Data Studio и гибкой пользовательской системе оповещений, настроенной аналитиками OWOX, наши SEO-, PPC- и ИТ-отделы могут легко получить всю необходимую им информацию о ключевых показателях качества услуг FxPro. .
- Теперь мы можем собирать все необходимые данные о поведении наших пользователей в более чем 170 странах, отслеживать эффективность нашей онлайн-рекламы и SEO, а также следить за общей стабильностью наших сервисов.
- Автоматически обновляемый и легко настраиваемый отчет в Data Studio может быть прочитан и использован любым специалистом FxPro, независимо от его технической подготовки. Автоматизированная система оповещения позволяет нам своевременно реагировать на любые аномалии данных.
Эта статья написана в сотрудничестве со специалистами FxPro.
Торгуйте ответственно. CFD являются сложными инструментами и сопряжены с высоким риском быстрой потери денег из-за кредитного плеча. 70,25% счетов розничных инвесторов теряют деньги при торговле CFD с этим поставщиком. Вам следует подумать, понимаете ли вы, как работают CFD, и можете ли вы позволить себе рискнуть потерять свои деньги.
FxPro Group Limited является холдинговой компанией компаний FxPro Financial Services Ltd, FxPro UK Limited и FxPro Global Markets Ltd. FxPro UK Limited авторизована и регулируется Управлением по финансовому надзору ( регистрационный номер 509956). FxPro Financial Services Ltd авторизована и регулируется Комиссия по ценным бумагам и биржам ( лицензия № 078/07 ) и уполномочена Управлением по надзору в финансовом секторе («FSCA») ( разрешение № 45052 ). FxPro Global Markets Ltd уполномочена и регулируется SCB ( лицензия № SIA-F184). ).