Transformación de BI de OWOX: normalice, prepare y organice sus datos de marketing digital con facilidad

Cuantos más datos recopila una empresa de diversas fuentes, más complejo se vuelve todo el sistema de análisis. Por lo tanto, se vuelve más difícil administrar el sistema de análisis y encontrar información en la que pueda confiar. Los analistas tienen que dedicar más tiempo a procesar y preparar datos para informes en lugar de buscar puntos de crecimiento de datos y áreas de riesgo.

Aquí en OWOX, hemos estado involucrados en análisis durante más de 20 años y somos muy conscientes de las dificultades que enfrentan los analistas en cada etapa del trabajo con datos. Como resultado, hemos creado un software con una interfaz de usuario amigable para los analistas que ayuda a los analistas a simplificar los informes y la gestión de datos y obtener datos listos para el negocio de forma más rápida y sencilla.

Los datos listos para la empresa son el conjunto de datos limpio final en una estructura que coincide con su modelo de negocio. Los datos comerciales en realidad describen el modelo comercial. Por ejemplo, ¿qué significan exactamente en una empresa en particular los términos usuarios, usuarios B2B, transacciones, clientes potenciales, etc.? Estas definiciones describen el negocio en su núcleo. El modelo de datos comerciales permite que todos los empleados tengan un entendimiento común de cómo se usan y entienden los datos.

En otras palabras, los datos listos para el negocio están listos para usarse en marketing e informes de productos y se pueden enviar a cualquier servicio de visualización (Power BI, Tableau, Google Data Studio).

Si crea informes sobre datos sin procesar y sin modelar, puede encontrar muchos problemas recurrentes: la búsqueda de errores y las causas de las discrepancias lleva mucho tiempo, y la lógica comercial debe duplicarse constantemente en todas las consultas SQL.

Por lo tanto, convertir datos sin procesar en datos listos para el negocio es un paso importante que no debe omitirse.

Los analistas recopilan datos de servicios y sistemas dispares. Naturalmente, la estructura y el formato de los datos en estas fuentes varían. Para crear informes, los datos de diferentes fuentes deben fusionarse correctamente. Por sí mismos, los datos cargados a través de conectores o varios servicios ETL son inexactos (contienen errores, duplicados y discrepancias) y carecen de una lógica y estructura unificadas. Los datos inexactos y fragmentados deben limpiarse y normalizarse en un formato listo para análisis.

Convertir datos de fuentes dispares en un solo formato es difícil. Por ejemplo, puede recopilar datos de costos de diferentes plataformas publicitarias (Google Ads, Twitter Ads, Facebook Ads) y cada sistema puede tener su propia moneda y su propia etiqueta para este campo.

Otro objetivo de la normalización de datos es resolver problemas de redundancia de datos (cuando los mismos datos se almacenan en la base de datos en varios lugares). La redundancia de datos contribuye a diversas anomalías, reduce el rendimiento y dificulta la gestión de datos.

Normalizar todos los datos manualmente es todo un desafío. Cuando se trabaja con una gran cantidad de datos, pueden aparecer muchos errores e inconsistencias, principalmente relacionados con interminables consultas SQL y scripts. Si algo sale mal o cambia (por ejemplo, se actualiza una API de servicio), todo colapsará.

La normalización de datos es una tarea que distrae a los analistas de asumir tareas más interesantes y buscar información. Por no hablar de que suele ocupar hasta el 50% del tiempo de trabajo de un analista.

OWOX recopila automáticamente datos para su análisis en un formato conveniente de todas sus fuentes de marketing:

1. Google Analytics 4, Firebase y AppsFlyer
2. Datos sin procesar del sitio web con pleno cumplimiento de GDPR
3. Plataformas publicitarias
4. Sistemas CRM
5. Otras fuentes de marketing

Con OWOX BI, no necesita limpiar, estructurar y procesar datos manualmente. El servicio normalizará automáticamente los datos sin procesar en un formato listo para análisis al:

• Reconocimiento de parámetros dinámicos en etiquetas UTM para obtener datos completos sobre campañas publicitarias
• Conversión de costos publicitarios en una sola moneda para que pueda fusionarlos y compararlos
• Determinar la geolocalización de los usuarios para poder generar informes por país y región
• Detectar actividades de bots para limpiar sus informes de datos obsoletos
• Eliminación de inconsistencias e imprecisiones de datos
• Convertir todos los datos en un solo formato (fechas, monedas, etc.)
• Formateo de datos en tablas de acuerdo con el esquema del almacén de datos de destino
• Realización de deduplicación para eliminar datos redundantes
• Eliminar datos no utilizados y marcar anomalías
• Si es necesario, combinar datos de dos valores en uno o, por el contrario, dividir datos de un valor en dos
• Realización de auditorías de calidad de datos y controles de cumplimiento.

Como resultado de estas manipulaciones de datos, obtiene datos estructurados precisos como salida: formatos de etiqueta unificados, una moneda única, datos duplicados, etc.

Como dijimos anteriormente, para crear informes, los datos de diferentes fuentes deben fusionarse correctamente. Por ejemplo, las acciones de los usuarios deben combinarse en sesiones para conectar las conversiones con las campañas publicitarias. Los costos de diferentes fuentes deben combinarse en una sola estructura para poder comparar la efectividad de estas fuentes.

Estudiar la compatibilidad de datos de diferentes fuentes lleva mucho tiempo. Además, la fusión de datos debe ocurrir regularmente a medida que se actualizan los datos de origen, y un analista debe poder administrar de manera flexible la lógica comercial de acuerdo con los requisitos comerciales.

Para preparar un sistema de generación de informes, un analista debe crear y mantener una cascada completa de transformaciones de datos SQL interconectadas. Con el tiempo, en cualquier proyecto, esto se convierte en una maraña de consultas SQL y scripts, cuya depuración lleva mucho tiempo y no agrega valor nuevo.

La preparación de datos es un proceso. No es suficiente preparar un informe (o incluso muchos informes). Los datos deben actualizarse periódicamente y los cambios en los informes se realizan de forma permanente. Todo esto ahora lo hacen manualmente los analistas, lo que lleva mucho tiempo, así como con la ayuda de consultas y scripts SQL.

Si crea informes sobre datos sin procesar que no están listos para el negocio, es posible que encuentre muchos problemas recurrentes: la búsqueda de errores y las causas de las discrepancias lleva mucho tiempo, y la lógica comercial debe duplicarse constantemente en todas las consultas SQL.

¿Cómo es el proceso de creación de informes para los datos sin procesar?

Primero, un mercadólogo le dice a un analista lo que se debe hacer. Luego, el analista escribe consultas SQL y crea un tablero basado en sus resultados. Como de costumbre, se encuentran algunas discrepancias, se agregan algunas condiciones nuevas a las solicitudes, se realizan un par de iteraciones y se reciben comentarios. Pero todas las decisiones se toman en el contexto de este único informe. Cuando necesite otro informe con datos de otras fuentes, nuevas columnas o varios segmentos de datos, deberá repetir el proceso de comprobación de convergencia y validación de datos. O un analista puede generar 10 informes, en los que el número de clientes, por ejemplo, difiere porque se aplicó una lógica de cálculo diferente. Con la transformación y el modelado de datos, esta tarea se resuelve antes de generar el informe.

OWOX BI Transformation aplica automáticamente las transformaciones básicas que todos necesitan, como la sesionización y la fusión de datos de costos. Además, puede crear y aplicar fácilmente sus propias transformaciones (personalizadas).

OWOX BI le proporciona datos que están listos para el análisis, ahorrando horas en la preparación de datos.

1. Combinar automáticamente los hits de la sesión

El algoritmo OWOX BI fusiona automáticamente los hits en las sesiones sin recurrir a la lógica de formación de sesiones de Google Analytics. Obtendrá tablas de sesión actualizadas automáticamente listas para usar en una estructura conveniente sin la necesidad de escribir transformaciones de datos complejas.

2. Combinación de datos de costos en todos los canales

Para convertir los costos publicitarios, los analistas deben cargar datos de la cuenta publicitaria en archivos separados y luego cargarlos manualmente a través de la interfaz de BigQuery. Las desventajas de este método son obvias: mucho trabajo innecesario y ninguna automatización.

También puede escribir sus propios scripts que descargarán la información que necesita del servicio de marketing. Pero el trabajo de esta solución debe ser monitoreado y mantenido constantemente. En este caso, gastará recursos de desarrollador para fusionar datos de diferentes cuentas y para diferentes fechas, verificar su calidad y responder rápidamente a posibles cambios en las API del servicio de publicidad. Si no se hace esto, los datos de mala calidad pueden conducir a malas decisiones que son costosas para el negocio.

OWOX BI funciona sin problemas con grandes cuentas publicitarias y carga todos los datos independientemente de la cantidad de campañas. Recopila todos los datos de costos en una tabla actualizada automáticamente, unificada y fácil de usar sin campos innecesarios.

Además de importar automáticamente los datos de costos, OWOX BI reconoce los parámetros dinámicos en las etiquetas UTM, convierte los costos en una sola moneda, actualiza los datos en Google BigQuery de forma retroactiva si cambia en el servicio de publicidad y supervisa la relevancia de los datos.

3. Perfiles de usuario multidispositivo únicos

Todos los datos sobre el comportamiento de los usuarios de su sitio, así como de varios dispositivos y aplicaciones, se fusionan en un solo perfil. Obtendrás una imagen completa del comportamiento de cada usuario para analizar la calidad de las campañas publicitarias.

4. Tipo de usuario (nuevo o recurrente)

OWOX BI define el tipo de usuario (nuevo o recurrente) para que pueda crear informes sobre diferentes cohortes de usuarios.

5. Costos publicitarios atribuidos a cada sesión

OWOX BI atribuye datos de costos a nivel de sesión. Ya no está limitado a evaluar la efectividad del marketing dentro del alcance de una campaña publicitaria y puede calcular correctamente la economía unitaria. Evalúe la efectividad de la publicidad para diferentes cohortes, regiones, páginas de destino y grupos de productos.

6. Modelado de atribución

En OWOX BI, puede conectar cualquier modelo de atribución estándar a sus informes, configurar un modelo de atribución basado en datos basado en el pronóstico de conversión de OWOX o configurar un modelo personalizado que se ajuste a sus reglas y su embudo de ventas. Todo esto se puede hacer fácilmente en la interfaz del producto sin la ayuda de ingenieros de datos.

Con las transformaciones de datos de BI de OWOX, tiene amplias oportunidades para medir el impacto de las campañas en las conversiones:

• Elija cualquier modelo de atribución reconocido por la industria (último clic, primer clic, en forma de U) de plantillas predefinidas
• Utilice el modelo de atribución basado en embudo algorítmico
• Crea tus propios modelos personalizados
• Cree informes basados ​​en diferentes modelos de atribución para comparar resultados

7. Conversión modelada

Use la conversión modelada para mediciones y predicciones de conversión sin cookies.

Para cumplir con los requisitos de GDPR, el propietario del sitio debe negarse a identificar a los usuarios que no desean compartir sus cookies y no hacer clic en el botón mágico "Aceptar cookies". Como resultado, el modo de consentimiento reduce la cantidad de conversiones para las que se puede determinar una fuente de tráfico en un 30 %.

El modelado de conversión ayuda a resolver este problema. Primero, los sistemas de aprendizaje automático procesan los datos disponibles y las estadísticas históricas. Luego, sabiendo qué porcentaje de usuarios permitieron que se establecieran cookies y cómo se convirtieron esos usuarios, determinan la ruta de atribución más probable para aquellos que no lo hicieron. Esto le permite hacer coincidir con mayor precisión los resultados de la campaña con los costos de la campaña y, al mismo tiempo, cumplir con las decisiones de los usuarios con respecto a las cookies.

Para determinar el origen de tales transacciones inconsistentes, usamos un modelo de aprendizaje automático entrenado en datos consistentes, así como parámetros adicionales (User-Agent, Geo, Device y otros). En pocas palabras, el modelo analiza las conversiones coincidentes con fuentes conocidas y distribuye proporcionalmente las conversiones inconsistentes restantes a aquellas fuentes y medios que están en los datos.

Independientemente de cómo prepare los datos para los informes, siempre deberá:

• Controlar la lógica de transformación de datos
• Tener una idea clara de cómo se interrelacionan los datos
• Identifique rápidamente las causas de fallas y retrasos en la actualización de datos

Cuanto más ramificado sea el almacén de datos interno, más difícil será escribir cualquier lógica que recopile datos listos para el negocio, y más difícil será para el analista administrar los datos. Sin una herramienta de orquestación conveniente, los analistas se apresuran entre una gran cantidad de datos, numerosos conectores y varias transformaciones e informes sin tener una idea clara de cómo están todos conectados. Como resultado, buscar y eliminar errores y discrepancias lleva mucho tiempo.

OWOX BI Workspace le permite administrar el flujo de datos en una interfaz de usuario fácil de analizar. Hemos simplificado todo el proceso para ofrecer a los analistas una forma completamente nueva de trabajar con datos. Los analistas pueden ir desde obtener datos sin procesar hasta visualizarlos por sí mismos dentro del mismo producto.

• Realice un seguimiento de cómo se mueven y cambian los datos de los conectores a los tableros
• Establezca y controle la transformación de datos y la lógica de cálculo de métricas en cada informe
• Administre las transformaciones de SQL en unos pocos clics
• Programe actualizaciones de datos para mantenerlos actualizados
• Ver inmediatamente cualquier error o retraso en la actualización de datos

Nuestro producto no es una caja cerrada que produce resultados incomprensibles. Obtiene un gráfico claro de transformaciones que muestra claramente cómo se mueven sus datos, dónde y por qué. Es fácil ver e influir en la lógica de cálculo. No solo verás el resultado: entenderás cómo surgió.

Hay ciertas cosas que los analistas no pueden hacer por su cuenta, como definir el modelo de atribución, conectar nuevas fuentes de datos y realizar transformaciones de datos difíciles. Para estas tareas, se requiere un ingeniero de datos.

La personalización y el mantenimiento de herramientas de orquestación de transformación personalizadas como Airflow o dbt requieren ingenieros de datos, un recurso escaso. El uso de dichas herramientas es conveniente para los desarrolladores pero no para los analistas. Puede leer más sobre esto en el artículo benn.substack.

Esta es la razón por la cual los analistas a menudo tienen que esperar para recibir ayuda y los ingenieros de datos a menudo se distraen de sus tareas principales. Todo esto ralentiza el tiempo para obtener información, lo que impide que los usuarios comerciales tomen decisiones basadas en datos a tiempo.

OWOX ofrece una forma completamente nueva y más eficiente de trabajar con datos, en la que el analista se convierte en una unidad de negocio autosuficiente y altamente efectiva. El analista obtiene control sobre todo el flujo de trabajo con datos y puede realizar sus talentos en el análisis en lugar de atascarse en tareas rutinarias.

Con OWOX, obtiene datos precisos listos para el negocio en un formato listo para SQL para explorar fácilmente los conocimientos, ahorrando tiempo crítico para ingenieros y analistas. No necesita un ingeniero de datos, ya que OWOX hace todo automáticamente.

En el camino hacia un formato listo para la empresa, hay mucho trabajo por hacer con los datos. Además, los datos para la presentación de informes deben actualizarse periódicamente. Para no desperdiciar el tiempo de los analistas en estas tareas rutinarias, es mejor automatizar todo el proceso de trabajo con datos con la ayuda de OWOX BI y liberar el tiempo de sus analistas para analizar datos y buscar información.