¿Están muertas las pruebas A/B?

“Hoy en día, las pruebas A/B están prosperando; ha sido una gran mejora con respecto a las pruebas que no son A/B”, dijo George Khachatryan, director ejecutivo de la empresa de inteligencia artificial OfferFit, en un seminario web reciente. “Al mismo tiempo, las personas que realizan estas pruebas todos los días reconocen que es mucho más difícil de lo que parece”.

Diseñar pruebas A/B, determinar el tamaño de las muestras e implementarlas requiere mucho tiempo y recursos, y analizar los hallazgos requiere altos niveles de precisión. En general, las tareas manuales requeridas por las pruebas A/B pueden suponer una gran carga para los especialistas en marketing.

“Cuando ejecuta un programa de experimentación completo, nunca es suficiente ejecutar una prueba A/B”, dijo Khachatryan. “Cuando ejecuta uno, obtiene información valiosa e inevitablemente quiere obtener más. Así que terminas corriendo más”.

Agregó: “Aquellos que están haciendo esto de forma práctica se dan cuenta de que se convierte en una rápida explosión en la cantidad de pruebas que necesitan; se vuelve inviable muy temprano en esta curva exponencial”.

Los especialistas en marketing necesitan una solución que les permita probar un número creciente de variables de campaña y, al mismo tiempo, darles tiempo suficiente para analizar los datos. Afortunadamente, las pruebas A/B están evolucionando.

Expandiendo el poder de las pruebas A/B

En el seminario web, Khachatryan destacó el "problema del bandido armado múltiple" que está afectando a las pruebas A/B modernas. En la versión tradicional de este escenario, una persona en un casino debe determinar qué máquinas tragamonedas (los "bandidos de un solo brazo" que roban su dinero) van a tener los mejores pagos, luego averiguar qué orden será óptimo. Con las pruebas A/B, las variables son los bandidos de múltiples brazos, y el especialista en marketing debe descubrir cuáles son más efectivos para poder asignar más recursos a las áreas que funcionan bien.

“Puedes pensar en [un bandido con múltiples brazos] como una prueba A/B inteligente”, dijo. "Navegará por la compensación de exploración-explotación: comenzará a tirar aleatoriamente de esas diez manijas, pero a medida que avanza, reasignará recursos dinámicamente para que, si algo se ve mal, deje de tirar".

Agregó: "Estos bandidos de múltiples brazos están diseñados para experimentar la cantidad justa para que estés aprendiendo pero también aprovechando lo que ya has aprendido".

Si bien estos modelos de brazos múltiples, o A/B, han servido bien a los especialistas en marketing a lo largo de los años, hay una nueva iteración del marco que es más precisa y efectiva. Según Khachatryan, estos son "bandidos contextuales".

“Hace lo que hace un bandido con múltiples brazos, pero tiene en cuenta diferentes contextos”, dijo. “Entonces, si tiene dos clientes diferentes, con diferentes características, sabrán mover palancas diferentes”.

Los marcos contextuales de bandidos son esencialmente experimentación automatizada y personalización a escala. Es un modelo que puede automatizar completamente el proceso, y es hacia lo que todos los especialistas en marketing deberían avanzar para mejorar la efectividad de la campaña a escala.

La experimentación automatizada es el futuro

Muchos de los gigantes tecnológicos ya han adoptado marcos contextuales de bandidos, pero los especialistas en marketing deben tener en cuenta que esta tecnología aún es increíblemente nueva. Las marcas deben asignar suficiente tiempo y recursos para facilitar el proceso de transición porque, según Khachatryan, es el "futuro de la experimentación".

“En el pasado, las pruebas A/B manuales funcionaban con una mención a la vez”, dijo. “Con estos bandidos contextuales, puede configurarlo para probar simultáneamente múltiples dimensiones”.

Ya sea que esté probando la eficacia de la línea de asunto del correo electrónico, las tasas de clics de llamadas a la acción o los tiempos óptimos de publicación de artículos, los especialistas en marketing tienen una gran cantidad de datos experimentales con los que mantenerse al día. Las soluciones de pruebas automatizadas pueden hacer que estos procesos sean más manejables al disminuir el tiempo dedicado a las tareas manuales, reemplazándolas con experimentación automatizada continua.

“Puede pensar en esto como la próxima iteración de programas de experimentación o de prueba y aprendizaje”, dijo Khachatryan. “Cuando un especialista en marketing configura este sistema de experimentación automatizada continua, crea esta interacción en la que puede ver lo que sucede, obtener información y luego usar esa información para obtener nuevas ideas”.

Añadió: "Así que todavía tienes el ciclo ágil de prueba y aprendizaje, pero está acelerado".

El tiempo dirá qué tan rápido los especialistas en marketing adoptan estas tecnologías de experimentación automatizada. Pero, con el alto nivel de reemplazo de tecnología de marketing que tuvo lugar durante el año pasado, existe una buena posibilidad de que más marcas se inscriban más temprano que tarde.

Mire esta presentación de seminario web en Digital Marketing Depot.