Una nueva investigación muestra qué asistentes digitales realmente saben cosas

Publicado: 2018-05-30

Según un informe de Edison Research, más de 51 millones de estadounidenses ahora poseen un "altavoz inteligente" como Amazon Echo o Google Home. La tasa de adopción de estos dispositivos activados por voz es más rápida que la tasa de adopción de los teléfonos inteligentes hace una década. Y hablando de teléfonos inteligentes, también tienen asistentes digitales a bordo, incluidos Siri de Apple, Asistente de Google para teléfonos inteligentes y Cortana de Microsoft (también accesible en Xbox y otros dispositivos).
En total, estamos RODEADOS positivamente de asistentes digitales, cada uno de los cuales prácticamente ruega que nos ayuden a aprender y ser más productivos. Pero, ¿pueden realmente lograr eso, de manera consistente?
Los asistentes digitales son tan útiles como una recortadora de barba de James Harden si no pueden responder las preguntas que queremos que respondan, ¿verdad? Es por eso que estoy conmocionado, asombrado y enamorado del segundo estudio anual de Stone Temple que probó exhaustivamente qué asistentes digitales son los mejores para responder preguntas.
Recientemente entrevisté al CEO de Stone Temple, Eric Enge, sobre el estudio para saber cómo lo realizaron y qué aprendieron. Mi entrevista completa está abajo. ¡Vale la pena verlo! Los aspectos más destacados están a continuación.

Cómo probar asistentes digitales

Resulta que no hay atajos para descubrir qué asistente digital realmente puede ayudar. El equipo de Eric en Stone Temple hizo metódicamente 4942 preguntas a Alexa, Siri, Google Assistant en un teléfono, Google Assistant en Google Home y Cortana de Microsoft, que se ejecuta en el altavoz Harmon Kardon Invoke. ¡Sí, hicieron 24.710 consultas separadas! Esto tomó MUCHO trabajo.
Para cada pregunta, el equipo anotó si la respuesta era precisa o inexacta. También notaron si el asistente no entendió la consulta y si la respuesta fue "verbal" del dispositivo, extraída de una base de datos o de la web.

¿Cuál es el mejor asistente digital?

Según la investigación, el mejor desempeño en 2018 es el Asistente de Google en un teléfono inteligente. Esto puede no ser una gran sorpresa, dado que Google tiene acceso a una variedad insondable de información y maneja de forma rutinaria miles de millones de consultas de los usuarios. Este asistente digital intentó responder casi el 80 por ciento de todas las preguntas, lo que significa que hubo muy pocas de las frustrantes respuestas "No entiendo lo que quieres decir".
Y, entre las preguntas respondidas, la tasa de precisión de Google superó el 90 por ciento .
En comparación, Cortana intentó responder un poco más del 60 por ciento de las preguntas, con Alexa un poco más de la mitad y Siri un poco más del 40 por ciento.
Cuando los asistentes ofrecieron respuestas, las tasas de precisión se agruparon más estrechamente. Google en teléfonos inteligentes es mejor en más del 95 por ciento, pero el asistente de Google en Home y Cortana de Microsoft también están allí. Alexa supera el 80 por ciento, e incluso Siri lo hace bien el 80 por ciento de las veces (cuando en realidad tiene una respuesta).

A veces, las respuestas proporcionadas por el asistente digital son completamente incorrectas. Esto es más probable que ocurra con Alexa y Siri. Cada uno tenía más de 160 respuestas incorrectas, en comparación con menos de 40 para Google y Microsoft. Tenga en cuenta, sin embargo, que Google y Microsoft poseen enormes motores de búsqueda, que probablemente ayuden considerablemente con la coincidencia de sus datos.

Preguntamos cosas bastante tontas a los asistentes digitales (hoy)

Hoy, en estos primeros días, las preguntas que hacemos a nuestros asistentes digitales son bastante básicas y banales. (Este NO es el caso de la prueba de Stone Temple, ya que muchas de las 5,000 preguntas son complicadas). Pero para muchos de nosotros, usamos estos dispositivos principalmente para verificar el clima, aprender resultados deportivos, recuperar conocimientos generales o configurar cronómetros.
En nuestra conversación, Eric y yo discutimos esta situación y creemos que es temporal, una instantánea en el tiempo. A medida que los humanos se sientan más cómodos con las consultas y respuestas activadas por voz, nuestro uso de estos asistentes digitales se volverá más matizado y complejo.
En mi opinión, esto refleja lo que sucedió en los primeros días de los motores de búsqueda, cuando las personas generalmente usaban cadenas de búsqueda muy cortas al consultar a Lycos, et al. A medida que crecía la comodidad con la búsqueda en línea y mejoraba la calidad de los resultados de búsqueda, comenzamos a usar consultas cada vez más largas.
Con el tiempo, estos asistentes digitales mejorarán y, en consecuencia, nuestro uso de ellos será más completo.

La voz es una gran oportunidad de marketing de contenido

Además de su estudio de asistentes digitales, Eric y su equipo también crearon "habilidades" para Alexa y el Asistente de Google que le permiten hacer preguntas a esos asistentes sobre la optimización de motores de búsqueda, y Stone Temple le brindará respuestas. Y en Alexa, incluso tienen un cuestionario de SEO que puedes realizar al instante. ¡Brillante!
Eric informa que la empresa obtiene visibilidad y uso de este consejo activado por voz. Él dijo:

“En el Asistente de Google, tienen un modo llamado consultas implícitas, y si marca la casilla cuando configura su dispositivo que desea eso, alguien puede hacerle una pregunta a Google sin invocar nuestras acciones específicas. Podrían simplemente decir: '¿Cómo se implementa una etiqueta de no seguimiento?' Google podría volver y decir: 'Stone Temple tiene una respuesta para eso, ¿quieres escucharla?'".

Hasta la fecha, Eric dice que más de 1000 personas han interactuado con los consejos de SEO de Stone Temple a través de consultas implícitas en el Asistente de Google.

Impacto de los datos del asistente digital en las clasificaciones de SEO tradicionales

Estoy fascinado por la incursión de Eric en los consejos de SEO activados por voz y quiero trabajar en algunos por mi cuenta. “Alexa: ¡Pregúntale a Jay Baer sobre el tequila”!
Dado que Google y Microsoft tienen mucho en juego en la batalla de los asistentes digitales, me preguntaba si ser una "fuente" de información para esos dispositivos, como lo es Stone Temple para la información de SEO, podría "desangrarse" e influir positivamente en las clasificaciones de búsqueda en Google y Bing. ? Le pregunté a Eric sobre eso, y él respondió:

“No hay evidencia de beneficios hasta la fecha, y creo que es demasiado pronto para que eso haya sucedido en este momento. Pero definitivamente no va a doler, y si estás brindando información confiable y las personas te piden que les des respuestas, esa es una señal de autoridad del tema que los motores de búsqueda podrían aprovechar”.

Obtenga una copia del estudio de asistentes digitales personales de Stone Temple y comience a pensar en su propia incursión en el conocimiento activado por voz. Y si puede, tómese unos minutos para ver mi entrevista con Eric arriba, o lea la transcripción a continuación. Buenas cosas ahí.

Transcripción

JayBaer:	Hola chicos, soy Jay Baer de Convince & Convert, y hoy se unió mi amigo Eric Enge, quien es el director ejecutivo de Stone Temple Consulting, una organización de contenido de SEO increíblemente eficaz y famosa. Eric, es genial hablar contigo. Usted y su equipo elaboraron recientemente este nuevo informe que . . . me sorprende que incluso hayas hecho esto. Sé que es el segundo año que lo haces, pero aún así me sorprendió. Se llama Rating the Smarts of the Digital Personal Assistants en 2018. Revisas y descubres cuál es la versión más precisa y realmente útil de Alexa, Siri, Google Home y Cortana de Microsoft. Todavía no puedo creer esto. Alineaste los dispositivos y les hiciste un montón de preguntas. Muchas gracias por hablar de esto. ¿Cómo se unió esto?
Eric Enge:	Gran pregunta. En primer lugar, gracias por invitarme, Jay, encantado de hacer esto contigo y hablar sobre esto, siempre nos divertimos mucho charlando. Tenemos un conjunto de 5000 preguntas que desarrollamos y ese conjunto de 5000 preguntas son preguntas sobre temas informativos extraídos de cosas que conocemos, Google proporciona fragmentos destacados o para los que probablemente proporcionará fragmentos futuros. Bueno, para corregir eso, estas son preguntas que pensamos que había alguna posibilidad de que lo hicieran. Así es como esas preguntas se unieron originalmente.
JayBaer:	Pero la gama de preguntas es bastante amplia. Quiero decir que hay muchos tipos diferentes de preguntas e intencionalmente.
Eric Enge:	Sí, es intencionalmente así. Está destinado a ser una amplia gama de cualquier tipo de temas diferentes, desde historia, hasta recetas, hasta... . . No sé cómo se deletrea algo, o realmente en todo el mapa. Amplio por intención porque queríamos probar una amplia gama de capacidades. Entonces, lo que hicimos fue preguntar literalmente, usando la voz humana, estas 5,000 consultas diferentes de cada dispositivo. Lo hicimos para el Asistente de Google ejecutándose en un teléfono inteligente, el Asistente de Google ejecutándose en Google Home, Alexa ejecutándose en Amazon Echo, Cortana ejecutándose en el altavoz Harman Kardon Invoke y luego Siri ejecutándose en un iPhone, 25,000 preguntas que se hicieron manualmente. Tomamos este conjunto de preguntas e hicimos toda esta catalogación de todas estas cosas, incluso ¿obtuvo una respuesta verbal del dispositivo o del asistente personal? ¿La respuesta indicó que el dispositivo pensó que entendía la pregunta y, por lo tanto, trató de responderla? Si lo hizo, ¿respondió correctamente a la pregunta? Si se equivocó, ¿qué tipo de respuesta incorrecta fue? Fue una gran cantidad de trabajo de análisis realizado consulta por consulta.
JayBaer:	Te diré algo, creo que me dijiste que tenías 10 personas trabajando en esto, solo haciendo preguntas y registrando las respuestas. Esa es una enorme cantidad de capital humano puesto en este proyecto.
Eric Enge:	Sí, absolutamente, quiero decir que para mí en realidad soy una persona intensamente curiosa. Quiero saber las respuestas a preguntas como esta. Resulta que muchas otras personas también querían saber las respuestas a estas preguntas porque obtuvimos mucha visibilidad del estudio. El hecho de que lo hicimos el año pasado y lo hicimos nuevamente este año, tenemos un índice ahora que estamos midiendo cómo están progresando estas cosas.
JayBaer:	Sí, eso fue lo fascinante, creo que la conclusión de este año es que Google es algo así como el "mejor", y obviamente eso es circunstancial y cosas así, pero si tuvieras que elegir uno, Google probablemente se desempeñe mejor hoy. . En un momento, Siri fue quizás mejor y ahora no es tan bueno como antes. No es una condición estática. Eso fue lo más interesante al observar el informe del año pasado en comparación con el informe de este año, que realmente hay una gran variación de un año a otro, lo que significa que algunas de estas cosas están aprendiendo, ya que el aprendizaje automático lo haría pensar como en el nombre y mejorando, pero otros quizás están empeorando y no estoy muy seguro de cómo sucede eso.
Eric Enge:	Bueno, no creo que nada haya empeorado per se. De hecho, el asistente personal que más progresó fue Alexa, por lo que dieron grandes pasos para expandir la cantidad de preguntas que respondían y su precisión general. Cortana se ha expandido mucho y, de hecho, también ha dado un buen paso adelante, tanto en términos de cantidad de preguntas respondidas como de precisión al responderlas.
	Siri solía ser el líder, pero ellos fueron los primeros en salir y eso fue hace unos años. Simplemente no lo impulsaron de la misma manera que todos los demás. Cómo algo empeora, así que te daré un ejemplo. La tasa de precisión de Alexa en realidad disminuyó un poco con respecto al año pasado, pero por otro lado, estaban respondiendo muchas más preguntas. El número total de preguntas. . .
JayBaer:	Es casi lógico que su precisión disminuya un poco.
Eric Enge:	Sí, así es exactamente como podrías ver una gota y eso, de hecho, sucedió con Alexa.
JayBaer:	¿Crees que hay una ventaja real para Alexa porque tiene mucha participación de mercado en la categoría de parlantes inteligentes, y ciertamente Google tiene muchos más dispositivos Android instalados porque incluso las personas que no usan Android usan iPhone, usando la búsqueda de Google? o mapas de Google en su iPhone y, como sabemos, alrededor del 40 % de las búsquedas locales ahora se realizan mediante búsqueda por voz. ¿Crees que esos puntos de datos los están ayudando a mejorar, están incorporando más consultas y, por lo tanto, pueden desarrollar una mejor IA?
Eric Enge:	Sí, creo que definitivamente es una ventaja poder aprovechar el rastreo de la web. Obtiene muchos datos disponibles para usted, pero lo que viene con eso es cuando está rastreando sitios web, solo porque está publicado en Internet no significa-
JayBaer:	Basura dentro basura fuera.
Eric Enge:	Correcto, entonces tienes que calificar eso de alguna manera y ese es un desafío difícil. Google ha estado trabajando en eso durante años, como también hemos documentado en otros estudios que realizamos. Amazon está haciendo algo y no puedo decir qué es porque no lo sé, pero claramente tienen acceso a más información que solo Wikipedia. Puede ver eso en base a las preguntas que están respondiendo hoy.
JayBaer:	Sí, es bastante interesante. Si tuvieras que comprar un asistente personal para alguien como regalo del Día de la Madre o algo así y piensas: "Está bien, solo puedo comprar uno de estos", ¿cuál comprarías? ¿Cuál le dirías a alguien que compre?
Eric Enge:	Bueno, si me voy a basar en lo inteligente que es al responder preguntas, el Asistente de Google aún tiene la ventaja. Por otro lado, tengo varias unidades de Alexa y varias unidades de Google Home en casa y las usamos para el control del hogar, por lo que controlamos las luces y los termostatos y cosas por el estilo. Alexa es mejor en eso, así que el verdadero matiz. . .
JayBaer:	Mejores recetas por ahora, un poco de ventaja en ese lado también.
Eric Enge:	Sí, exactamente, así que creo que depende de para qué lo estés usando. Si estás buscando el control del hogar, iría con Alexa. Si está buscando la inteligencia en bruto, que es en lo que se centró nuestro estudio, entonces sí, el Asistente de Google todavía está allí.
JayBaer:	Una de las cosas que tiene en el estudio, y nuevamente, se llama Calificación de la inteligencia de los asistentes personales digitales en 2018, puede obtenerla en el sitio web de Stone Temple, stonetemple.com. Usted hace una lista de los conjuntos de preguntas, no que necesariamente haya preguntado en el estudio, aunque también lo menciona, sino lo que la gente les pregunta a estos asistentes en términos generales. Muestra que muchas de las preguntas de hoy son algo banales. Es lo que va a hacer mañana, aunque ciertamente soy culpable de eso. Uso mi Alexa para eso todo el tiempo, aunque tengo muchas otras formas de determinar el clima mañana, es más fácil. ¿Cree que con el tiempo, a medida que los humanos se sientan más cómodos con esta tecnología, quizás más confiados en ella, cambiarán los tipos de preguntas que hacemos?
Eric Enge:	Sí, así que estamos en etapas muy tempranas y, francamente, para todo este espacio, hay algo importante que se está resolviendo en este momento, que es que las personas se sientan cómodas hablando con dispositivos, y esos dispositivos pueden tener conversaciones reales con personas porque las personas no siempre usan las frases formuladas que espera el dispositivo. Este es un proceso complicado, lograr que la interacción hombre-máquina funcione.
JayBaer:	Correcto porque en algún momento es nuestro error porque no formulamos la pregunta. De hecho, probablemente no debería grabar esto, pero mi esposa y yo siempre estamos peleando por Alexa porque sé cómo formular una pregunta porque he estado en marketing digital y búsqueda durante tanto tiempo que puedo formular la pregunta en un forma en que tengo más posibilidades de que me lo devuelvan. Ella no suele expresarlo de esa manera y luego se siente muy frustrada. "Esta estúpida de Alexa no sabe nada", y yo dije: "Bueno, pero si lo dijeras de esta manera". Ella dice: “No quiero decirlo de esa manera. No quiero tener que cambiar mi forma de hablar debido a alguna base de datos relacional”. Es algo así, ¿de quién es la culpa? ¿Es una estupidez o somos nosotros?
Eric Enge:	No, es absolutamente el caso, y está afectando cuán amplio es el uso de estas cosas. No hay duda de que está teniendo ese impacto. Todo el asunto de ir a la voz está bien, tenemos décadas en las que aprendimos a escribir la cosa en Google usando menos palabras para tener una mejor oportunidad de lo que queremos y todos nos capacitamos para hacerlo. Cuando usamos la voz, no queremos tener que hacer eso, pero tal vez nos entrenemos hasta cierto punto y tal vez mejoren y tal vez sucedan ambas cosas y nos encontremos en el medio en algún lugar.
	Realmente creo que eso va a pasar mucho. Es solo que tiene que llegar a la gran visión de esto y la gran visión es que ya estamos en un punto en el que aproximadamente el 75% de los dispositivos conectados a Internet del mundo son algo más que un teléfono inteligente, una PC o una tableta. Esa es una cantidad increíble de oportunidades para interactuar con Internet, y si voy a usar algo como mi reloj aquí, no lo escribiré. Si pudiera acceder a mi Asistente de Google a través de esta cosa. . . Bueno, eso es un poco injusto, es un iWatch, pero eso no viene al caso. Básicamente, solo quiero usar mi voz, quiero que sepa que soy yo y listo. La tecnología en los asistentes personales ya existe, ya está disponible, se pueden conectar desde todos los dispositivos a los que se conecte y llegará exactamente al mismo asistente personal.
	Experiencia integrada que puede comenzar a configurar una reserva en mi teléfono, podría terminarla cuando me subo a mi automóvil a través de la conectividad a Internet que tengo allí, y todo es una sola sesión. Con ese nivel de oportunidad, es increíblemente convincente y realmente creo firmemente que esa es la dirección en la que irá. En este momento hay un montón de llamar a mamá, llamar a papá, configurar un temporizador, qué tiempo hace, cosas muy básicas, pero nos estamos acostumbrando.
JayBaer:	Has estado en SEO durante mucho tiempo, al igual que yo, siento que hemos visto este movimiento antes. Si nos fijamos en los primeros días de Google, Yahoo, Ask Jeeves, consultas de búsqueda, todas eran cadenas de dos, tres o cuatro palabras. Luego, con el tiempo, la duración promedio de la consulta de búsqueda se hizo más larga, más detallada y más específica también. Siento que es un paralelo a lo que vamos a ver en la voz. Verá preguntas más detalladas y matizadas.
Eric Enge:	Estoy de acuerdo y simplemente extendiendo su analogía un poco más o dibujándola un poco más, también vimos que la capacidad de procesamiento de los motores de búsqueda evolucionó dramáticamente y su capacidad para lidiar con diferentes tipos de construcciones de lenguaje y estos tipos simplemente cambiaron debajo de nuestros pies. Algunos de los algoritmos que conocemos, cosas como RankBrain de las que hemos oído hablar y otros algoritmos como ese, búsqueda de lenguaje natural. Ya estaban lidiando con esto incluso por separado de toda la conversación de voz.
JayBaer:	Eric, quería preguntarte antes de que comencemos sobre la habilidad de Alexa que has desarrollado para responder preguntas de SEO, lo cual me parece hilarante, increíble y sorprendente, y cuando terminemos aquí, voy a subir y sentarme. frente a mi dispositivo e ir a la escuela de SEO Eric Enge Stone Temple. Cuéntanos sobre ese proceso y qué podemos preguntarle, etc.
Eric Enge:	Tenemos un par de cientos, tal vez alrededor de 250 preguntas relacionadas con SEO, por lo que podría ser algo como ¿qué es una nueva etiqueta de índice? ¿Cómo se implementa un no seguimiento? ¿Qué es una redirección 301? Preguntas muy comunes que toda persona del hogar quiere hacer.
JayBaer:	Todo el mundo necesita saber eso. Las preguntas más comunes son ¿qué tiempo hará mañana y cómo hago un 301? Esas son las dos preguntas.
Eric Enge:	De hecho, lo hemos construido para Alexa. También tenemos uno para el Asistente de Google, y Alexa tenemos un cuestionario de SEO en el que puedes realizar un cuestionario y calificar tus habilidades de SEO. Lo desarrollamos internamente. Hay herramientas para ayudarle a hacer eso. Hay un sitio web al que puede ir llamado diagflow.com, que lo guiará a través de todo el proceso de creación de lo que llaman una aplicación de acciones en Google para asistente personal. No es fácil, definitivamente hay algunas cosas que resolver, pero no es terriblemente difícil, y cuando haya terminado, puede exportar desde ese código, que con modificaciones muy simples se puede usar inmediatamente en Alexa. De hecho, lo haces en un solo lugar y obtienes el archivo . . . trabajado para ambos.
	Una de las cosas interesantes de esto es que la gente realmente los está usando, no es que sea una actividad enormemente popular como bromeamos hace un momento. Le estamos dando visibilidad. De hecho, escribimos artículos al respecto, algo de prensa, lo cual fue genial. Además, en el Asistente de Google tienen un modo llamado consultas implícitas y si marca la casilla cuando configura su aplicación que desea eso, alguien puede hacerle una pregunta a Google sin invocar nuestras acciones en la aplicación de Google. Podrían simplemente decir: "¿Cómo implementas una etiqueta de no seguimiento?" Google podría volver y decir: "Stone Temple tiene una respuesta para eso, ¿quieres escucharla?"
JayBaer:	Agradable.
Eric Enge:	Sí, lo cual es bueno. Es visibilidad gratis.
JayBaer:	Es un embudo de arriba hacia abajo, sí, me gusta.
Eric Enge:	Sí, y sé que en este momento tenemos unas 1000 personas a las que se les ha indicado de esa manera y lo aceptaron en este momento.
JayBaer:	Quiero decir que es bastante fuerte. Quiero decir que es un objetivo bastante estrecho. Me refiero a que nadie está preguntando sobre las etiquetas de no seguir por accidente.
Eric Enge:	Correcto, para esta aplicación B to B en particular, que es nuestro negocio. En realidad es increíble. Aquí hay una gran oportunidad porque cuando miras una habilidad de Alexa o una acción en la aplicación de Google para Google, lo que tienes es la capacidad de comenzar a ser un proveedor de información para Google y Amazon. En ambos casos, ambos buscan fuentes de información confiables para responder las preguntas de los usuarios. Van a tener sus relaciones con Wikipedia, Google podría usar el rastreo, Amazon probablemente esté haciendo otras cosas para llevar datos a las personas, y las personas que proporcionan estas aplicaciones son otra fuente de información. Se basarán en usted si su aplicación obtiene puntajes lo suficientemente buenos, sin embargo, lo están calificando. Otra forma de obtener visibilidad dentro de la atmósfera de marketing digital.
JayBaer:	¿Cree que ser uno de esos proveedores de información en el lado de la voz mejoraría la autoridad de su tema en el lado de la búsqueda web regular o ha visto evidencia de eso?
Eric Enge:	No hay evidencia hasta la fecha, creo que es demasiado pronto para que eso haya sucedido en este momento. Ciertamente creo que algún nivel de validación en un tercero. . . Bueno, no es un tercero. Debería decir algún nivel de validación, que está en el Asistente de Google o Alexa, creo que podría importar absolutamente.
JayBaer:	Sí, ciertamente no puede doler es la forma en que lo veo.
Eric Enge:	Definitivamente no va a doler y si estás entregando métricas confiables y las personas te piden que les des esas respuestas o al asistente, eso es una señal.
JayBaer:	Si lo amo. Muchas gracias por poner todo el tiempo y esfuerzo en esto, hacer el trabajo por el que todo el mundo siente curiosidad pero nadie pondría ese tipo de esfuerzo en ello. Aprecio que usted y su equipo, Eric en Stone Temple, estén dispuestos a sentarse y hacer 5000 preguntas multiplicadas por cinco dispositivos, para un total de damas y caballeros de 25 000 preguntas. Eso es un trabajo de amor que es seguro.
Eric Enge:	No hay duda sobre eso. Fue divertido hacerlo.
JayBaer:	Obtenga una copia de Rating the Smarts of the Digital Personal Assistants 2018, hallazgos súper interesantes de Eric Enge y su equipo en Stone Temple Consulting. Mi amigo gracias por estar aquí. Encantado de hablar contigo como siempre.
Eric Enge:	Está bien, gracias Jay.
JayBaer:	Nos vemos capullo.
Eric Enge:	Sí adiós.