Nova pesquisa mostra quais assistentes digitais realmente sabem das coisas

Publicados: 2018-05-30

De acordo com um relatório da Edison Research, mais de 51 milhões de americanos agora possuem um “alto-falante inteligente” como o Amazon Echo ou o Google Home. A taxa de adoção desses dispositivos ativados por voz é mais rápida do que a taxa de adoção de smartphones, uma década atrás. E por falar em smartphones, eles também têm assistentes digitais a bordo, incluindo Siri da Apple, Google Assistant para smartphones e Cortana da Microsoft (também acessível no Xbox e outros dispositivos).
Ao todo, estamos positivamente cercados por assistentes digitais, cada um praticamente implorando para nos ajudar a aprender e ser mais produtivos. Mas eles podem realmente conseguir isso, de forma consistente?
Os assistentes digitais são tão úteis quanto um aparador de barba James Harden se não puderem responder às perguntas que queremos, certo? É por isso que estou chocado, impressionado e apaixonado pelo segundo estudo anual da Stone Temple que testou exaustivamente quais assistentes digitais são melhores para responder a perguntas.
Recentemente, entrevistei o CEO da Stone Temple, Eric Enge, sobre o estudo para saber como eles o conduziram e o que aprenderam. Minha entrevista completa está abaixo. Vale a pena assistir! Os destaques estão abaixo.

Como testar assistentes digitais

Acontece que não há atalhos para descobrir qual assistente digital pode realmente ajudar. A equipe de Eric no Stone Temple metodicamente fez 4.942 perguntas para Alexa, Siri, Google Assistant em um telefone, Google Assistant no Google Home e Cortana da Microsoft, rodando no alto-falante Harmon Kardon Invoke. Sim, eles fizeram 24.710 perguntas separadas! Isso deu MUITO trabalho.
Para cada pergunta, a equipe observou se a resposta era precisa ou imprecisa. Eles também observaram se o assistente não entendeu a pergunta e se a resposta foi “verbal” do dispositivo, extraída de um banco de dados ou proveniente da web.

Qual é o melhor assistente digital?

De acordo com a pesquisa, o melhor desempenho em 2018 é o Google Assistant em um smartphone. Isso pode não ser um grande choque, já que o Google tem acesso a um conjunto insondável de informações e lida rotineiramente com bilhões de consultas de usuários. Esse assistente digital tentou responder a quase 80% de todas as perguntas, o que significa que houve muito poucas respostas frustrantes do tipo “não entendo o que você quer dizer”.
E, entre as perguntas respondidas, a taxa de precisão do Google ultrapassou 90% .
Em comparação, a Cortana tentou responder um pouco mais de 60% das perguntas, com Alexa em pouco mais da metade e Siri em pouco mais de 40%.
Quando os assistentes ofereceram respostas, as taxas de precisão foram agrupadas mais de perto. O Google no smartphone é o melhor em mais de 95%, mas o assistente do Google no Home e o Cortana da Microsoft também estão lá. Alexa supera 80%, e até a Siri acerta 80% das vezes (quando na verdade tem uma resposta).

Às vezes, as respostas fornecidas pelo assistente digital estão totalmente erradas. Isso é mais provável de ocorrer com Alexa e Siri. Cada um tinha mais de 160 respostas incorretas, em comparação com menos de 40 para Google e Microsoft. Observe, no entanto, que o Google e a Microsoft possuem mecanismos de pesquisa enormes, que provavelmente ajudam consideravelmente na correspondência de dados.

Perguntamos aos assistentes digitais coisas muito idiotas (hoje)

Hoje, nestes primeiros dias, as perguntas que fazemos aos nossos assistentes digitais são bastante básicas e banais. (Este NÃO é o caso do teste de Stone Temple, pois muitas das 5.000 perguntas são complicadas.) Mas para muitos de nós, estamos usando esses dispositivos principalmente para verificar o clima, aprender resultados esportivos, recuperar conhecimentos gerais ou definir cronômetros.
Em nossa conversa, Eric e eu discutimos essa situação e acreditamos que seja temporária – um instantâneo no tempo. À medida que os humanos se sentirem mais à vontade com consultas e respostas ativadas por voz, nosso uso desses assistentes digitais se tornará mais sutil e complexo.
A meu ver, isso reflete o que aconteceu nos primeiros dias dos mecanismos de pesquisa, quando as pessoas normalmente usavam strings de pesquisa muito curtas ao consultar Lycos, et al. À medida que o conforto com a pesquisa online crescia e a qualidade dos resultados da pesquisa melhorava, começamos a usar consultas cada vez mais longas.
Com o tempo, esses assistentes digitais melhorarão e nosso uso deles se tornará mais abrangente.

A voz é uma grande oportunidade de marketing de conteúdo

Além de seu estudo de assistentes digitais, Eric e sua equipe também criaram “habilidades” para Alexa e Google Assistant que permitem que você faça perguntas a esses assistentes sobre otimização de mecanismos de pesquisa, e você receberá respostas do Stone Temple. E no Alexa, eles ainda têm um teste de SEO que você pode fazer instantaneamente. Brilhante!
Eric relata que a empresa está obtendo visibilidade e uso deste conselho ativado por voz. Ele disse:

“No Google Assistant, eles têm um modo chamado consultas implícitas e, se você marcar a caixa ao configurar seu dispositivo, alguém pode fazer uma pergunta ao Google sem invocar nossas ações específicas. Eles podem apenas dizer: 'Como você implementa uma tag no-follow?' O Google pode voltar e dizer: 'Stone Temple tem uma resposta para isso, você quer ouvir?'”

Até o momento, Eric diz que mais de 1.000 pessoas interagiram com o conselho de SEO da Stone Temple por meio de consultas implícitas no Google Assistant.

Impacto dos dados do Digital Assistant nos rankings tradicionais de SEO

Estou fascinado com a incursão de Eric em conselhos de SEO ativado por voz e quero trabalhar em alguns dos meus. “Alexa: Pergunte a Jay Baer sobre tequila”!
Dado que o Google e a Microsoft têm grandes interesses na batalha dos assistentes digitais, eu me perguntei se ser uma “fonte” de informações para esses dispositivos – como Stone Temple é para informações de SEO – poderia “sangrar” e influenciar positivamente os rankings de busca no Google e Bing ? Perguntei a Eric sobre isso, e ele respondeu:

“Nenhuma evidência de benefícios até o momento, e acho que é muito cedo para que isso tenha acontecido neste momento. Mas definitivamente não vai doer, e se você está entregando informações confiáveis, e as pessoas estão pedindo para você dar respostas, esse é um sinal de autoridade do tópico que os mecanismos de busca podem explorar.”

Pegue uma cópia do estudo de assistentes digitais pessoais do Stone Temple e comece a pensar em sua própria incursão no conhecimento ativado por voz. E se puder, reserve alguns minutos para assistir à minha entrevista com Eric acima, ou leia a transcrição abaixo. Coisas boas lá.

Transcrição

Jay Baer:	Olá pessoal, é Jay Baer da Convince & Convert, e hoje se juntou ao meu amigo Eric Enge, que é o CEO da Stone Temple Consulting, uma organização de conteúdo de SEO incrivelmente eficaz e famosa. Eric, é ótimo falar com você. Você e sua equipe montaram este novo relatório recentemente que . . . é impressionante para mim que você tenha feito isso. Eu sei que é o segundo ano que você faz isso, mas eu ainda estava chocado. Chama-se Avaliação da inteligência dos assistentes pessoais digitais em 2018. Você analisa e descobre qual é a versão mais precisa e realmente útil do Alexa, Siri, Google Home e Cortana da Microsoft. Ainda não consigo acreditar nisso. Você meio que alinhou os dispositivos e fez um monte de perguntas. Muito obrigado por falar sobre isso. Como isso veio junto?
Eric Enge:	Ótima pergunta. Primeiramente obrigado por me receber Jay, emocionado por estar fazendo isso junto com você e falando sobre isso, sempre nos divertimos muito conversando. Temos um conjunto de 5.000 perguntas que desenvolvemos e esse conjunto de 5.000 perguntas são perguntas sobre tópicos informativos, extraídas de coisas que conhecemos, o Google fornece snippets em destaque ou para os quais eles provavelmente fornecerão snippets futuros. Bem, para corrigir isso, essas são perguntas que pensamos que havia alguma possibilidade de que elas pudessem. Foi assim que essas questões originalmente se juntaram.
Jay Baer:	Mas o leque de perguntas é bastante amplo. Quero dizer, há muitos tipos diferentes de perguntas e intencionalmente.
Eric Enge:	Sim, é intencionalmente assim. Destina-se a ser uma ampla gama em qualquer tipo de tópicos diferentes, desde história, receita, até . . . Eu não sei como algo é soletrado, ou meio que em todo o mapa realmente. Amplo por intenção porque queríamos testar uma ampla gama de recursos. Então, o que fizemos foi literalmente perguntar, usando a voz humana, essas 5.000 consultas diferentes de cada dispositivo. Fizemos isso para o Google Assistant rodando em um smartphone, Google Assistant rodando no Google Home, Alexa rodando no Amazon Echo, Cortana rodando no alto-falante Harman Kardon Invoke e depois Siri rodando em um iPhone, 25.000 perguntas que foram feitas manualmente. Pegamos esse conjunto de perguntas e fizemos toda essa catalogação de todas essas coisas, incluindo: você recebeu uma resposta verbal do dispositivo ou do assistente pessoal? A resposta indicou que o dispositivo pensou ter entendido a pergunta e, portanto, tentou respondê-la? Se sim, respondeu a pergunta corretamente? Se errou, então que tipo de resposta errada foi? Foi uma quantidade extensa de trabalho em análise feito em uma base de consulta por consulta.
Jay Baer:	Digo uma coisa, acho que você me disse que tinha 10 pessoas trabalhando nisso, apenas fazendo perguntas e registrando as respostas. Isso é uma tremenda quantidade de capital humano colocado neste projeto.
Eric Enge:	Sim, absolutamente, quero dizer para mim, na verdade, sou uma pessoa intensamente curiosa. Quero saber as respostas para perguntas como esta. Acontece que muitas outras pessoas também queriam saber as respostas para essas perguntas porque obtivemos muita visibilidade do estudo. O fato de termos feito isso no ano passado e feito novamente este ano, meio que temos um índice agora que estamos medindo como essas coisas estão progredindo.
Jay Baer:	Sim, essa foi a coisa fascinante, acho que a conclusão deste ano é que o Google é meio que o “melhor”, e obviamente isso é circunstancial e coisas assim, mas se você tivesse que escolher um que o Google provavelmente tem o melhor hoje . Em um ponto, a Siri talvez tenha sido melhor e agora não é tão boa quanto antes. Não é uma condição estática. Essa foi a coisa mais interessante, analisando o relatório do ano passado versus o relatório deste ano, que realmente há muita variação ano a ano, o que significa que algumas dessas coisas estão aprendendo, pois o aprendizado de máquina faria você pensar como no nome e melhorando, mas outros talvez estejam piorando e não tenho certeza de como isso acontece.
Eric Enge:	Bem, eu não acho que nada realmente piorou por si só. Na verdade, o assistente pessoal que mais progrediu foi o Alexa, então eles fizeram grandes avanços para expandir o número de perguntas que responderam e sua precisão geral. A Cortana se expandiu muito e também deu um bom passo à frente, tanto em termos de número de perguntas respondidas quanto em precisão nas respostas.
	Siri costumava ser o líder, mas eles foram os primeiros a sair e isso já faz alguns anos. Eles meio que não empurraram da mesma forma que todo mundo fez. Como algo fica pior, então vou dar um exemplo. A taxa de precisão do Alexa caiu um pouco em relação ao ano passado, mas, por outro lado, eles estavam respondendo muito mais perguntas. O número total de perguntas. . .
Jay Baer:	É quase lógico que sua precisão cairia um pouco.
Eric Enge:	Sim, é exatamente assim que você pode ver uma queda e isso, de fato, aconteceu com o Alexa.
Jay Baer:	Você sente que há uma vantagem real para o Alexa porque ele tem muita participação de mercado na categoria de alto-falante inteligente e, certamente, o Google tem muito mais dispositivos Android instalados, porque mesmo as pessoas que não usam o Android estão usando o iPhone, usando a pesquisa do Google ou mapas do Google em seu iPhone e, como sabemos, cerca de 40% das pesquisas locais agora são conduzidas por pesquisa por voz. Você sente que esses pontos de dados estão ajudando-os a melhorar, estão ingerindo mais consultas e, portanto, podem criar uma IA melhor?
Eric Enge:	Sim, acho que definitivamente há uma vantagem em poder aproveitar o rastreamento da web. Você tem tantos dados disponíveis para você, mas o que vem com isso é quando você está rastreando sites, só porque está publicado na internet não significa...
Jay Baer:	Lixo dentro, lixo fora.
Eric Enge:	Certo, então você tem que qualificar isso de alguma forma e isso é um desafio difícil. O Google vem trabalhando nisso há anos, como também documentamos em alguns outros estudos que fazemos. A Amazon está fazendo algo e não posso dizer o que é porque não sei, mas eles estão claramente tendo acesso a mais informações do que apenas a Wikipedia. Você pode ver isso com base nas perguntas que eles estão respondendo hoje.
Jay Baer:	Sim, é bem interessante. Se você tivesse que comprar uma assistente pessoal para alguém como presente de Dia das Mães ou algo assim e dissesse: “Tudo bem, só posso comprar uma dessas”, qual você compraria? Qual você indicaria para alguém comprar?
Eric Enge:	Bem, se vou me basear em quão inteligente é responder a perguntas, o Google Assistant ainda tem a liderança. Por outro lado, tenho várias unidades Alexa e várias unidades Google Home em casa e as usamos para controle doméstico, controlando luzes e termostatos e coisas assim. Alexa é melhor nisso, então a verdadeira nuance. . .
Jay Baer:	Melhores receitas por enquanto, um pouco de vantagem nesse lado também.
Eric Enge:	Sim exatamente, então acho que depende do que você está usando. Se você estiver procurando por controle doméstico, eu usaria o Alexa. Se você está procurando a inteligência bruta, que é o foco do nosso estudo, sim, o Google Assistant ainda está lá.
Jay Baer:	Uma das coisas que você tem no estudo e, novamente, é chamado de Avaliação da inteligência dos assistentes pessoais digitais em 2018, você pode obtê-lo no site do Stone Temple, stonetemple.com. Você lista os conjuntos de perguntas, não que você necessariamente perguntou no estudo, embora você mencione isso também, mas o que as pessoas perguntam a esses assistentes em geral. Isso mostra que muitas das perguntas hoje são um tanto banais. É como vai estar o tempo amanhã, embora eu certamente seja culpado disso. Eu uso meu Alexa para isso o tempo todo, embora tenha várias outras maneiras de determinar o clima amanhã, é mais fácil. Você sente que, com o tempo, à medida que os humanos se tornarem mais confortáveis com essa tecnologia, talvez mais confiantes nela, os tipos de perguntas que fazemos mudarão?
Eric Enge:	Eu sei, então estamos em estágios muito iniciais e, francamente, para todo esse espaço, há uma grande coisa que está sendo resolvida agora, que são as pessoas se sentindo à vontade para falar com dispositivos, e esses dispositivos podem ter conversas reais com pessoas porque as pessoas nem sempre usam as frases formuladas que o dispositivo está esperando. Este é um processo complicado, fazendo com que a interação homem-máquina funcione.
Jay Baer:	Certo porque em algum momento é nosso erro porque não formulamos a pergunta. Na verdade, eu provavelmente não deveria gravar isso, mas minha esposa e eu estamos sempre brigando sobre Alexa porque eu sei como formular uma pergunta porque estou no marketing digital e pesquiso há tanto tempo, então posso formular a pergunta em um maneira que eu tenho uma chance melhor de ser devolvido. Ela normalmente não fala dessa maneira e então fica super frustrada. “Essa Alexa estúpida não sabe de nada” e eu fico tipo “Bem, mas se você dissesse dessa maneira.” Ela é como, “Eu não quero dizer dessa maneira. Não quero ter que mudar a maneira como falo por causa de algum banco de dados relacional.” É mais ou menos assim de quem é a culpa? É estúpido ou somos nós?
Eric Enge:	Não, é absolutamente o caso, e está impactando o quão amplo é o uso dessas coisas. Não há dúvida de que está tendo esse impacto. A coisa toda sobre ir para a voz está bem, temos as décadas em que aprendemos a digitar a coisa no Google usando menos palavras para ter uma chance melhor do que queremos e todos somos treinados para fazer isso. Quando estamos usando voz, não queremos ter que fazer isso, mas talvez sejamos treinados até certo ponto e talvez eles melhorem e talvez ambos aconteçam e nos encontremos em algum lugar no meio.
	Eu realmente acho que isso vai acontecer. É só que você tem que chegar à grande visão dessa coisa e a grande visão é que já estamos em um ponto em que algo como 75% dos dispositivos conectados à Internet do mundo são algo diferente de um smartphone, PC ou tablet. Essa é uma quantidade incrível de oportunidades para interagir com a internet, e se eu vou usar algo como meu relógio aqui eu não vou digitar. Se eu pudesse acessar meu Google Assistente através dessa coisa . . . Bem, isso é um pouco injusto, é um iWatch, mas isso não vem ao caso. Basicamente, eu só quero usar minha voz, quero que saibam que sou eu e vamos. A tecnologia nos assistentes pessoais já existe, já está disponível, eles podem se conectar de todos os dispositivos aos quais você se conecta, e você alcançará exatamente o mesmo assistente pessoal.
	Experiência integrada que pode começar a configurar uma reserva no meu telefone, eu poderia terminá-la quando entro no meu carro através da conectividade com a internet que tenho lá, e é tudo uma sessão. Com esse nível de oportunidade, é incrivelmente atraente e acredito firmemente que essa é a direção que isso vai tomar. Neste momento há um monte de ligar para a mãe, ligar para o pai, definir um cronômetro, como está o tempo, coisas muito básicas, mas estamos nos acostumando.
Jay Baer:	Você está em SEO há muito tempo, assim como eu, sinto que já vimos esse movimento antes. Se você olhar para os primeiros dias do Google, Yahoo, Ask Jeeves, consultas de pesquisa, todas eram sequências de duas, três, quatro palavras. Então, com o tempo, a duração média da consulta de pesquisa ficou mais longa, mais detalhada e mais específica também. Eu sinto que isso é um paralelo com o que vamos ver na voz. Você verá perguntas mais detalhadas e com mais nuances.
Eric Enge:	Eu concordo e apenas puxando sua analogia um pouco mais longe ou desenhando um pouco mais, também vimos que a capacidade de processamento dos mecanismos de pesquisa evoluiu drasticamente e sua capacidade de lidar com diferentes tipos de construções de linguagem e esses tipos mudaram sob nossos pés. Alguns dos algoritmos que conhecemos, coisas como RankBrain que ouvimos falar e outros algoritmos como esse, busca em linguagem natural. Eles já estavam lidando com isso mesmo separadamente de toda a conversa de voz.
Jay Baer:	Eric, eu queria perguntar a você antes de falarmos sobre a habilidade do Alexa que você construiu para responder a perguntas de SEO, que eu acho hilária, incrível e incrível, e eu vou, quando terminarmos aqui, subir as escadas e sentar frente do meu dispositivo e ir para a escola de SEO Eric Enge Stone Temple. Conte-nos sobre esse processo e o que podemos pedir, etc.
Eric Enge:	Temos algumas centenas, talvez cerca de 250 perguntas relacionadas a SEO, então pode ser algo como o que é uma nova tag de índice? Como você implementa um no follow? O que é um redirecionamento 301? Perguntas muito comuns que toda pessoa da casa quer fazer.
Jay Baer:	Todos precisam saber disso. As perguntas mais comuns são: qual é o clima amanhã e como faço um 301? Essas são as duas perguntas.
Eric Enge:	Na verdade, construímos isso para o Alexa. Também temos um para o Google Assistant, e Alexa temos um teste de SEO onde você pode realmente fazer um teste e avaliar suas habilidades de SEO. Desenvolvemos internamente. Existem ferramentas para ajudá-lo a fazer isso. Há um site que você pode acessar chamado diagflow.com, que o guiará por todo o processo de criação do que eles chamam de ações no aplicativo do Google para assistente pessoal. Não é fácil, definitivamente são algumas coisas para descobrir, mas não é muito difícil, e quando você terminar, poderá exportar a partir desse código, que com modificações muito simples pode ser usado imediatamente no Alexa. Você realmente faz isso em um só lugar e obtém o arquivo . . . trabalhado para ambos.
	Uma das coisas legais sobre isso é que as pessoas estão realmente usando, não que seja uma atividade extremamente popular como nós brincamos há pouco. Estamos obtendo visibilidade com isso. Na verdade, temos artigos escritos sobre isso, alguns na imprensa, o que foi legal. Além disso, no Google Assistant eles têm um modo chamado consultas implícitas e se você marcar a caixa ao configurar seu aplicativo que deseja, alguém pode fazer uma pergunta ao Google sem invocar nossas ações no aplicativo do Google. Eles podem apenas dizer: “Como você implementa uma tag no-follow?” O Google pode voltar e dizer: “Stone Temple tem uma resposta para isso, você quer ouvir?”
Jay Baer:	Agradável.
Eric Enge:	Sim, o que é bom. É visibilidade gratuita.
Jay Baer:	É um funil de cima para baixo, sim, eu gosto.
Eric Enge:	Sim, e eu sei que neste momento temos algo como 1.000 pessoas que foram orientadas dessa forma e aceitaram neste momento.
Jay Baer:	Quero dizer, isso é muito forte. Quero dizer que é um alvo muito apertado. Quero dizer, ninguém está perguntando sobre não seguir tags por acidente.
Eric Enge:	Certo, para este aplicativo B para B em particular, que é o nosso negócio. É realmente incrível. Há uma grande oportunidade aqui porque quando você procura uma habilidade de Alexa ou uma ação no Google app para o Google, o que você tem é a capacidade de chegar ao piso térreo de ser um provedor de informações para o Google e para a Amazon. Em ambos os casos, ambos procuram fontes confiáveis de informação para responder às perguntas dos usuários. Eles terão seus relacionamentos com a Wikipedia, o Google pode usar o rastreamento, a Amazon provavelmente está fazendo outras coisas para levar dados às pessoas, e as pessoas que fornecem esses aplicativos são outra fonte de informação. Eles vão se basear em você se o seu aplicativo estiver obtendo pontuações boas o suficiente, mas eles estão pontuando. Outra maneira de obter visibilidade dentro da atmosfera do marketing digital.
Jay Baer:	Você acha que ser um desses provedores de informações do lado da voz melhoraria a autoridade do seu tópico no lado da pesquisa regular na web ou você viu a evidência disso?
Eric Enge:	Nenhuma evidência até o momento, acho que é muito cedo para que isso tenha acontecido neste momento. Eu certamente acho que algum nível de validação em um terceiro. . . Bem, não é um terceiro. Devo dizer algum nível de validação, que está no Google Assistant ou no Alexa, acho que pode importar absolutamente.
Jay Baer:	Sim, certamente não pode machucar é a maneira como eu olho para isso.
Eric Enge:	Definitivamente não vai doer e se você está entregando métricas confiáveis e as pessoas estão pedindo para você dar essas respostas ou ao assistente, isso é um sinal.
Jay Baer:	Sim eu amo. Muito obrigado por colocar todo o tempo e esforço nisso, fazendo o trabalho que todo mundo está curioso, mas ninguém colocaria esse tipo de esforço nisso. Aprecie que você e sua equipe, Eric da Stone Temple, estejam dispostos a sentar e fazer 5.000 perguntas vezes cinco dispositivos, para um total de senhoras e senhores, de 25.000 perguntas. Isso é um trabalho de amor que é com certeza.
Eric Enge:	Nenhuma pergunta sobre isso. Foi divertido fazê-lo.
Jay Baer:	Pegue uma cópia de Rating the Smarts of the Digital Personal Assistants 2018, descobertas super interessantes de Eric Enge e sua equipe da Stone Temple Consulting. Meu amigo obrigado por estar aqui. Ótimo falar com você como sempre.
Eric Enge:	Tudo bem, obrigado Jay.
Jay Baer:	Vejo você broto.
Eric Enge:	Sim tchau.