新的研究表明哪些数字助理实际上知道的东西

已发表: 2018-05-30

根据 Edison Research 的一份报告，现在有超过 5100 万美国人拥有像 Amazon Echo 或 Google Home 这样的“智能扬声器”。这些语音激活设备的采用率比十年前智能手机的采用率还要快。说到智能手机，他们还配备了数字助理，包括 Apple 的 Siri、智能手机的 Google Assistant 和微软的 Cortana（也可以在 Xbox 和其他设备上访问）。
总而言之，我们被数字助理包围着，每个人实际上都在乞求帮助我们学习和提高工作效率。但他们真的能始终如一地做到这一点吗？
如果数字助理不能回答我们想要回答的问题，他们就像詹姆斯哈登胡须修剪器一样有用，对吧？这就是为什么我对 Stone Temple 的第二年度研究感到震惊、敬畏和喜爱的原因，该研究详尽地测试了哪些数字助理最擅长回答问题。
我最近就这项研究采访了 Stone Temple 首席执行官 Eric Enge，以了解他们是如何进行这项研究的以及他们学到了什么。我的完整采访如下。值得一看！重点如下。

如何测试数字助理

事实证明，没有捷径可以确定哪个数字助理实际上可以提供帮助。 Eric 在 Stone Temple 的团队有条不紊地向 Alexa、Siri、手机上的 Google Assistant、Google Home 上的 Google Assistant 和运行 Harmon Kardon Invoke 扬声器的微软 Cortana 提出了 4,942 个问题。是的，他们提出了 24,710 个单独的查询！这需要大量的劳动力。
对于每个问题，团队都会记录答案是准确还是不准确。他们还指出，如果助手不理解询问，以及响应是来自设备的“口头”、从数据库中提取还是来自网络。

哪个是最好的数字助理？

根据研究，2018 年表现最好的是智能手机上的 Google Assistant。这可能不是一个巨大的冲击，因为谷歌可以访问海量的信息并且经常处理数十亿的用户查询。这个数字助理试图回答几乎 80% 的问题，这意味着很少有令人沮丧的“我不明白你的意思”回复。
而且，在回答的问题中，谷歌的准确率超过了 90% 。
相比之下，Cortana 试图回答略高于 60% 的问题，其中 Alexa 略多于一半，Siri 略高于 40%。
当助手提供答案时，准确率更紧密地组合在一起。智能手机上的谷歌最好超过 95%，但 Home 上的谷歌助手和微软的 Cortana 也很好。 Alexa 超过 80%，甚至 Siri 也有 80% 的时间正确（当它实际上有答案时）。

有时，数字助理提供的答案是完全错误的。 Alexa 和 Siri 最有可能发生这种情况。每个人都有超过 160 个错误答案，而谷歌和微软只有不到 40 个。但是请注意，谷歌和微软拥有庞大的搜索引擎，这可能有助于他们的数据匹配。

我们问数字助理非常愚蠢的东西（今天）

今天，在这些早期，我们问数字助理的问题是相当基本和平庸的。（在 Stone Temple 的测试中，情况并非如此，因为 5,000 道问题中的许多问题都很棘手。）但对于我们中的许多人来说，我们主要使用这些设备来查看天气、学习运动成绩、检索常识或设置计时器。
在我们的谈话中，埃里克和我讨论了这种情况，我们认为这是暂时的——及时的快照。 随着人类对语音激活的查询和回复越来越熟悉，我们对这些数字助理的使用将变得更加微妙和复杂。
在我看来，这反映了搜索引擎早期发生的情况，当时人们在查询 Lycos 等人时通常使用非常短的搜索字符串。随着在线搜索的舒适度提高以及搜索结果质量的提高，我们开始使用越来越长的查询。
随着时间的推移，这些数字助理会得到改进，我们对它们的使用也会相应地变得更加全面。

语音是一个巨大的内容营销机会

除了他们的数字助理研究之外，Eric 和他的团队还为 Alexa 和 Google Assistant 创造了“技能”，让您可以向这些助理询问有关搜索引擎优化的问题，您将得到 Stone Temple 的答案。在 Alexa 上，他们甚至有一个 SEO 测验，您可以立即进行。杰出的！
Eric 报告说，该公司正在从这个语音激活的建议中获得知名度和使用率。他说：

“在谷歌助手上，他们有一种称为隐式查询的模式，如果你在设置你想要的设备时选中该框，那么有人可以在不调用我们特定操作的情况下向谷歌提问。他们可能会说，“你如何实现禁止关注标签？” 谷歌可能会回来说，'Stone Temple 对此有答案，你想听吗？'”

迄今为止，Eric 表示，已有 1000 多人通过 Google Assistant 上的隐式查询与 Stone Temple SEO 建议进行了互动。

数字助理数据对传统 SEO 排名的影响

我对 Eric 对声控 SEO 建议的尝试着迷，并希望自己做一些工作。 “Alexa：向 Jay Baer 询问龙舌兰酒”！
鉴于谷歌和微软在数字助理之战中占有重要地位，我想知道作为这些设备的信息“来源”——就像 Stone Temple 提供 SEO 信息一样——是否会“溢出”并积极影响谷歌和 Bing 的搜索排名? 我问埃里克这件事，他回答说：

“迄今为止没有证据表明有好处，我认为现在发生这种情况还为时过早。但这绝对不会受到伤害，如果你提供可靠的信息，人们要求你给他们答案，这就是搜索引擎可以挖掘的主题权威信号。”

拿一份 Stone Temple 的个人数字助理研究，开始思考你自己对声控知识的尝试。如果可以的话，请花几分钟观看我对上面 Eric 的采访，或者阅读下面的文字记录。里面好东西

成绩单

杰伊·贝尔：	大家好，我是来自 Convince & Convert 的 Jay Baer，今天加入了我的朋友 Eric Enge，他是 Stone Temple Consulting 的首席执行官，该公司是一家非常有效且著名的 SEO 内容组织。埃里克，很高兴和你交谈。您和您的团队最近整理了这份新报告。 . . 令我惊讶的是，你竟然做到了这一点。我知道这是你这样做的第二年，但我仍然感到震惊。它被称为 2018 年数字个人助理的智能评级。你会通过并找出最准确和最实用的 Alexa、Siri、Google Home 和微软的 Cortana 版本。我仍然无法相信这一点。你把设备排成一排，问了他们一堆问题。非常感谢你谈论这个。这是怎么走到一起的？
埃里克·恩格：	好问题。首先感谢Jay，很高兴能和你一起做这件事并谈论这个，我们总是很开心聊天。我们开发了一组 5,000 个问题，这组 5,000 个问题是关于信息主题的问题，这些问题取自我们碰巧知道的事情，Google 提供了精选片段，或者他们可能会提供未来的片段。为了纠正这个问题，我们认为这些问题有可能存在。这就是这些问题最初是如何结合在一起的。
杰伊·贝尔：	但问题的范围相当广泛。我的意思是有很多不同类型的问题，而且是故意的。
埃里克·恩格：	是的，这是故意的。它旨在涵盖从历史到食谱到. . . 我不知道某些东西是如何拼写的，或者真的在地图上到处都是。意图广泛，因为我们想测试广泛的功能。然后我们所做的是，我们用人类的声音从字面上询问每个设备的这 5,000 个不同的查询。我们为在智能手机上运行的 Google Assistant、在 Google Home 上运行的 Google Assistant、在 Amazon Echo 上运行的 Alexa、在 Harman Kardon Invoke 扬声器上运行的 Cortana 以及在 iPhone 上运行的 Siri 做了这些，25,000 个问题都是手动提出的。我们提出了这一系列问题，并对所有这些事情进行了分类，包括您是否从设备或个人助理那里得到了口头答复？响应是否表明设备认为它理解了问题并因此尝试回答？如果这样做，它是否正确回答了问题？如果它弄错了，那又是怎样的错误答案呢？这是在逐个查询的基础上完成的大量分析工作。
杰伊·贝尔：	我告诉你什么，我想你告诉我你有 10 个人在做这个，只是提出问题并记录响应。这是投入到这个项目中的大量人力资本。
埃里克·恩格：	是的，绝对是，我的意思是我实际上是一个非常好奇的人。我想知道这样的问题的答案。事实证明，很多其他人也想知道这些问题的答案，因为我们从这项研究中获得了很多知名度。事实上，我们去年做到了，今年又做到了，我们现在有了一个指数，我们正在衡量这些事情的进展情况。
杰伊·贝尔：	是的，这是令人着迷的事情，我认为今年的结论是，谷歌是“最好的”，显然这是间接的，但如果你不得不选择一个谷歌今天可能表现最好的. 在某一时刻，Siri 可能更好，但现在不如以前那么好了。这不是静态条件。这是去年报告与今年报告中最有趣的事情，每年确实存在很多差异，这意味着其中一些东西正在学习，因为机器学习会让你像名字一样思考越来越好，但其他人可能会变得更糟，我不太确定这是怎么发生的。
埃里克·恩格：	好吧，我认为实际上并没有任何事情本身变得更糟。事实上，取得最大进步的个人助理是 Alexa，因此他们在扩大他们回答的问题数量和整体准确性方面取得了长足的进步。 Cortana 扩展了很多，实际上也向前迈出了相当大的一步，无论是在回答的问题数量还是回答问题的准确性方面。
	Siri 曾经是领导者，但他们是第一个出来的，那是几年前的事了。他们只是有点不像其他人那样推动它。事情是如何变得更糟的，所以我会给你一个例子。 Alexa 的准确率实际上比去年有所下降，但另一方面，他们回答的问题要多得多。问题总数。 . .
杰伊·贝尔：	几乎可以说你的准确率会下降一点。
埃里克·恩格：	是的，这正是您可能会看到下降的方式，事实上，这发生在 Alexa 上。
杰伊·贝尔：	您是否觉得 Alexa 有真正的优势，因为它在智能扬声器类别中确实拥有如此多的市场份额，而且谷歌肯定安装了更多的 Android 设备，因为即使不使用 Android 的人也在使用 iPhone，使用谷歌搜索或者他们 iPhone 上的谷歌地图，我们知道现在大约 40% 的本地搜索是由语音搜索驱动的。你是否觉得这些数据点在某种程度上帮助他们变得更好，他们在某种程度上吸收了更多的查询，因此他们可以构建更好的人工智能？
埃里克·恩格：	是的，我认为能够利用网络抓取绝对是一个优势。您可以获得如此多的数据，但随之而来的是当您抓取网站时，仅仅因为它发布在互联网上并不意味着 -
杰伊·贝尔：	垃圾进垃圾出。
埃里克·恩格：	是的，所以你必须以某种方式获得资格，这是一个艰巨的挑战。谷歌多年来一直致力于此，正如我们在我们所做的其他一些研究中所记录的那样。亚马逊正在做某事，我不能说它是什么，因为我不知道，但他们显然可以获得比维基百科更多的信息。根据他们今天回答的问题，您可以看到这一点。
杰伊·贝尔：	是的，这很有趣。如果您必须为某人购买私人助理作为母亲节礼物或其他东西，并且您会说，“好吧，我只能买其中一个”，您会买哪一个？你会告诉别人购买哪一个？
埃里克·恩格：	好吧，如果我要根据回答问题的聪明程度来衡量，谷歌智能助理仍然处于领先地位。另一方面，我家里有多个 Alexa 设备和多个 Google Home 设备，我们将它们用于家庭控制，因此可以控制灯光和恒温器之类的东西。 Alexa 在这方面做得更好，所以真正的细微差别。 . .
杰伊·贝尔：	现在有更好的食谱，在这方面也有一点领先优势。
埃里克·恩格：	是的，所以我认为这取决于您使用它的目的。如果您正在寻找家庭控制，我会选择 Alexa。如果您正在寻找原始智能，这是我们研究的重点，那么是的，Google Assistant 仍然存在。
杰伊·贝尔：	您在研究中拥有的一件事又一次，它被称为 2018 年数字个人助理的智能评级，您可以在 Stone Temple 网站 stonetemple.com 上获得它。你列出了一些问题集，并不是你在研究中一定要问的，虽然你也提到了这一点，但一般来说，人们对这些助手的要求是什么。它表明，今天的很多问题都有些平庸。这就是明天的天气，尽管我肯定对此感到内疚。尽管我有多种其他方法可以确定明天的天气，但我一直使用我的 Alexa，这更容易。你是否觉得随着时间的推移，随着人类对这项技术变得更加舒适，也许对它更加信任，我们提出的问题类型会发生变化？
埃里克·恩格：	我愿意，所以我们处于非常早期的阶段，坦率地说，对于整个空间来说，现在正在整理一件大事，那就是人们对设备说话变得舒服，并且这些设备能够与他们进行真正的对话人，因为人们并不总是使用设备所期望的公式化短语。这是一个棘手的过程，要让人机交互发挥作用。
杰伊·贝尔：	对，因为在某些时候这是我们的错误，因为我们没有说出问题。事实上，我可能不应该记录这一点，但我和我的妻子一直在为 Alexa 争论不休，因为我知道如何表达一个问题，因为我从事数字营销和搜索这么久，所以我可以用一个这样我就有更好的机会退货。她通常不会那样说，然后她会非常沮丧。 “这个愚蠢的 Alexa 什么都不知道，”我想，“好吧，但如果你这样说的话。” 她就像，“我不想那样说。我不想因为一些关系数据库而改变我说话的方式。” 有点像这是谁的错？是傻还是我们？
埃里克·恩格：	不，绝对是这样，它正在影响这些东西的使用范围。毫无疑问，它正在产生这种影响。发声的整个过程都很好，几十年来，我们学会了用更少的词把东西输入谷歌，这样就有更好的机会得到我们想要的东西，而且我们都接受了这样做的培训。当我们使用语音时，我们不想这样做，但也许我们会接受一定程度的训练，也许他们会变得更好，也许两者都会发生，我们会在某个地方相遇。
	我真的认为这会发生。只是你必须要有远大的愿景，远大的愿景是我们已经到了这样一个地步，即全球 75% 的互联网连接设备都不是智能手机、PC 或平板电脑。这是与互联网互动的大量机会，如果我要在这里使用我的手表之类的东西，我就不会输入它。如果我可以通过这个东西访问我的谷歌助手。 . . 嗯，这有点不公平，它是一个 iWatch，但那是无关紧要的。基本上，我只想用我的声音，我想让它知道是我，然后走。个人助理中的技术已经存在，已经存在，它们可以从您连接的每一个设备进行连接，并且您将使用完全相同的个人助理。
	可以开始在我的手机上进行预订的集成体验，当我通过那里的互联网连接跳上车时，我可以完成它，而且这都是一个会话。有了这样的机会，这真是令人难以置信，我真的坚信这就是未来的发展方向。现在有很多电话妈妈，打电话给爸爸，设置计时器，天气怎么样，非常基本的东西，但我们已经习惯了。
杰伊·贝尔：	你已经在 SEO 中工作了很长时间，我也一样，我觉得我们之前已经看到过这个动作。如果您查看早期的 Google、Yahoo、Ask Jeeves、搜索查询，它们都是两个、三个、四个单词的字符串。然后随着时间的推移，您的平均搜索查询长度变得更长、更详细、更具体。我觉得这与我们将在语音中看到的相似。你会看到更详细、更细微的问题。
埃里克·恩格：	我同意，只是把你的类比拉得更远一点，或者把它画得更远一点，我们还看到搜索引擎的处理能力发生了巨大的变化，它们处理不同类型的语言结构的能力，这些类型就在我们脚下发生了变化。我们知道的一些算法，比如我们听说过的 RankBrain 和其他类似的算法，自然语言搜索。他们已经在处理这个问题，甚至与整个语音对话分开。
杰伊·贝尔：	Eric 我想在我们讨论你为回答 SEO 问题而建立的 Alexa 技能之前先问你，我觉得这很有趣、很棒、很神奇，当我们在这里完成后，我会去楼上坐下在我的设备前，去 Eric Enge Stone Temple SEO 学校。告诉我们这个过程以及我们可以问什么，等等。
埃里克·恩格：	我们有几百个，也许是大约 250 个与 SEO 相关的问题，所以它可能类似于什么是新的索引标签？你如何实施不跟随？什么是 301 重定向？每个家庭成员都想问的非常常见的问题。
杰伊·贝尔：	每个人都需要知道这一点。最常见的问题是明天的天气如何以及如何进行 301？这是两个问题。
埃里克·恩格：	我们实际上已经为 Alexa 构建了它。我们还有一个用于 Google 助理的，而 Alexa 我们有一个 SEO 测验，您可以在其中实际进行测验并对您的 SEO 技能进行评分。我们在内部开发了它。有一些工具可以帮助您做到这一点。您可以访问一个名为 diagflow.com 的网站，该网站将引导您完成在 Google 应用程序上为个人助理构建所谓的操作的整个过程。这并不容易，肯定有一些事情要弄清楚，但并不难，当你完成后，你实际上可以从该代码中导出，只需非常简单的修改就可以立即在 Alexa 上使用。你实际上是在一个地方做的，你得到了 . . . 为两者工作。
	一个很酷的事情是人们实际上在使用它们，而不是像我们刚才开玩笑说的那样，这是一项非常受欢迎的活动。我们正在从中获得可见性。我们实际上得到了关于它的文章，一些媒体，这很酷。此外，在 Google Assistant 上，他们有一种称为隐式查询的模式，如果您在设置应用程序时选中该框，那么有人可以在不调用我们对 Google 应用程序的操作的情况下向 Google 提问。他们可能会说，“你如何实现禁止关注标签？” 谷歌可能会回来说，“石庙有一个答案，你想听吗？”
杰伊·贝尔：	好的。
埃里克·恩格：	是的，这很好。这是免费的能见度。
杰伊·贝尔：	这是一个自上而下的漏斗，是的，我喜欢它。
埃里克·恩格：	是的，我知道在这一点上，我们有大约 1000 人收到了这样的提示并在此时接受了它。
杰伊·贝尔：	我的意思是这很强大。我的意思是这是一个非常严格的目标。我的意思是没有人会在事故中询问没有关注标签。
埃里克·恩格：	对，对于这个特定的 B 到 B 应用程序，这就是我们的业务。这真的很棒。这里有一个很大的机会，因为当您在 Google 的 Google 应用程序上查看 Alexa 技能或操作时，您所拥有的就是成为 Google 和 Amazon 的信息提供者的底层能力。在这两种情况下，他们都在寻找信誉良好的信息来源来回答用户问题。他们将建立自己的维基百科关系，谷歌可能会使用爬行，亚马逊可能正在做一些其他事情来获取数据，而提供这些应用程序的人是另一个信息来源。如果您的应用程序获得足够好的分数，他们会吸引您，但是他们正在得分。在数字营销氛围中获得知名度的另一种方式。
杰伊·贝尔：	您是否认为成为语音方面的信息提供者之一会提高您在常规网络搜索方面的主题权威，或者您是否看到了这方面的证据？
埃里克·恩格：	迄今为止没有任何证据，我认为现在发生这种情况还为时过早。我当然认为在第三方有一定程度的验证。 . . 还好不是第三方。我应该说某种程度的验证，在 Google Assistant 或 Alexa 上，我认为这绝对重要。
杰伊·贝尔：	是的，我看它的方式肯定不会受到伤害。
埃里克·恩格：	绝对不会受到伤害，如果你提供可靠的指标并且人们要求你给他们这些答案或助手，那就是一个信号。
杰伊·贝尔：	是的，我喜欢它。非常感谢你付出所有的时间和精力，做每个人都好奇但没有人会付出这种努力的工作。感谢您和您的团队，Stone Temple 的 Eric，愿意坐下来问 5,000 个问题，乘以 5 台设备，女士们和先生们，总共 25,000 个问题。那是肯定的爱的劳动。
埃里克·恩格：	对此毫无疑问。这样做很有趣。
杰伊·贝尔：	拿一份《2018 年数字个人助理的智慧评级》的副本，这是来自 Stone Temple Consulting 的 Eric Enge 和他的团队的超级有趣的发现。我的朋友感谢您来到这里。很高兴像往常一样和你说话。
埃里克·恩格：	好的，谢谢杰。
杰伊·贝尔：	见芽。
埃里克·恩格：	是的，再见。