新的研究表明哪些數字助理實際上知道的東西

已發表: 2018-05-30

根據 Edison Research 的一份報告，現在有超過 5100 萬美國人擁有像 Amazon Echo 或 Google Home 這樣的“智能揚聲器”。這些語音激活設備的採用率比十年前智能手機的採用率還要快。說到智能手機，他們還配備了數字助理，包括 Apple 的 Siri、智能手機的 Google Assistant 和微軟的 Cortana（也可以在 Xbox 和其他設備上訪問）。
總而言之，我們被數字助理包圍著，每個人實際上都在乞求幫助我們學習和提高工作效率。但他們真的能始終如一地做到這一點嗎？
如果數字助理不能回答我們想要回答的問題，他們就像詹姆斯哈登鬍鬚修剪器一樣有用，對吧？這就是為什麼我對 Stone Temple 的第二年度研究感到震驚、敬畏和喜愛的原因，該研究詳盡地測試了哪些數字助理最擅長回答問題。
我最近就這項研究採訪了 Stone Temple 首席執行官 Eric Enge，以了解他們是如何進行這項研究的以及他們學到了什麼。我的完整採訪如下。值得一看！重點如下。

如何測試數字助理

事實證明，沒有捷徑可以確定哪個數字助理實際上可以提供幫助。 Eric 在 Stone Temple 的團隊有條不紊地向 Alexa、Siri、手機上的 Google Assistant、Google Home 上的 Google Assistant 和運行 Harmon Kardon Invoke 揚聲器的微軟 Cortana 提出了 4,942 個問題。是的，他們提出了 24,710 個單獨的查詢！這需要大量的勞動力。
對於每個問題，團隊都會記錄答案是準確還是不准確。他們還指出，如果助手不理解詢問，以及響應是來自設備的“口頭”、從數據庫中提取還是來自網絡。

哪個是最好的數字助理？

根據研究，2018 年表現最好的是智能手機上的 Google Assistant。這可能不是一個巨大的衝擊，因為谷歌可以訪問海量的信息並且經常處理數十億的用戶查詢。這個數字助理試圖回答幾乎 80% 的問題，這意味著很少有令人沮喪的“我不明白你的意思”回复。
而且，在回答的問題中，谷歌的準確率超過了 90% 。
相比之下，Cortana 試圖回答略高於 60% 的問題，其中 Alexa 略多於一半，Siri 略高於 40%。
當助手提供答案時，準確率更緊密地組合在一起。智能手機上的谷歌最好超過 95%，但 Home 上的谷歌助手和微軟的 Cortana 也很好。 Alexa 超過 80%，甚至 Siri 也有 80% 的時間正確（當它實際上有答案時）。

有時，數字助理提供的答案是完全錯誤的。 Alexa 和 Siri 最有可能發生這種情況。每個人都有超過 160 個錯誤答案，而谷歌和微軟只有不到 40 個。但是請注意，谷歌和微軟擁有龐大的搜索引擎，這可能有助於他們的數據匹配。

我們問數字助理非常愚蠢的東西（今天）

今天，在這些早期，我們問數字助理的問題是相當基本和平庸的。（在 Stone Temple 的測試中，情況並非如此，因為 5,000 道問題中的許多問題都很棘手。）但對於我們中的許多人來說，我們主要使用這些設備來查看天氣、學習運動成績、檢索常識或設置計時器。
在我們的談話中，埃里克和我討論了這種情況，我們認為這是暫時的——及時的快照。 隨著人類對語音激活的查詢和回复越來越熟悉，我們對這些數字助理的使用將變得更加微妙和復雜。
在我看來，這反映了搜索引擎早期發生的情況，當時人們在查詢 Lycos 等人時通常使用非常短的搜索字符串。隨著在線搜索的舒適度提高以及搜索結果質量的提高，我們開始使用越來越長的查詢。
隨著時間的推移，這些數字助理會得到改進，我們對它們的使用也會相應地變得更加全面。

語音是一個巨大的內容營銷機會

除了他們的數字助理研究之外，Eric 和他的團隊還為 Alexa 和 Google Assistant 創造了“技能”，讓您可以向這些助理詢問有關搜索引擎優化的問題，您將得到 Stone Temple 的答案。在 Alexa 上，他們甚至有一個 SEO 測驗，您可以立即進行。傑出的！
Eric 報告說，該公司正在從這個語音激活的建議中獲得知名度和使用率。他說：

“在谷歌助手上，他們有一種稱為隱式查詢的模式，如果你在設置你想要的設備時選中該框，那麼有人可以在不調用我們特定操作的情況下向谷歌提問。他們可能會說，“你如何實現禁止關注標籤？” 谷歌可能會回來說，'Stone Temple 對此有答案，你想听嗎？'”

迄今為止，Eric 表示，已有 1000 多人通過 Google Assistant 上的隱式查詢與 Stone Temple SEO 建議進行了互動。

數字助理數據對傳統 SEO 排名的影響

我對 Eric 對聲控 SEO 建議的嘗試著迷，並希望自己做一些工作。 “Alexa：向 Jay Baer 詢問龍舌蘭酒”！
鑑於谷歌和微軟在數字助理之戰中佔有重要地位，我想知道作為這些設備的信息“來源”——就像 Stone Temple 提供 SEO 信息一樣——是否會“溢出”並積極影響谷歌和 Bing 的搜索排名? 我問埃里克這件事，他回答說：

“迄今為止沒有證據表明有好處，我認為現在發生這種情況還為時過早。但這絕對不會受到傷害，如果你提供可靠的信息，人們要求你給他們答案，這就是搜索引擎可以挖掘的主題權威信號。”

拿一份 Stone Temple 的個人數字助理研究，開始思考你自己對聲控知識的嘗試。如果可以的話，請花幾分鐘觀看我對上面 Eric 的採訪，或者閱讀下面的文字記錄。裡面好東西

成績單

傑伊·貝爾：	大家好，我是來自 Convince & Convert 的 Jay Baer，今天加入了我的朋友 Eric Enge，他是 Stone Temple Consulting 的首席執行官，該公司是一家非常有效且著名的 SEO 內容組織。埃里克，很高興和你交談。您和您的團隊最近整理了這份新報告。 . . 令我驚訝的是，你竟然做到了這一點。我知道這是你這樣做的第二年，但我仍然感到震驚。它被稱為 2018 年數字個人助理的智能評級。你會通過並找出最準確和最實用的 Alexa、Siri、Google Home 和微軟的 Cortana 版本。我仍然無法相信這一點。你把設備排成一排，問了他們一堆問題。非常感謝你談論這個。這是怎麼走到一起的？
埃里克·恩格：	好問題。首先感謝Jay，很高興能和你一起做這件事並談論這個，我們總是很開心聊天。我們開發了一組 5,000 個問題，這組 5,000 個問題是關於信息主題的問題，這些問題取自我們碰巧知道的事情，Google 提供了精選片段，或者他們可能會提供未來的片段。為了糾正這個問題，我們認為這些問題有可能存在。這就是這些問題最初是如何結合在一起的。
傑伊·貝爾：	但問題的範圍相當廣泛。我的意思是有很多不同類型的問題，而且是故意的。
埃里克·恩格：	是的，這是故意的。它旨在涵蓋從歷史到食譜到. . . 我不知道某些東西是如何拼寫的，或者真的在地圖上到處都是。意圖廣泛，因為我們想測試廣泛的功能。然後我們所做的是，我們用人類的聲音從字面上詢問每個設備的這 5,000 個不同的查詢。我們為在智能手機上運行的 Google Assistant、在 Google Home 上運行的 Google Assistant、在 Amazon Echo 上運行的 Alexa、在 Harman Kardon Invoke 揚聲器上運行的 Cortana 以及在 iPhone 上運行的 Siri 做了這些，25,000 個問題都是手動提出的。我們提出了這一系列問題，並對所有這些事情進行了分類，包括您是否從設備或個人助理那裡得到了口頭答复？響應是否表明設備認為它理解了問題並因此嘗試回答？如果這樣做，它是否正確回答了問題？如果它弄錯了，那又是怎樣的錯誤答案呢？這是在逐個查詢的基礎上完成的大量分析工作。
傑伊·貝爾：	我告訴你什麼，我想你告訴我你有 10 個人在做這個，只是提出問題並記錄響應。這是投入到這個項目中的大量人力資本。
埃里克·恩格：	是的，絕對是，我的意思是我實際上是一個非常好奇的人。我想知道這樣的問題的答案。事實證明，很多其他人也想知道這些問題的答案，因為我們從這項研究中獲得了很多知名度。事實上，我們去年做到了，今年又做到了，我們現在有了一個指數，我們正在衡量這些事情的進展情況。
傑伊·貝爾：	是的，這是令人著迷的事情，我認為今年的結論是，谷歌是“最好的”，顯然這是間接的，但如果你不得不選擇一個谷歌今天可能表現最好的. 在某一時刻，Siri 可能更好，但現在不如以前那麼好了。這不是靜態條件。這是去年報告與今年報告中最有趣的事情，每年確實存在很多差異，這意味著其中一些東西正在學習，因為機器學習會讓你像名字一樣思考越來越好，但其他人可能會變得更糟，我不太確定這是怎麼發生的。
埃里克·恩格：	好吧，我認為實際上並沒有任何事情本身變得更糟。事實上，取得最大進步的個人助理是 Alexa，因此他們在擴大他們回答的問題數量和整體準確性方面取得了長足的進步。 Cortana 擴展了很多，實際上也向前邁出了相當大的一步，無論是在回答的問題數量還是回答問題的準確性方面。
	Siri 曾經是領導者，但他們是第一個出來的，那是幾年前的事了。他們只是有點不像其他人那樣推動它。事情是如何變得更糟的，所以我會給你一個例子。 Alexa 的準確率實際上比去年有所下降，但另一方面，他們回答的問題要多得多。問題總數。 . .
傑伊·貝爾：	幾乎可以說你的準確率會下降一點。
埃里克·恩格：	是的，這正是您可能會看到下降的方式，事實上，這發生在 Alexa 上。
傑伊·貝爾：	您是否覺得 Alexa 有真正的優勢，因為它在智能揚聲器類別中確實擁有如此多的市場份額，而且谷歌肯定安裝了更多的 Android 設備，因為即使不使用 Android 的人也在使用 iPhone，使用谷歌搜索或者他們 iPhone 上的谷歌地圖，我們知道現在大約 40% 的本地搜索是由語音搜索驅動的。你是否覺得這些數據點在某種程度上幫助他們變得更好，他們在某種程度上吸收了更多的查詢，因此他們可以構建更好的人工智能？
埃里克·恩格：	是的，我認為能夠利用網絡抓取絕對是一個優勢。您可以獲得如此多的數據，但隨之而來的是當您抓取網站時，僅僅因為它發佈在互聯網上並不意味著 -
傑伊·貝爾：	垃圾進垃圾出。
埃里克·恩格：	是的，所以你必須以某種方式獲得資格，這是一個艱鉅的挑戰。谷歌多年來一直致力於此，正如我們在我們所做的其他一些研究中所記錄的那樣。亞馬遜正在做某事，我不能說它是什麼，因為我不知道，但他們顯然可以獲得比維基百科更多的信息。根據他們今天回答的問題，您可以看到這一點。
傑伊·貝爾：	是的，這很有趣。如果您必須為某人購買私人助理作為母親節禮物或其他東西，並且您會說，“好吧，我只能買其中一個”，您會買哪一個？你會告訴別人購買哪一個？
埃里克·恩格：	好吧，如果我要根據回答問題的聰明程度來衡量，谷歌智能助理仍然處於領先地位。另一方面，我家裡有多個 Alexa 設備和多個 Google Home 設備，我們將它們用於家庭控制，因此可以控制燈光和恆溫器之類的東西。 Alexa 在這方面做得更好，所以真正的細微差別。 . .
傑伊·貝爾：	現在有更好的食譜，在這方面也有一點領先優勢。
埃里克·恩格：	是的，所以我認為這取決於您使用它的目的。如果您正在尋找家庭控制，我會選擇 Alexa。如果您正在尋找原始智能，這是我們研究的重點，那麼是的，Google Assistant 仍然存在。
傑伊·貝爾：	您在研究中擁有的一件事又一次，它被稱為 2018 年數字個人助理的智能評級，您可以在 Stone Temple 網站 stonetemple.com 上獲得它。你列出了一些問題集，並不是你在研究中一定要問的，雖然你也提到了這一點，但一般來說，人們對這些助手的要求是什麼。它表明，今天的很多問題都有些平庸。這就是明天的天氣，儘管我肯定對此感到內疚。儘管我有多種其他方法可以確定明天的天氣，但我一直使用我的 Alexa，這更容易。你是否覺得隨著時間的推移，隨著人類對這項技術變得更加舒適，也許對它更加信任，我們提出的問題類型會發生變化？
埃里克·恩格：	我願意，所以我們處於非常早期的階段，坦率地說，對於整個空間來說，現在正在整理一件大事，那就是人們對設備說話變得舒服，並且這些設備能夠與他們進行真正的對話人，因為人們並不總是使用設備所期望的公式化短語。這是一個棘手的過程，要讓人機交互發揮作用。
傑伊·貝爾：	對，因為在某些時候這是我們的錯誤，因為我們沒有說出問題。事實上，我可能不應該記錄這一點，但我和我的妻子一直在為 Alexa 爭論不休，因為我知道如何表達一個問題，因為我從事數字營銷和搜索這麼久，所以我可以用一個這樣我就有更好的機會退貨。她通常不會那樣說，然後她會非常沮喪。 “這個愚蠢的 Alexa 什麼都不知道，”我想，“好吧，但如果你這樣說的話。” 她就像，“我不想那樣說。我不想因為一些關係數據庫而改變我說話的方式。” 有點像這是誰的錯？是傻還是我們？
埃里克·恩格：	不，絕對是這樣，它正在影響這些東西的使用範圍。毫無疑問，它正在產生這種影響。發聲的整個過程都很好，幾十年來，我們學會了用更少的詞把東西輸入谷歌，這樣就有更好的機會得到我們想要的東西，而且我們都接受了這樣做的培訓。當我們使用語音時，我們不想這樣做，但也許我們會接受一定程度的訓練，也許他們會變得更好，也許兩者都會發生，我們會在某個地方相遇。
	我真的認為這會發生。只是你必須要有遠大的願景，遠大的願景是我們已經到了這樣一個地步，即全球 75% 的互聯網連接設備都不是智能手機、PC 或平板電腦。這是與互聯網互動的大量機會，如果我要在這裡使用我的手錶之類的東西，我就不會輸入它。如果我可以通過這個東西訪問我的谷歌助手。 . . 嗯，這有點不公平，它是一個 iWatch，但那是無關緊要的。基本上，我只想用我的聲音，我想讓它知道是我，然後走。個人助理中的技術已經存在，已經存在，它們可以從您連接的每一個設備進行連接，並且您將使用完全相同的個人助理。
	可以開始在我的手機上進行預訂的集成體驗，當我通過那裡的互聯網連接跳上車時，我可以完成它，而且這都是一個會話。有了這樣的機會，這真是令人難以置信，我真的堅信這就是未來的發展方向。現在有很多電話媽媽，打電話給爸爸，設置計時器，天氣怎麼樣，非常基本的東西，但我們已經習慣了。
傑伊·貝爾：	你已經在 SEO 中工作了很長時間，我也一樣，我覺得我們之前已經看到過這個動作。如果您查看早期的 Google、Yahoo、Ask Jeeves、搜索查詢，它們都是兩個、三個、四個單詞的字符串。然後隨著時間的推移，您的平均搜索查詢長度變得更長、更詳細、更具體。我覺得這與我們將在語音中看到的相似。你會看到更詳細、更細微的問題。
埃里克·恩格：	我同意，只是把你的類比拉得更遠一點，或者把它畫得更遠一點，我們還看到搜索引擎的處理能力發生了巨大的變化，它們處理不同類型的語言結構的能力，這些類型就在我們腳下發生了變化。我們知道的一些算法，比如我們聽說過的 RankBrain 和其他類似的算法，自然語言搜索。他們已經在處理這個問題，甚至與整個語音對話分開。
傑伊·貝爾：	Eric 我想在我們討論你為回答 SEO 問題而建立的 Alexa 技能之前先問你，我覺得這很有趣、很棒、很神奇，當我們在這裡完成後，我會去樓上坐下在我的設備前，去 Eric Enge Stone Temple SEO 學校。告訴我們這個過程以及我們可以問什麼，等等。
埃里克·恩格：	我們有幾百個，也許是大約 250 個與 SEO 相關的問題，所以它可能類似於什麼是新的索引標籤？你如何實施不跟隨？什麼是 301 重定向？每個家庭成員都想問的非常常見的問題。
傑伊·貝爾：	每個人都需要知道這一點。最常見的問題是明天的天氣如何以及如何進行 301？這是兩個問題。
埃里克·恩格：	我們實際上已經為 Alexa 構建了它。我們還有一個用於 Google 助理的，而 Alexa 我們有一個 SEO 測驗，您可以在其中實際進行測驗並對您的 SEO 技能進行評分。我們在內部開發了它。有一些工具可以幫助您做到這一點。您可以訪問一個名為 diagflow.com 的網站，該網站將引導您完成在 Google 應用程序上為個人助理構建所謂的操作的整個過程。這並不容易，肯定有一些事情要弄清楚，但並不難，當你完成後，你實際上可以從該代碼中導出，只需非常簡單的修改就可以立即在 Alexa 上使用。你實際上是在一個地方做的，你得到了 . . . 為兩者工作。
	一個很酷的事情是人們實際上在使用它們，而不是像我們剛才開玩笑說的那樣，這是一項非常受歡迎的活動。我們正在從中獲得可見性。我們實際上得到了關於它的文章，一些媒體，這很酷。此外，在 Google Assistant 上，他們有一種稱為隱式查詢的模式，如果您在設置應用程序時選中該框，那麼有人可以在不調用我們對 Google 應用程序的操作的情況下向 Google 提問。他們可能會說，“你如何實現禁止關注標籤？” 谷歌可能會回來說，“石廟有一個答案，你想听嗎？”
傑伊·貝爾：	好的。
埃里克·恩格：	是的，這很好。這是免費的能見度。
傑伊·貝爾：	這是一個自上而下的漏斗，是的，我喜歡它。
埃里克·恩格：	是的，我知道在這一點上，我們有大約 1000 人收到了這樣的提示並在此時接受了它。
傑伊·貝爾：	我的意思是這很強大。我的意思是這是一個非常嚴格的目標。我的意思是沒有人會在事故中詢問沒有關注標籤。
埃里克·恩格：	對，對於這個特定的 B 到 B 應用程序，這就是我們的業務。這真的很棒。這裡有一個很大的機會，因為當您在 Google 的 Google 應用程序上查看 Alexa 技能或操作時，您所擁有的就是成為 Google 和 Amazon 的信息提供者的底層能力。在這兩種情況下，他們都在尋找信譽良好的信息來源來回答用戶問題。他們將建立自己的維基百科關係，谷歌可能會使用爬行，亞馬遜可能正在做一些其他事情來獲取數據，而提供這些應用程序的人是另一個信息來源。如果您的應用程序獲得足夠好的分數，他們會吸引您，但是他們正在得分。在數字營銷氛圍中獲得知名度的另一種方式。
傑伊·貝爾：	您是否認為成為語音方面的信息提供者之一會提高您在常規網絡搜索方面的主題權威，或者您是否看到了這方面的證據？
埃里克·恩格：	迄今為止沒有任何證據，我認為現在發生這種情況還為時過早。我當然認為在第三方有一定程度的驗證。 . . 還好不是第三方。我應該說某種程度的驗證，在 Google Assistant 或 Alexa 上，我認為這絕對重要。
傑伊·貝爾：	是的，我看它的方式肯定不會受到傷害。
埃里克·恩格：	絕對不會受到傷害，如果你提供可靠的指標並且人們要求你給他們這些答案或助手，那就是一個信號。
傑伊·貝爾：	是的，我喜歡它。非常感謝你付出所有的時間和精力，做每個人都好奇但沒有人會付出這種努力的工作。感謝您和您的團隊，Stone Temple 的 Eric，願意坐下來問 5,000 個問題，乘以 5 台設備，女士們和先生們，總共 25,000 個問題。那是肯定的愛的勞動。
埃里克·恩格：	對此毫無疑問。這樣做很有趣。
傑伊·貝爾：	拿一份《2018 年數字個人助理的智慧評級》的副本，這是來自 Stone Temple Consulting 的 Eric Enge 和他的團隊的超級有趣的發現。我的朋友感謝您來到這裡。很高興像往常一樣和你說話。
埃里克·恩格：	好的，謝謝杰。
傑伊·貝爾：	見芽。
埃里克·恩格：	是的，再見。