新しい研究は、どのデジタルアシスタントが実際に何かを知っているかを示しています

公開: 2018-05-30

新しい研究は、どのデジタルアシスタントが実際に何かを知っているかを示しています
Edison Research のレポートによると、現在 5,100 万人以上のアメリカ人が Amazon Echo や Google Home のような「スマート スピーカー」を所有しています。 これらの音声起動デバイスの採用率は、10 年前のスマートフォンの採用率よりも速いです。 スマートフォンといえば、Apple の Siri、スマートフォン用の Google Assistant、Microsoft の Cortana (Xbox やその他のデバイスでもアクセス可能) などのデジタル アシスタントも搭載されています。
結局のところ、私たちは積極的にデジタルアシスタントに囲まれており、それぞれが私たちが学び、より生産的になるのを助けてくれることを実質的に懇願しています。 しかし、彼らは実際にそれを一貫して達成できるのでしょうか?
デジタルアシスタントは、私たちが答えてほしい質問に答えられない場合、ジェームズ・ハーデンのひげトリマーと同じくらい役に立ちますよね? これが、私がショックを受け、畏敬の念を抱く理由であり、どのデジタルアシスタントが質問に最もよく答えることができるかを徹底的にテストしたStone Templeの年2回の調査に恋をしています.
最近、Stone Temple の CEO である Eric Enge にこの研究についてインタビューし、彼らがどのように研究を実施し、何を学んだかを聞きました。 私の完全なインタビューは以下の通りです。 一見の価値あり! ハイライトは以下です。

デジタル・アシスタントのテスト方法

結局のところ、どのデジタル アシスタントが実際に支援できるかを判断するための近道はありません。 Stone Temple の Eric のチームは、Alexa、Siri、電話の Google アシスタント、Google Home の Google アシスタント、Harmon Kardon Invoke スピーカーで動作する Microsoft の Cortana に 4,942 の質問を体系的に行いました。 はい、彼らは 24,710 の個別のクエリを要求しました! これには多くの労力がかかりました。
各質問について、チームは回答が正確か不正確かを記録しました。 彼らはまた、アシスタントが問い合わせを理解していないかどうか、および応答がデバイスからの「口頭」であったか、データベースから取得したか、または Web から取得したかについても指摘しました。

最高のデジタルアシスタントはどれですか?

調査によると、2018 年の最高のパフォーマンスはスマートフォンの Google アシスタントです。 Google は計り知れないほどの情報にアクセスでき、何十億ものユーザー クエリを定期的に処理していることを考えると、これは大きなショックではないかもしれません。 このデジタル アシスタントは、すべての質問のほぼ 80% に回答しようとしました。
また、回答された質問の中で、 Google の正解率は 90% を超えました。
対照的に、Cortana は質問の 60% 強、Alexa は半分強、Siri は 40% 強でした。
アシスタントが回答を提供すると、正解率はより密接にグループ化されました。 スマートフォンの Google は 95% 以上で最高ですが、ホームの Google アシスタントと Microsoft の Cortana もすぐそこにあります。 Alexa は 80% を上回っており、Siri でさえ 80% の確率で正しく答えます (実際に答えがある場合)。
どのデジタルアシスタントが何かを知っているか
デジタル アシスタントが提供する回答が完全に間違っている場合があります。 これは、Alexa と Siri で発生する可能性が最も高いです。 Google と Microsoft では 40 未満だったのに対し、それぞれ 160 を超える不正解がありました。 ただし、Google と Microsoft は巨大な検索エンジンを所有しており、データの照合にかなり役立つ可能性があることに注意してください。
アレクサとシリ

デジタル アシスタントに聞く (今日)

今日、これらの黎明期において、私たちがデジタル アシスタントに尋ねる質問はかなり基本的でありふれたものです。 (Stone Temple のテストではそうではありません。5,000 の質問の多くはトリッキーです。) しかし、私たちの多くにとって、主にこれらのデバイスを使用して、天気を確認したり、スポーツのスコアを学習したり、一般的な知識を取得したり、タイマーを設定したりしています。
エリックと私は会話の中でこの状況について話し合いましたが、これは一時的なものであり、時間のスナップショットであると考えています。 人間が音声起動のクエリと応答に慣れるにつれて、これらのデジタル アシスタントの使用はより微妙で複雑になります。
私の目には、これは検索エンジンの黎明期に起こったことを反映しています。当時、人々は通常、Lycos などを照会するときに非常に短い検索文字列を使用していました。 オンライン検索の快適さが増し、検索結果の品質が向上するにつれて、より長いクエリを使用するようになりました。
時間が経つにつれて、これらのデジタルアシスタントは改善され、それに応じてそれらの使用はより包括的になります.
Google アシスタント 90% 正確

音声は巨大なコンテンツ マーケティングの機会です

エリックと彼のチームは、デジタル アシスタントの研究に加えて、Alexa と Google アシスタントの「スキル」も作成しました。これらのアシスタントに、検索エンジンの最適化について質問すると、Stone Temple から回答が得られます。 また、Alexa では、すぐに受けられる SEO クイズも用意されています。 素晴らしい!
エリックは、会社がこの音声起動のアドバイスから認知度と使用率を得ていると報告しています。 彼は言った:

「Google アシスタントには、暗黙的クエリと呼ばれるモードがあり、デバイスをセットアップするときに必要なチェックボックスをオンにすると、特定のアクションを呼び出すことなく、誰かが Google に質問することができます。 「ノーフォロー タグはどのように実装するのですか?」と言うだけかもしれません。 Google が戻ってきて、『Stone Temple にはその答えがあります。聞きたいですか?』と言うかもしれません。」

エリックは、これまでに 1,000 人以上が、Google アシスタントの暗黙のクエリを介してストーン テンプルの SEO アドバイスを利用したと述べています。

従来の SEO ランキングに対する Digital Assistant データの影響

私は Eric の音声起動 SEO アドバイスへの進出に魅了されており、自分自身でいくつか取り組みたいと思っています。 「アレクサ:ジェイ・ベアにテキーラについて聞いて」!
Google と Microsoft がデジタル アシスタントの戦いで大きな利害関係を持っていることを考えると、Stone Temple が SEO 情報を提供しているように、これらのデバイスの情報の「ソース」であることは「流出」し、Google と Bing の検索ランキングにプラスの影響を与えるのではないかと考えました。 ? そのことについてエリックに尋ねたところ、彼は次のように答えました。

「これまでのところ利益の証拠はなく、現時点でそれが起こるのは時期尚早だと思います. しかし、それが害になることは絶対にありません。もしあなたが信頼できる情報を提供していて、人々があなたに答えを求めているなら、それは検索エンジンがマイニングできるトピックオーソリティのシグナルです。」

Stone Temple の携帯情報端末に関する研究のコピーを入手して、音声起動型の知識への進出について考え始めてください。 できれば、上記のエリックとのインタビューをご覧になるか、以下のトランスクリプトをお読みください。 そこに良いものがあります。

成績証明書

ジェイ・ベア: こんにちは、Convince & Convert の Jay Baer です。今日は、信じられないほど効果的で有名な SEO コンテンツ組織である Stone Temple Consulting の CEO である友人の Eric Enge が参加しました。 エリック、お話できて光栄です。 あなたとあなたのチームは最近、この新しいレポートをまとめました。 . . あなたがこれをしたことは私にとって驚くべきことです。 入社して2年目ですが、やはりショックでした。 これは、2018 年のデジタル パーソナル アシスタントの賢さの評価と呼ばれています。Alexa、Siri、Google Home、および Microsoft の Cortana の中で、最も正確で実際に役立つバージョンはどれかを調べます。 私はまだこれを信じることができません。 デバイスを並べて、たくさんの質問をしました。 これについて話してくれてありがとう。 これはどのようにまとめられたのですか?
エリック・エンゲ: 素晴らしい質問です。 まず最初に、ジェイを迎えてくれてありがとう、あなたと一緒にこれをやり、これについて話すことに興奮しています。私たちはいつもとても楽しいチャットをしています. 私たちが開発した 5,000 の質問のセットがあり、その 5,000 の質問のセットは、たまたま知っていること、Google が強調スニペットを提供していること、または将来スニペットを提供する可能性があることから引き出された情報トピックに関する質問です。 それを修正するために、これらは可能性があると私たちが考えた質問です。 これが、これらの質問が最初にまとめられた方法です。
ジェイ・ベア: しかし、質問の配列はかなり広いです。 つまり、さまざまな種類の質問があり、意図的にそうしています。
エリック・エンゲ: はい、意図的にそうしています。 歴史からレシピ、. . . 私は何かがどのようにつづられているか、または実際にマップ全体にあるのかわかりません。 幅広い機能をテストしたかったため、意図的に広範にしました。 次に、人間の声を使用して、各デバイスのこれらの 5,000 の異なるクエリを文字通り尋ねました。 スマートフォンで動作する Google アシスタント、Google Home で動作する Google アシスタント、Amazon Echo で動作する Alexa、Harman Kardon Invoke スピーカーで動作する Cortana、そして iPhone で動作する Siri に対して、手動で 25,000 の質問をしました。 私たちはこの一連の質問を受け取り、デバイスまたはパーソナルアシスタントから口頭で応答を得たかどうかを含め、これらすべてをカタログ化しました。 応答は、デバイスが質問を理解したと考えて回答しようとしたことを示していますか? もしそうなら、それは質問に正しく答えましたか? それが間違っていたとしたら、それはどのような間違った答えでしたか? クエリごとに実行される分析では、膨大な量の作業が必要でした。
ジェイ・ベア: 質問をして回答を記録するだけで、10 人がこの作業に取り組んでいるとおっしゃっていたと思います。 これは、このプロジェクトに投入された膨大な量の人的資本です。
エリック・エンゲ: はい、もちろん、私は非常に好奇心旺盛な人間です。 このような質問の答えが知りたいです。 この調査から多くの可視性を得たので、他の多くの人々がこれらの質問に対する答えを知りたがっていることがわかりました. 昨年も実施し、今年も実施したという事実は、これらがどのように進行しているかを測定しているということです。
ジェイ・ベア: はい、それは魅力的なことでした。今年の結論は、Google は一種の「最高」であり、明らかにそれは状況に応じたものであり、そのようなものであるということです。 . ある時点では Siri の方が良かったかもしれませんが、今はそれほど良くはありません。 静的な状態ではありません。 これは、昨年のレポートと今年のレポートを比較して最も興味深いことでした。実際には年ごとにかなりの差異がありました。これは、これらのいくつかが学習していることを意味します。良くなっていますが、他の人はおそらく悪化しており、それがどのように起こるかはよくわかりません.
エリック・エンゲ: まあ、それ自体が実際に悪化したとは思いません。 実際、最も進歩したパーソナル アシスタントは Alexa であり、応答する質問の数と全体的な精度の拡大に向けて大きな進歩を遂げました。 Cortana は大幅に拡張され、回答された質問の数と質問への回答の正確さの両方の点で、実際にはかなりの進歩を遂げました.
Siriはかつてリーダーでしたが、彼らが最初に出てきました。それは数年前のことです. 彼らは、他のみんなが持っているのと同じようにそれをプッシュしませんでした. どのように何かが悪化するので、例を挙げます。 実際、Alexa の正解率は昨年より少し低下しましたが、一方で、はるかに多くの質問に答えていました。 質問の総数。 . .
ジェイ・ベア: 精度が少し低下するのはほぼ当然のことです。
エリック・エンゲ: はい、それはまさにあなたがドロップを見る方法であり、実際、それはAlexaで起こりました.
ジェイ・ベア: スマート スピーカー カテゴリで非常に多くの市場シェアを持っているため、Alexa には真の利点があると思いますか。また、Android を使用していない人でも iPhone を使用しており、Google 検索を使用しているため、Google にはさらに多くの Android デバイスがインストールされています。または iPhone の Google マップであり、私たちが知っているように、現在ローカル検索の約 40% は音声検索によって行われています。 それらのデータ ポイントは、彼らがより良くなるのに役立っていると思いますか? より多くのクエリを取り込み、より良い AI を構築できるようになっていると思いますか?
エリック・エンゲ: はい、ウェブのクロールを活用できるという利点は間違いなくあると思います。 非常に多くのデータを利用できますが、それに付随するのは、ウェブサイトをクロールしているときです。インターネット上で公開されているからといって、それが意味するものではありません。
ジェイ・ベア: ガベージイン、ガベージアウト。
エリック・エンゲ: そうですね、どうにかしてそれを認定する必要があり、それは難しい課題です。 Google が行っている他の調査でも文書化されているように、Google は何年にもわたってそのことに取り組んできました。 Amazon は何かをしているが、それが何であるかはわからないので言えないが、彼らがただのウィキペディアよりも多くの情報にアクセスできるようになっていることは明らかだ. それは、彼らが今日回答している質問に基づいていることがわかります。
ジェイ・ベア: はい、かなり興味深いです。 母の日のギフトなどで誰かにパーソナルアシスタントを買わなければならなくなったときに、「よし、これは 1 つしか買えない」と思ったら、どれを買いますか? 誰かに買ってもらうならどれ?
エリック・エンゲ: 質問に答えるのがどれだけ賢いかに基づいているなら、Googleアシスタントはまだリードしています. 一方、自宅には複数の Alexa ユニットと複数の Google Home ユニットの両方があり、それらをホーム コントロールに使用して、照明やサーモスタットなどを制御しています。 Alexaはそれが得意なので、本当のニュアンス. . .
ジェイ・ベア: 今のところより良いレシピ、その側でも少し有利なスタートです.
エリック・エンゲ: はい、そのとおりですので、使用目的に応じて異なると思います。 ホーム コントロールを探しているなら、Alexa を選びます。 私たちの研究が焦点を当てている生の知性を探しているなら、はい、Googleアシスタントはまだそこにあります.
ジェイ・ベア: この研究の 1 つは、2018 年のデジタル パーソナル アシスタントの賢さの評価と呼ばれるもので、Stone Temple の Web サイト、stonetemple.com で入手できます。 質問セットの種類をリストしますが、必ずしも調査で尋ねたわけではありませんが、それについても言及していますが、一般的に言えば、人々がこれらのアシスタントに尋ねていることです. 今日の質問の多くがやや平凡であることを示しています。 明日の天気がどうなるかということですが、私は確かにそれについて有罪です. 明日の天気を判断する方法は他にもいくつかありますが、私は常に Alexa を使用しています。 時間の経過とともに、人間がこのテクノロジーをより快適に使用できるようになり、おそらくより信頼できるようになるにつれて、私たちが尋ねる質問の種類が変化すると思いますか?
エリック・エンゲ: 私はそうです、私たちは非常に初期の段階にあり、率直に言って、この分野全体について、現在整理されている大きな問題があります.デバイスが期待する定型的なフレーズを常に使用するとは限らないためです。 これは、人間と機械の相互作用を機能させるためのトリッキーなプロセスです。
ジェイ・ベア: 質問を表現していないため、ある時点でそれは私たちのエラーだからです。 実際、これを記録するべきではないかもしれませんが、妻と私は常に Alexa について争っています。なぜなら、私はデジタル マーケティングと検索に長い間携わってきたので、質問の言い回しを知っているからです。返品される可能性が高くなります。 彼女は通常、そのように表現することはなく、非常にイライラします。 「この愚かなアレクサは何も知らない」と私は言いました。 彼女は、「そんなこと言いたくない。 リレーショナル データベースのために話し方を変える必要はありません。」 こんな感じです 誰のせい? それはばかですか、それとも私たちですか?
エリック・エンゲ: いいえ、それは絶対に当てはまり、これらのものの使用範囲の広さに影響を与えています. その影響力があることは間違いありません。 声を出すことについてはすべて問題ありません。何十年にもわたって、より少ない単語を使用してGoogleに入力することを学び、私たちが望むものを得る可能性を高め、私たちは皆、それを行うための訓練を受けています. 声を使うときは、そんなことはしたくありませんが、ある程度の訓練を受けて、うまくなるかもしれませんし、その両方が起こり、途中でどこかで会うことになるかもしれません。
私は本当にそれが非常に起こると思います。 このことの大きなビジョンにたどり着かなければならないだけであり、大きなビジョンは、世界のインターネットに接続されたデバイスの 75% がスマートフォン、PC、またはタブレット以外のものであるという点にすでに到達しているということです。 インターネットとやり取りする機会は信じられないほどたくさんあります。ここで時計のようなものを使用する場合は、入力しません。このことから Google アシスタントにアクセスできれば. . . それは少し不公平です。iWatch ですが、それは問題ではありません。 基本的には、自分の声を使いたいだけで、それが自分だとわかってもらいたいだけです。 パーソナル アシスタントのテクノロジは既に存在し、既に存在しており、ユーザーが接続するすべてのデバイスから接続でき、まったく同じパーソナル アシスタントにアクセスできます。
電話で予約の設定を開始できる統合されたエクスペリエンスで、そこにあるインターネット接続を介して車に飛び乗ったときに完了することができ、すべて 1 つのセッションです。 そのレベルの機会を考えると、それは信じられないほど説得力があり、それがこの方向性であると確信しています。 今は、お母さんに電話して、お父さんに電話して、タイマーをセットして、天気は?など、非常に基本的なことがたくさんありますが、私たちはそれに慣れてきています。
ジェイ・ベア: あなたは本当に長い間 SEO に携わってきましたが、私もそうでしたが、この動きは以前にも見たことがあるような気がします。 初期の Google、Yahoo、Ask Jeeves、検索クエリを見ると、それらはすべて 2、3、または 4 語の文字列でした。 その後、時間の経過とともに、平均検索クエリの長​​さが長くなり、より詳細で具体的になりました. それは私たちが声で見ようとしているものと平行しているように感じます. より詳細で微妙な質問が表示されます。
エリック・エンゲ: 私は同意します。あなたの例えをもう少し引き出したり、さらに引き出したりすると、検索エンジンの処理能力が劇的に進化し、さまざまな種類の言語構造を処理する能力と、これらの種類が足元で変化したこともわかりました。 私たちが知っているアルゴリズムのいくつか、私たちが聞いたことのあるRankBrainのようなものや、そのような他のアルゴリズム、自然言語検索. 彼らはすでに、音声会話全体とは別に、これに対処していました。
ジェイ・ベア: Eric SEO の質問に答えるためにあなたが構築した Alexa スキルについて説明する前に、あなたに聞いておきたいと思いました。私のデバイスの前で、Eric Enge Stone Temple SEO スクールに行きます。 そのプロセスについて教えてください。
エリック・エンゲ: 数百、おそらく 250 ほどの SEO 関連の質問があるので、新しいインデックス タグとは何ですか? のようなものかもしれません。 ノーフォローってどうやって実装するの? 301 リダイレクトとは何ですか? すべての世帯人が尋ねたい非常に一般的な質問。
ジェイ・ベア: 誰もがそれを知る必要があります。 最も一般的な質問は、明日の天気はどうですか? 301 はどうすればいいですか? それが2つの質問です。
エリック・エンゲ: 私たちは実際にAlexa用にそれを構築しました. また、Google Assistant 用のものもあり、Alexa には SEO クイズがあり、実際にクイズに答えて SEO スキルを採点することができます。 社内で開発しました。 そのために役立つツールがあります。 diagflow.com という Web サイトにアクセスできます。ここでは、パーソナル アシスタント用のアクション オン Google アプリと呼ばれるものを作成するプロセス全体を説明しています。 簡単ではありません。明らかに理解しなければならないことがいくつかありますが、それほど難しくはありません。完了したら、そのコードから実際にエクスポートできます。これは非常に簡単な変更で、Alexa ですぐに使用できます。 実際に 1 か所で行うと、. . . 両方に取り組みました。
これについての素晴らしい点の 1 つは、人々が実際にそれらを使用していることです。先ほど冗談を言ったように、非常に人気のあるアクティビティではありません。 私たちはそれから可視性を得ています。 私たちは実際にそれについて書かれた記事をいくつかのプレスで受け取りましたが、それはクールでした. さらに、Google アシスタントには、暗黙的クエリと呼ばれるモードがあり、アプリをセットアップするときに必要なボックスをチェックすると、Google アプリでアクションを呼び出すことなく、誰かが Google に質問することができます。 彼らはただ「ノーフォロータグをどのように実装するのですか?」と言うかもしれません。 Google が戻ってきて、「Stone Temple にはその答えがあります。聞きたいですか?」と言うかもしれません。
ジェイ・ベア: 良い。
エリック・エンゲ: はい、それはいいことです。 見放題です。
ジェイ・ベア: それはトップダウンのじょうごです、はい、私はそれが好きです。
エリック・エンゲ: はい、現時点で 1,000 人ほどの人々がそのように促され、この時点でそれを受け入れていることを私は知っています。
ジェイ・ベア: つまりかなり強い。 つまり、かなり厳しい目標です。 つまり、たまたまタグをフォローしないことについて誰も質問していないということです。
エリック・エンゲ: そうですね、この特定の B to B アプリケーションについては、これが私たちのビジネスのようなものです。 それは実際に素晴らしいです。 ここには大きなチャンスがあります。なぜなら、Alexa のスキルや、Google 向けの Actions on Google アプリを見ると、Google や Amazon への情報提供者としての基礎を築くことができるからです。 どちらの場合も、ユーザーの質問に答えるために信頼できる情報源を探しています。 それらはウィキペディアとの関係を持ち、Google はクロールを使用する可能性があり、Amazon は人々にデータを提供するために他のことを行っている可能性があり、これらのアプリを提供する人々は別の情報源です。 アプリが十分なスコアを獲得している場合、彼らはあなたを引き寄せますが、彼らはそれを獲得しています. デジタル マーケティングの雰囲気の中で可視性を得るもう 1 つの方法。
ジェイ・ベア: 音声側の情報提供者の 1 人になることで、通常の Web 検索側でのトピックの権威が向上すると思いますか、それともその証拠を見たことがありますか?
エリック・エンゲ: 今日まで証拠はありません。現時点でそれが起こったのは時期尚早だと思います。 確かに第三者機関である程度の検証はされていると思います。 . . まあ、第三者ではないです。 私は、Google アシスタントまたは Alexa で行われている、ある程度の検証を行う必要があると思います。
ジェイ・ベア: はい、それは確かに私がそれを見る方法です。
エリック・エンゲ: 間違いなく害はありません。信頼できる指標を提供していて、人々がそれらの回答またはアシスタントを提供するように求めている場合、それはシグナルです.
ジェイ・ベア: はい、好きです。 これにすべての時間と労力を費やしてくれて、誰もが興味を持っている仕事をしてくれて本当にありがとう。 あなたとあなたのチームであるストーン テンプルのエリックは、座って 5,000 の質問 x 5 台のデバイス、合計 25,000 の質問をしてくれることに感謝します。 それは確かに愛の労働です。
エリック・エンゲ: それについては疑問の余地はありません。 やってて楽しかったです。
ジェイ・ベア: ストーン テンプル コンサルティングの Eric Enge と彼のチームによる非常に興味深い調査結果である、2018 年のデジタル パーソナル アシスタントの賢さの評価のコピーを入手してください。 私の友人はここにいてくれてありがとう。 いつものようにあなたと話すのは素晴らしいことです。
エリック・エンゲ: わかりました、ありがとうジェイ。
ジェイ・ベア: つぼみに会いましょう。
エリック・エンゲ: はい、さようなら。