Новое исследование показывает, какие цифровые помощники на самом деле разбираются в вещах
Опубликовано: 2018-05-30
Согласно отчету Edison Research, более 51 миллиона американцев в настоящее время владеют «умными колонками», такими как Amazon Echo или Google Home. Скорость внедрения этих устройств с голосовым управлением выше, чем скорость внедрения смартфонов десять лет назад. Говоря о смартфонах, у них также есть встроенные цифровые помощники, включая Siri от Apple, Google Assistant для смартфонов и Cortana от Microsoft (также доступный на Xbox и других устройствах).
В общем, мы положительно ОКРУЖЕНы цифровыми помощниками, каждый из которых практически умоляет помочь нам учиться и быть более продуктивным. Но могут ли они на самом деле добиться этого последовательно?
Цифровые помощники так же полезны, как триммер для бороды Джеймса Хардена, если они не могут ответить на вопросы, на которые мы хотим получить ответы, верно? Вот почему я потрясен, благоговею и влюблен во второе ежегодное исследование Stone Temple, в котором исчерпывающе проверялось, какие цифровые помощники лучше всего отвечают на вопросы.
Я недавно брал интервью у генерального директора Stone Temple Эрика Энге об исследовании, чтобы узнать, как они его проводили и что узнали. Полное мое интервью ниже. Это стоит посмотреть! Основные моменты ниже.
Как тестировать цифровых помощников
Оказывается, нет никаких способов выяснить, какой цифровой помощник действительно может помочь. Команда Эрика в Stone Temple методично задала 4942 вопроса Alexa, Siri, Google Assistant на телефоне, Google Assistant на Google Home и Microsoft Cortana, работающей на динамике Harmon Kardon Invoke. Да, они задали 24 710 отдельных запросов! Это потребовало МНОГО труда.
Для каждого вопроса команда отметила, был ли ответ точным или неточным. Они также отметили, не понял ли помощник запрос и был ли ответ «устным» с устройства, извлеченным из базы данных или полученным из Интернета.
Какой лучший цифровой помощник?
Согласно исследованию, лучшим в 2018 году стал Google Ассистент на смартфоне. Возможно, это не будет большим шоком, учитывая, что Google имеет доступ к непостижимому массиву информации и регулярно обрабатывает миллиарды пользовательских запросов. Этот цифровой помощник пытался ответить почти на 80 процентов всех вопросов, то есть было очень мало разочаровывающих ответов типа «я не понимаю, что вы имеете в виду».
И среди ответов на вопросы уровень точности Google превысил 90 процентов .
Для сравнения, Cortana попыталась ответить чуть более чем на 60 процентов вопросов, Alexa — чуть больше половины, а Siri — чуть более 40 процентов.
Когда ассистенты предлагали ответы, показатели точности были более тесно сгруппированы. Google на смартфоне лучше всех, более чем на 95 процентов, но Google Assistant на домашнем компьютере и Microsoft Cortana тоже тут как тут. Alexa превосходит 80 процентов, и даже Siri делает это правильно в 80 процентах случаев (когда у нее вообще есть ответ). 
Иногда ответы цифрового помощника совершенно неверны. Это, скорее всего, произойдет с Alexa и Siri. У каждого было более 160 неправильных ответов, по сравнению с менее чем 40 у Google и Microsoft. Обратите внимание, однако, что Google и Microsoft владеют огромными поисковыми системами, которые, вероятно, значительно помогают им в сопоставлении данных. 
Мы спрашиваем цифровых помощников о довольно глупых вещах (сегодня)
Сегодня, в эти первые дни, вопросы, которые мы задаем нашим цифровым помощникам, довольно просты и банальны. (Это НЕ относится к тесту Stone Temple, так как многие из 5000 вопросов сложны.) Но многие из нас в основном используют эти устройства, чтобы узнать погоду, узнать спортивные результаты, получить общие знания или установить таймеры.
В нашем разговоре мы с Эриком обсудили эту ситуацию, и мы считаем, что она временная — моментальный снимок во времени. По мере того, как люди привыкают к голосовым запросам и ответам, наше использование этих цифровых помощников станет более тонким и сложным.
На мой взгляд, это отражает то, что происходило в первые дни поисковых систем, когда люди обычно использовали очень короткие строки поиска при запросе Lycos и др. По мере роста удобства онлайн-поиска и улучшения качества результатов поиска мы стали использовать все более и более длинные запросы.
Со временем эти цифровые помощники будут улучшаться, и, соответственно, наше использование их станет более всесторонним. 
Голос — это огромная возможность контент-маркетинга
В дополнение к их изучению цифровых помощников, Эрик и его команда также создали «навыки» для Alexa и Google Assistant, которые позволяют вам задавать этим помощникам вопросы об оптимизации поисковой системы, и вы будете получать ответы от Stone Temple. А на Alexa у них даже есть SEO-викторина, которую вы можете пройти мгновенно. Великолепно!
Эрик сообщает, что компания становится заметной и используется благодаря голосовому совету. Он сказал:
«В Google Assistant есть режим, называемый неявными запросами, и если вы установите флажок при настройке своего устройства, что хотите, кто-то может задать Google вопрос, не вызывая наших конкретных действий. Они могут просто сказать: «Как вы реализуете тег no-follow?» Google может вернуться и сказать: «У Stone Temple есть ответ на этот вопрос, хотите его услышать?»
На сегодняшний день, по словам Эрика, более 1000 человек воспользовались советами Stone Temple по SEO с помощью неявных запросов в Google Assistant.
Влияние данных Digital Assistant на традиционные SEO-рейтинги
Я очарован набегом Эрика на голосовые советы по SEO и хочу поработать над своими собственными. «Alexa: Спросите Джея Бэра о текиле»!
Учитывая, что у Google и Microsoft есть основные ставки в битве цифровых помощников, я задался вопросом, может ли быть «источником» информации для этих устройств — как Stone Temple для информации SEO — может «кровоточить» и положительно повлиять на поисковый рейтинг в Google и Bing. ? Я спросил Эрика об этом, и он ответил:
«На сегодняшний день нет доказательств преимуществ, и я думаю, что на данный момент еще слишком рано, чтобы это произошло. Но это определенно не повредит, и если вы предоставляете достоверную информацию, и люди просят вас дать им ответы, это сигнал авторитета темы, который поисковые системы могут добывать».
Возьмите копию исследования персональных цифровых помощников Stone Temple и начните думать о своем собственном набеге на знания, активируемые голосом. И если вы можете, найдите несколько минут, чтобы посмотреть мое интервью с Эриком выше или прочитать расшифровку ниже. Там хорошие вещи.
Стенограмма
| Джей Бэр: | Привет, ребята, это Джей Баер из Convince & Convert, и сегодня к нему присоединился мой друг Эрик Энге, генеральный директор Stone Temple Consulting, невероятно эффективной и известной организации, занимающейся SEO-контентом. Эрик, приятно с тобой поговорить. Вы и ваша команда недавно составили этот новый отчет, который . . . это ошеломляет меня, что вы даже сделали это. Я знаю, что ты делаешь это уже второй год, но я все равно был в шоке. Он называется «Рейтинг интеллекта цифровых персональных помощников в 2018 году». Вы проходите и выясняете, какая версия Alexa, Siri, Google Home и Microsoft Cortana является наиболее точной и действительно полезной. Я до сих пор не могу в это поверить. Вы как бы выстроили устройства и задали им кучу вопросов. Большое спасибо за разговор об этом. Как это получилось? |
| Эрик Эндж: | Отличный вопрос. Прежде всего, спасибо за то, что пригласил меня, Джей, я очень рад делать это вместе с тобой и говорить об этом, нам всегда очень весело болтать. У нас есть набор из 5000 вопросов, которые мы разработали, и этот набор из 5000 вопросов представляет собой вопросы по информационным темам, основанным на том, что нам известно, для которых Google предоставляет избранные фрагменты или для которых они, вероятно, будут предоставлять фрагменты в будущем. Что ж, чтобы исправить это, это вопросы, которые, как мы думали, могут быть. Вот как эти вопросы изначально сошлись. |
| Джей Бэр: | Но круг вопросов довольно широк. Я имею в виду, что есть много разных типов вопросов, и это намеренно. |
| Эрик Эндж: | Да, это намеренно так. Предполагается, что это будет широкий спектр самых разных тем, от истории до рецептов и . . . Я не знаю, как что-то пишется, или что-то вроде по всей карте на самом деле. Широкий по замыслу, потому что мы хотели протестировать широкий спектр возможностей. Затем мы буквально задали человеческим голосом эти 5000 различных запросов каждого устройства. Мы сделали это для Google Assistant, работающего на смартфоне, Google Assistant, работающего на Google Home, Alexa, работающей на Amazon Echo, Cortana, работающей на динамике Harman Kardon Invoke, а затем Siri, работающей на iPhone, 25 000 вопросов, которые были заданы вручную. Мы взяли этот набор вопросов и сделали всю эту каталогизацию всех этих вещей, в том числе получили ли вы устный ответ от устройства или личного помощника? Указывало ли в ответе, что устройство думало, что поняло вопрос, и поэтому пыталось на него ответить? Если это так, правильно ли он ответил на вопрос? Если это было неправильно, то что это был за неправильный ответ? Это был обширный объем работы по анализу, выполненному на основе запроса за запросом. |
| Джей Бэр: | Вот что я вам скажу: по-моему, вы сказали мне, что над этим работали 10 человек, которые просто задавали вопросы и записывали ответы. Это огромный человеческий капитал, вложенный в этот проект. |
| Эрик Эндж: | Да, абсолютно, я имею в виду, что на самом деле я очень любопытный человек. Я хочу знать ответы на подобные вопросы. Оказывается, многие другие люди также хотели знать ответы на эти вопросы, потому что мы получили большую известность благодаря исследованию. Тот факт, что мы сделали это в прошлом году и сделали это снова в этом году, теперь у нас есть своего рода индекс, когда мы измеряем, как продвигаются эти вещи. |
| Джей Бэр: | Да, это было увлекательно, я думаю, что вывод в этом году заключается в том, что Google является своего рода «лучшим», и, очевидно, это косвенно и тому подобное, но если вам нужно было выбрать тот, который Google, вероятно, сегодня работает лучше всего. . В какой-то момент Siri, возможно, была лучше, а теперь она не так хороша, как была. Это не статичное состояние. Это было самое интересное, глядя на отчет за прошлый год по сравнению с отчетом за этот год, что действительно существует довольно много различий из года в год, что означает, что либо некоторые из этих вещей обучаются, поскольку машинное обучение заставит вас думать, как в названии и становится лучше, но другим, возможно, становится хуже, и я не совсем уверен, как это происходит. |
| Эрик Эндж: | Ну, я не думаю, что что-то на самом деле стало хуже само по себе. На самом деле личным помощником, который добился наибольшего прогресса, была Alexa, поэтому они добились огромных успехов в увеличении количества вопросов, на которые они отвечали, и их общей точности. Cortana значительно расширилась и на самом деле сделала довольно хороший шаг вперед, как с точки зрения количества ответов на вопросы, так и с точки зрения точности ответов на вопросы. |
| Сири раньше была лидером, но они были первыми, и это было несколько лет назад. Они просто не подталкивали его так же, как все остальные. Как что-то становится хуже, так что я приведу пример. Точность Alexa на самом деле немного снизилась по сравнению с прошлым годом, но, с другой стороны, они отвечали на гораздо больше вопросов. Общее количество вопросов. . . | |
| Джей Бэр: | Почти само собой разумеется, что ваша точность немного снизится. |
| Эрик Эндж: | Да, именно так вы могли бы увидеть дроп, и это, собственно, и произошло с Alexa. |
| Джей Бэр: | Считаете ли вы, что у Alexa есть реальное преимущество, потому что у нее очень большая доля рынка в категории умных динамиков, и, конечно же, у Google гораздо больше установленных устройств Android, потому что даже люди, которые не используют Android, используют iPhone, используя поиск Google или карты Google на своем iPhone, и, как мы знаем, около 40% локальных поисков в настоящее время управляются голосовым поиском. Считаете ли вы, что эти точки данных как бы помогают им стать лучше, они как бы поглощают больше запросов и, следовательно, могут создавать более совершенный ИИ? |
| Эрик Эндж: | Да, я думаю, что возможность использовать сканирование Интернета определенно дает преимущество. Вы получаете так много данных, доступных вам, но то, что происходит с этим, когда вы сканируете веб-сайты, только потому, что они опубликованы в Интернете, не означает- |
| Джей Бэр: | Мусор на входе, мусор на выходе. |
| Эрик Эндж: | Да, так что вы должны как-то квалифицировать это, и это сложная задача. Google работал над этим в течение многих лет, как мы также задокументировали в некоторых других исследованиях, которые мы проводим. Amazon что-то делает, и я не могу сказать, что именно, потому что не знаю, но они явно получают доступ к большему количеству информации, чем просто Википедия. Вы можете видеть это, основываясь на вопросах, на которые они отвечают сегодня. |
| Джей Бэр: | Да, это довольно интересно. Если бы вам нужно было купить личного помощника для кого-то в качестве подарка на День матери или что-то в этом роде, и вы сказали бы: «Хорошо, я могу купить только один из них», какой бы вы купили? Какой из них вы посоветовали бы кому-нибудь купить? |
| Эрик Эндж: | Что ж, если я буду основываться на том, насколько он умен в ответах на вопросы, Google Assistant по-прежнему лидирует. С другой стороны, у меня дома есть как несколько устройств Alexa, так и несколько устройств Google Home, и мы используем их для управления домом, то есть для управления освещением, термостатами и тому подобным. Алекса лучше в этом, так что настоящий нюанс. . . |
| Джей Бэр: | Лучшие рецепты на данный момент, немного форы и с этой стороны. |
| Эрик Эндж: | Да, именно так, я думаю, это зависит от того, для чего вы его используете. Если вы ищете домашний контроль, я бы выбрал Alexa. Если вы ищете необработанный интеллект, на котором сосредоточено наше исследование, то да, Google Assistant все еще там. |
| Джей Бэр: | Один из пунктов исследования, который снова называется «Оценка интеллекта цифровых персональных помощников в 2018 году», вы можете получить на веб-сайте Stone Temple, stonetemple.com. Вы перечисляете наборы вопросов, не те, которые вы обязательно задавали в исследовании, хотя вы также упоминаете об этом, а то, что люди вообще задают этим помощникам. Это показывает, что многие вопросы сегодня несколько банальны. Какая погода будет завтра, хотя я, конечно, виноват в этом. Я постоянно использую для этого свою Alexa, хотя у меня есть несколько других способов определить погоду на завтра, это просто проще. Чувствуете ли вы, что со временем, когда люди привыкнут к этой технологии и, возможно, станут больше доверять ей, изменятся типы вопросов, которые мы задаем? |
| Эрик Эндж: | Да, так что мы находимся на очень ранней стадии, и, честно говоря, для всего этого пространства сейчас решается большая проблема, а именно: людям становится комфортно разговаривать с устройствами, и эти устройства могут вести настоящие разговоры с люди, потому что люди не всегда используют шаблонные фразы, которые ожидает устройство. Это сложный процесс, заставить работать взаимодействие человека и машины. |
| Джей Бэр: | Правильно, потому что в какой-то момент это наша ошибка, потому что мы не формулируем вопрос. На самом деле, мне, вероятно, не следует записывать это, но мы с женой всегда ссоримся из-за Alexa, потому что я знаю, как сформулировать вопрос, потому что я так долго занимаюсь цифровым маркетингом и поиском, поэтому я могу сформулировать вопрос в краткой форме. таким образом, чтобы у меня было больше шансов вернуть его. Обычно она так не выражается, и тогда она очень расстраивается. «Эта дура Алекса ничего не знает», а я такой: «Ну, но если бы ты так сказал». Она такая: «Я не хочу так говорить. Я не хочу менять то, как я говорю, из-за какой-то реляционной базы данных». Это как-то так, чья вина? Это глупо или это мы? |
| Эрик Эндж: | Нет, это абсолютно так, и это влияет на то, насколько широко используются эти вещи. Нет никаких сомнений в том, что это оказывает такое влияние. С озвучиванием все в порядке, у нас были десятилетия, когда мы учились вводить это в Google, используя меньше слов, чтобы иметь больше шансов на то, что мы хотим, и мы все обучены делать это. Когда мы используем голос, мы не хотим этого делать, но, может быть, мы до определенной степени потренируемся, и, может быть, они станут лучше, а может быть, произойдет и то, и другое, и мы встретимся где-то посередине. |
| Я действительно думаю, что очень многое произойдет. Просто вам нужно понять общее видение этой вещи, и общее видение состоит в том, что мы уже находимся в точке, где около 75% подключенных к Интернету устройств в мире — это нечто иное, чем смартфон, ПК или планшет. Это невероятное количество возможностей для взаимодействия с Интернетом, и если я собираюсь использовать здесь что-то вроде часов, я не буду вводить их. Если бы я мог получить доступ к своему Google Assistant через эту штуку… . . Ну, это немного несправедливо, это iWatch, но это не относится к делу. По сути, я просто хочу использовать свой голос, я хочу, чтобы он знал, что это я, и ушел. Технологии личных помощников уже существуют, они уже доступны, они могут подключаться с любого устройства, к которому вы подключаетесь, и вы будете пользоваться одним и тем же личным помощником. | |
| Интегрированный опыт, который может начать настройку бронирования на моем телефоне, я мог бы закончить его, когда я прыгаю в машину через подключение к Интернету, которое у меня есть, и все это за один сеанс. С таким уровнем возможностей это просто невероятно убедительно, и я действительно твердо верю, что это именно то направление, в котором мы будем двигаться. Сейчас очень много звонков маме, папе, установка таймера, какая погода, очень простые вещи, но мы к этому привыкаем. | |
| Джей Бэр: | Вы занимаетесь SEO очень долго, как и я, я чувствую, что мы уже видели этот шаг раньше. Если вы посмотрите на ранние поисковые запросы Google, Yahoo, Ask Jeeves, то все они состояли из двух, трех, четырех слов. Затем со временем средняя длина поискового запроса стала длиннее, детальнее и конкретнее. Я чувствую, что это параллель с тем, что мы увидим в голосе. Вы увидите более подробные вопросы с более тонкими нюансами. |
| Эрик Эндж: | Я согласен, и просто продвинув вашу аналогию немного дальше или немного продвинув ее, мы также увидели, что способность поисковых систем к обработке резко изменилась, и их способность иметь дело с различными типами языковых конструкций, и эти виды просто изменились у нас под ногами. Некоторые из известных нам алгоритмов, такие как RankBrain, о которых мы слышали, и другие подобные алгоритмы, поиск на естественном языке. Они уже занимались этим даже отдельно от всего голосового разговора. |
| Джей Бэр: | Эрик, я хотел спросить вас, прежде чем мы перейдем к навыку Alexa, который вы создали, чтобы отвечать на вопросы SEO, которые я нахожу веселыми, потрясающими и удивительными, и я собираюсь, когда мы закончим здесь, подняться наверх и сидеть в перед моим устройством и пойти в SEO-школу Эрика Энге Stone Temple. Расскажите нам об этом процессе, о чем мы можем его спросить и т. д. |
| Эрик Эндж: | У нас есть пара сотен, может быть, около 250 вопросов, связанных с SEO, так что это может быть что-то вроде того, что такое новый индексный тег? Как реализовать отказ от подписки? Что такое 301 редирект? Очень распространенные вопросы, которые хочет задать каждый домохозяин. |
| Джей Бэр: | Все должны это знать. Самые распространенные вопросы: какая завтра погода и как мне сделать 301? Это два вопроса. |
| Эрик Эндж: | На самом деле мы построили это для Alexa. У нас также есть один для Google Assistant, и Alexa у нас есть SEO-викторина, где вы можете пройти тест и оценить свои навыки SEO. Мы разработали его внутри компании. Есть инструменты, которые помогут вам в этом. Вы можете зайти на веб-сайт diagflow.com, который проведет вас через весь процесс создания того, что они называют действиями в приложении Google для личного помощника. Это непросто, определенно нужно кое-что понять, но это не очень сложно, и когда вы закончите, вы сможете экспортировать этот код, который с очень простыми изменениями можно будет сразу использовать в Alexa. Вы фактически делаете это в одном месте, и вы получаете файл . . . работал на обоих. |
| Одна из крутых вещей в том, что люди на самом деле их используют, а не то, что это чрезвычайно популярное занятие, как мы шутили минуту назад. Мы получаем видимость из этого. У нас на самом деле были статьи, написанные об этом, в прессе, и это было круто. Кроме того, в Google Assistant есть режим, называемый неявными запросами, и если вы установите флажок при настройке своего приложения, который вы хотите, кто-то может задать Google вопрос, не вызывая наших действий в приложении Google. Они могут просто сказать: «Как вы реализуете тег no-follow?» Google может вернуться и сказать: «У Stone Temple есть ответ на этот вопрос, хотите его услышать?» | |
| Джей Бэр: | Хороший. |
| Эрик Эндж: | Да, что приятно. Это бесплатная видимость. |
| Джей Бэр: | Это воронка сверху вниз, да, мне это нравится. |
| Эрик Эндж: | Да, и я знаю, что на данный момент у нас есть около 1000 человек, которым это подсказали, и они приняли это на данный момент. |
| Джей Бэр: | Я имею в виду, что это довольно сильно. Я имею в виду, что это довольно узкая цель. Я имею в виду, что никто случайно не спрашивает о том, что теги не подписаны. |
| Эрик Эндж: | Верно, для этого конкретного приложения B-to-B, которое является частью нашего бизнеса. Это на самом деле потрясающе. Здесь есть большие возможности, потому что, когда вы смотрите на навык Alexa или действия в приложении Google для Google, у вас есть возможность подняться на первый этаж и стать поставщиком информации для Google и Amazon. В обоих случаях они оба ищут авторитетные источники информации, чтобы ответить на вопросы пользователей. У них будут свои отношения с Википедией, Google может использовать сканирование, Amazon, вероятно, делает что-то еще, чтобы передавать данные людям, а люди, которые предоставляют эти приложения, являются еще одним источником информации. Они будут привлекать вас, если ваше приложение получает достаточно хорошие оценки, однако они его оценивают. Еще один способ стать заметным в атмосфере цифрового маркетинга. |
| Джей Бэр: | Как вы думаете, если вы станете одним из этих поставщиков информации на стороне голосовой связи, это повысит авторитет вашей темы в обычном веб-поиске, или вы видели доказательства этого? |
| Эрик Эндж: | Доказательств на сегодняшний день нет, я думаю, что еще слишком рано, чтобы это произошло на данный момент. Я, конечно, думаю, что некоторый уровень проверки в третьей стороне. . . Ну это не третье лицо. Я должен сказать, что некоторый уровень проверки, который есть в Google Assistant или Alexa, я думаю, что это может иметь абсолютное значение. |
| Джей Бэр: | Да, это точно не повредит, как я на это смотрю. |
| Эрик Эндж: | Определенно не повредит, и если вы предоставляете надежные показатели, и люди просят вас дать им эти ответы или помощника, это сигнал. |
| Джей Бэр: | Да, я люблю это. Большое спасибо за то, что вы вложили в это все время и усилия, выполняя работу, которая всем интересна, но никто не стал бы вкладывать в нее такие усилия. Благодарим вас за то, что вы и ваша команда, Эрик из Stone Temple, готовы сесть и задать 5 000 вопросов, умноженных на пять устройств, всего 25 000 вопросов, дамы и господа. Это труд любви, это точно. |
| Эрик Эндж: | Нет вопросов об этом. Было весело это делать. |
| Джей Бэр: | Захватите себе экземпляр Rating the Smarts of the Digital Personal Assistants 2018, очень интересные выводы Эрика Энге и его команды из Stone Temple Consulting. Мой друг, спасибо, что ты есть. Приятно поговорить с тобой, как всегда. |
| Эрик Эндж: | Хорошо, спасибо, Джей. |
| Джей Бэр: | Увидимся, приятель. |
| Эрик Эндж: | Да, пока. |