Автомобиль с автоматизированным помощником

Что автоматические помощники Google смогут делать завтра? Скорее всего, они будут участвовать в управлении умными домами и устройствами Интернета вещей, а также помогать нам управлять транспортными средствами. На этой неделе Google был выдан патент на использование автоматизированного помощника для управления транспортным средством. Это не будет реализовано в ближайшее время, но это может быть чем-то, к чему мы стремимся в не столь отдаленном будущем.

Автоматизированный помощник, управляющий транспортным средством в будущем

Люди могут участвовать в диалогах между человеком и компьютером с помощью интерактивных программных приложений, именуемых здесь «автоматизированным помощником».

Я написал несколько разных статей об автоматизированных помощниках Google, которые по-разному взаимодействуют с людьми.

Вот несколько предыдущих постов, которые я написал об автоматизированных помощниках:

• Как автоматизированный помощник может реагировать на запросы детей
• Результаты поиска автоматизированного помощника Google
• Google Assistant и контекстная обработка естественного языка

У меня есть динамик, который является автоматическим помощником. Я использую его для выполнения некоторых поисков и прослушивания музыки, а также для отправки некоторых результатов поиска на свой телефон. Он не делает столько вещей, сколько помогает мне водить машину, но этот патент может быть иллюстрацией того, что автоматический помощник Google сможет делать в будущем.

В соответствии с этим патентом люди могут предоставлять команды и запросы автоматизированному помощнику, используя устный ввод на естественном языке (например, высказывания), который в некоторых случаях может быть преобразован в текст и затем обработан, а также путем предоставления текстового (например, печатного) ввода на естественном языке. .

Автоматизированный помощник может быть интегрирован в различные электронные устройства, включая транспортные средства. В отличие от других компьютеров, таких как мобильные телефоны, транспортные средства, как правило, перемещаются по большой территории и, таким образом, более подвержены ограничениям пропускной способности во время связи с внешним сервером.

Частично это может быть вызвано движением транспортного средства по территориям, не обеспечивающим надлежащего покрытия сетью. Это может повлиять на работу автоматизированного помощника, который может включать в себя много циклов между бортовым компьютером и удаленным сервером.

Автоматизированные помощники могут иметь доступ к общедоступным данным, а также к данным пользователя, которые могут быть связаны с личной учетной записью пользователя, обслуживаемой автоматизированным помощником. Автоматический помощник, обслуживающий множество пользователей, может иметь много учетных записей с разными данными, доступными для каждой учетной записи.

Командирский автоматизированный помощник

Таким образом, если один пользователь делает запрос к автоматизированному помощнику, и ответ на запрос включает доступ ко второй учетной записи пользователя, автоматизированный помощник не сможет выполнить запрос, не предложив второму пользователю войти в свою учетную запись и повторить запрос. запрос.

В результате вычислительные и коммуникационные ресурсы, такие как полоса пропускания сети и время использования канала, могут потребляться из-за увеличения количества взаимодействий между компьютером автомобиля и сервером.

Другие пользователи, преодолевающие ограничения

Реализации, описанные в данном документе, относятся к ограничению чувствительности автоматизированного помощника транспортного средства в соответствии с ограничениями, которые используются для определения того, ограничиваются ли определенные команды ввода и определенные пользователи в определенных контекстах транспортного средства. Кроме того, реализации, описанные в настоящем документе, позволяют другим пользователям преодолевать определенные ограничения, предоставляя авторизацию посредством ввода данных в компьютер транспортного средства или другой компьютер.

Разрешение другим пользователям переопределять такие ограничения может сохранить вычислительные ресурсы, поскольку меньше вычислительных ресурсов и пропускной способности сети будет потребляться, когда ограниченный пользователь не должен перефразировать и повторно отправлять определенные входные данные таким образом, чтобы входные данные были разрешены.

Например, пассажир, который предоставляет голосовой ввод автоматизированному помощнику транспортного средства, такому как «Помощник, отправьте сообщение Карен», может быть отклонен, поскольку пассажир не является владельцем транспортного средства или иным образом не имеет доступа к контактам, доступным для автоматизированный помощник автомобиля.

В результате автоматизированный помощник в автомобиле может дать ответ, например: «Извините, вы не авторизованы для таких команд», и пассажиру придется перефразировать и повторно ввести голосовой ввод, например, «Хорошо, помощник». , отправьте сообщение на номер 971-555-3141».

Такой сеанс диалога между пассажиром и автоматизированным помощником транспортного средства может привести к трате вычислительных ресурсов, поскольку более поздний голосовой ввод должен быть преобразован в аудиоданные, передан по сети и обработан.

В ситуации, когда доступная полоса пропускания становится ограниченной или переменной, например, в движущемся транспортном средстве, это может быть особенно нежелательно, поскольку канал, по которому данные передаются от вспомогательного устройства по сети, может потребоваться использовать в течение более длительного времени. чем желательно.

Продолжительность использования такого канала может повлиять не только на работу автоматизированного помощника, но и на другие программные приложения, которые полагаются на сеть для отправки и получения информации.

Такие программные приложения могут, например, присутствовать в том же устройстве, что и автоматизированный помощник (например, другие автомобильные программные приложения). Однако реализации, представленные в данном документе, могут устранить такую ​​трату вычислительных и коммуникационных ресурсов, по крайней мере, позволяя другим пользователям авторизовать выполнение определенных входных команд от пользователя, не запрашивая у пользователя повторную отправку команд.

Ограничение доступа к командам

Бортовой компьютер и автоматизированный помощник могут работать в соответствии с различными ограничениями для ограничения доступа к командам и данным, которые в противном случае были бы доступны через бортовой компьютер и автоматизированный помощник. Ограничение может характеризовать определенные команды, данные, типы данных и любые другие входы и выходы, которые могут быть связаны с автоматизированным помощником, тем самым определяя определенную информацию, доступную другим пользователям через автоматизированный помощник и бортовой компьютер.

Когда пользователь произносит произнесенное слово, соответствующее конкретной команде, характеризуемой ограничением, автоматизированный помощник может реагировать в соответствии с любым ограничением, которое связано с пользователем и конкретной командой. Например, когда пользователь предоставляет произнесенное высказывание, которое соответствует данным, созданным на компьютере, принадлежащем другому пользователю, произнесенное высказывание может удовлетворять критерию ограничения доступа к таким данным.

Однако в ответ на получение произнесенной речи автоматизированный помощник может определить, что критерий удовлетворяется, и ожидать авторизации от другого пользователя. Авторизация может быть предоставлена ​​другим пользователем компьютеру транспортного средства и отдельному компьютеру посредством другого произнесенного высказывания и любого другого ввода, который может быть получен компьютером.

Транспортное средство, которое включает в себя бортовой компьютер, может включать в себя интерфейс, такой как кнопка (например, на рулевом колесе транспортного средства), с которым другой пользователь может взаимодействовать (например, нажимать кнопку), чтобы указать авторизацию для автоматизированной системы. помощник.

В ответ на получение автоматизированным помощником авторизации от другого пользователя автоматизированный помощник может приступить к выполнению команды, предоставленной пользователем, без обязательного запроса дополнительного ввода от пользователя.

Автоматизированный помощник, ограничивающий доступ пассажиров

Другой пользователь может ограничить доступ пассажира к определенным данным, пока другой пользователь и пассажир находятся в транспортном средстве. Другой пользователь может ограничить доступ к определенным данным, пока автомобиль движется по определенному маршруту и ​​к определенному пункту назначения. Следовательно, когда транспортное средство завершает маршрут и прибывает в конкретный пункт назначения, ограничение доступа к конкретным данным и для пассажира может быть снято, что позволяет пассажиру впоследствии получить доступ к таким данным.

Например, когда другой пользователь управляет транспортным средством, а пассажир едет в транспортном средстве, пассажир может предоставить голосовое высказывание интерфейсу автоматизированного помощника транспортного средства. Устное высказывание может быть таким: «Ассистент, позвоните тете Люси».

Автоматизированный помощник ожидает авторизации от пользователя

В ответ и поскольку произнесенное высказывание включает в себя запрос, который приведет к доступу к контактной информации пользователя, автоматизированный помощник может ожидать авторизации от пользователя перед выполнением запроса. Однако, чтобы избежать повторной авторизации или неавторизации запросов, исходящих от пассажира, пользователь может произнести другое устное высказывание, например: «Помощник, не отвечайте пассажиру до конца этой поездки».

В ответ автоматизированный помощник может инициировать создание ограничивающих данных для ограничения доступа к услугам (например, совершению телефонных звонков), которые в противном случае были бы доступны через автоматизированный помощник.

Таким образом, пользователю не придется повторно разрешать или не разрешать автоматизированному помощнику отвечать на запросы пассажира, тем самым исключая трату вычислительных ресурсов и ресурсов сети. Кроме того, поскольку ограничения доступа могут быть установлены на «сброс» в конце поездки или при достижении пункта назначения, пользователю не нужно будет явно запрашивать сброс ограничений, тем самым дополнительно устраняя трату вычислительных и сетевых ресурсов. .

Пользователь может ограничить доступ к определенным данным для пассажира на неопределенный срок и на весь срок службы транспортного средства.

Например, после произнесения пассажиром голосовой фразы «Помощник, позвоните тете Люси» и пока автоматизированный помощник ожидает авторизации от пользователя, пользователь может произнести отдельную голосовую фразу, такую ​​как «Помощник, никогда не отвечайте на пользователь."

Автоматизированный помощник, вызывающий генерацию данных об ограничениях

В ответ автоматизированный помощник может инициировать создание данных ограничения (или на весь срок службы транспортного средства, бортового компьютера и автоматизированного помощника), ограничивающих доступ к услугам, которые в противном случае были бы доступны конкретному пользователю через автоматизированного помощника.

В зависимости от занятости транспортного средства автоматизированный помощник и бортовой компьютер могут работать в соответствии с операционной моделью, которая ограничивает доступ к автоматизированному помощнику и бортовому компьютеру для определенных пассажиров. Например, когда пользователь является единственным лицом, находящимся в транспортном средстве, бортовой компьютер и автоматизированный помощник, доступный через автомобильный компьютер, могут работать в соответствии с первым режимом работы.

Занятость автомобиля определяется на основе выходных данных датчиков или режимов работы

Занятость можно определить на основе выходных данных датчиков транспортного средства, бортового компьютера и любого другого устройства, которое может предоставить выходные данные, на основе которых можно оценить занятость. Первый режим работы может выбираться на основе занятости и может предоставлять пользователю доступ к первому набору услуг, данных и команд, связанных с автоматизированным помощником.

Когда определено, что занятость включает в себя больше, чем пользователя, например, когда пользователь едет с пассажирами (например, родитель едет с большим количеством детей в качестве пассажиров), может быть выбран второй режим работы. В соответствии со вторым режимом работы пользователь по-прежнему может получить доступ к первому набору услуг, данных и команд, однако пассажиры смогут получить доступ только ко второму набору услуг, данных и команд.

Второй набор может отличаться от первого набора, и второй набор может быть уменьшенным подмножеством по сравнению с первым набором. Например, нажатие кнопки «разговор» на головном устройстве, когда в автомобиле находится только водитель (например, неограниченный пользователь), может ответить конфиденциальными данными без дополнительной авторизации.

Однако, если кнопка «разговор» на головном устройстве нажата, когда пассажир (например, пользователь с ограниченными правами) находится в транспортном средстве с водителем, автоматический помощник запрашивает дополнительную авторизацию, чтобы ответить кому-либо (например, пассажиру), нажимающему кнопку. Кнопка «разговор» на головном устройстве.

Пока активен второй режим работы (например, совместный режим работы), пассажир может попытаться получить доступ к услуге, данным и команде, которые предоставляются исключительно в первом наборе, а не во втором наборе. Чтобы разрешить такой доступ, пользователь (например, водитель) может предоставить входные данные автоматизированному помощнику и компьютеру транспортного средства, чтобы разрешить такой доступ.

Пользователь может предоставить, например, ввод в интерфейс, такой как кнопка и панель сенсорного дисплея, которые могут располагаться примерно в пределах досягаемости водителя транспортного средства (например, кнопка на рулевом колесе, встроенная сенсорная панель дисплея). на приборную панель и консоль). Авторизационный ввод может быть предоставлен в ответ на то, что автоматизированный помощник запрашивает авторизацию у пользователя (например, «Извините, мне нужно авторизацию, чтобы сделать это... [авторизирующий ввод получен]»).

В качестве альтернативы автоматизированный помощник может не запрашивать у пользователя авторизацию и, скорее, пассивно ожидать ответа на запрос от пассажира до тех пор, пока пользователь не предоставит авторизационный ввод.

Однако, если пользователь выбирает, чтобы его автоматизированный помощник и компьютер его транспортного средства работали в соответствии с третьим режимом работы.

В третьем режиме работы, в котором возможность предоставления такой авторизации недоступна, автоматизированный помощник и бортовой компьютер могут работать так, что доступность определенных операций, данных и услуг для некоторых пассажиров (по крайней мере, относительно пользователя) будет ограничена. который является основным и «главным» пользователем по отношению к автоматизированному помощнику и бортовому компьютеру).

Автоматизированные помощники

Автоматизированный помощник может выполнять процедуры автоматизированного помощника. Подпрограмма автоматизированного помощника может соответствовать набору и последовательности действий, выполняемых и инициализируемых автоматизированным помощником в ответ на конкретный ввод данных пользователем. Пользователь может произносить устную фразу, такую ​​как «Помощник, пойдем на работу», когда пользователь садится в свое транспортное средство, чтобы заставить автоматизированного помощника выполнить процедуру «Идем на работу».

Процедура «На работу» может включать в себя автоматизированного помощника, заставляющего бортовой компьютер отображать графические данные, соответствующие ежедневному расписанию пользователя, и воспроизводить аудиоданные, соответствующие подкасту, выбранному пользователем. Он может генерировать сообщение для супруга пользователя, указывающее, что пользователь направляется на работу (например, «Привет, Билли, я иду на работу»). Однако в некоторых случаях пассажир транспортного средства может произнести устную фразу: «Помощник, пошли работать».

В зависимости от режима, в котором работают бортовой компьютер и автоматизированный помощник, автоматизированный помощник может запросить у водителя или другого авторизованного пользователя разрешение на выполнение действий по запрошенному маршруту.

Автоматизированный помощник «Идти на работу»

Например, в ответ на вызов пассажиром подпрограммы «Идти на работу» автоматизированный помощник может инициализировать звуковые данные рендеринга производительности, соответствующие конкретному подкасту, а также запрашивать у водителя разрешение на инициализацию других действий подпрограммы.

В частности, бортовой компьютер и серверное устройство могут идентифицировать действия процедуры, которые включают доступ к данным с ограниченным доступом. В этом случае бортовой компьютер и серверное устройство могут определить, что расписание пользователя и контакты пользователя (для отправки сообщения) получают ограниченные данные.

В результате во время выполнения подпрограммы драйвер может получать запросы на разрешение на выполнение любых действий, связанных с доступом к данным с ограниченным доступом.

Если водитель дает разрешение (например, через задачу вызова помощника), произнося фразу вызова (например, «Хорошо, помощник») или взаимодействуя с интерфейсом (например, нажимая кнопку), процедура может быть завершена. Например, сообщение может быть отправлено супругу, а расписание водителя может быть воспроизведено вслух.

Однако, если авторизация не предоставлена ​​драйвером (например, драйвер не выполняет задачу вызова помощника), автоматизированный помощник может обойти выполнение таких действий. Когда водитель не дает разрешения на выполнение действий, пассажиру могут быть предоставлены альтернативные действия.

Например, вместо звукового воспроизведения расписания водителя автоматизированный помощник может отображать общедоступную информацию о событиях, происходящих в близлежащем географическом регионе.

Отправка сообщения

Вместо отправки сообщения супруге водителя автоматизированный помощник может подсказать пассажиру, хотят ли они, чтобы сообщение было передано через его собственную учетную запись (например, «Хотели бы вы войти в систему, чтобы отправить сообщение? »). Ограничения на данные водителя будут применяться при одновременном оказании помощи пассажиру, который может находиться в транспортном средстве, например, из-за участия в райдшеринге.

Приведенное выше описание предоставлено в качестве обзора некоторых реализаций настоящего раскрытия.

Другие реализации могут включать в себя систему компьютеров и роботов, которые включают в себя процессоры, способные выполнять сохраненные инструкции для выполнения способа, такого как способы, описанные выше и в других местах настоящего документа.

Это автоматизированное транспортное средство с помощником описано в этом патенте:

Способы авторизации доступа при управлении транспортным средством с автоматизированным помощником
Изобретатели: Викрам Аггарвал и Мойзес Моргенштерн Гали.
Правопреемник: GOOGLE LLC
Патент США: 11 318 955
Выдано: 3 мая 2022 г.
Подано: 28 февраля 2019 г.

Абстрактный:

Реализации относятся к разрешению авторизации определенных функций автоматизированного помощника с помощью одного или нескольких способов, доступных в транспортном средстве.

Реализации могут устранить бесполезную трату вычислительных и коммуникационных ресурсов, по крайней мере, позволив другим пользователям авторизовать выполнение определенных входных команд от пользователя, не запрашивая у пользователя повторную отправку команд.

Транспортное средство может включать в себя вычислительное устройство, которое обеспечивает доступ к данным с ограниченным доступом, к которым можно получить доступ для выполнения действия автоматизированным помощником.

Однако, когда ограниченный пользователь запрашивает, чтобы автоматизированный помощник выполнил действие, включающее доступ к ограниченным данным, автоматизированный помощник может быть авторизован или неавторизован для продолжения выполнения запроса посредством модальности, контролируемой неограниченным пользователем.

Неограниченный пользователь также может вызвать установку контекстных ограничений для ограничения функциональности автоматизированного помощника во время поездки, для определенных типов запросов и/или для определенных пассажиров.

Заключение автоматизированного помощника по расширенному транспортному средству

В этом посте я написал только краткое изложение этого патента. Если вам нужны дополнительные сведения о том, как будет работать этот патент на автоматизированного помощника, перейдите к самому патенту, чтобы получить более подробную информацию о том, как он может работать. Это краткое изложение дает некоторое представление о том, как будет установлен контроль над транспортным средством с помощью автоматизированного помощника.

В настоящее время автоматизированные помощники, как правило, представляют собой устройства меньшего размера, такие как умные колонки. Скорее всего, они вырастут, чтобы делать такие вещи, как электромобили, как показано в этом патенте. Интерфейс отличается от того, который обычно используют устройства Google. Они имеют более разговорный формат, чем настольный или портативный компьютер. Читая этот пост, я вспомнил об Android Auto. Я вижу, что Google хочет, чтобы автомобили управлялись чем-то вроде Android Auto или Automated Assistant.