Un véhicule doté d'un assistant automatisé

De quoi les assistants automatisés de Google seront-ils capables de faire demain ? Il y a de fortes chances qu'ils soient impliqués dans la gestion de maisons intelligentes et d'appareils Internet des objets et qu'ils nous aident à conduire des véhicules. Un brevet vient d'être accordé à Google cette semaine concernant l'utilisation d'un assistant automatisé pour contrôler un véhicule. Cela ne sera pas mis en œuvre de sitôt, mais cela pourrait être quelque chose que nous conduirons dans un avenir pas trop lointain.

Un assistant automatisé contrôlant un véhicule dans le futur

Les êtres humains peuvent s'engager dans des dialogues entre l'homme et l'ordinateur avec des applications logicielles interactives appelées ici « assistant automatisé ».

J'ai écrit quelques articles différents sur les assistants automatisés de Google qui interagissent avec les humains de différentes manières.

Voici quelques articles précédents que j'ai écrits sur les assistants automatisés :

• Comment un assistant automatisé peut répondre aux requêtes des enfants
• Résultats de la recherche de l'Assistant Google automatisé
• L'assistant Google et le traitement du langage naturel basé sur le contexte

J'ai un haut-parleur qui est un assistant automatisé. Je l'utilise pour effectuer des recherches et écouter de la musique, et envoyer des résultats de recherche sur mon téléphone. Il ne fait pas autant de choses que m'aider à conduire un véhicule, mais ce brevet est peut-être une illustration de ce que l'assistant automatisé de Google pourra faire à l'avenir.

En vertu de ce brevet, les humains peuvent fournir des commandes et des demandes à un assistant automatisé en utilisant une entrée en langage naturel parlé (comme des énoncés), qui peut dans certains cas être convertie en texte puis traitée, et en fournissant une entrée textuelle en langage naturel (par exemple, dactylographiée). .

Un assistant automatisé peut être intégré dans une variété d'appareils électroniques, y compris les véhicules. Contrairement à d'autres ordinateurs tels que les téléphones portables, les véhicules sont généralement en mouvement sur une grande surface et sont donc plus sensibles aux restrictions de bande passante lors des communications avec un serveur extérieur.

Cela peut en partie résulter du fait que le véhicule se déplace dans des zones qui n'offrent pas une couverture réseau adéquate. Cela peut affecter les opérations de l'assistant automatisé, qui peuvent impliquer de nombreux allers-retours entre un ordinateur du véhicule et un serveur distant.

Les assistants automatisés peuvent avoir accès à des données accessibles au public ainsi qu'à des données spécifiques à l'utilisateur, qui peuvent être associées à un compte d'utilisateur personnel servi par l'assistant automatisé. Un assistant automatisé servant de nombreux utilisateurs peut avoir de nombreux comptes avec différentes données disponibles pour chaque compte.

Assistant automatisé commandant

Ainsi, si un utilisateur fait une demande à un assistant automatisé et que la réponse à la demande implique l'accès à un deuxième compte d'utilisateur, l'assistant automatisé peut ne pas être en mesure de répondre à la demande sans inviter le deuxième utilisateur à se connecter à son compte et à répéter la demande.

Par conséquent, les ressources de calcul et de communication, telles que la bande passante du réseau et le temps d'utilisation des canaux, peuvent être consommées en augmentant de nombreuses interactions entre l'ordinateur du véhicule et le serveur.

Autres utilisateurs annulant les restrictions

Les mises en œuvre décrites ici concernent la limitation de la réactivité d'un assistant automatisé de véhicule selon des restrictions qui sont utilisées pour déterminer si certaines commandes d'entrée et certains utilisateurs sont restreints dans certains contextes de véhicule. En outre, les mises en œuvre décrites ici permettent à d'autres utilisateurs de passer outre certaines restrictions en fournissant une autorisation via une entrée à l'ordinateur du véhicule ou à un autre ordinateur.

Permettre à d'autres utilisateurs d'ignorer ces restrictions peut préserver les ressources de calcul, car moins de ressources de traitement et de bande passante réseau seraient consommées lorsqu'un utilisateur restreint n'a pas à reformuler et à soumettre à nouveau certaines entrées d'une manière qui rendrait les entrées autorisées.

Par exemple, un passager qui fournit une entrée vocale à un assistant automatisé de véhicule tel que "Assistant, envoyez un message à Karen", peut être refusé parce que le passager n'est pas le propriétaire du véhicule ou autrement autorisé à accéder aux contacts accessibles au assistant automatisé de véhicule.

Par conséquent, l'assistant automatisé du véhicule peut fournir une réponse telle que "Je suis désolé, vous n'êtes pas autorisé à effectuer de telles commandes", et le passager devra reformuler et soumettre à nouveau l'entrée vocale comme, par exemple, "Ok, Assistant , envoyez un message au 971-555-3141. »

Une telle session de dialogue entre le passager et l'assistant automatisé du véhicule peut gaspiller des ressources de calcul car l'entrée parlée ultérieure devrait être convertie en données audio, transmise sur un réseau et traitée.

Dans une situation où la bande passante disponible devient limitée ou variable, comme par exemple dans un véhicule en mouvement, cela peut être particulièrement indésirable car le canal sur lequel les données sont communiquées à partir de l'appareil assistant, sur le réseau, peut nécessiter une utilisation plus longue. que souhaitable.

La durée d'utilisation d'un tel canal peut avoir un impact non seulement sur les opérations de l'assistant automatisé, mais également sur d'autres applications logicielles qui dépendent du réseau pour envoyer et recevoir des informations.

De telles applications logicielles peuvent, par exemple, être présentes dans le même dispositif que l'assistant automatisé (par exemple d'autres applications logicielles embarquées). Cependant, les implémentations fournies ici peuvent éliminer un tel gaspillage de ressources de calcul et de communication en permettant au moins à d'autres utilisateurs d'autoriser l'exécution de certaines commandes d'entrée d'un utilisateur, sans demander à l'utilisateur de resoumettre les commandes.

Restriction d'accès aux commandes

Un ordinateur de véhicule et un assistant automatisé peuvent fonctionner selon différentes restrictions pour restreindre l'accès à des commandes et des données qui seraient autrement accessibles via l'ordinateur de véhicule et l'assistant automatisé. Une restriction peut caractériser des commandes, des données, des types de données particuliers et toute autre entrée et sortie pouvant être associées à un assistant automatisé, définissant ainsi certaines informations disponibles pour d'autres utilisateurs via l'assistant automatisé et l'ordinateur du véhicule.

Lorsqu'un utilisateur fournit un énoncé parlé correspondant à une commande particulière caractérisée par une restriction, l'assistant automatisé peut répondre selon toute restriction qui est associée à l'utilisateur et à la commande particulière. Par exemple, lorsqu'un utilisateur fournit un énoncé parlé qui correspond à des données provenant d'un ordinateur appartenant à un autre utilisateur, l'énoncé parlé peut satisfaire un critère pour restreindre l'accès à ces données.

Cependant, en réponse à la réception de l'énoncé parlé, l'assistant automatisé peut déterminer que le critère est satisfait et attendre l'autorisation de l'autre utilisateur. L'autorisation peut être fournie par l'autre utilisateur à l'ordinateur du véhicule et à un ordinateur séparé via un autre énoncé parlé et toute autre entrée capable d'être reçue au niveau d'un ordinateur.

Un véhicule qui comprend l'ordinateur du véhicule peut comprendre une interface, telle qu'un bouton (par exemple, sur le volant du véhicule), avec laquelle l'autre utilisateur peut interagir (par exemple, appuyer sur le bouton) afin d'indiquer l'autorisation au système automatisé. assistant.

En réponse à la réception par l'assistant automatisé de l'autorisation de l'autre utilisateur, l'assistant automatisé peut procéder à l'exécution de la commande fournie par l'utilisateur, sans nécessairement demander une autre entrée de l'utilisateur.

Assistant automatisé limitant l'accès aux passagers

Un autre utilisateur peut empêcher un passager d'accéder à certaines données pendant que l'autre utilisateur et le passager se trouvent dans le véhicule. L'autre utilisateur peut limiter l'accès à certaines données pendant que le véhicule navigue sur un itinéraire particulier et vers une destination particulière. Par conséquent, lorsque le véhicule termine l'itinéraire et arrive à la destination particulière, une restriction d'accès aux données particulières et pour le passager peut être levée, permettant ainsi au passager d'accéder ultérieurement à ces données.

Par exemple, lorsque l'autre utilisateur conduit le véhicule et que le passager est à bord du véhicule, le passager peut fournir un énoncé parlé à une interface d'assistant automatisé du véhicule. L'énoncé parlé peut être "Assistant, appelez tante Lucy".

Assistant automatisé en attente d'autorisation de l'utilisateur

En réponse, et du fait que l'énoncé parlé comprend une demande qui aboutira à l'accès aux informations de contact de l'utilisateur, l'assistant automatisé peut attendre l'autorisation de l'utilisateur avant de répondre à la demande. Cependant, afin d'éviter d'avoir à autoriser ou non à plusieurs reprises les demandes émanant du passager, l'utilisateur peut fournir un autre énoncé parlé tel que "Assistant, ne répondez pas au passager pour le reste de ce voyage".

En réponse, l'assistant automatisé peut entraîner la génération de données de restriction pour limiter l'accès à des services (par exemple, passer des appels téléphoniques) qui seraient autrement disponibles via l'assistant automatisé.

De cette manière, l'utilisateur n'aurait pas à autoriser ou non à plusieurs reprises l'assistant automatisé pour répondre aux demandes du passager, éliminant ainsi le gaspillage de ressources informatiques et de ressources réseau. De plus, étant donné que les restrictions d'accès peuvent être définies sur "réinitialisées" à la fin d'un voyage ou lorsqu'elles atteignent une destination, l'utilisateur n'aurait pas à demander explicitement une réinitialisation des restrictions, éliminant ainsi davantage le gaspillage de ressources de calcul et de ressources réseau. .

L'utilisateur peut limiter l'accès à certaines données à un passager indéfiniment et pour une durée de vie opérationnelle du véhicule.

Par exemple, après que le passager a prononcé l'énoncé parlé « Assistant, appelez tante Lucy », et pendant que l'assistant automatisé attend l'autorisation de l'utilisateur, l'utilisateur peut fournir un énoncé parlé distinct tel que « Assistant, ne répondez jamais au utilisateur."

Assistant automatisé provoquant la génération de données de restriction

En réponse, l'assistant automatisé peut provoquer la génération de données de restriction (ou pour une durée de vie opérationnelle du véhicule, de l'ordinateur du véhicule et de l'assistant automatisé) limitant l'accès aux services qui seraient autrement disponibles pour un utilisateur particulier via l'assistant automatisé.

Selon l'occupation du véhicule, l'assistant automatisé et l'ordinateur du véhicule peuvent fonctionner selon un modèle de fonctionnement limitant l'accès à l'assistant automatisé et à l'ordinateur du véhicule pour certains passagers. A titre d'exemple, lorsqu'un utilisateur est la seule personne occupant un véhicule, un calculateur du véhicule et un assistant automatisé accessible via le calculateur du véhicule, peuvent fonctionner selon un premier mode de fonctionnement.

Occupation du véhicule déterminée en fonction de la sortie des capteurs ou des modes de fonctionnement

L'occupation peut être déterminée sur la base d'une sortie de capteurs du véhicule, de l'ordinateur du véhicule et de tout autre dispositif pouvant fournir une sortie à partir de laquelle l'occupation peut être estimée. Le premier mode de fonctionnement peut être sélectionné sur la base de l'occupation et peut fournir à l'utilisateur un accès au premier ensemble de services, de données et de commandes, associé à l'assistant automatisé.

Lorsqu'il est déterminé que l'occupation comprend plus que l'utilisateur, comme lorsque l'utilisateur conduit avec des passagers (par exemple, un parent conduisant avec de nombreux enfants comme passagers), un second mode de fonctionnement peut être sélectionné. Conformément au deuxième mode de fonctionnement, l'utilisateur peut toujours accéder au premier ensemble de services, de données et de commandes - cependant, les passagers ne pourraient accéder qu'au deuxième ensemble de services, de données et de commandes.

Le deuxième ensemble peut être différent du premier ensemble, et le deuxième ensemble peut être un sous-ensemble réduit par rapport au premier ensemble. Par exemple, le fait d'appuyer sur le bouton « parler » de l'unité principale, lorsque seul un conducteur (par exemple, un utilisateur sans restriction) se trouve dans le véhicule, peut répondre avec des données privées sans autre autorisation.

Cependant, si le bouton "Parler" sur l'unité principale est enfoncé lorsqu'un passager (par exemple, un utilisateur restreint) est dans le véhicule avec le conducteur, l'assistant automatisé demande une autorisation supplémentaire pour répondre à quelqu'un (par exemple, le passager) en appuyant sur le bouton. bouton "parler" sur l'unité principale.

Pendant que le deuxième mode de fonctionnement (par exemple, un mode de fonctionnement partagé) est actif, un passager peut tenter d'accéder à un service, des données et une commande qui sont fournis exclusivement dans le premier ensemble, et non dans le deuxième ensemble. Afin de permettre un tel accès, l'utilisateur (par exemple, le conducteur) peut fournir des entrées à l'assistant automatisé et à l'ordinateur du véhicule, afin d'autoriser un tel accès.

L'utilisateur peut fournir, par exemple, une entrée à une interface telle qu'un bouton et un panneau d'affichage tactile, qui peut se trouver approximativement à portée d'un conducteur du véhicule (par exemple, un bouton sur un volant, un panneau d'affichage tactile intégré à un tableau de bord et une console). L'entrée d'autorisation peut être fournie en réponse à l'assistant automatisé sollicitant l'autorisation de l'utilisateur (par exemple, "Désolé, j'ai besoin de l'autorisation pour faire cela... [entrée d'autorisation reçue]").

En variante, l'assistant automatisé peut contourner la sollicitation de l'autorisation de l'utilisateur et plutôt attendre passivement pour répondre à une demande d'un passager jusqu'à ce que l'utilisateur fournisse une entrée d'autorisation.

Toutefois, si l'utilisateur choisit de faire fonctionner son assistant automatisé et son calculateur embarqué selon un troisième mode de fonctionnement.

Dans le troisième mode de fonctionnement, dans lequel aucune option pour fournir une telle autorisation n'est disponible, l'assistant automatisé et l'ordinateur du véhicule peuvent fonctionner de telle sorte que la disponibilité de certaines opérations, données et services soit limitée pour certains passagers (au moins par rapport à un utilisateur c'est-à-dire un utilisateur principal et "maître" par rapport à l'assistant automatisé et à l'ordinateur du véhicule).

Routines d'assistant automatisées

Un assistant automatisé peut exécuter des routines d'assistant automatisé. Une routine d'assistant automatisé peut correspondre à un ensemble et à une séquence d'actions exécutées et initialisées par l'assistant automatisé en réponse à un utilisateur fournissant une entrée particulière. L'utilisateur peut fournir un énoncé parlé tel que « Assistant, allons au travail » lorsque l'utilisateur entre dans son véhicule, afin que l'assistant automatisé exécute une routine « Aller au travail ».

La routine « Aller au travail » peut impliquer l'assistant automatisé amenant l'ordinateur du véhicule à restituer des données graphiques correspondant à un horaire quotidien de l'utilisateur et à restituer des données audio correspondant à un podcast sélectionné par l'utilisateur. Il peut générer un message au conjoint de l'utilisateur indiquant que l'utilisateur se dirige vers le travail (par exemple, "Salut Billy, je vais travailler"). Dans certains cas, cependant, un passager du véhicule peut prononcer l'énoncé vocal « Assistant, allons travailler ».

En fonction du mode dans lequel l'ordinateur du véhicule et l'assistant automatisé fonctionnent, l'assistant automatisé peut demander que le conducteur, ou un autre utilisateur autorisé, fournisse l'autorisation d'effectuer des actions d'un itinéraire demandé.

La routine de l'assistant automatisé "Aller au travail"

Par exemple, en réponse au passager invoquant la routine "Aller au travail", l'assistant automatisé peut initialiser les données audio de rendu de performance correspondant à un podcast particulier, et également demander au conducteur l'autorisation d'initialiser d'autres actions de la routine.

Spécifiquement, l'ordinateur de véhicule et le dispositif serveur peuvent identifier des actions de la routine qui impliquent l'accès à des données restreintes. Dans ce cas, l'ordinateur du véhicule et le dispositif serveur peuvent déterminer que l'horaire de l'utilisateur et les contacts de l'utilisateur (pour envoyer le message) obtiennent des données restreintes.

En conséquence, pendant l'exécution de la routine, le conducteur peut être invité à donner l'autorisation d'exécuter toute action impliquant l'accès à des données restreintes.

Si le conducteur donne l'autorisation (par exemple, via une tâche d'invocation d'assistant), en prononçant une phrase d'invocation (par exemple, "Ok, Assistant.") ou en interagissant avec une interface (par exemple, en appuyant sur un bouton), la routine peut se terminer. Par exemple, le message peut être envoyé au conjoint et l'horaire du conducteur peut être rendu de manière audible.

Cependant, si l'autorisation n'est pas fournie par le conducteur (par exemple, le conducteur n'exécute pas une tâche d'invocation d'assistant), l'assistant automatisé peut contourner l'exécution de telles actions. Lorsque le conducteur ne donne pas l'autorisation d'effectuer les actions, des actions alternatives peuvent être proposées en option au passager.

Par exemple, au lieu de restituer de manière audible l'horaire du conducteur, l'assistant automatisé peut restituer des informations publiques sur les événements qui se produisent dans la région géographique à proximité.

Envoi d'un message

Au lieu d'envoyer un message au conjoint du conducteur, l'assistant automatisé peut demander au passager s'il souhaite qu'un message soit transmis via son propre compte (par exemple, "Voulez-vous vous connecter, afin d'envoyer un message ? ”). Les restrictions sur les données du conducteur seraient appliquées tout en fournissant simultanément une assistance à un passager qui pourrait se trouver dans le véhicule en raison, par exemple, de sa participation à une activité de covoiturage.

La description ci-dessus est fournie en tant que vue d'ensemble de certaines mises en œuvre de la présente divulgation.

D'autres mises en œuvre peuvent comprendre un système d'ordinateurs et de robots qui comprennent des processeurs utilisables pour exécuter des instructions stockées pour exécuter un procédé tel que les procédés décrits ci-dessus et ailleurs ici.

Ce véhicule assisté automatisé est décrit dans ce brevet :

Modalités d'autorisation d'accès lors de la conduite d'un véhicule équipé d'un assistant automatisé
Inventeurs : Vikram Aggarwal et Moises Morgenstern Gali
Cessionnaire : GOOGLE LLC
Brevet américain : 11 318 955
Attribué : 3 mai 2022
Date de dépôt : 28 février 2019

Abstrait:

Des implémentations concernent l'activation de l'autorisation de certaines fonctions d'assistant automatisé via une ou plusieurs modalités disponibles au sein d'un véhicule.

Des mises en œuvre peuvent éliminer le gaspillage de ressources de calcul et de communication en permettant au moins à d'autres utilisateurs d'autoriser l'exécution de certaines commandes d'entrée à partir d'un utilisateur, sans demander à l'utilisateur de resoumettre les commandes.

Le véhicule peut comprendre un dispositif informatique donnant accès à des données restreintes, accessibles pour qu'une action soit effectuée par l'assistant automatisé.

Cependant, lorsqu'un utilisateur restreint demande à l'assistant automatisé d'effectuer une action impliquant l'accès aux données restreintes, l'assistant automatisé peut être autorisé ou non à poursuivre la satisfaction de la demande via une modalité contrôlée par un utilisateur non restreint.

L'utilisateur libre peut également faire établir des restrictions contextuelles pour limiter les fonctionnalités de l'assistant automatisé lors d'un trajet, pour certains types de demandes, et/ou pour certains passagers.

Conclusion du véhicule amélioré par l'assistant automatisé

Je n'ai écrit que sur le résumé de ce brevet dans ce post. Si vous souhaitez plus de détails sur le fonctionnement de ce brevet d'assistant automatisé, cliquez sur le brevet lui-même pour plus de détails sur son fonctionnement. Ce résumé donne un aperçu de la façon dont le contrôle d'un véhicule serait établi à l'aide d'un assistant automatisé.

À l'heure actuelle, les assistants automatisés ont tendance à être des appareils plus petits, tels que des haut-parleurs intelligents. Il y a de fortes chances qu'ils grandissent pour faire des choses telles que des véhicules motorisés, comme le montre ce brevet. L'interface est différente de celle que les appareils Google ont tendance à utiliser. Ils sont dans un format plus conversationnel qu'un ordinateur de bureau ou portable. Je me suis souvenu d'Android Auto en lisant cet article. Je peux voir Google vouloir que les voitures soient contrôlées par quelque chose comme Android Auto ou l'assistant automatisé.