Um veículo habilitado para assistente automatizado

O que os assistentes automatizados do Google serão capazes de fazer amanhã? Provavelmente, eles estarão envolvidos na execução de casas inteligentes e dispositivos de internet das coisas e nos ajudarão a dirigir veículos. Uma patente foi concedida ao Google esta semana sobre o uso de um assistente automatizado para controlar um veículo. Isso não será implementado em breve, mas pode ser algo que estamos conduzindo em um futuro não muito distante.

Um assistente automatizado controlando um veículo no futuro

Os seres humanos podem se envolver em diálogos de humano para computador com aplicativos de software interativos aqui referidos como um "assistente automatizado".

Escrevi alguns posts diferentes sobre os assistentes automatizados do Google que interagem com humanos de várias maneiras.

Aqui estão alguns posts anteriores que escrevi sobre assistentes automatizados:

• Como um assistente automatizado pode responder a consultas de crianças
• Resultados de pesquisa do Google Automated Assistant
• O Google Assistant e o processamento de linguagem natural baseado em contexto

Eu tenho um dispositivo de alto-falante que é um assistente automatizado. Eu o uso para realizar algumas pesquisas e ouvir música e enviar alguns resultados de pesquisa para o meu telefone. Ele não faz tantas coisas quanto me ajudar a dirigir um veículo, mas essa patente pode ser uma ilustração do que o assistente automatizado do Google poderá fazer no futuro.

Sob esta patente, os humanos podem fornecer comandos e solicitações a um assistente automatizado usando entrada de linguagem natural falada (como enunciados), que em alguns casos pode ser convertida em texto e depois processada, e fornecendo entrada de linguagem natural textual (por exemplo, digitada). .

Um assistente automatizado pode ser integrado a uma variedade de dispositivos eletrônicos, incluindo veículos. Ao contrário de outros computadores, como telefones celulares, os veículos geralmente estão em movimento em uma grande área e, portanto, são mais suscetíveis a restrições de largura de banda durante as comunicações com um servidor externo.

Isso pode resultar, em parte, da movimentação do veículo por áreas que não oferecem cobertura de rede adequada. Isso pode afetar as operações do assistente automatizado, que podem envolver muitas viagens de ida e volta entre um computador do veículo e um servidor remoto.

Os assistentes automatizados podem ter acesso a dados disponíveis publicamente, bem como a dados específicos do usuário, que podem ser associados a uma conta de usuário pessoal atendida pelo assistente automatizado. Um assistente automatizado que atende a muitos usuários pode ter muitas contas com dados diferentes disponíveis para cada conta.

Comandando o Assistente Automatizado

Assim, se um usuário fizer uma solicitação a um assistente automatizado e a resposta à solicitação envolver o acesso a uma segunda conta de usuário, o assistente automatizado poderá não conseguir concluir a solicitação sem solicitar que o segundo usuário faça login em sua conta e repita o procedimento. solicitação.

Como resultado, recursos computacionais e de comunicação, como largura de banda da rede e tempo de uso do canal, podem ser consumidos pelo aumento de muitas interações entre o computador do veículo e o servidor.

Outros usuários que substituem as restrições

As implementações aqui descritas referem-se à limitação da capacidade de resposta do assistente automatizado do veículo de acordo com as restrições que são usadas para determinar se determinados comandos de entrada e determinados usuários são restritos em determinados contextos do veículo. Além disso, as implementações aqui descritas permitem que outros usuários anulem certas restrições fornecendo autorização por meio de uma entrada para o computador do veículo ou outro computador.

Permitir que outros usuários substituam essas restrições pode preservar recursos computacionais, pois menos recursos de processamento e largura de banda de rede seriam consumidos quando um usuário restrito não precisa reformular e reenviar certas entradas de uma maneira que as torne permitidas.

Por exemplo, um passageiro que fornece uma entrada de voz para um assistente automatizado do veículo, como "Assistente, envie uma mensagem para Karen", pode ser negado porque o passageiro não é o proprietário do veículo ou tem permissão para acessar os contatos acessíveis ao assistente automatizado do veículo.

Como resultado, o assistente automatizado do veículo pode fornecer uma resposta como “Sinto muito, você não está autorizado para tais comandos”, e o passageiro teria que reformular e reenviar a entrada falada como, por exemplo, “Ok, Assistente , envie uma mensagem para 971-555-3141.”

Essa sessão de diálogo entre o passageiro e o assistente automatizado do veículo pode desperdiçar recursos computacionais, pois a entrada falada posterior teria que ser convertida em dados de áudio, transmitida por uma rede e processada.

Em uma situação em que a largura de banda disponível é limitada ou variável, como, por exemplo, em um veículo em movimento, isso pode ser particularmente indesejável, pois o canal pelo qual os dados são comunicados do dispositivo assistente, pela rede, pode precisar ser usado por mais tempo do que desejável.

O tempo que esse canal é usado pode afetar não apenas as operações do assistente automatizado, mas também outros aplicativos de software que dependem da rede para enviar e receber informações.

Esses aplicativos de software podem, por exemplo, estar presentes no mesmo dispositivo que o assistente automatizado (por exemplo, outros aplicativos de software no veículo). No entanto, as implementações fornecidas neste documento podem eliminar esse desperdício de recursos computacionais e de comunicação, pelo menos permitindo que outros usuários autorizem a execução de certos comandos de entrada de um usuário, sem solicitar que o usuário reenvie os comandos.

Restrição de Acesso a Comandos

Um computador de bordo e um assistente automatizado podem funcionar de acordo com diferentes restrições para restringir o acesso a comandos e dados que de outra forma seriam acessíveis através do computador de bordo e do assistente automático. Uma restrição pode caracterizar determinados comandos, dados, tipos de dados e quaisquer outras entradas e saídas que possam ser associadas a um assistente automatizado, definindo assim determinadas informações que estão disponíveis para outros usuários por meio do assistente automatizado e do computador do veículo.

Quando um usuário fornece um enunciado falado correspondente a um determinado comando caracterizado por uma restrição, o assistente automatizado pode responder de acordo com qualquer restrição que seja associada ao usuário e ao determinado comando. Por exemplo, quando um usuário fornece um enunciado falado que corresponde a dados originados em um computador de propriedade de outro usuário, o enunciado falado pode satisfazer um critério para restringir o acesso a esses dados.

No entanto, em resposta ao recebimento do enunciado falado, o assistente automatizado pode determinar que o critério seja atendido e aguardar a autorização do outro usuário. A autorização pode ser fornecida pelo outro usuário ao computador do veículo e a um computador separado por meio de outro enunciado falado e qualquer outra entrada capaz de ser recebida em um computador.

Um veículo que inclui o computador do veículo pode incluir uma interface, como um botão (por exemplo, no volante do veículo), com a qual o outro usuário pode interagir (por exemplo, pressionar o botão) para indicar autorização ao automatizado assistente.

Em resposta ao assistente automatizado receber autorização do outro usuário, o assistente automatizado pode prosseguir com a execução do comando fornecido pelo usuário, sem necessariamente solicitar mais entradas do usuário.

Assistente Automatizado que Limita o Acesso aos Passageiros

Outro usuário pode limitar o acesso de um passageiro a determinados dados enquanto o outro usuário e o passageiro estiverem no veículo. O outro usuário pode limitar o acesso a determinados dados enquanto o veículo está navegando por uma determinada rota e para um determinado destino. Portanto, quando o veículo completa a rota e chega ao destino específico, uma restrição de acesso aos dados específicos e para o passageiro pode ser liberada, permitindo assim que o passageiro acesse esses dados posteriormente.

Por exemplo, quando o outro usuário está dirigindo o veículo e o passageiro está no veículo, o passageiro pode fornecer uma expressão falada para uma interface de assistente automatizada do veículo. O enunciado falado pode ser: “Assistente, chame a tia Lucy”.

Assistente automatizado aguardando autorização do usuário

Em resposta, e porque o enunciado falado inclui uma solicitação que resultará no acesso às informações de contato do usuário, o assistente automatizado pode aguardar a autorização do usuário antes de atender à solicitação. No entanto, para evitar a necessidade de autorizar repetidamente ou não autorizar solicitações provenientes do passageiro, o usuário pode fornecer outra expressão falada, como “Assistente, não responda ao passageiro pelo restante desta viagem”.

Em resposta, o assistente automatizado pode gerar dados de restrição para limitar o acesso a serviços (por exemplo, fazer chamadas telefônicas) que de outra forma estariam disponíveis por meio do assistente automatizado.

Dessa forma, o usuário não teria que autorizar repetidamente ou não autorizar o assistente automatizado a responder às solicitações do passageiro, eliminando assim o desperdício de recursos computacionais e de rede. Além disso, como as restrições de acesso podem ser definidas para “reset” ao final de uma viagem, ou ao chegar a um destino, o usuário não precisaria solicitar explicitamente o reset das restrições, eliminando ainda mais o desperdício de recursos computacionais e de rede .

O usuário pode limitar o acesso a determinados dados a um passageiro indefinidamente e por toda a vida útil operacional do veículo.

Por exemplo, após o passageiro fornecer o enunciado falado, “Assistente, ligue para a tia Lucy”, e enquanto o assistente automatizado estiver aguardando autorização do usuário, o usuário pode fornecer um enunciado falado separado, como “Assistente, nunca responda ao do utilizador."

Assistente automatizado fazendo com que dados de restrição sejam gerados

Em resposta, o assistente automatizado pode fazer com que os dados de restrição sejam gerados (ou por uma vida útil operacional do veículo, do computador do veículo e do assistente automatizado) limitando o acesso a serviços que de outra forma estariam disponíveis para um usuário específico por meio do assistente automatizado.

Dependendo da ocupação do veículo, o assistente automatizado e o computador do veículo podem funcionar de acordo com um modelo operacional que limita o acesso ao assistente automatizado e ao computador do veículo para determinados passageiros. Por exemplo, quando um utilizador é a única pessoa a ocupar um veículo, um computador de bordo e um assistente automatizado que é acessível através do computador de bordo podem funcionar de acordo com um primeiro modo de funcionamento.

Ocupação do veículo determinada com base na saída de sensores ou modos de operação

A ocupação pode ser determinada com base em uma saída de sensores do veículo, o computador do veículo e qualquer outro dispositivo que possa fornecer uma saída a partir da qual a ocupação pode ser estimada. O primeiro modo de operação pode ser selecionado com base na ocupação e pode fornecer ao usuário acesso ao primeiro conjunto de serviços, dados e comandos associados ao assistente automatizado.

Quando a ocupação é determinada para incluir mais do que o usuário, como quando o usuário está dirigindo com passageiros (por exemplo, um pai dirigindo com muitas crianças como passageiros), um segundo modo de operação pode ser selecionado. De acordo com o segundo modo de operação, o usuário ainda pode acessar o primeiro conjunto de serviços, dados e comandos – no entanto, os passageiros só poderão acessar o segundo conjunto de serviços, dados e comandos.

O segundo conjunto pode ser diferente do primeiro conjunto e o segundo conjunto pode ser um subconjunto reduzido em relação ao primeiro conjunto. Por exemplo, pressionando o botão “falar” na unidade principal, quando apenas um motorista (por exemplo, um usuário irrestrito) está no veículo, pode responder com dados privados sem qualquer autorização adicional.

No entanto, se o botão “falar” na unidade principal for pressionado quando um passageiro (por exemplo, um usuário restrito) estiver no veículo com o motorista, o assistente automatizado solicitará mais autorização para responder a alguém (por exemplo, o passageiro) pressionando o botão botão “falar” na unidade principal.

Enquanto o segundo modo de operação (por exemplo, um modo de operação compartilhado) estiver ativo, um passageiro pode tentar acessar um serviço, dados e um comando que é fornecido exclusivamente no primeiro conjunto, e não no segundo. Para permitir esse acesso, o usuário (por exemplo, o motorista) pode fornecer entradas ao assistente automatizado e ao computador do veículo, a fim de autorizar esse acesso.

O usuário pode fornecer, por exemplo, uma entrada para uma interface, como um botão e um painel de tela sensível ao toque, que pode ser localizado aproximadamente ao alcance de um motorista do veículo (por exemplo, um botão no volante, um painel de tela sensível ao toque integral para um painel e console). A entrada de autorização pode ser fornecida em resposta ao assistente automatizado solicitando autorização do usuário (por exemplo, “Desculpe, preciso de autorização para fazer isso... [entrada de autorização recebida]”).

Alternativamente, o assistente automatizado pode ignorar a solicitação de autorização do usuário e, em vez disso, esperar passivamente para responder a uma solicitação de um passageiro até que o usuário forneça uma entrada de autorização.

No entanto, se o usuário optar por fazer com que seu assistente automatizado e seu computador de bordo funcionem de acordo com um terceiro modo de operação.

No terceiro modo de operação, em que não há opção de fornecer tal autorização, o assistente automatizado e o computador do veículo podem operar de forma que a disponibilidade de determinadas operações, dados e serviços fique limitada para alguns passageiros (pelo menos em relação a um usuário que é um usuário primário e “mestre” em relação ao assistente automatizado e ao computador do veículo).

Rotinas automatizadas do assistente

Um assistente automatizado pode executar rotinas de assistente automatizado. Uma rotina de assistente automatizado pode corresponder a um conjunto e sequência de ações executadas e inicializadas pelo assistente automatizado em resposta a um usuário que fornece uma determinada entrada. O usuário pode fornecer um enunciado falado como “Assistente, vamos trabalhar”, quando o usuário entrar em seu veículo, a fim de fazer com que o assistente automatizado execute uma rotina “Indo para o trabalho”.

A rotina “Going to Work” pode envolver o assistente automatizado fazendo com que o computador do veículo renderize dados gráficos correspondentes a uma programação diária do usuário e renderize dados de áudio correspondentes a um podcast selecionado pelo usuário. Ele pode gerar uma mensagem para o cônjuge do usuário indicando que o usuário está indo para o trabalho (por exemplo, “Oi Billy, estou indo para o trabalho.”). Em alguns casos, no entanto, um passageiro do veículo pode fornecer a expressão falada: “Assistente, vamos trabalhar”.

Dependendo do modo em que o computador do veículo e o assistente automatizado estão operando, o assistente automatizado pode solicitar que o motorista ou outro usuário autorizado forneça permissão para executar ações de um roteamento solicitado.

A rotina “Indo para o trabalho” do assistente automatizado

Por exemplo, em resposta ao passageiro invocando a rotina “Going to Work”, o assistente automatizado pode inicializar dados de áudio de renderização de desempenho correspondentes a um determinado podcast, e também solicitar ao motorista autorização para inicializar outras ações da rotina.

Especificamente, o computador do veículo e o dispositivo servidor podem identificar ações da rotina que envolvem o acesso a dados restritos. Neste caso, o computador do veículo e o dispositivo servidor podem determinar que a agenda do usuário e os contatos do usuário (para enviar a mensagem) obtenham dados restritos.

Como resultado, durante a execução da rotina, o motorista pode ser solicitado a dar permissão para executar quaisquer ações que envolvam acesso a dados restritos.

Se o motorista der autorização (por exemplo, por meio de uma tarefa de invocação de assistente), falando uma frase de invocação (por exemplo, “Ok, Assistant.”) ou interagindo com uma interface (por exemplo, pressionando um botão), a rotina pode ser concluída. Por exemplo, a mensagem pode ser enviada ao cônjuge e a programação do motorista pode ser processada de forma audível.

No entanto, se a autorização não for fornecida pelo motorista (por exemplo, o motorista não realizar uma tarefa de invocação de assistente), o assistente automatizado poderá ignorar a execução de tais ações. Quando o motorista não fornece autorização para concluir as ações, ações alternativas podem ser fornecidas como opções ao passageiro.

Por exemplo, em vez de renderizar de forma audível a agenda do motorista, o assistente automatizado pode renderizar informações públicas sobre eventos que estão ocorrendo na região geográfica próxima.

Enviando uma mensagem

Em vez de enviar uma mensagem para o cônjuge do motorista, o assistente automático pode perguntar ao passageiro se deseja que uma mensagem seja transmitida por meio de sua própria conta (por exemplo, “Gostaria de fazer login para enviar uma mensagem? "). Restrições sobre os dados do motorista seriam aplicadas ao mesmo tempo em que forneceria assistência a um passageiro que possa estar no veículo devido, por exemplo, à participação em uma atividade de compartilhamento de carona.

A descrição acima é fornecida como uma visão geral de algumas implementações da presente divulgação.

Outras implementações podem incluir um sistema de computadores e robôs que incluem processadores operáveis ​​para executar instruções armazenadas para realizar um método tal como os métodos descritos acima e em outros lugares neste documento.

Este veículo habilitado para assistente automatizado é descrito nesta patente:

Modalidades de autorização de acesso ao operar um veículo habilitado para assistente automatizado
Inventores: Vikram Aggarwal e Moises Morgenstern Gali
Cessionário: GOOGLE LLC
Patente dos EUA: 11.318.955
Concedido: 3 de maio de 2022
Arquivado: 28 de fevereiro de 2019

Resumo:

As implementações estão relacionadas à habilitação da autorização de certas funções de assistente automatizado por meio de uma ou mais modalidades disponíveis em um veículo.

As implementações podem eliminar o desperdício de recursos computacionais e de comunicação ao permitir pelo menos que outros usuários autorizem a execução de certos comandos de entrada de um usuário, sem solicitar que o usuário reenvie os comandos.

O veículo pode incluir um dispositivo de computação que fornece acesso a dados restritos, que podem ser acessados ​​para que uma ação seja realizada pelo assistente automatizado.

No entanto, quando um usuário restrito solicita que o assistente automatizado execute uma ação envolvendo o acesso aos dados restritos, o assistente automatizado pode ser autorizado ou não a prosseguir com o atendimento da solicitação por meio de uma modalidade controlada por um usuário irrestrito.

O usuário irrestrito também pode fazer com que sejam estabelecidas restrições contextuais para limitar a funcionalidade do assistente automatizado durante uma viagem, para determinados tipos de solicitações e/ou para determinados passageiros.

Conclusão do veículo aprimorado do assistente automatizado

Eu só escrevi sobre o resumo desta patente neste post. Se você quiser mais detalhes sobre como essa patente de assistente automatizado funcionará, clique na própria patente para obter mais detalhes sobre como ela pode funcionar. Este resumo fornece algumas informações sobre como o controle sobre um veículo seria estabelecido usando um assistente automatizado.

Neste momento, os assistentes automatizados tendem a ser dispositivos menores, como alto-falantes inteligentes. As chances são de que eles crescerão para fazer coisas como veículos elétricos, como mostrado nesta patente. A interface é diferente daquela que os dispositivos do Google costumam usar. Eles estão em um formato mais conversacional do que um computador desktop ou laptop. Lembrei-me do Android Auto enquanto lia este post. Eu posso ver o Google querendo ter carros controlados por algo como o Android Auto ou o Assistente Automatizado.