Pojazd z obsługą automatycznego asystenta

Co zautomatyzowani asystenci Google będą w stanie zrobić jutro? Są szanse, że będą zaangażowani w prowadzenie inteligentnych domów i urządzeń Internetu rzeczy oraz pomagają nam prowadzić pojazdy. Właśnie w tym tygodniu przyznano firmie Google patent dotyczący używania automatycznego asystenta do sterowania pojazdem. Nie zostanie to wkrótce wdrożone, ale może to być coś, w co będziemy wprowadzać w niezbyt odległej przyszłości.

Automatyczny asystent kontrolujący pojazd w przyszłości

Ludzie mogą angażować się w dialogi między człowiekiem a komputerem za pomocą interaktywnych aplikacji programowych, określanych tutaj jako „automatyczny asystent”.

Napisałem kilka różnych postów na temat automatycznych asystentów Google, które wchodzą w interakcję z ludźmi na różne sposoby.

Oto kilka poprzednich postów, które napisałem o automatycznych asystentach:

• Jak automatyczny asystent może odpowiadać na zapytania dzieci
• Wyniki wyszukiwania automatycznego Asystenta Google
• Asystent Google i kontekstowe przetwarzanie języka naturalnego

Mam urządzenie głośnikowe, które jest automatycznym asystentem. Używam go do wyszukiwania i słuchania muzyki oraz wysyłania niektórych wyników wyszukiwania na mój telefon. Nie robi tak wielu rzeczy, jak pomaganie mi w prowadzeniu pojazdu, ale ten patent może być ilustracją tego, co automatyczny asystent Google będzie mógł robić w przyszłości.

W ramach tego patentu ludzie mogą przekazywać polecenia i prośby do automatycznego asystenta za pomocą mówionego języka naturalnego (takiego jak wypowiedzi), który w niektórych przypadkach może zostać przekonwertowany na tekst, a następnie przetworzony, a także poprzez wprowadzenie tekstu (np. wpisanego na maszynie) w języku naturalnym .

Asystent automatyczny może zostać zintegrowany z różnymi urządzeniami elektronicznymi, w tym z pojazdami. W przeciwieństwie do innych komputerów, takich jak telefony komórkowe, pojazdy zazwyczaj poruszają się na dużym obszarze, a zatem są bardziej podatne na ograniczenia przepustowości podczas komunikacji z serwerem zewnętrznym.

Może to częściowo wynikać z poruszania się pojazdu przez obszary, które nie zapewniają odpowiedniego zasięgu sieci. Może to wpłynąć na zautomatyzowane operacje asystenta, które mogą obejmować wiele podróży w obie strony między komputerem pojazdu a zdalnym serwerem.

Zautomatyzowani asystenci mogą mieć dostęp do publicznie dostępnych danych, a także danych specyficznych dla użytkownika, które mogą zostać powiązane z osobistym kontem użytkownika obsługiwanym przez automatycznego asystenta. Automatyczny asystent obsługujący wielu użytkowników może mieć wiele kont z różnymi danymi dostępnymi dla każdego konta.

Dowodzący automatyczny asystent

Tak więc, jeśli jeden użytkownik złoży żądanie do automatycznego asystenta, a odpowiedź na żądanie wiąże się z uzyskaniem dostępu do konta drugiego użytkownika, automatyczny asystent może nie być w stanie wypełnić żądania bez monitowania drugiego użytkownika o zalogowanie się na swoje konto i powtórzenie wniosek.

W rezultacie zasoby obliczeniowe i komunikacyjne, takie jak przepustowość sieci i czas użytkowania kanału, mogą zostać zużyte przez zwiększenie liczby interakcji między komputerem pojazdu a serwerem.

Inni użytkownicy zastępujący ograniczenia

Opisane tutaj implementacje dotyczą ograniczania czasu reakcji automatycznego asystenta pojazdu zgodnie z ograniczeniami, które są wykorzystywane do określania, czy określone polecenia wejściowe i niektórzy użytkownicy są ograniczani w określonych kontekstach pojazdu. Ponadto, implementacje opisane w niniejszym dokumencie umożliwiają innym użytkownikom obejście pewnych ograniczeń poprzez zapewnienie autoryzacji za pośrednictwem danych wejściowych do komputera pojazdu lub innego komputera.

Zezwolenie innym użytkownikom na obejście takich ograniczeń może zachować zasoby obliczeniowe, ponieważ mniej zasobów przetwarzania i przepustowości sieci zostanie zużytych, gdy użytkownik z ograniczonym dostępem nie będzie musiał przeformułować i ponownie przesłać pewnych danych wejściowych w sposób, który sprawi, że dane wejściowe będą dopuszczalne.

Na przykład pasażer, który wypowiada głos do automatycznego asystenta pojazdu, np. „Asystent, wyślij wiadomość do Karen”, może zostać odrzucony, ponieważ pasażer nie jest właścicielem pojazdu lub w inny sposób może uzyskać dostęp do kontaktów dostępnych dla automatyczny asystent pojazdu.

W rezultacie automatyczny asystent pojazdu może udzielić odpowiedzi typu „przepraszam, nie masz uprawnień do takich poleceń”, a pasażer musiałby przeformułować i ponownie wprowadzić wypowiedziane dane, np. „OK, asystentze”. , wyślij wiadomość pod numer 971-555-3141.”

Taka sesja dialogowa między pasażerem a automatycznym asystentem pojazdu może marnować zasoby obliczeniowe, ponieważ później wypowiadane dane wejściowe musiałyby zostać przekonwertowane na dane dźwiękowe, przesłane przez sieć i przetworzone.

W sytuacji, gdy dostępna przepustowość staje się ograniczona lub zmienna, jak na przykład w poruszającym się pojeździe, może to być szczególnie niepożądane, ponieważ kanał, przez który dane są przesyłane z urządzenia pomocniczego przez sieć, może wymagać dłuższego użytkowania niż pożądane.

Czas używania takiego kanału może mieć wpływ nie tylko na działanie automatycznego asystenta, ale także na inne aplikacje, które wykorzystują sieć do wysyłania i odbierania informacji.

Takie aplikacje mogą, na przykład, być obecne w tym samym urządzeniu co automatyczny asystent (np. inne aplikacje oprogramowania w pojeździe). Jednakże, implementacje dostarczone w niniejszym dokumencie mogą wyeliminować takie marnowanie zasobów obliczeniowych i komunikacyjnych przez co najmniej umożliwienie innym użytkownikom autoryzacji wykonania pewnych poleceń wejściowych od użytkownika, bez żądania od użytkownika ponownego przesłania poleceń.

Ograniczenie dostępu do poleceń

Komputer pojazdu i automatyczny asystent mogą działać według różnych ograniczeń w celu ograniczenia dostępu do poleceń i danych, które w innym przypadku byłyby dostępne za pośrednictwem komputera pojazdu i automatycznego asystenta. Ograniczenie może charakteryzować określone polecenia, dane, typy danych oraz wszelkie inne wejścia i wyjścia, które mogą zostać powiązane z automatycznym asystentem, określając w ten sposób pewne informacje dostępne dla innych użytkowników za pośrednictwem automatycznego asystenta i komputera pojazdu.

Gdy użytkownik wypowiada wypowiedź odpowiadającą konkretnemu poleceniu charakteryzującemu się ograniczeniem, automatyczny asystent może odpowiedzieć zgodnie z dowolnym ograniczeniem, które zostanie powiązane z użytkownikiem i określonym poleceniem. Na przykład, gdy użytkownik podaje wypowiedź ustną, która odpowiada danym pochodzącym z komputera będącego własnością innego użytkownika, wypowiedź ustna może spełniać kryterium ograniczenia dostępu do takich danych.

Jednak w odpowiedzi na odebranie wypowiedzi mówionej, automatyczny asystent może stwierdzić, że kryterium zostało spełnione i czekać na autoryzację od innego użytkownika. Autoryzacja może zostać przekazana przez innego użytkownika do komputera pojazdu i oddzielnego komputera za pośrednictwem innej wypowiedzi mówionej i dowolnego innego wejścia, które można odebrać na komputerze.

Pojazd, który zawiera komputer pojazdu, może zawierać interfejs, taki jak przycisk (np. na kierownicy pojazdu), z którym inny użytkownik może wchodzić w interakcje (np. nacisnąć przycisk), aby wskazać autoryzację zautomatyzowanemu asystent.

W odpowiedzi na otrzymanie przez automatycznego asystenta autoryzacji od innego użytkownika, automatyczny asystent może przystąpić do wykonywania polecenia dostarczonego przez użytkownika, niekoniecznie żądając od użytkownika dalszych danych wejściowych.

Automatyczny asystent ograniczający dostęp do pasażerów

Inny użytkownik może ograniczyć pasażerowi dostęp do pewnych danych, podczas gdy inny użytkownik i pasażer jadą w pojeździe. Drugi użytkownik może ograniczyć dostęp do pewnych danych, gdy pojazd porusza się po określonej trasie i do określonego miejsca docelowego. Dlatego też, gdy pojazd zakończy trasę i dotrze do określonego miejsca docelowego, może zostać zwolnione ograniczenie dostępu do określonych danych i dla pasażera, co umożliwi pasażerowi późniejszy dostęp do tych danych.

Na przykład, gdy inny użytkownik prowadzi pojazd, a pasażer jedzie w pojeździe, pasażer może wypowiadać się do interfejsu automatycznego asystenta pojazdu. Wypowiedź ustna może brzmieć: „Asystencie, zadzwoń do cioci Lucy”.

Automatyczny asystent oczekujący na autoryzację od użytkownika

W odpowiedzi, a ponieważ wypowiedź ustna zawiera żądanie, które spowoduje dostęp do danych kontaktowych użytkownika, automatyczny asystent może poczekać na autoryzację użytkownika przed wykonaniem żądania. Jednak w celu wyeliminowania konieczności wielokrotnego autoryzowania lub nieautoryzacji żądań pochodzących od pasażera, użytkownik może podać inną wypowiedź ustną, taką jak „Asystent, nie odpowiadaj pasażerowi przez pozostałą część tej podróży”.

W odpowiedzi automatyczny asystent może spowodować wygenerowanie danych ograniczających dostęp do usług (np. wykonywanie połączeń telefonicznych), które w innym przypadku byłyby dostępne za pośrednictwem automatycznego asystenta.

W ten sposób użytkownik nie musiałby wielokrotnie autoryzować lub nie autoryzować automatycznego asystenta do odpowiadania na żądania pasażera, eliminując w ten sposób marnotrawstwo zasobów obliczeniowych i zasobów sieciowych. Ponadto, ponieważ ograniczenia dostępu można ustawić tak, aby „zresetować” po zakończeniu podróży lub po dotarciu do miejsca docelowego, użytkownik nie musiałby wyraźnie żądać zresetowania ograniczeń, tym samym eliminując dalsze marnotrawstwo zasobów obliczeniowych i zasobów sieciowych .

Użytkownik może ograniczyć dostęp do niektórych danych pasażerowi na czas nieokreślony i przez cały okres eksploatacji pojazdu.

Na przykład po wypowiedzeniu przez pasażera wypowiedzi „Asystent, zadzwoń do cioci Lucy” i gdy automatyczny asystent oczekuje na autoryzację użytkownika, użytkownik może wygłosić osobną wypowiedź, taką jak „Asystent, nigdy nie odpowiadaj na użytkownik."

Automatyczny asystent powodujący ograniczenie danych do wygenerowania

W odpowiedzi automatyczny asystent może spowodować wygenerowanie danych ograniczających (lub dla okresu eksploatacji pojazdu, komputera pojazdu i automatycznego asystenta), ograniczając dostęp do usług, które w innym przypadku byłyby dostępne dla określonego użytkownika za pośrednictwem automatycznego asystenta.

W zależności od zajętości pojazdu, automatyczny asystent i komputer pojazdu mogą działać zgodnie z modelem działania, który ogranicza dostęp do automatycznego asystenta i komputera pojazdu dla niektórych pasażerów. Na przykład, gdy użytkownik jest jedyną osobą w pojeździe, komputer pojazdu i automatyczny asystent, który jest dostępny za pośrednictwem komputera pojazdu, mogą działać zgodnie z pierwszym trybem działania.

Zajętość pojazdu określona na podstawie danych wyjściowych czujników lub trybów pracy

Zajętość można określić na podstawie danych wyjściowych czujników pojazdu, komputera pojazdu i dowolnego innego urządzenia, które może dostarczyć dane wyjściowe, na podstawie których można oszacować zajętość. Pierwszy tryb pracy może zostać wybrany na podstawie zajętości i może zapewnić użytkownikowi dostęp do pierwszego zestawu usług, danych i poleceń związanych z automatycznym asystentem.

Gdy obłożenie zostanie określone, aby obejmowało więcej niż użytkownika, na przykład gdy użytkownik jedzie z pasażerami (np. rodzic prowadzący z wieloma dziećmi jako pasażerami), można wybrać drugi tryb działania. Zgodnie z drugim trybem działania, użytkownik nadal może uzyskać dostęp do pierwszego zestawu usług, danych i poleceń – jednak pasażerowie będą mogli uzyskać dostęp tylko do drugiego zestawu usług, danych i poleceń.

Drugi zestaw może być inny niż pierwszy zestaw, a drugi zestaw może być zredukowanym podzbiorem w stosunku do pierwszego zestawu. Na przykład naciśnięcie przycisku „rozmowa” na jednostce głównej, gdy tylko kierowca (np. użytkownik bez ograniczeń) jest w pojeździe, może odpowiedzieć prywatnymi danymi bez dalszej autoryzacji.

Jeśli jednak przycisk „rozmawiaj” na jednostce głównej zostanie naciśnięty, gdy pasażer (np. użytkownik z ograniczonym dostępem) znajduje się w pojeździe z kierowcą, automatyczny asystent zażąda dalszych uprawnień, aby odpowiedzieć komuś (np. pasażerowi) naciskając przycisk „rozmawiaj” na jednostce głównej.

Podczas gdy drugi tryb działania (np. współdzielony tryb działania) jest aktywny, pasażer może próbować uzyskać dostęp do usługi, danych i polecenia, które są dostarczane wyłącznie w pierwszym zestawie, a nie w drugim zestawie. Aby zezwolić na taki dostęp, użytkownik (np. kierowca) może wprowadzić dane wejściowe do automatycznego asystenta i komputera pojazdu w celu autoryzacji takiego dostępu.

Użytkownik może na przykład dostarczyć dane wejściowe do interfejsu, takiego jak przycisk i panel wyświetlacza dotykowego, które mogą znajdować się w przybliżeniu w zasięgu kierowcy pojazdu (np. przycisk na kierownicy, zintegrowany panel z wyświetlaczem dotykowym). do deski rozdzielczej i konsoli). Dane autoryzacyjne mogą zostać dostarczone w odpowiedzi na żądanie automatycznego asystenta o autoryzację od użytkownika (np. „Przepraszam, potrzebuję autoryzacji, aby to zrobić… [odebrano autoryzację danych wejściowych]”).

Alternatywnie, automatyczny asystent może ominąć proszenie użytkownika o autoryzację i raczej biernie czekać z odpowiedzią na żądanie pasażera, aż użytkownik dostarczy autoryzacyjnych danych wejściowych.

Jeśli jednak użytkownik zdecyduje się, aby jego automatyczny asystent i komputer pojazdu działały zgodnie z trzecim trybem działania.

W trzecim trybie pracy, w którym nie ma możliwości udzielenia takiej autoryzacji, automatyczny asystent i komputer pojazdu mogą działać w taki sposób, że dostępność niektórych operacji, danych i usług jest ograniczona dla niektórych pasażerów (przynajmniej w stosunku do użytkownika). czyli główny i „główny” użytkownik w odniesieniu do automatycznego asystenta i komputera pojazdu).

Automatyczne procedury Asystenta

Asystent automatyczny może wykonywać procedury automatycznego asystenta. Procedura zautomatyzowanego asystenta może odpowiadać zestawowi i sekwencji czynności wykonywanych i inicjowanych przez zautomatyzowanego asystenta w odpowiedzi na wprowadzenie przez użytkownika określonego sygnału wejściowego. Użytkownik może wypowiadać wypowiedzi, takie jak „Asystent, chodźmy do pracy”, gdy użytkownik wsiada do pojazdu, aby zmusić automatycznego asystenta do wykonania procedury „Idź do pracy”.

Procedura „Going to Work” może obejmować automatycznego asystenta powodującego, że komputer pojazdu renderuje dane graficzne odpowiadające dziennemu harmonogramowi użytkownika i renderuje dane audio odpowiadające podcastowi wybranemu przez użytkownika. Może generować wiadomość do współmałżonka użytkownika wskazującą, że użytkownik zmierza do pracy (np. „Cześć Billy, idę do pracy”). Jednak w niektórych przypadkach pasażer pojazdu może wypowiedzieć słowa: „Asystentu, chodźmy do pracy”.

W zależności od trybu, w jakim pracuje komputer pojazdu i automatyczny asystent, automatyczny asystent może poprosić kierowcę lub innego upoważnionego użytkownika o zezwolenie na wykonanie czynności na żądanej trasie.

Automatyczny asystent rutynowy „Idzie do pracy”

Na przykład, w odpowiedzi na wywołanie przez pasażera procedury „Idź do pracy”, automatyczny asystent może zainicjować wydajność renderowania danych dźwiękowych odpowiadających konkretnemu podcastowi, a także poprosić kierowcę o zezwolenie na zainicjowanie innych działań w ramach procedury.

W szczególności komputer pojazdu i urządzenie serwerowe mogą identyfikować działania procedury, które obejmują dostęp do zastrzeżonych danych. W tym przypadku komputer pojazdu i urządzenie serwerowe mogą określić, że harmonogram użytkownika i kontakty użytkownika (w celu wysłania wiadomości) otrzymują dane zastrzeżone.

W rezultacie podczas wykonywania procedury kierowca może otrzymać monity o udzielenie zgody na wykonanie wszelkich czynności związanych z dostępem do zastrzeżonych danych.

Jeśli kierowca udzieli autoryzacji (np. poprzez zadanie wywołania asystenta), wypowiadając frazę wywołującą (np. „Ok, Asystent.”) lub wchodząc w interakcję z interfejsem (np. naciskając przycisk), procedura może zostać zakończona. Na przykład wiadomość może zostać wysłana do współmałżonka, a rozkład jazdy kierowcy może zostać wygenerowany na głos.

Jeśli jednak autoryzacja nie zostanie udzielona przez kierowcę (np. kierowca nie wykonuje zadania wywołania asystenta), automatyczny asystent może pominąć wykonywanie takich czynności. Jeżeli kierowca nie udzieli upoważnienia do wykonania czynności, pasażerowi mogą zostać udostępnione czynności alternatywne.

Na przykład, zamiast dźwiękowo odtwarzać harmonogram kierowcy, automatyczny asystent może wyświetlać publiczne informacje o zdarzeniach, które mają miejsce w pobliskim regionie geograficznym.

Wysyłanie wiadomości

Zamiast wysyłać wiadomość do współmałżonka kierowcy, automatyczny asystent może zapytać pasażera, czy chciałby, aby wiadomość została przekazana za pośrednictwem jego własnego konta (np. „Chcesz się zalogować, aby wysłać wiadomość? ”). Ograniczenia dotyczące danych kierowcy byłyby egzekwowane przy jednoczesnym zapewnieniu pomocy pasażerowi, który może znajdować się w pojeździe ze względu np. na udział w czynności typu ride-sharing.

Powyższy opis jest przedstawiony jako przegląd niektórych implementacji niniejszego ujawnienia.

Inne implementacje mogą obejmować system komputerów i robotów, który zawiera procesory zdolne do wykonywania zapisanych instrukcji w celu wykonania sposobu, takiego jak sposoby opisane powyżej i gdzie indziej w niniejszym dokumencie.

Ten pojazd z automatycznym asystentem jest opisany w tym patencie:

Sposoby autoryzacji dostępu podczas obsługi pojazdu z funkcją automatycznego asystenta
Wynalazcy: Vikram Aggarwal i Moises Morgenstern Gali
Przypisany: GOOGLE LLC
Patent USA: 11 318 955
Przyznano: 3 maja 2022
Złożono: 28 lutego 2019 r.

Abstrakcyjny:

Wdrożenia dotyczą umożliwienia autoryzacji niektórych funkcji automatycznego asystenta za pośrednictwem jednej lub więcej modalności dostępnych w pojeździe.

Implementacje mogą wyeliminować marnowanie zasobów obliczeniowych i komunikacyjnych, przynajmniej pozwalając innym użytkownikom na autoryzację wykonania niektórych poleceń wejściowych od użytkownika, bez żądania ponownego przesyłania poleceń przez użytkownika.

Pojazd może zawierać urządzenie komputerowe, które zapewnia dostęp do zastrzeżonych danych, do których można uzyskać dostęp w celu wykonania czynności przez automatycznego asystenta.

Jednakże, gdy użytkownik z ograniczonym dostępem zażąda, aby automatyczny asystent wykonał czynność polegającą na dostępie do zastrzeżonych danych, automatyczny asystent może zostać upoważniony lub nieuprawniony do kontynuowania realizacji żądania za pośrednictwem trybu kontrolowanego przez użytkownika bez ograniczeń.

Nieograniczony użytkownik może również spowodować ustanowienie ograniczeń kontekstowych w celu ograniczenia funkcjonalności automatycznego asystenta podczas podróży, dla niektórych typów żądań i/lub dla niektórych pasażerów.

Zautomatyzowany Asystent Udoskonalony Wniosek o Pojazd

O streszczeniu tego patentu pisałem tylko w tym poście. Jeśli chcesz uzyskać więcej informacji na temat działania tego automatycznego patentu pomocniczego, przejdź do samego patentu, aby uzyskać więcej informacji o tym, jak może on działać. To podsumowanie daje pewien wgląd w to, jak kontrola nad pojazdem zostałaby ustanowiona za pomocą automatycznego asystenta.

Obecnie zautomatyzowani asystenci są zwykle mniejszymi urządzeniami, takimi jak inteligentne głośniki. Są szanse, że dorosną, aby robić takie rzeczy, jak pojazdy z napędem, jak pokazano w tym patencie. Interfejs jest inny niż ten, z którego zwykle korzystają urządzenia Google. Są w formacie bardziej konwersacyjnym niż komputer stacjonarny lub laptop. Czytając ten post, przypomniałem sobie o Androidzie Auto. Widzę, że Google chce, aby samochody były kontrolowane przez coś takiego jak Android Auto lub Automated Assistant.