자동 어시스턴트 지원 차량

Google의 자동 어시스턴트는 내일 무엇을 할 수 있습니까? 그들은 스마트 홈과 사물 인터넷 장치를 운영하고 우리가 차량을 운전하는 데 관여할 가능성이 있습니다. 이번 주에 자동 비서를 사용하여 차량을 제어하는 ​​것에 대한 특허가 Google에 부여되었습니다. 이것은 곧 구현되지는 않지만 멀지 않은 미래에 우리가 추진하고 있는 것일 수 있습니다.

미래의 차량을 제어하는 ​​자동 어시스턴트

인간은 본 문서에서 "자동 보조자"라고 하는 대화형 소프트웨어 응용 프로그램을 사용하여 인간 대 컴퓨터 대화에 참여할 수 있습니다.

저는 다양한 방식으로 인간과 상호작용하는 Google의 자동 어시스턴트에 대해 몇 가지 다른 게시물을 작성했습니다.

다음은 자동화 비서에 대해 작성한 이전 게시물입니다.

• 자동 어시스턴트가 어린이의 질문에 응답하는 방법
• Google 자동 어시스턴트 검색 결과
• Google 어시스턴트 및 컨텍스트 기반 자연어 처리

자동 비서인 스피커 장치가 있습니다. 일부 검색을 수행하고 음악을 듣고 일부 검색 결과를 내 휴대전화로 보내는 데 사용합니다. 그것은 내가 자동차를 운전하는 데 도움이 되는 것만큼 많은 일을 하지는 않지만, 이 특허는 Google의 자동 비서가 미래에 할 수 있는 일을 보여주는 예시가 될 수 있습니다.

이 특허에 따라 인간은 음성 자연어 입력(예: 발화)을 사용하여 명령 및 요청을 자동화된 비서에 제공할 수 있습니다. 이 입력은 경우에 따라 텍스트로 변환된 다음 처리될 수 있으며 텍스트(예: 입력된) 자연어 입력을 제공합니다. .

자동화된 비서는 차량을 포함한 다양한 전자 장치에 통합될 수 있습니다. 휴대폰과 같은 다른 컴퓨터와 달리 차량은 일반적으로 넓은 지역에서 움직이기 때문에 외부 서버와 통신할 때 대역폭 제한에 더 취약합니다.

이는 부분적으로 차량이 적절한 네트워크 범위를 제공하지 않는 지역을 통과하기 때문에 발생할 수 있습니다. 이것은 차량 컴퓨터와 원격 서버 간의 많은 왕복을 포함할 수 있는 자동화된 보조 작업에 영향을 줄 수 있습니다.

자동화된 비서는 공개적으로 사용 가능한 데이터와 사용자별 데이터에 액세스할 수 있으며, 이는 자동화된 비서가 제공하는 개인 사용자 계정과 연결될 수 있습니다. 많은 사용자에게 서비스를 제공하는 자동 어시스턴트에는 각 계정에 대해 서로 다른 데이터를 사용할 수 있는 여러 계정이 있을 수 있습니다.

자동화된 어시스턴트 명령

따라서 한 사용자가 자동 ​​어시스턴트에게 요청하고 요청에 응답하는 것이 두 번째 사용자 계정에 액세스하는 것과 관련된 경우 자동 어시스턴트는 두 번째 사용자에게 자신의 계정에 로그인하고 요구.

결과적으로 네트워크 대역폭 및 채널 사용 시간과 같은 계산 및 통신 리소스는 차량 컴퓨터와 서버 간의 많은 상호 작용을 증가시켜 소모될 수 있습니다.

제한을 무시하는 다른 사용자

여기에 설명된 구현은 특정 입력 명령 및 특정 사용자가 특정 차량 컨텍스트에서 제한되는지 여부를 결정하는 데 사용되는 제한 사항에 따라 차량 자동 어시스턴트 응답을 제한하는 것에 관한 것입니다. 또한, 여기에 설명된 구현은 다른 사용자가 차량 컴퓨터 또는 다른 컴퓨터에 대한 입력을 통해 인증을 제공함으로써 특정 제한을 무시할 수 있도록 합니다.

다른 사용자가 이러한 제한을 무시할 수 있도록 허용하면 제한된 사용자가 입력을 허용하는 방식으로 특정 입력을 바꿔서 다시 제출할 필요가 없을 때 더 적은 처리 리소스와 네트워크 대역폭이 소모되므로 계산 리소스를 보존할 수 있습니다.

예를 들어, 승객이 차량의 소유자가 아니거나 다른 방식으로 액세스할 수 있는 연락처에 액세스할 수 있도록 허용되지 않았기 때문에 "Assistant, send message to Karen"과 같은 음성 입력을 차량 자동 어시스턴트에 제공하는 승객이 거부될 수 있습니다. 차량 자동 어시스턴트.

결과적으로 차량 자동 어시스턴트는 "미안합니다. 당신은 그러한 명령을 수행할 권한이 없습니다."와 같은 응답을 제공할 수 있으며, 승객은 예를 들어 "Ok, Assistant , 971-555-3141로 메시지를 보내주세요.”

승객과 차량 자동 어시스턴트 간의 이러한 대화 세션은 나중에 말한 입력이 오디오 데이터로 변환되고 네트워크를 통해 전송되고 처리되어야 하므로 계산 리소스를 낭비할 수 있습니다.

예를 들어 이동하는 차량과 같이 사용 가능한 대역폭이 제한되거나 가변적인 상황에서는 네트워크를 통해 보조 장치에서 데이터가 전달되는 채널을 더 오래 사용해야 할 수 있기 때문에 특히 바람직하지 않을 수 있습니다. 바람직한 것보다.

이러한 채널이 사용되는 시간은 자동 어시스턴트의 작동뿐만 아니라 정보를 주고받기 위해 네트워크에 의존하는 다른 소프트웨어 애플리케이션에도 영향을 미칠 수 있습니다.

이러한 소프트웨어 애플리케이션은 예를 들어, 자동 어시스턴트와 동일한 장치(예: 다른 차량 내 소프트웨어 애플리케이션)에 존재할 수 있습니다. 그러나, 여기에 제공된 구현은 사용자에게 명령을 다시 제출하도록 요청하지 않고 다른 사용자가 사용자로부터 특정 입력 명령의 실행을 승인하도록 허용함으로써 계산 및 통신 리소스의 이러한 낭비를 제거할 수 있습니다.

명령에 대한 액세스 제한

차량 컴퓨터와 자동 어시스턴트는 차량 컴퓨터와 자동 어시스턴트를 통해 액세스할 수 있는 명령 및 데이터에 대한 액세스를 제한하기 위해 서로 다른 제한 사항에 따라 작동할 수 있습니다. 제한 사항은 특정 명령, 데이터, 데이터 유형 및 자동 비서와 연관될 수 있는 기타 입력 및 출력을 특성화하여 자동 비서 및 차량 컴퓨터를 통해 다른 사용자가 사용할 수 있는 특정 정보를 정의할 수 있습니다.

사용자가 제한을 특징으로 하는 특정 명령에 대응하는 발화를 제공할 때, 자동 어시스턴트는 사용자 및 특정 명령과 연관되는 임의의 제한에 따라 응답할 수 있습니다. 예를 들어, 사용자가 다른 사용자가 소유한 컴퓨터에서 시작된 데이터에 대응하는 발화를 제공할 때, 발화는 그러한 데이터에 대한 액세스를 제한하는 기준을 만족할 수 있습니다.

그러나 음성 발화 수신에 대한 응답으로 자동 어시스턴트는 기준이 충족되었다고 판단하고 다른 사용자의 승인을 기다릴 수 있습니다. 인증은 다른 사용자가 다른 발화 및 컴퓨터에서 수신할 수 있는 기타 입력을 통해 차량 컴퓨터 및 별도의 컴퓨터에 제공할 수 있습니다.

차량 컴퓨터를 포함하는 차량은 버튼(예를 들어, 차량의 스티어링 휠에 있음)과 같은 인터페이스를 포함할 수 있으며, 이 인터페이스는 다른 사용자가 자동화된 시스템에 승인을 나타내기 위해 상호작용할 수 있는(예를 들어, 버튼을 누름) 어시스턴트.

자동 어시스턴트는 다른 사용자로부터 승인을 받는 것에 응답하여, 사용자로부터 추가 입력을 반드시 요청할 필요 없이 사용자가 제공한 명령의 실행을 진행할 수 있다.

승객에 대한 접근을 제한하는 자동화된 어시스턴트

다른 사용자는 다른 사용자와 동승자가 차량에 탑승하는 동안 특정 데이터에 액세스하는 것을 제한할 수 있습니다. 다른 사용자는 차량이 특정 경로를 따라 특정 목적지로 이동하는 동안 특정 데이터에 대한 액세스를 제한할 수 있습니다. 따라서 차량이 경로를 완료하고 특정 목적지에 도착하면 특정 데이터 및 승객에 대한 액세스 제한이 해제되어 승객이 이후에 이러한 데이터에 액세스할 수 있습니다.

예를 들어, 다른 사용자가 차량을 운전하고 있고 동승자가 차량에 타고 있을 때, 동승자는 차량의 자동 어시스턴트 인터페이스에 음성을 제공할 수 있다. 음성 발언은 "조수, Lucy 이모에게 전화해"일 수 있습니다.

사용자의 승인을 기다리는 자동화된 어시스턴트

이에 대한 응답으로 음성 발화에는 사용자의 연락처 정보에 액세스하는 요청이 포함되어 있기 때문에 자동 어시스턴트는 요청을 수행하기 전에 사용자의 승인을 기다릴 수 있습니다. 그러나 승객의 요청을 반복적으로 승인하거나 승인하지 않아야 하는 번거로움을 없애기 위해 사용자는 "어시스턴트, 이번 여행의 나머지 기간 동안 승객에게 응답하지 마십시오"와 같은 다른 음성 발화를 제공할 수 있습니다.

이에 응답하여, 자동 어시스턴트는 그렇지 않으면 자동 어시스턴트를 통해 이용 가능했을 서비스(예를 들어, 전화 걸기)에 대한 액세스를 제한하기 위해 제한 데이터가 생성되게 할 수 있습니다.

이러한 방식으로 사용자는 승객의 요청에 응답하기 위해 자동 어시스턴트를 반복적으로 승인하거나 승인하지 않아도 되므로 계산 리소스 및 네트워크 리소스의 낭비를 제거할 수 있습니다. 또한, 접근 제한은 여행이 끝날 때 또는 목적지에 도달할 때 "재설정"으로 설정될 수 있기 때문에 사용자가 명시적으로 제한 재설정을 요청할 필요가 없으므로 계산 리소스 및 네트워크 리소스의 낭비를 더욱 제거합니다. .

사용자는 특정 데이터에 대한 액세스를 승객에게 무기한으로 그리고 차량의 작동 수명 동안 제한할 수 있습니다.

예를 들어 승객이 "어시스턴트, 루시 이모에게 전화해"라는 음성을 제공한 후 자동 어시스턴트가 사용자의 승인을 기다리는 동안 사용자는 "어시스턴트, 절대 응답하지 않음"과 같은 별도의 음성 발화를 제공할 수 있습니다. 사용자."

생성되는 제한 데이터를 유발하는 자동화된 어시스턴트

이에 대한 응답으로, 자동 어시스턴트는 제한 데이터가 생성되도록(또는 차량, 차량 컴퓨터 및 자동 어시스턴트의 작동 수명 동안) 자동 어시스턴트를 통해 특정 사용자가 사용할 수 있는 서비스에 대한 액세스를 제한할 수 있습니다.

차량의 탑승 상황에 따라 특정 승객에 대해 자동 도우미 및 차량 컴퓨터에 대한 접근을 제한하는 운영 모델에 따라 자동 도우미 및 차량 컴퓨터가 작동할 수 있습니다. 예를 들어, 사용자가 차량에 탑승한 유일한 사람인 경우, 차량용 컴퓨터 및 차량용 컴퓨터를 통해 접속 가능한 자동 어시스턴트가 제1 동작 모드에 따라 동작할 수 있다.

센서 또는 작동 모드의 출력을 기반으로 결정된 차량 점유율

점유는 차량 센서의 출력, 차량 컴퓨터 및 점유를 추정할 수 있는 출력을 제공할 수 있는 기타 장치를 기반으로 결정될 수 있습니다. 제1 작동 모드는 점유를 기반으로 선택될 수 있고 자동 어시스턴트와 관련된 서비스, 데이터 및 명령의 제1 세트에 대한 액세스를 사용자에게 제공할 수 있습니다.

사용자가 승객과 함께 운전하는 경우(예를 들어, 많은 어린이를 동반한 부모가 운전하는 경우)와 같이 사용자보다 더 많은 탑승자가 포함된 것으로 판단되면, 제2 작동 모드가 선택될 수 있다. 두 번째 작동 모드에 따라 사용자는 여전히 첫 번째 서비스, 데이터 및 명령 집합에 액세스할 수 있지만 승객은 두 번째 서비스, 데이터 및 명령 집합에만 액세스할 수 있습니다.

제2 세트는 제1 세트와 상이할 수 있고, 제2 세트는 제1 세트에 비해 축소된 부분집합일 수 있다. 예를 들어, 차량에 운전자(예: 무제한 사용자)만 있을 때 헤드 유닛의 "통화" 버튼을 누르면 추가 승인 없이 개인 데이터로 응답할 수 있습니다.

그러나 운전자와 함께 차량에 동승자(예: 제한된 사용자)가 있을 때 헤드 유닛의 "통화" 버튼이 눌리면 자동 어시스턴트는 누군가(예: 동승자)가 누를 때 응답하기 위해 추가 권한을 요청합니다. 헤드 유닛의 "토크" 버튼.

제2 작동 모드(예를 들어, 공유 작동 모드)가 활성화되어 있는 동안, 승객은 제2 세트가 아닌 제1 세트에서만 독점적으로 제공되는 서비스, 데이터 및 명령에 액세스를 시도할 수 있다. 이러한 액세스를 허용하기 위해 사용자(예: 운전자)는 이러한 액세스를 승인하기 위해 자동 어시스턴트 및 차량 컴퓨터에 입력을 제공할 수 있습니다.

사용자는 예를 들어 버튼 및 터치 디스플레이 패널과 같은 인터페이스에 대한 입력을 제공할 수 있으며, 이는 차량의 운전자가 거의 도달할 수 있는 범위 내에 위치할 수 있습니다(예: 스티어링 휠의 버튼, 터치 디스플레이 패널 일체형 대시보드 및 콘솔). 승인 입력은 사용자로부터 승인을 요청하는 자동 어시스턴트에 대한 응답으로 제공될 수 있습니다(예: "죄송합니다. 그렇게 하려면 승인이 필요합니다... [승인 입력 수신됨]").

대안적으로, 자동 어시스턴트는 사용자에게 승인을 요청하는 것을 우회할 수 있고, 오히려 사용자가 승인 입력을 제공할 때까지 승객의 요청에 응답하기 위해 수동적으로 기다릴 수 있습니다.

그러나 사용자가 자동 ​​어시스턴트와 차량 컴퓨터를 제3 작동 모드에 따라 작동하도록 선택한 경우.

그러한 승인을 제공할 수 있는 옵션이 없는 세 번째 작동 모드에서 자동 어시스턴트와 차량 컴퓨터는 특정 작동, 데이터 및 서비스의 가용성이 일부 승객(적어도 사용자에 대해 상대적)에 대해 제한되도록 작동할 수 있습니다. 자동 어시스턴트 및 차량 컴퓨터와 관련된 기본 및 "마스터" 사용자입니다.

자동화된 어시스턴트 루틴

자동화된 비서는 자동화된 비서 루틴을 수행할 수 있습니다. 자동화 어시스턴트 루틴은 사용자가 특정 입력을 제공하는 것에 응답하여 자동화 어시스턴트에 의해 수행되고 초기화된 일련의 동작 및 동작에 대응할 수 있습니다. 사용자는 자동 비서가 "일하러 가기" 루틴을 수행하도록 하기 위해 사용자가 차량에 탑승할 때 "비서, 일하러 가자"와 같은 음성 발화를 제공할 수 있습니다.

"일하러 가기" 루틴은 차량 컴퓨터가 사용자의 일일 일정에 해당하는 그래픽 데이터를 렌더링하고 사용자가 선택한 팟캐스트에 해당하는 오디오 데이터를 렌더링하도록 하는 자동 어시스턴트를 포함할 수 있습니다. 사용자의 배우자에게 사용자가 일하러 가는 중임을 나타내는 메시지를 생성할 수 있습니다(예: "안녕 Billy, 일하러 갑니다."). 그러나 어떤 경우에는 차량의 승객이 "어시스턴트, 일하러 가자"라는 음성을 제공할 수 있습니다.

차량 컴퓨터와 자동 어시스턴트가 작동하는 모드에 따라 자동 어시스턴트는 운전자 또는 다른 승인된 사용자에게 요청된 라우팅의 작업을 수행할 수 있는 권한을 제공하도록 요청할 수 있습니다.

자동 어시스턴트 "일하러 가기" 루틴

예를 들어 승객이 "일하러 가기" 루틴을 호출하면 자동 어시스턴트가 특정 팟캐스트에 해당하는 오디오 데이터 렌더링 성능을 초기화하고 루틴의 다른 작업을 초기화하기 위해 운전자에게 권한 부여를 요청할 수도 있습니다.

특히, 차량 컴퓨터 및 서버 장치는 제한된 데이터에 액세스하는 것과 관련된 루틴의 동작을 식별할 수 있습니다. 이 경우, 차량 컴퓨터 및 서버 장치는 사용자의 일정 및 사용자의 연락처(메시지 전송용)가 제한된 데이터를 받는 것으로 결정할 수 있습니다.

결과적으로 루틴을 수행하는 동안 드라이버는 제한된 데이터에 액세스하는 것과 관련된 작업을 실행할 수 있는 권한을 부여하라는 메시지를 받을 수 있습니다.

운전자가 권한을 부여하면(예: 보조 호출 작업을 통해) 호출 문구를 말하거나(예: "Ok, Assistant.") 인터페이스와 상호 작용(예: 버튼 누름)하여 루틴을 완료할 수 있습니다. 예를 들어, 메시지가 배우자에게 전송될 수 있고 운전자의 일정이 들을 수 있게 렌더링될 수 있습니다.

그러나 운전자가 인증을 제공하지 않는 경우(예: 운전자가 보조자 호출 작업을 수행하지 않는 경우), 자동 보조자는 이러한 작업의 수행을 우회할 수 있습니다. 운전자가 작업을 완료할 수 있는 권한을 제공하지 않으면 승객에게 옵션으로 대체 작업이 제공될 수 있습니다.

예를 들어, 자동 도우미는 운전자의 일정을 음성으로 렌더링하는 대신 가까운 지리적 지역에서 발생하는 이벤트에 대한 공개 정보를 렌더링할 수 있습니다.

메시지 보내기

자동 어시스턴트는 운전자의 배우자에게 메시지를 보내는 대신 승객에게 자신의 계정을 통해 메시지를 전송할 것인지 묻는 메시지를 표시할 수 있습니다(예: "메시지를 보내기 위해 로그인하시겠습니까? "). 운전자의 데이터에 대한 제한이 시행되는 동시에 예를 들어 라이드 셰어링 활동 참여로 인해 차량에 있을 수 있는 승객에게 도움을 제공합니다.

위의 설명은 본 개시내용의 일부 구현의 개요로서 제공된다.

다른 구현은 상기 및 본 명세서의 다른 곳에서 설명된 방법과 같은 방법을 수행하기 위해 저장된 명령을 실행하도록 동작가능한 프로세서를 포함하는 컴퓨터 및 로봇의 시스템을 포함할 수 있다.

이 자동 어시스턴트 지원 차량은 이 특허에 설명되어 있습니다.

자동 어시스턴트 지원 차량 운행 시 접근 권한 부여 방식
발명가: Vikram Aggarwal 및 Moises Morgenstern Gali
양수인: GOOGLE LLC
미국 특허: 11,318,955
부여: 2022년 5월 3일
출원일: 2019년 2월 28일

추상적인:

구현은 차량 내에서 사용 가능한 하나 이상의 양식을 통해 특정 자동 보조 기능의 승인을 가능하게 하는 것과 관련됩니다.

구현은 사용자에게 명령을 다시 제출하도록 요청하지 않고 최소한 다른 사용자가 사용자의 특정 입력 명령 실행을 승인하도록 허용함으로써 계산 및 통신 리소스의 낭비를 제거할 수 있습니다.

차량은 행동이 자동화 어시스턴트에 의해 수행되기 위해 액세스될 수 있는 제한된 데이터에 대한 액세스를 제공하는 컴퓨팅 장치를 포함할 수 있습니다.

그러나 제한된 사용자가 자동화된 어시스턴트가 제한된 데이터에 액세스하는 것과 관련된 작업을 수행하도록 요청할 때 자동화된 어시스턴트는 제한되지 않은 사용자가 제어하는 ​​방식을 통해 요청을 이행하도록 승인되거나 승인되지 않을 수 있습니다.

제한되지 않은 사용자는 또한 여행 중, 특정 유형의 요청 및/또는 특정 승객에 대해 자동 어시스턴트의 기능을 제한하기 위해 상황적 제한이 설정되도록 할 수 있습니다.

자동화된 어시스턴트 향상된 차량 결론

나는 이 포스트에서 이 특허의 요약에 대해서만 썼다. 이 자동 보조 특허의 작동 방식에 대한 자세한 내용을 보려면 특허 자체를 클릭하여 작동 방식에 대한 자세한 내용을 확인하십시오. 이 요약은 자동 어시스턴트를 사용하여 차량을 제어하는 ​​방법에 대한 통찰력을 제공합니다.

현재 자동 어시스턴트는 스마트 스피커와 같은 더 작은 장치인 경향이 있습니다. 이 특허에서 볼 수 있는 것처럼 그들이 성장하여 동력 차량과 같은 일을 하게 될 가능성이 있습니다. 인터페이스는 Google 기기에서 사용하는 경향이 있는 인터페이스와 다릅니다. 데스크탑이나 랩탑 컴퓨터보다 대화형 형식입니다. 이 글을 읽으면서 안드로이드 오토가 생각났습니다. 나는 구글이 안드로이드 오토나 자동 어시스턴트 같은 것으로 자동차를 제어하기를 원하는 것을 볼 수 있다.