[发明专利]基于检测到的嘴运动和/或凝视的适配自动助理

说明书

基于检测下述来适配自动助理：用户嘴的运动；和/或将用户的凝视定向在提供自动助理的自动助理接口(图形和/或可听)的助理设备。嘴运动和/或定向凝视的检测可以基于对来自诸如被合并在助理设备中的相机的与助理设备相关联的一个或多个视觉组件的视觉数据的处理。被检测到的嘴运动可以是指示(嘴所属于的)用户讲话的运动。

背景技术

人类可以参与与在本文中称为“自动助理”(也称为“数字代理”、“交互式个人助理”、“智能个人助理”、“助理应用”、“谈话代理”等)的交互式软件应用的人机对话。例如，人类(其在他们与自动助理交互时可以被称为“用户”)可以使用口头自然语言输入(即，话语)和/或通过提供文本(例如，键入的)自然语言输入来向自动助理提供命令和/或请求，该口头自然语言输入在一些情况下可以被转换成文本然后处理。自动助理通过提供响应用户接口输出来对请求做出响应，该响应用户接口输出能够包括可听的用户接口输出和/或视觉的用户接口输出。

发明内容

促进与自动助理交互的许多客户端设备——如在本文中也称为“助理设备”——使得用户能够参与与自动助理的无接触交互。例如，助理设备常常包括麦克风，这些麦克风允许用户提供声音话语来调用自动助理和/或以其它方式与之交互。本文描述的助理设备能够附加地或替换地并入一个或多个视觉组件(例如，相机、光检测和测距(LIDAR)组件、雷达组件等)，并且/或者与一个或多个视觉组件通信，以促进与自动助理的无接触交互。

本文公开的实施方式涉及基于检测下述来适配自动助理：(1)用户嘴的运动(在本文中也称为“嘴运动”)；和/或(2)用户的凝视被定向在助理设备(在本文中也称为“定向凝视”)，其中该助理设备提供自动助理的自动助理接口(图形和/或可听)。嘴运动和/或定向凝视的检测可以基于对来自与助理设备相关联的一个或多个视觉组件的视觉数据的处理，所述视觉组件诸如被合并在助理设备中的相机，或者与客户端设备分离(但与客户端设备通信)的相机。被检测到的嘴运动可以是指示(嘴所属于的)用户讲话的运动。这与由于用户转动他的/她的头部，向左/向右迈步等而可能发生的用户的嘴的运动对比。如将在下面所解释的，本文描述的实施方式可以提供被用于实现自动助理的计算资源和通信的效率。例如，如从下面的讨论中将显而易见的，实施方式的各方面可以产生对通过数据网络的通信的更多选择性的发起以及通过网络的数据业务中的对应减少。因为在发起与远程系统的任何联系之前已滤出来自客户端设备的一些潜在通信，所以例如来自于客户端设备的网络通信的更具选择性的发起可能会进一步导致更有效地利用与其发起通信的远程系统处的计算资源。对远程系统上的数据网络和计算资源的使用的效率改善能够在由网络中的传送器和接收器对电力的使用方面以及在远程系统处的存储器操作和处理使用方面导致显著节省。也可以在客户端设备处体验到对应效果，如下面所描述的。这些效果特别地随着时间和自动助理的进行操作的推移，允许在网络中并在整个计算装置(包括运行助理的设备和系统)中体验到显著附加容量。此附加容量无论是否是助理相关的都能够被用于数据网络中的进一步通信，而无需例如通过附加或更新的基础设施以及计算装置中的附加计算操作来扩展网络能力。其它技术改善将从以下讨论中明显。

作为一个示例，可以响应于检测到用户嘴运动(可选地在阈值持续时间内)、检测到用户的凝视被定向在助理设备(可选地相同或不同阈值持续时间内)以及可选地用户的嘴运动和定向凝视同时发生或者在彼此的阈值时间接近内(例如，在0.5秒内、在1.0秒或其它阈值时间接近内)发生来适配自动助理。。例如，可以响应于检测到具有至少0.3秒持续时间的嘴运动，并且响应于检测到具有至少0.5秒持续时间并且与嘴运动同时发生或在嘴运动的0.5秒内发生的定向凝视而适配自动助理。