[发明专利]在访问非助理应用时通过自动助理初始化非助理后台动作

说明书

在此阐述的实施方式涉及一种系统，该系统采用自动助理来推进在用户和另一个应用之间进行交互，该系统可以向自动助理提供在用户与其它应用交互的同时初始化相关应用动作的许可。此外，该系统可以允许自动助理初始化不同应用的动作，尽管它正在积极操作特定应用。自动助理可以使用各种特定于应用的方案收集可用的动作，这些可用的动作可以与从用户到自动助理的传入请求进行比较。附加数据，例如场境和历史交互，也可用于对要通过自动助理初始化的合适的应用动作进行排名和识别。

背景技术

人类可以与本文中称为“自动助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“会话代理”等)进行人机对话。例如，人类(当他们与自动助理交互时可以称为“用户”)可以使用口头自然语言输入(即口头话语)，这在某些情况下可以转换成文本然后进行处理，和/或通过提供文本(例如，打字的)自然语言输入向自动助理提供命令和/或请求。自动助理可以通过提供响应用户界面输出来响应请求，该响应用户界面输出可以包括可听和/或视觉用户界面输出。

当用户正在操作其它应用时，自动助理的可用性可能有限。结果，用户可能尝试调用自动助理来执行用户与其它应用相关联的某些功能，但当自动助理无法继续时，最终终止与自动助理的对话会话。例如，自动助理的有限可用性或有限功能可能意味着用户无法通过自动助理处理的语音命令控制其它应用。这会浪费计算资源，例如网络和处理带宽，因为在对话会话期间对口头话语的任何处理都不会导致任何动作的执行。此外，由于这种缺陷，当用户与其各自的自动助理交互时，用户可能避免操作其它应用，这样可能以其它方式为用户进行的各种任务提供效率。此类任务的一个示例是通过安装在用户计算设备上的应用控制单独的硬件系统，例如加热系统、空调系统或其它气候控制系统。此类避免可能导致任何可能以其它方式由此类应用辅助的设备(例如智能恒温器和硬件系统内的其它应用控制设备)以及可能受益于此类应用或受益于他们对相关联的控制的任何人的效率低下。

此外，当用户确实选择与他们的自动助理交互以执行某些任务时，由于用户打开了另一个应用，自动助理的有限功能可能无意中否定正在进行的对话会话。其它应用的打开可以被许多系统假定为用户不再对推进正在进行的对话会话感兴趣的指示，当用户实际上打算执行与对话会话相关的动作时，这会浪费计算资源。在这种情况下，对话会话可能会被取消，从而导致用户重复任何先前的口头话语以重新调用自动助理，这会阻碍用户使用此类系统初始化某些应用动作的任何进度。

发明内容

本文中阐述的实施方式涉及一个或多个系统，用于允许用户调用自动助理以初始化特定应用(或单独的应用)的一个或多个动作的执行，同时允许用户与该特定应用交互。用户正在与其交互的特定应用可以与表征能够由特定应用执行的各种不同动作的数据相关联。此外，单独的应用也可以与该数据相关联，这也可以表征能够由那些单独的应用执行的各种动作。当用户正在与特定应用交互时，用户可以提供口头话语以推进完成特定应用或一个或多个单独的应用可以完成的一个或多个动作。

作为示例，特定应用可以是用户正通过计算设备访问的警报系统应用。例如，警报系统应用可以安装在计算设备上。在下面的讨论中，计算设备将在平板计算设备的场境中被提及，但是应当理解，计算设备可以替代地是智能电话、智能手表等。用户可以使用平板计算设备来访问警报系统应用以查看由与警报系统应用通信的一个或多个安全相机捕获的视频。在观看视频时，用户可能希望确保他们的警报系统。为了做到这一点，用户可以在与警报系统应用的视频界面交互的同时提供口头话语，即无需关闭他们正在查看的视频或以其它方式导航到警报系统应用的单独的界面以确保警报系统。例如，用户可以提供诸如“secure the alarm system(确保警报系统)”的口头话语。在一些实施方式中，口头话语可以在平板计算设备和/或远程计算设备(例如服务器设备)处被处理，以便识别用户正在请求自动助理对其执行进行初始化的一个或多个动作。例如，可以在设备上执行对口头话语的自动话音识别和/或自然语言理解。可以在设备上执行自动话音识别(ASR)以检测某些术语，这些术语可以对应于能够通过设备执行的特定动作。替代地或附加地，可以在设备上执行自然语言理解(NLU)，以便识别能够通过设备执行的某些意图。