[发明专利]确定用于执行动作的代理的方法、计算设备和存储介质

说明书

描述了一种助理，该助理至少部分地基于从计算设备的相机接收的图像数据来从多个代理中选择推荐的代理以执行与图像数据相关联的一个或多个动作。助理确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作，并且响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，输出对推荐的代理的指示。响应于接收到确认推荐的代理的用户输入，助理使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。

背景技术

一些计算平台可以提供用户接口，用户从所述用户接口可与虚拟的计算助理(例如，也称为“智能个人助理”或简称为“助理”)聊天、讲话或者以其它方式进行通信以使该助理输出有用的信息，对用户的需要做出响应或者以其它方式执行某些操作以帮助用户完成各种真实世界的或虚拟的任务。例如，计算设备可以用麦克风或相机来接收对应于用户发言或用户环境的用户输入(例如，音频数据、图像数据等)。至少部分地在计算设备处执行的助理可以分析用户输入并且试图通过基于该用户输入输出有用的信息、对由该用户输入所指示的用户的需要做出响应来“协助”用户，或者以其它方式执行某些操作以基于用户输入来帮助用户完成各种真实世界的或虚拟的任务。

发明内容

通常，本公开的技术可以使得助理能够至少部分地基于由助理获得的图像数据来管理用于采取动作或者执行操作的多个代理。多个代理可以包括在助理内包括的和/或与助理共享共同发布者的一个或多个第一方(1P)代理和/或与计算设备的不是助理的部分的或不与助理共享共同发布者的应用或组件相关联的一个或多个第三方(3P)代理。在接收到来自用户的利用、存储和/或分析用户的个人信息的显式和不含糊的许可之后，计算设备可以用图像传感器(例如，相机)接收对应于用户环境的图像数据。代理选择模块可以分析图像数据以至少部分地基于图像数据中的内容来确定给定用户环境下用户可能想要执行的一个或多个动作。动作可以由助理或者由来自由助理管理的多个代理中的一个或多个代理的组合来执行。助理可以确定是推荐助理还是推荐的代理执行一个或多个动作并且输出对推荐的指示。响应于接收到确认或者改变推荐的用户输入，助理可以执行、发起、邀请或者使代理执行一个或多个动作。以这种方式，助理被配置成不仅确定可以适于用户的环境的动作，而且还推荐用于执行动作的适当的行动者。因此，所描述的技术可以通过减少用户发现各种动作并使助理执行各种动作所要求的用户输入的量来改进使用助理的可用性。

在一个示例中，本公开涉及一种方法，所述方法包括：通过可由计算设备访问的助理从计算设备的相机接收图像数据；通过助理基于图像数据并从可由计算设备访问的多个代理中选择推荐的代理以执行与图像数据相关联的一个或多个动作；并且通过助理确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作。所述方法还包括：响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，通过助理使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。

在另一示例中，本公开涉及一种系统，所述系统包括用于以下的装置：从计算设备的相机接收图像数据；基于图像数据并从可从计算设备访问的多个代理中选择推荐的代理以执行与图像数据关联的一个或多个动作；以及确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作。所述系统还包括用于以下的装置：响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。

在另一示例中，本公开涉及一种计算机可读存储介质，所述计算机可读存储介质包括指令，所述指令当由计算设备的一个或多个处理器执行时，使计算设备从计算设备的相机接收图像数据；基于图像数据并从可从计算设备访问的多个代理中选择推荐的代理以执行与图像数据相关联的一个或多个动作；以及确定是推荐助理还是推荐的代理执行与图像数据相关联的一个或多个动作。所述指令当被执行时，进一步使一个或多个处理器响应于确定推荐推荐的代理执行与图像数据相关联的一个或多个动作，使推荐的代理至少发起与图像数据相关联的一个或多个动作的执行。