[发明专利]提供用于控制连接设备的复合图形助理界面的方法、系统和装置

说明书

提供了用于定制用于与多个不同连接设备交互的复合图形助理界面的方法、装置、系统和计算机可读介质。能够响应于用户提供对自动化助理使连接设备执行特定功能的请求而生成复合图形助理界面。响应于自动化助理接收到请求，自动化助理能够识别连接设备能够执行的其它功能。然后能够将其它功能映射到各种图形控制元素，以便提供用户能够与连接设备交互的复合图形助理界面。能够根据连接设备的状况来布置每个图形控制元素，以便反映连接设备如何与复合图形助理界面的呈现同时操作。

背景技术

人类可以参与与在本文中称为“自动化助理”(也称为“数字代理”、“聊天机器人”、“交互式个人助理”、“智能个人助理”、“助理应用”、“谈话代理”等)的交互式软件应用的人机对话。例如，人类(其在他们与自动化助理交互时可以被称为“用户”)可以使用在一些情况下可以被转换成文本然后被处理的口头自然语言输入(即话语)和/或通过提供文本(例如，键入的)自然语言输入来向自动化助理提供命令和/或请求。

能够使用一些自动化助理来控制物联网(“IoT”)设备。然而，许多IoT设备能够带有它们自己的对应应用。结果，已获取了多个不同的IoT设备的用户可能被指派有在其个人计算设备上安装各种第三方应用的任务。因为应用可能通常需要存储器、网络带宽、更新和/或其它资源，所以在单个设备上具有各种类似的应用可能是效率低的。尽管用户可以依靠自动化助理来调解用户与特定IoT设备之间的交互，但是此类交互可能频繁地需要将来自用户的口头话语从音频转换为文本。为了实行音频到文本的转换，时常必须通过网络来发送音频数据，从而消耗显著网络带宽。此外，当用户被正在说话的其它人们包围或者另外在具有背景噪声的环境中时，以这样的方式调解交互可能证明是不可靠的。结果，当最终未识别或以其它方式未履行对IoT设备执行特定功能的请求时，用户与自动化助理之间的对话会话可能浪费计算资源和网络资源。

发明内容

本公开通常涉及用于提供用来控制多个不同的设备的复合图形助理界面的方法、装置和计算机可读介质(暂时性和非暂时性)。随着诸如灯泡和其它器具的常见设备的网络连接变得更普遍，通过网络与此类设备对接的方式可能增加。这可能是部分地由于制造类似设备的制造商数目增加而导致的。例如，可能有数十个智能灯泡制造商，并且大多数灯泡制造商可以提供从中控制其相应的灯泡的应用或界面。结果，安装来自不同的制造商的灯泡的用户可以将不同的应用下载到其个人计算设备以用于控制灯泡。这可能浪费存储器，因为安装多个应用可能占用大量设备存储器，并且还可能浪费网络带宽，因为在设备上具有多个应用可以使设备检查更新，共享数据，并且/或者为相应的制造商推送通知。为了克服这些和/或其它限制，本文描述的一些实现方式提供用于自动化助理生成用于控制各种设备的复合图形助理界面的各种技术，而不管设备是由不同的第三方提供的。

复合图形助理界面可以是由一个或多个图形元素编译以便实行对一个或多个设备的控制的界面。复合图形助理界面能够由自动化助理采用，该自动化助理能够作为用户与任何连接设备之间的中介。例如，用户能够提供诸如“Assistant,turn on my kitchenlights(助理，打开我的厨房灯)”的口头话语。能够在能够包括一个或多个麦克风和显示面板的客户端设备处接收口头话语，并且作为响应，自动化助理能够使用户家的厨房中的任何灯打开。此外，自动化助理能够识别用户已请求自动化助理控制的“物联网”(IoT)设备的类型，并且识别与IoT设备的类型相关联的一个或多个控制参数。控制参数能够对应于槽值，这些槽值能够被供应给IoT设备以用于修改IoT设备的状态，因此能够通过分析用于IoT设备的可接受槽值来识别控制参数。例如，诸如智能灯泡的IoT设备能够接收可以诸如能够与灯泡的光照状态相对应的“打开”和“关闭”的槽值，和/或诸如能够与灯泡的颜色状态相对应的“红色”、“绿色”和“蓝色”的颜色值。此外，IoT设备能够接收诸如能够与灯泡的亮度状态相对应的介于0与100之间的任何数字的槽值。当自动化助理已识别IoT设备的所有可能的槽值和/或所得状态时，自动化助理能够识别用来编译复合图形助理界面的合适的图形控制元素。