[发明专利]用于控制物联网设备的方法、系统和计算机可读介质

说明书

本文中所讨论的实施方式涉及用于经由便携式电子设备的图形相机界面来控制一个或多个物联网(IoT)设备的系统、方法和装置。可以响应于用户经由便携式电子设备访问相机应用并将便携式电子设备的相机对准IoT设备而将图形相机界面呈现在便携式电子设备处。可以处理从相机的输出生成的一个或多个图像，以识别用户正打算控制的IoT设备。可以使用与用户将其相机瞄准IoT设备的场境相关的信息来帮助缩窄从可能与用户和/或由相机捕获到的图像相关联的多个不同IoT设备中选择IoT设备。

背景技术

个人可以在其家中具有能够由各种应用控制的许多连接设备。这样的连接设备可以包括例如智能灯泡、智能插头、智能锁、智能恒温器、智能安全系统、智能家电等。在一些情况下，可以提供特定应用来控制特定连接设备。然而，必须在客户端设备处安装特定应用。此外，为了控制特定连接设备，用户必须从安装在客户端设备处的一系列应用当中识别出特定应用，选择要在客户端设备处执行的应用，然后在特定应用内浏览以识别并控制特定连接设备。除了需要相对大量的用户输入来控制特定连接设备之外，还可能通过用户识别特定应用、通过执行特定应用和/或通过随着用户在特定应用内浏览以识别并控制特定设备而渲染来自特定应用的内容而消耗了相当多的客户端设备资源(例如，处理器和/或电池)。附加地，这样的特定应用可能消耗客户端设备的存储器。在客户端设备具有有限的存储器资源的许多情形下和/或在客户端设备被用来控制各自具有用于控制相应的连接设备的相应的特定应用的许多根本不同的连接设备的情形下，这样的存储器消耗加剧。

发明内容

本公开总体上涉及用于经由便携式客户端设备的界面来控制一个或多个设备的方法、装置、计算机可执行指令、计算机可执行程序和计算机可读介质(暂时性和非暂时性)。具体地，用户可以激活图形相机界面并将便携式客户端设备的相机对准特定连接设备，以便初始化用于控制该特定连接设备的界面。至少部分地基于处理来自相机的图像数据以及确定图像数据捕获特定连接设备和/或该特定连接设备的安装环境，可以经由界面来控制特定连接设备。特定连接设备可以为例如智能灯泡、智能电视和/或其他智能设备，并且用户可以使用便携式客户端设备的相机和便携式客户端设备的一个或多个界面来控制和/或配置设备。以这种方式，用户不一定必须依靠各种单独的应用来控制其家中的各种设备，而是，可以采用其相机来向其便携式客户端设备指示他们希望控制特定可控设备。由于不一定必需需要用户安装、打开已经由各种可控设备的制造商所提供的每一个应用或者在其之间切换以便控制设备，这能够允许用户释放其便携式客户端设备处的空间和处理带宽。例如，在用户希望控制两个或更多个可控设备的场景中，用户不一定必需需要依靠安装在他/她的客户端设备处的两个或更多个单独的应用来控制可控设备。替代地，可以向用户提供经由客户端设备处的相机相关用户界面来控制两个或更多个可控设备的设施，从而避免客户端设备在与每一个可控设备相关联的不同的应用之间切换的任何需要。将认识到，这能够节省处理负担并减少客户端设备处的电力使用。此外，本文中所公开的各种实施方式减少了控制可控设备所需的用户输入的量。例如，那些实施方式中的一些实施方式使得用户能够在捕获可控设备和/或这些设备的安装环境的图形相机界面处或重叠在该图形相机界面上的图形元素处提供单个输入(例如，轻敲、长轻敲、轻敲并拖曳等)，并且使得能够响应于单个输入而控制可控设备。例如，用户可以将便携式客户端设备的相机对准要控制的目标设备，并且向便携式客户端设备的界面提供输入(例如，轻敲)以便控制目标设备。当控制目标设备时，对目标设备的这种流线化控制改进了用户与客户端设备之间的交互。

在一些实施方式中，用户可以从其便携式客户端设备访问自动助理和/或相机应用，并且将其便携式客户端设备的相机对准特定可控设备，以指示用户对控制该特定可控设备感兴趣。例如，可控设备可以为诸如烤箱的家电。可以将相机的输出转换成图像数据，以在便携式客户端设备和/或能够通过网络(例如，互联网)从便携式客户端设备访问的计算设备处进行处理。图像数据可以在便携式客户端设备和/或另一个计算设备处经历图像辨识处理，以识别可控设备是否被图形化表示在图像数据中(即，用户将其相机对准可控设备)。