[发明专利]一种物联网设备的控制方法和装置

权利要求书

1.一种物联网设备的控制方法，其特征在于，包括：

物联网设备的控制装置获得包含有至少一个物联网设备的图像和来自用户的启动控制指令，所述启动控制指令用于启动对所述至少一个物联网设备中的第一物联网设备的控制；

将所述图像和所述启动控制指令输入预先训练好的第一模型，以得到所述至少一个物联网设备中第一物联网设备的设备信息，所述设备信息包括如下一项或多项：设备类型、编号和操控提示，所述操控提示用于提示对所述第一物联网设备进行控制可使用的操控指令；所述编号用于区分同一类型中不同的设备；

显示所述第一物联网设备的设备信息，以便于用户基于所述设备信息对所述第一物联网设备进行控制；

接收来自用户的操控指令，所述操控指令用于控制所述至少一个物联网设备中的第一物联网设备；若物联网设备为电视机，则对该物联网设备的操控指令包括：菜单、选台；若物联网设备为机械臂，则对该物联网设备的操控指令包括：控制 ；

响应于所述操控指令，显示与所述第一物联网设备的操控界面，所述操控界面用于引导所述用户对所述第一物联网设备的操作；

所述显示所述第一物联网设备的设备信息，包括：

在所述控制装置的增强画面中显示所述第一物联网设备的设备信息；

所述响应于语音指令，显示所述第一物联网设备的操控界面，包括：

响应于所述语音指令，在所述控制装置的增强画面中显示所述第一物联网设备的操控界面；其中，若操控指令为菜单，则显示菜单选项；若操控指令为控制，则机械臂显示不同方向的箭头。

2.根据权利要求1所述的方法，其特征在于，所述第一模型包括图像理解网络、语音识别网络和语义特征提取网络；

所述方法还包括：

获取训练样本，所述训练样本包括包含有至少一个物联网设备的图像和对所述至少一个物联网设备的语音操控指令，所述图像携带标注，所述标注用于指示所述图像中物联网设备的类型、编号、位置、状态中的一项或多项信息；

通过所述图像理解网络提取所述图像的语义描述；

通过所述语音识别网络提取语音信号的文本信息；

将所述语义描述和所述文本信息输入所述语义特征提取网络，以对所述语义特征提取网络进行训练，训练后的所述语义特征提取网络用于对输入的语义描述和文本信息进行融合，获得物联网设备的设备信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于用户的隔空操作或触屏操作，控制所述第一物联网设备。

4.如权利要求1或3所述的方法，其特征在于，所述控制装置为增强现实眼镜、手机或平板电脑。

5.一种物联网设备的控制装置，其特征在于，包括用于实现如权利要求1至4中任一项所述的方法的模块。

6.一种物联网设备的控制装置，其特征在于，包括处理器，所述处理器用于执行权利要求1至4中任一项所述的方法。

7.一种计算机可读存储介质，其特征在于，包括指令，当其在计算机上运行时，使得计算机执行权利要求1至4任一项所述的方法。