[发明专利]语音控制智能设备终端操作的方法和装置

说明书

本发明公开了一种语音控制智能设备终端操作的方法，包括步骤一、获取智能设备显示的所有界面信息，步骤二、搜索界面显示的文字信息，步骤三、保存界面布局信息并对UI元素进行标记处理，步骤四、接收用户语音信息，步骤五、识别步骤四中接收到的用户语音的语音意图，步骤六、根据步骤五识别的语音意图进行意图匹配，步骤七、如果匹配到语音意图，根据意图进行终端控制，如果匹配不到语音意图，提示重新输入指令并重复步骤四到六。本发明还公开了一种语音控制智能设备终端操作的装置，包括语音识别模块、界面元素识别模块、语音匹配模块和界面控制模块。本发明的语音控制智能设备终端操作的方法和装置能快速识别语音意图，提高用户体验。

技术领域

本发明涉及智能家居技术领域，具体是语音控制智能设备终端操作的方法和装置。

背景技术

在智能家居含有显示终端设备的时候，现有技术中大多需要使用遥控器进行控制，但是这种控制方式存在控制复杂，输入困难以及用户在可选择列表比较多的时候很难准确的控制。

现有技术CN106653014A提供了一种智能家居的语音控制方法和智能家居的语音控制装置，其中，智能家居的语音控制方法包括：在获取到声纹信息时，触发智能家居采集实时图像信息；检测实时图像信息中是否具有人体特征信息；在检测到具有人体特征信息时，触发开启语音控制功能；在开启语音控制功能后，解析声纹信息中的语音信息；检测语音信息是否与预存语音控制指令匹配；在检测到语音信息与预存语音控制指令匹配时，控制智能家居执行预存语音控制指令。该技术优点在于采用非接触式控制智能设备，实现了智能设备控制方式的多样性和先进性。但是该技术采用的语音控制方式是根据声纹的语音信息进行语义解析并与预存控制指令进行匹配，匹配方式对声纹中的语音信息要求高，需要与预存指令一致才能进行操控，无法解决语音控制难的问题。

发明内容

本发明的目的在于提供一种语音控制智能设备终端操作的方法和装置，以解决上述背景技术中提出的传统智能家居遥控方式使用复杂、现有语音控制智能设备语音指令匹配要求高，无法解决控制困难的问题。

为实现上述目的，本发明提供如下技术方案：

一种语音控制智能设备终端操作的方法，该方法包括以下步骤：

步骤一、获取智能设备显示的所有界面信息，包括界面中显示的UI元素、当前页面的层级信息、所属应用名称等信息；

步骤二、搜索界面显示的文字信息；

步骤三、保存界面布局信息，依次对所有UI元素信息进行标记处理；

步骤四、接收用户语音信息；

步骤五、识别步骤四中接收到的用户语音的语音意图；

步骤六、根据步骤五识别的语音意图进行意图匹配；

步骤七、如果匹配到语音意图，根据用户语音针对的意图进行终端控制，如果匹配不到语音意图，提示用户重新输入语音指令并重复步骤四到步骤六。

优选的，所述步骤三对UI元素信息进行标记处理包括：

S31、对界面中元素序号处理，从左侧到右侧，从上到下对非列表元素进行排序；

S32、对界面中包含的列表信息的列表名称按照抬头信息进行命名，对列表中每一个元素排序并记录编号；

S33、对所有元素信息进行控制类、内容查看类和内容输入类三种分类方式进行分类。

优选的，所述步骤五识别用户语音意图包括：

S51、识别用户声音；

S52、对声音识别成文字；

S53、将文字内容根据规则转换成语义；

S54、输出多种语义控制意图。