[发明专利]语音控制方法、语音控制装置以及计算机可执行非易失性存储介质

说明书

一种语音控制方法，包括：获取语音输入信息；对所述语音输入信息进行识别，以得到语音命令；基于所述语音命令，利用测试框架调用单元，确定与所述语音命令对应的控件，其中，所述测试框架调用单元不在所述控件所在的应用程序中；执行所述控件对应的功能。该方法在不修改系统源码和不需要针对特定APP进行适配的情况下，实现对三方APP的控制，更加灵活方便和普适性更强。还提供了语音控制装置和计算机可执行非易失性存储介质。

技术领域

本公开实施例涉及一种语音控制方法、与该语音控制方法对应的语音控制装置以及计算机可执行非易失性存储介质。

背景技术

随着智能手机的迅速普及，移动互联网也在迅速发展，在智能操作系统和移动互联网共同快速发展的情况下，安卓操作系统由于其开源，可以深度定制的优点，已经成为各类智能设备使用最多的操作系统，运行安卓系统的设备种类最为繁多，这些设备使用语音交互的方式越来越普遍。

然而，虽然安卓生态中已经有大量的应用程序(APP)可以免费安装使用，但是这些APP大都采用用户对手机设备的触摸操作输入,要想使用语音自然交互控制，就需要重新开发APP。这样除了工作量大，可能还涉及到与第三方APP公司合作的问题，时间和经济成本都很高。

另外，也可以通过修改操作系统源码对指定的第三方APP进行指令和控件之间的适配，来实现不修改三方APP源码的情况下对其进行控制。但这种方法需要做适配工作，对三方APP的使用还是有一定的限制，另外修改操作系统源码也增加了开发难度。

发明内容

本公开实施例的目的在于提供一种语音控制方法、语音控制装置以及非易失性存储介质，以解决上述技术问题。

根据本公开至少一个实施例，提供了一种语音控制方法，包括：获取语音输入信息；对所述语音输入信息进行识别，以得到语音命令；基于所述语音命令，利用测试框架调用单元，确定与所述语音命令对应的控件，其中，所述测试框架调用单元不在所述控件所在的应用程序中，执行所述控件对应的功能。

例如，所述基于所述语音命令，利用测试框架调用单元，确定与所述语音命令对应的控件包括：利用所述测试框架调用单元，获取当前用户界面上处于前台运行状态的应用程序中的控件；获取所述控件上的字符串或控件的描述字符串；将所述语音命令与所述控件上的字符串或控件的描述字符串相匹配，以确定与所述语音命令对应的控件。

例如，所述语音命令还包括命令参数，其中，所述基于所述语音命令，利用测试框架调用单元，确定与所述语音命令对应的控件还包括：利用所述测试框架调用单元，获取在当前用户界面上处于前台运行状态的应用程序中的所述控件的位置；利用所述测试框架调用单元，确定与所述控件的位置相邻的至少一个位置上是否有编辑框，当确定有一个或多个所述编辑框时，将所述命令参数输入到任一所述编辑框中；其中，执行所述控件对应的功能包括：基于所述命令参数执行所述控件对应的功能。

例如，确定与所述控件的位置相邻的至少一个位置上是否有编辑框包括：查找所述当前用户界面上的所有编辑框；识别各所述编辑框的边界；基于所述边界确定与所述控件的位置相邻的至少一个位置上的编辑框的位置。

例如，所述对所述语音输入信息进行识别，以得到语音命令包括：将所述语音输入信息转换成字符串；将转换的字符串与预设语音命令相匹配；基于匹配结果确定所述语音输入信息对应的语音命令。

例如，将转换的字符串与预设语音命令相匹配包括：建立字符串与预设的语音命令的对应关系集合；基于模板匹配或深度学习确定转换的字符串在所述集合中所相匹配的语音命令；将所述字符串与所述确定的语音命令相匹配。

例如，所述基于所述语音命令，利用测试框架调用单元，确定与所述语音命令对应的控件包括：基于所述测试框架调用单元调用的测试框架，获取当前用户界面中的处于前台运行状态的应用程序的图像；对所述图像进行识别，以确定所述图像中的控件图标；将所述语音命令与所述控件图标相匹配，以确定与所述语音命令对应的控件。