[发明专利]一种计算机图形界面交互方法及系统

权利要求书

1.一种计算机图形界面交互方法，其特征在于，包括以下步骤：

S1，计算机图形界面接收用户语音或文字指令，如果是语音指令，则使用语音识别技术转写成文字指令；

S2，基于文本相似度计算技术，将用户的文字指令与当前图形界面交互知识库的控件指令匹配；

S3，如果通过控件指令未命中控件，则使用控件标签来计算用户的文字指令与控件的匹配度，所述控件标签是关于控件的关键词；

S4，根据步骤S2或S3得到与用户的文字指令相匹配的命中控件，将命中控件更新到交互状态中，并自动触发用户的文字指令对应的操作事件；

所述图形界面交互知识库的构建方法如下：

将图形界面中的控件保存到控件层级关系库；

在控件层级关系库中建立控件之间的上下层关系；

在控件指令库中维护控件指令，所述控件指令包括一个标准说法和若干相似说法，标准说法和相似说法支持自然语言文本和正则表达式；

在控件标签库中维护控件标签及标签同义词；

一个图形界面内嵌一个图形界面交互知识库；

所述步骤S2中，基于文本相似度计算技术，将用户的文字指令与当前图形界面交互知识库的控件指令匹配，具体包括：

S201，使用文本相似度计算以及正则表达式匹配技术计算用户的文字指令与控件指令的相似度；

S202，将相似度高于预设阈值的控件指令加入候选控件，并按相似度从高到低排序；

S203，如果存在多个候选控件，则使用交互状态进行消歧：从交互状态中取出上一次命中的控件，如果存在上一次命中的控件，则根据控件层级关系计算候选控件与上一次命中的控件的距离为主要比较特征再辅以候选指令与用户的文字指令的相似度挑选与文字指令最匹配的控件；

所述步骤S3中，使用控件标签来计算用户的文字指令与控件的匹配度，具体包括：

S301，将用户的文字指令中存在的控件标签对应的控件加入候选控件；

S302，如果存在多个候选控件，则检查候选控件的上层控件及祖先控件的标签是否存在于用户的文字指令中；

S303，将检查通过的上层控件及祖先控件的个数作为候选控件的打分，如果最高打分对应的候选控件有多个，则使用与S203相同的消歧方法从多个候选控件中挑选最匹配的控件。

2.根据权利要求1所述的计算机图形界面交互方法，其特征在于，所述文本相似度计算技术为基于编辑距离的方法、基于Jaccard距离的方法、基于余弦相似度的方法或基于神经网络的方法。

3.一种计算机图形界面交互系统，应用于权利要求1-2任一所述的计算机图形界面交互方法，其特征在于，包括：

用户指令识别处理模块，用于接收用户语音或文字指令，如果是语音指令，则使用语音识别技术转写成文字指令；

控件指令匹配模块，用于基于文本相似度计算技术，将用户的文字指令与当前图形界面交互知识库的控件指令匹配；

控件标签匹配模块，用于使用控件标签来计算用户的文字指令与控件的匹配度，所述控件标签是关于控件的关键词；

交互状态更新模块，用于将命中控件更新到交互状态中，并自动触发用户的文字指令对应的操作事件；

图形界面交互知识库，用于存储控件以及控件之间的上下层关系、控件指令、控件标签。

4.根据权利要求3所述的计算机图形界面交互系统，其特征在于，所述图形界面交互知识库具体包括：

控件层级关系库，用于存储控件，并建立控件之间的上下层关系；

控件指令库，用于维护控件指令；

控件标签库，用于维护控件标签及标签同义词。