[发明专利]一种计算机图形界面交互方法及系统

说明书

本发明提供了一种计算机图形界面交互方法及系统，该方法包括：S1，计算机图形界面接收用户语音或文字指令，如果是语音指令，则使用语音识别技术转写成文字指令；S2，基于文本相似度计算技术，将用户的文字指令与当前图形界面交互知识库的控件指令匹配；S3，如果通过控件指令未命中控件，则使用控件标签来计算用户的文字指令与控件的匹配度；S4，根据步骤S2或S3得到与用户的文字指令相匹配的命中控件，将命中控件更新到交互状态中，并自动触发用户的文字指令对应的操作事件。本发明运用人工智能技术改进计算机图形界面交互方式，使得计算机能够根据人的语音或文字指令生成相应动作，实现计算机适应人，具有简单直观、智能化、人性化的特点。

技术领域

本发明涉及人机交互技术领域，特别是涉及一种计算机图形界面交互方法及系统。

背景技术

计算机图形界面是人与计算机交互的主要媒介，具有呈现直观、操作简易的特点。一方面，人通过视觉听觉从图形界面接收信息；另一方面，人通过鼠标键盘操作图形界面的控件来向计算机发送指令，控制计算机的行为。然而，鼠标键盘的出现不是以计算机适应人为初衷，而是人适应计算机的产物，与人与人交互常用的听说读写有很大的不同。随着自然语言处理、语音识别与合成等人工智能技术的发展，使得计算机理解人的语音和文字成为可能，从而让计算机以自然的人性化的听和读的方式来理解人的意图并做出相应的动作，将人适应计算机转变为计算机适应人。

发明内容

本发明的目的是提供一种计算机图形界面交互方法及系统，运用人工智能技术改进计算机图形界面交互方式，使得计算机能够根据人的语音或文字指令生成相应动作，实现计算机适应人，具有简单直观、智能化、人性化的特点。

为实现上述目的，本发明提供了如下方案：

一种计算机图形界面交互方法，包括如下步骤：

S1，计算机图形界面接收用户语音或文字指令，如果是语音指令，则使用语音识别技术转写成文字指令；

S2，基于文本相似度计算技术，将用户的文字指令与当前图形界面交互知识库的控件指令匹配；

S3，如果通过控件指令未命中控件，则使用控件标签来计算用户的文字指令与控件的匹配度，所述控件标签是关于控件的关键词；

S4，根据步骤S2或S3得到与用户的文字指令相匹配的命中控件，将命中控件更新到交互状态中，并自动触发用户的文字指令对应的操作事件。

进一步的，所述图形界面交互知识库的构建方法如下：

将图形界面中的控件保存到控件层级关系库；

在控件层级关系库中建立控件之间的上下层关系；

在控件指令库中维护控件指令，所述控件指令包括一个标准说法和若干相似说法，标准说法和相似说法支持自然语言文本和正则表达式；

在控件标签库中维护控件标签及标签同义词。

进一步的，一个图形界面内嵌一个图形界面交互知识库。

进一步的，所述步骤S2中，基于文本相似度计算技术，将用户的文字指令与当前图形界面交互知识库的控件指令匹配，具体包括：

S201，使用文本相似度计算以及正则表达式匹配技术计算用户的文字指令与控件指令的相似度；

S202，将相似度高于预设阈值的控件指令加入候选控件，并按相似度从高到低排序；

S203，如果存在多个候选控件，则使用交互状态进行消歧：从交互状态中取出上一次命中的控件，如果存在上一次命中的控件，则根据控件层级关系计算候选控件与上一次命中的控件的距离为主要比较特征再辅以候选指令与用户的文字指令的相似度挑选与文字指令最匹配的控件。