[发明专利]一种在网络监控中识别远程桌面语义的方法、装置和系统

权利要求书

1.一种在网络监控中识别远程桌面语义的方法，其特征在于，包括:

S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地;

S2.将所述的数据副本转发到语义提取服务器进行语义的提取；

S3.从所述的数据副本中获取鼠标点击坐标（x0,y0），然后从该点出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

S4.提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类器，与特征库中的数据特征进行对比输出语义结果。

2.根据权利要求1所述的在网络监控中识别远程桌面语义的方法，其特征在于，步骤S4后还包括以下步骤：

S5.根据用户的后续输入，进行下一步的输入判断;

S6.如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内;如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端;

如果是落在同一区域，则进入重命名状态，并输出语义结果;

S7.如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

3.根据权利要求1所述的在网络监控中识别远程桌面语义的方法，其特征在于，所述的分类器完成第一层的语义识别处理，输出的结果是在使用关联特征类型情况下计算输入和特征库中所有语义模型之间的相似度；

二层分类器会对第一层的输出结果进行过滤得到候选的结果；

如果候选结果多于一个，则对候选结果执行模板匹配算法，模板为预先为每一个语义模型保存的标准图标图像，匹配的图像为输入的区域图像；

步骤执行完之后就得到了确定的一个语义结果；这个语义结果在切换到状态“选中”的时候会输入到实时监控客户端的文本监控窗口，同时保存至日志数据库中，以备以后的日志回放。

4.根据权利要求1所述的在网络监控中识别远程桌面语义的方法，其特征在于，所述的特征库具有若干个文字或单词的字体的图像特征。

5.一种在网络监控中识别远程桌面语义的装置，其特征在于，包括:

会话数据截获单元，用于监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地;

语义提取单元，用于将所述的数据副本转发到语义提取服务器进行语义的提取；

边缘点查找单元，用于从所述的数据副本中获取鼠标点击坐标（x0,y0），然后从该点出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像；

区域图像特征提取单元，用于提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类器，与特征库中的数据特征进行对比输出语义结果。

6.根据权利要求5的在网络监控中识别远程桌面语义的装置，其特征在于，所述的区域图像特征提取单元后还包括以下单元：

后续输入单元，用于根据用户的后续输入，进行下一步的输入判断;

点击判断单元，用于如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内;如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端;

如果是落在同一区域，则进入重命名状态，并输出语义结果;

删除状态判断单元，用于如果输入的是“delete”键，则进入确认删除状态，输出语义结果。

7.一种在网络监控中识别远程桌面语义的系统，包括:远程连接客户端、远程目标服务器、监控服务器、语义提取服务器、定时监控客户端，其中，所述的远程连接客户端、远程目标服务器及语义提取服务器均与监控服务器相连，所述的语义提取服务器还与定时监控客户端相连，其特征在于，所述的监控服务器具有权利要求5中所述的在网络监控中识别远程桌面语义的装置。

8.根据权利要求7的在网络监控中识别远程桌面语义的系统，其特征在于，所述的定时监控客户端包括智能手机和/或电脑和/或智能电视。