[发明专利]一种在网络监控中识别远程桌面语义的方法、装置和系统

说明书

技术领域

本发明涉及通讯领域，特别涉及一种在网络监控中识别远程桌面语义的方法、装置及其系统。 

背景技术

在网络运维中，远程桌面应用监控是非常重要的一个环节。远程桌面会话产生的日志数据通常是以视频数据的形式存储。目前的远程桌面监控方式主要通过观看监控视频获取主要信息，目前尚未存在能够识别远程桌面语义的方法。这种监控方式存在几个方面的缺点： 

1.视频数据占据空间大，存储资源消耗高。视频数据包含大量的冗余信息，这些冗余信息占总的日志信息的很大一部分，目前还没有好的办法消除这些冗余信息。 

2.视频数据的回放时间成本和人力成本高。视频数据的记录是按照自然时间的流逝进行，所以在回放时候需要花费等量的时间成本才能了解整个视频的内容。 

3.视频数据做不到准确定位。在未对整体记录了解之前，无法定位到某个操作发生的特定点。 

针对视频监控的这些缺点，有一个主要的方法进行解决。就是进行视频摘要的提取。视频摘要是把视频中的一些关键帧提取出来作为整个视频内容的描述。但是视频摘要只是减弱了视频监控的缺点，未能从根本上解决其问题。其缺点包括： 

1.无法实现实时的处理方式，必须进行后期处理。视频摘要的提取需要对总的视频进行分析处理。 

2.视频摘要提取对硬件要求高。目前还没有非常高效的视频摘要的提取算法，如果硬件资源不足，这将是一个非常漫长的过程。 

3.视频摘要对于复杂变化的视频效果不显著。如果视频变化频繁，意味着关键帧的数量非常多。这样提取得到的视频摘要依然比较大量，仍然造成大量时间成本和人力成本的发生。 

发明内容

本发明的目的是提供一种在网络监控中识别远程桌面语义的方法、装置及其系统，以解决上述视频监控中存在的存储空间大、效率低、无法准确定位、时间和人力成本高的缺点和问题，实现高效和低成本的远程桌面监控。 

解决上述问题，本发明采用了如下技术方案： 

本发明公开了一种在网络监控中识别远程桌面语义的方法，包括: 

S1.监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地; 

S2.将所述的数据副本转发到语义提取服务器进行语义的提取； 

S3.从所述的数据副本中获取鼠标点击坐标（x0,y0），然后从该点出发向屏幕图像的上方查找边缘点，再从结果的边缘点中查找水平距离最大的边缘点，这个点即是网格区域的四个顶点之一，再其次就可以分别从水平和垂直两个方向找到剩余的3个顶点，顶点确定之后就可以截取出所点击的图标元素的区域图像； 

S4.提取区域图像的三种特征：颜色直方图特征、边缘直方图特征和纹理特征，然后分别作为三个事先训练好的分类器，与特征库中的数据特征进行对比输出语义结果。 

在本发明所述的在网络监控中识别远程桌面语义的方法中，步骤S4后还包括以下步骤： 

S5.根据用户的后续输入，进行下一步的输入判断; 

S6.如果输入的是点击，则需要判断是否点击落在上一步截取的区域之内;如果不在，则进入未选中状态，并输出相应的文本信息到实时监控客户端; 

如果是落在同一区域，则进入重命名状态，并输出语义结果; 

S7.如果输入的是“delete”键，则进入确认删除状态，输出语义结果。 

在本发明所述的在网络监控中识别远程桌面语义的方法中，所述的分类器完成第一层的语义识别处理，输出的结果是在使用关联特征类型情况下计算输入和特征库中所有语义模型之间的相似度； 

二层分类器会对第一层的输出结果进行过滤得到候选的结果； 

如果候选结果多于一个，则对候选结果执行模板匹配算法，模板为预先为每一个语义模型保存的标准图标图像，匹配的图像为输入的区域图像； 

步骤执行完之后就得到了确定的一个语义结果；这个语义结果在切换到状态“选中”的时候会输入到实时监控客户端的文本监控窗口，同时保存至日志数据库中，以备以后的日志回放。 

在本发明所述的在网络监控中识别远程桌面语义的方法中，所述的特征库具有若干个文字或单词的字体的图像特征。 

本发明公开了一种在网络监控中识别远程桌面语义的装置，包括: 

会话数据截获单元，用于监控服务器将客户端和目标服务器之间的所有的会话数据截获并复制数据副本到本地; 

语义提取单元，用于将所述的数据副本转发到语义提取服务器进行语义的提取；