[发明专利]一种用户访问行为的获取方法和系统

说明书

技术领域

本发明涉及数据处理领域，尤其涉及一种用户访问行为的获取方法和系统。

背景技术

目前信息技术的飞速发展和企业信息化程度的不断提高，用户的使用也越来越丰富了。很多用户通过网络资源来学习、休闲、娱乐等。有些商家为了获得经济效益，开始在各个网站做大量的广告图片，还有些广告推广等。同时伴随着国家倡导的三网融合等，各个业务的融合已经进入了企业的运营。为了确保一个稳定、安全、高效的网络运营环境，管理员或者企业老板不得不常常面临以下问题——如何监控用户的上网行为？如何跟踪网络应用资源的使用情况？

为了解决上述问题，记录用户的上网行为是必然的。尤其是记录企业员工浏览页面的行为。因为通过分析用户浏览的页面内容我们可以了解员工感兴趣的方面，或者是否做了一些非法言论和访问一些非法网站等。这些信息也可以为公安局破案等提供重要的依据。

现有的技术中记录用户上网行为的方案只是简单的将每条链接的URL提取出来，发送出去。由于现代网络技术的发展，我们尝试点击一个页面，那么这个页面就会尝试着链接与其相关联的广告，图片等。那么最后我们看到的日志就会是有许多多余的日志审计出来。这些多余的日志长时间的积累，就会把我们所需要的真正的日志给冲到后面，管理员看起来很迷惑，怎么也找不到自己需要的日志。同时这些大量的多余日志的出现也会占用大量的存储空间，最后的现象是我们浪费了许多存储空间，保存了许多没用的日志。管理员看起来也会很头疼，不知道那个是真正的所需要的日志信息。

发明内容

本发明提供的，要解决的技术问题是如何过滤掉用户访问的网页中链接与其相关联的广告或图片的网络链接。

为解决上述技术问题，本发明提供了如下技术方案：

一种网络访问行为的获取方法，包括：

获取网页访问数据；

根据预先设置的策略，对网络访问数据的http头部中的字段进行过滤；

对过滤后的报文中的URL信息进行处理，得到用户的网络访问行为。

优选的，所述方法还具有如下特点：所述预先设置的策略包括选择http实体为被压缩的实体或者含有title特征的未被压缩的实体，其中被选择的实体的http头部中的字段符合如下条件：

Content-Type字段是text/html的类型；

Content-Length字段小于或等于1024字节；

transfer-encoding首部的类型是chunked，并且该回应包的实体长度大于零并且该回应包的实体是以“.0d0a0d0a”结尾的；

URL的长度小于130字节；

URL文件后缀不是.js、.png、.css、.dif、.klz、.ico、.xml、.xsl、.ani或.dll。

优选的，所述方法还具有如下特点：

所述方法还包括：

记录同一个IP地址对应的URL信息，将记录的URL信息作为用户的网络访问行为；

所述对过滤后的报文中的URL信息进行处理，得到用户的网络访问行为，包括：

将过滤得到的某一IP地址的网络访问数据中URL信息与本地记录的该IP地址对应的URL信息进行匹配；

如果该IP地址对应的URL信息有匹配对象，输出所述网络访问数据中的URL信息；否则，先将网络访问数据中的URL信息增加到该IP地址对应的URL信息中，再输出所述网络访问数据中的URL信息。

优选的，所述方法还具有如下特点：所述将过滤得到的某一IP地址的网络访问数据中URL信息与本地记录的该IP地址对应的URL信息进行匹配，包括：

采用网络访问数据中URL信息与该IP地址对应的URL信息中的最后N个字节的内容进行比较，其中N的取值范围为20～1000。

优选的，所述方法还具有如下特点：

所述记录同一个IP地址对应的URL信息，还包括：

记录所述记录同一个IP地址对应的URL以及该URL被访问的时间；

所述将网络访问数据中URL信息增加到该IP地址对应的URL信息中还包括：

当该IP地址对应的URL信息的个数达到预先设置的个数阈值后，根据该IP地址中每个URL被访问的时间，删除被访问时间最早的URL的信息。

优选的，所述方法还具有如下特点：

所述对过滤后的报文中的URL信息进行处理，得到用户的网络访问行为还包括：