[发明专利]报文过滤方法与装置

说明书

技术领域

本发明涉及网络技术领域，特别是涉及一种报文过滤方法与装置。

背景技术

随着网络技术的发展，对网络用户行为的分析越来越多地被应用到网络中，如，个性化推荐或者广告精准投放等。目前，在对网络用户行为进行分析时，由于用户访问网络过程中会产生许多对分析用户行为无效的干扰报文，需要对这些干扰报文进行过滤。

通过对干扰报文进行分析可以发现，干扰报文主要来源于：（1）用户访问网站时，在建立连接过程中产生的DNS报文以及TCP握手的控制报文等；（2）用户获取网页内容时，会同时获得一些辅助报文，如JavaScript报文、Cookie操作报文或广告嵌入报文等；（3）有一部分HTTP GET报文也是干扰报文，如用户下载图片或视频的报文，这类报文因为没有文本信息，暂时无法用于用户行为分析。从以往的报文统计来看，上述干扰报文在所有报文中所占比例非常大，如果不进行过滤，将对数据采集、数据存储以及数据分析过程产生极大负面影响。

为此，采用的一种现有的报文过滤方法包括：确定接收的报文的速率、协议和源地址、以及从预先设置的至少一个速率门限中确定对应于协议和源地址的速率门限；根据所确定的速率门限和报文的门限对报文进行过滤。对上述现有报文过滤方法分析可见，首先，现有的报文过滤用于有线网络，不能对无线网络的报文进行报文过滤；其次，现有的报文过滤主要在有线网络的网络层或链路层进行报文分析及过滤，无法针对上文提到的干扰报文进行过滤。

然而，由于用户访问网络产生的上述干扰报文数据规模庞大，而这些干扰报文占据了很大比例（所占比例约为75%），因此对数据采集、数据存储和数据分析产生了极大负面影响。在这种情况下，即使将现有的有线网络报文的报文过滤方法应用到无线网络中，也会存在：（1）在数据采集过程中，数据采集服务器需要消耗处理器资源和内存资源对干扰报文进行逐条分析，使得数据采集效率低下，并且，当数据采集效率低于报文到达速率时，会产生丢包现象；（2）在数据存储过程中，分布式存储服务器（如Hadoop存储平台）需要消耗大量的存储资源，造成经济效益损失；（3）在数据分析过程中，大量的数据噪音对机器学习算法的效率和效果产生不良影响。

综上可见，需要本领域技术人员迫切解决的一个技术问题就是：如何提供一种针对无线网络的报文过滤方案，对无线网络的网络报文进行有效过滤，以便在后续的报文处理过程中提高无线网络报文采集效率，避免丢包，节约存储服务器资源，提高数据分析过程中机器学习算法的效率和效果。

发明内容

本发明提供了一种报文过滤方法与装置，以解决现有技术中没有针对无线网络的报文过滤方案，对无线网络的网络报文进行有效过滤的问题。

为了解决上述问题，本发明公开了一种报文过滤方法，用于无线网络的网络报文过滤，所述方法包括：获取无线网络用户访问网站的无线网络报文；按照设定的过滤规则顺序，使用设定的过滤规则对所述无线网络报文进行过滤；其中，所述设定的过滤规则包括：非HTTP协议报文过滤规则、主机名过滤规则、URL过滤规则、UA过滤规则、以及，文件名与扩展名过滤规则；所述非HTTP协议报文过滤规则用于过滤非HTTP协议的报文，所述主机名过滤规则用于过滤设定主机名的报文，所述URL过滤规则用于过滤设定URL的报文，所述UA过滤规则用于过滤设定UA的报文，所述文件名与扩展名过滤规则用于过滤设定文件名和/或设定扩展名的报文；所述设定的过滤规则顺序按照从先到后的顺序依次为：所述非HTTP协议报文过滤规则、所述主机名过滤规则、所述URL过滤规则、所述UA过滤规则，和所述文件名与扩展名过滤规则。

优选地，所述获取无线网络用户访问网站的无线网络报文的步骤包括：获取所述无线网络用户访问网络的流量数据；对所述流量数据进行解析，获取所述无线网络报文。

优选地，所述非HTTP协议报文过滤规则为Libpcap过滤规则。

优选地，所述主机名过滤规则包括以下至少之一：IP地址精确匹配规则、DNS域名模糊匹配规则、DNS域名关键字匹配规则。

优选地，所述URL过滤规则包括以下至少之一：包含DNS域名及参数的URL子串匹配规则、仅包含URL参数的子串匹配规则。