[发明专利]一种动态URL过滤方法及装置

说明书

技术领域

本发明涉及URL过滤技术领域，尤其涉及一种动态URL过滤方法及装置。

背景技术

2014年1月16日，中国互联网络信息中心(CNNIC)在京发布第33次《中国互联网络发展状况统计报告》。《报告》显示，截至2013年12月，中国网民规模达6.18亿，互联网普及率为45.8％。其中，手机网民规模达5亿，继续保持稳定增长。随之而存在的是每天上网活动产生的大量数据，这里面浏览网页占了绝大部分的比重，也就是说http(hypertext transfer protocol，超文本传送协议)的承载量很大。随之必然会有大规模的URL存在。但是，其中往往有意义的URL只是一部分。有一定数量的URL(Uniform Resource Locator，统一资源定位器)已经不能再访问，比例约20％。在能访问的URL集合里面也只是关心静态部分的URL，因为占比约15％的动态URL的内容会发生变化。因此，对动态URL的过滤很有必要性。

传统的对动态URL进行过滤的方法是基于对网页内容变化进行判断的，具体是先对URL进行一次访问，判断出它是否能被访问，然后对能访问的URL进行两次访问，对其页面内容进行MD5值转换。然后对两次的MD5值进行比较。如果两次内容的MD5值相同，那么该URL就是静态URL，否则认为该URL是动态URL。但是此种方法的速度比较慢，过程比较长，而且比较耗资源。因此，需要寻找一种更好更快速的方法来进行分类。

发明内容

本发明要解决的技术问题是，提供一种动态URL过滤方法及装置，在节省资源消耗的同时提高处理的速度。

本发明采用的技术方案是，所述动态URL过滤方法，包括：

基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；

针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；

采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；

基于所述信息字段对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；

将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL。

进一步的，所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、后缀长度、数字与字符之间的转换频次；

所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串，所述设定的停用词包括：“％”、“，”和“；”。

进一步的，设定的标点符号出现次数的归一化数值的确定方式是：先计算该设定的标点符号在各URL中出现的次数，找出出现该设定的标点符号的次数最多的URL，然后相对于该最多的出现次数，将所有URL中的出现次数进行归一化后得到每个URL中的该设定的标点符号的统计特征，经过归一化后，任一URL的该设定的标点符号的统计特征的数值均在0～1范围内；

后缀长度的归一化数值的确定方式是：先计算各URL的后缀长度，然后找出具备最长后缀长度的URL，再计算出各URL的后缀长度与最长后缀长度的比值即得到归一化后的每个URL中的后缀长度的归一化数值，任一URL的后缀长度的归一化数值均在0～1范围内。

进一步的，针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，包括：

针对URL标注集中的每一个URL，确定该URL中的字符串特征和统计特征；

将该URL中的字符串特征和统计特征组成该URL的特征向量。

进一步的，所述分类算法，包括：线性逻辑回归分类算法、朴素贝叶斯算法或者支持向量机算法。

本发明还提供一种动态URL过滤装置，包括：

训练模块，用于基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；