[发明专利]一种动态URL过滤方法及装置

权利要求书

1.一种动态URL过滤方法，其特征在于，包括：

基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；

针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；

采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；

基于所述信息字典对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；

将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL；

所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、后缀长度、数字与字符之间的转换频次；

所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串，所述设定的停用词包括：“％”、“，”和“；”。

2.根据权利要求1所述的动态URL过滤方法，其特征在于，设定的标点符号出现次数的归一化数值的确定方式是：先计算该设定的标点符号在各URL中出现的次数，找出出现该设定的标点符号的次数最多的URL，然后相对于最多的出现次数，将所有URL中的出现次数进行归一化后得到每个URL中的该设定的标点符号的统计特征，经过归一化后，任一URL的该设定的标点符号的统计特征的数值均在0～1范围内；

后缀长度的归一化数值的确定方式是：先计算各URL的后缀长度，然后找出具备最长后缀长度的URL，再计算出各URL的后缀长度与最长后缀长度的比值即得到归一化后的每个URL中的后缀长度的归一化数值，任一URL的后缀长度的归一化数值均在0～1范围内。

3.根据权利要求1所述的动态URL过滤方法，其特征在于，针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，包括：

针对URL标注集中的每一个URL，确定该URL中的字符串特征和统计特征；

将该URL中的字符串特征和统计特征组成该URL的特征向量。

4.根据权利要求1～3中任一项所述的动态URL过滤方法，其特征在于，所述分类算法，包括：线性逻辑回归分类算法、朴素贝叶斯算法或者支持向量机算法。

5.一种动态URL过滤装置，其特征在于，包括：

训练模块，用于基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征和统计特征；针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；

预测模块，用于基于所述信息字典对待预测的URL进行特征提取，并基于提取出的特征生成所述待预测的URL的特征向量；将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL；

所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、后缀长度、数字与字符之间的转换频次；

所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串，所述设定的停用词包括：“％”、“，”和“；”。