[发明专利]基于卷积特征和多重哈希映射的大数据URL去重方法

权利要求书

1.一种基于卷积特征和多重哈希映射的大数据URL去重方法，其特征在于，包括以下步骤：

步骤1：从WEB服务器上或传统WAF设备上提取WEB访问日志，然后筛选出要求的域名HOST和URL；将域名HOST和URL字符串进行拼接；

步骤2：对URL字段进行序列卷积和多哈希函数映射；

自定义一个包含一个数字串的卷积核，卷积核的数字序列任意确定一个，将每个需要去重的字符串按照映射表确定为一个数字序列，一次卷积操作的结果是对应数字相乘；定义一个步长，卷积核在数字序列上依次卷积能够产生很多卷积值；

设置哈希函数个数k、位数组大小m、加入的字符串数量n，在这个条件下出现哈希表误报的可能性为：

设置k的值为k＝ln2*m/n，此时达到最低误报率：

依照上述公式依照预期的误报率确定要使用的哈希函数个数；

步骤3：卷积函数为f，使用k个哈希函数进行映射，哈希函数为h1，h2，h3，h4...hk，则卷积特征值和哈希函数映射值在BitSet中的二进制位赋值原理为：初始化一个m位的bit数组，卷积输出和每个哈希函数的输出都是一个(0，m-1)之间的一个数；输入x，对于每一个哈希函数，计算j＝hi(x)，将m_bit[j]设成1；同理，对于卷积函数每一次卷积操作，计算c＝f(x)，将m_bit[c]设成1；

步骤4：根据赋值后的BitSet，作为URL的关键字或者标签，进而识别独立URL。

2.如权利要求1所述的基于卷积特征和多重哈希映射的大数据URL去重方法，其特征在于，所述步骤1具体为：

1)过滤掉WAF日志中的多余字段；

2)使用脚本进行标签匹配，过滤静态文件和不符合要求状态码的URL；

3)将域名HOST和URL字符串进行拼接，导出。

3.如权利要求2所述的基于卷积特征和多重哈希映射的大数据URL去重方法，其特征在于，在步骤1中“过滤掉WAF日志中的多余字段”使用scala语言中的filter方法进行过滤，即首先使用scala中的split方法将每条日志按空格符进行分割，随后自定义一个filter方法，其中包含想要过滤的规则。

4.如权利要求3所述的基于卷积特征和多重哈希映射的大数据URL去重方法，其特征在于，在域名HOST和URL字符串进行拼接时，使用scala内置的字符串组合方法“+”进行拼接。