[发明专利]一种基于指纹型可变长布鲁姆过滤器的邮件地址匹配方法

说明书

本发明提供了一种基于指纹型可变长布鲁姆过滤器的邮件地址匹配方法，FPVLCBF使用一个长度为m的向量V来表示一个集合，向量V中的每一维度i由三部分构成，第一部分是分隔符占1bit，第二部分是由a bit组成的计数器，第三部分是由b bit组成的指纹位；一共需要k+1个哈希函数，前k个函数的使用方法和传统的布鲁姆过滤器一样用来计算哈希值，最后一个哈希函数用来计算一个元素的指纹值，FPVLCBF需要一个索引表来加快查找速度；将指纹的思想与计数布鲁姆过滤器的思想相结合，提出了一种基于指纹的可变长计数布鲁姆过滤器（FPVLCBF），降低了传统计数布鲁姆过滤器的假阳率，并最大程度上提高计数布鲁姆过滤器的空间效率。

技术领域

本发明涉及邮件地址过滤技术领域，尤其涉及一种基于指纹型可变长布鲁姆过滤器的邮件地址匹配方法。

背景技术

邮件地址匹配技术作为邮件网关技术中的基础发挥着重要的作用。在当今互联网日益复杂的今天，随着网络流量的逐渐增大，如何使得邮件网关在应对大流量网络时，能够拥有更高的处理速度，以及较好的内存消耗表现是当前邮件网关领域的主要需求。

目前绝大多数进行邮件地址匹配的方法选用的都是各类多模式匹配算法。以经典AC算法为例，采用AC算法进行邮件地址匹配可以获得较好的时耗上的效率。但是AC算法在模式规则集数量较大时，需要的内存比较大。在邮件地址匹配方面，邮件地址的长度基本固定在一个范围内，邮件地址过滤是在一个邮件地址集合中查找某个邮件地址是否在集合中。计数布鲁姆过滤器在此类场合中的应用比较广泛，但是计数布鲁姆过滤器的空间复杂度较高，而且假阳率也比较高。

发明内容

本发明对传统的计数布鲁姆过滤器算法进行了改进，将指纹的思想与计数布鲁姆过滤器的思想相结合，提出了一种基于指纹的可变长计数布鲁姆过滤器（FPVLCBF），降低了传统计数布鲁姆过滤器的假阳率，并最大程度上提高计数布鲁姆过滤器的空间效率。本发明非常适合用在大流量环境下的邮件地址匹配中。

为解决上述技术问题，本发明提供了1、一种基于指纹型可变长布鲁姆过滤器的邮件地址匹配方法，其特征在于，FPVLCBF使用一个长度为m的向量V来表示一个集合，向量V中的每一维度i由三部分构成，第一部分是分隔符占1bit，第二部分是由a bit组成的计数器，第三部分是由b bit组成的指纹位；一共需要k+1个哈希函数，前k个函数的使用方法和传统的布鲁姆过滤器一样用来计算哈希值，最后一个哈希函数用来计算一个元素的指纹值，FPVLCBF需要一个索引表来加快查找速度；

其中，FPVLCBF的插入步骤如下：

a）根据插入对象x，计算x的散列值hi(x)，i=（1,2,3…k），并计算指纹函数值hp(x)；

b）查找哈希值hi(x)，i=（1,2,3…k）对应的分隔符，查找时，通过计算先在索引表中找到最后一个小于hi(x)的值，从索引表中记录的对应位的分隔符0开始，遇到0跳过b位，然后跳过若干位比特值为1的位，找到下一个0，分隔符计数值加1，按照此方法一直找到哈希值对应的分隔符；

c）跳过分隔符位，将指纹位值与特征函数的值hp(x)相异或，并将结果写回到指纹位；

d）跳过指纹位，将指纹位之后的所有比特位右移一位，增加一个bit位，并将该bit置1；

e）更新索引表；

FPVLCBF的查询步骤如下：

a）根据查询元素x，算出x的哈希函数值hi(x)，i=（1,2,3…k），并计算指纹函数值hp(x)；

b）查找哈希值hi(x)，i=（1,2,3…k）对应的分隔符，查找时通过计算找到索引表中的最后一个小于hi(x)的值，从索引表中记录的对应位的分隔符0开始，遇到0跳过b位，然后跳过若干位比特值为1的位，找到下一个0，分隔符计数值加1，按照此方法一直找到哈希值对应的分隔符；