[发明专利]多层Bloom Filter的构建及查询优化方法

权利要求书

1.一种多层Bloom Filter构建优化方法，各层Bloom Filter的个数组成为以第一层Bloom Filter个数为首项，且公比和首项同为Q的等比数列，满足Q^N×M≥S，Bloom Filter的层数N≥2，Q是磁盘扇区长度的整数倍，S为总数据集的大小，M为第N层中每个Bloom Filter对应数据集的数据个数；

将第一层Q个Bloom Filter的相同位置的bit位放在磁盘同一连续地址空间，第j层的第m个Bloom Filter对应的第j+1层的Q个Bloom Filter中的相同位置的bit位放在磁盘同一连续地址空间，第j层的第m个Bloom Filter的bit位数与其对应的第j+1层的Q个Bloom Filter的bit位总数相等，j＝1,…,N-1；

该方法具体为：

（A1）置i=1；

（A2）判断当前的多层Bloom Filter是否已包含总数据集中所有数据，若是，则结束，否则，进入步骤（3）；

（A3）接收新数据；

（A4）判断第N层第i个Bloom Filter对应数据集是否已满，若数据集合已满，则进入步骤（5），否则进入步骤（A6）；

（A5）设置i=i+1；

（A6）对新数据进行哈希，依据哈希值对N层Bloom Filter进行置位，置位结束转入步骤（A2）；

所述置位按照如下方式进行：

在第N层第i个Bloom Filter对应的所有连续空间中选取与哈希值对应的连续空间，将该连续空间中属于第i个Bloom Filter的bit位置1；第N层第i个Bloom Filter对应于第N-1层的第个Bloom Filter，在该第个Bloom Filter对应的所有连续空间中选取与哈希值对应的连续空间，将该连续空间中属于第个Bloom Filter的bit位置1，表示向上取整；

第N-1层的第个Bloom Filter对应于第N-2层的第个BloomFilter，在该第个Bloom Filter对应的所有连续空间中选取与哈希值对应的连续空间，将该连续空间中属于第个Bloom Filter的bit位置1；

如此重复操作直到将第一层相应连续空间的相应bit位置1。

2.基于权利要求1所述的多层Bloom Filter构建优化方法的查询方法，具体为：

（B1）初始化ｊ＝1；

（B2）使用与Bloom Filter构建过程中相同的哈希函数组对待查询数据进行哈希运算；

（B3）从第一层的Ｑ个Bloom Filter所对应的所有连续地址空间中选取与步骤（B2）所得的哈希值对应的连续地址空间，对这些连续地址空间做按位相与运算，判断该与运算结果中的bit位是否全为0，若是，说明待查询数据不存在，结束，否则进入步骤（B5）；

（B4）对于第ｊ层的每一组查询Bloom Filter，从该组查询Bloom Filter对应的所有连续地址空间中选取与步骤（B2）所得的哈希值对应的连续地址空间，对这些连续地址空间做按位相与运算；判断各组与运算结果中的bit位是否全为0，若是，说明待查询数据不存在，结束，否则进入步骤（B5）；

（B5）判断j是否等于层数Ｎ，若等于，进入步骤（B7），否则进入步骤（B6）；

（B7）对于每组与运算结果中值为1的每一bit位，选取其所属的BloomFilter对应的第j+1层的Ｑ个Bloom Filter组成一组查询Bloom Filter，置j=j+1，转入步骤（B4）；

（B7）在各组与运算结果中值为1的bit位所属的Bloom Filter对应的数据集中查询数据。