[发明专利]一种流式重复数据检测方法

权利要求书

1.一种流式重复数据检测方法，涉及由多个布隆过滤器TBF在逻辑上构成的循环先入先出队列，将逻辑上从队首到队尾的TBF依次计为TBF₁，TBF₂，…，TBF_g，g为TBF的个数，每个TBF包含一个位向量BV和k个哈希函数，每个位向量关联一组计时器TA，位向量用于插入数据元素，计时器数用于记录插入数据元素时的时间戳，该检测方法具体为：

(1)插入数据元素x：采用所述k个哈希函数分别对数据元素x进行计算得到k个哈希值h₁(x)，h₂(x)，...，h_k(x)，将处于队尾的TBF_g中偏移量为h₁(x)，h₂(x)，...，h_k(x)的k个位的值分别置1，同时启用这k个位关联的计时器记录置1时的时间戳；若TBF_g此时已装满数据元素，则清空处于队头的TBF₁并将其摘下置为队尾；

(2)检测数据元素x是否为重复数据：

(21)在TBF₁，TBF₂，…，TBF_g-1中查询是否存在一个TBF，其偏移量为h₁(x)，h₂(x)，...，h_k(x)的k个位的值全为1，若存在，则说明该TBF插入过数据元素x，进入步骤(22)，否则，x不为重复元素；

(22)判断插入过数据元素x的TBF是否是TBF₁，若不是TBF₁，则表明x为重复元素，若是TBF₁，则进入步骤(23)；

(23)查询TBF₁插入x时的时间戳是否小于TBF_g插入x的时间戳，若小于，则表明x逻辑上已被TBF₁删除，x不为重复元素；否则，表明x为重复元素。