[发明专利]一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法

摘要

一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法，包括以下步骤：1）基于Bloom Filter结构的数据集存储；2）海量动态数据集计数存储方法；3）老化元素加速处理机制；4）双指针动态控制方法；5）新数据插入；6）判断新元素是否冗余；7）更新数据流计数；8）定期删除历史数据；9）若无新数据到达则输出冗余优化后结果数据流。本发明提出一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法，支持城市管理人员快捷高效的处理持续高速增长的城市大数据流。

主权项

1.一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法，其特征在于：包括以下步骤： 1）基于Bloom Filter结构的数据集存储：设定数据流表示为 S_N=x₁,x₂,...,x_n，N为数据流中元素的个数，初始状态时，Bloom Filter是一个包含m位的位数组，每一位都置为0，如下所示：b[i]=0,i=0...m-1；Bloom Filter使用k个相互独立的哈希函数，它们分别将集合中的每个元素映射到(1,...,m)的范围中，对任意一个元素x，第i个哈希函数映射的位置就会被置为1，即h_i(x)=1,1≤i≤k； 2）海量动态数据集计数存储方法：将标准Bloom Filter位数组的每一位扩展为一个小的计数器,在插入元素时给对应的k个Counter的值分别加1，而在删除元素时则给对应的k个Counter的值分别减1： 3）老化元素加速处理机制：采用前后两个计数窗口的跳跃窗口模式，首先定义两个BF结构体，即 BFO[1,...,m] BFN[1,...,m] 每个结构体是由m个整数组成的数组； 定义散列函数f₁,f₂,...,f_k为BF的k个散列映射；假定w为数据流老化计数值，BFO代表前一区间即[1,w]范围内的计数映射，BFN代表后一区间即[w+1,2w]范围内的计数映射； 4）双指针动态控制方法：采用双动态指针的方法，指针能够在BFO和BFN的移动区间中标志当前计数值，并为每一条数据流分配一个当前的计数标记，指针p_i具备有效计数区间[1,w]； 5）新数据插入：当有新元素x_i需要插入时，将在BFO及BFN上先各进行k次散列映射，计算出相应数值，根据新数据在BFO及BFN上的相应数值，计算得出其相应的最小值： v=min(v₁,v₂,...,v_k) 6）判断新元素是否冗余：依据前一步计算得出的最小值，如果BFN对应的最小值v=0，则判定该元素并没有在BFN所对应的工作区间中出现过；如果BFO对应的最小值v<p1，则表示该元素也没有在前一工作区间中出现过；如果新元素x_i既没有在BFO中出现过，也没有在BFN中出现过，则加入该新元素，否则丢 弃该冗余元素； 7）更新数据流计数：在BFN中为该数据流对应的k个位置设置成当前的指针计数器值，即b[i]=p2； 8）定期删除历史数据：在动态指针p1达到临界值w时，表示该数据流已经成为老化流，因此删除BFO，并更换BFO和BFN，使BFO继续保持上一工作区间的数据流映射，BFN保存当前工作区间的数据流映射，同时初始化p_i=1； 9）若无新数据到达则输出冗余优化后结果数据流。