[发明专利]一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法

说明书

技术领域

本发明涉及智能信息处理、空间存储压缩技术领域知识，具体涉及一种基于改进Bloom Filter结构的城市大数据流快速冗余消除方法。特别适用于城市管理人员快捷高效的处理持续高速增长的城市大数据流问题。 

背景技术

随着计算机技术的发展和先进计算技术的广泛应用，所需处理的数据来源形式呈现出多样化的特点，在许多专业领域出现了海量数据以高速流动的形式到达的大数据环境，例如已经广泛应用于城市交通信息、地震预测、生物体征信息检测和军事信息检测等的传感器网络所产生的大量持续不断地检测数据。这种新的数据形式具有实时性、连续性、单遍性、无限性等特征，寻找各种适用于该领域实践需求的新兴高效数据流处理技术已经成为越来越多研究者所关注的焦点。 

如果在实时到达的数据流无穷序列中存在已出现过的数据对象就称为数据流冗余。在已经能够持续自动产生大量细节数据的时代，多种海量高速的数据流类型数据需要以近实时的方式进行复杂分析。而冗余的数据流不仅会造成大量资源的浪费也直接降低了机器的处理性能，从而在较大程度上影响了该数据流的实时准确性分析。新的数据流冗余处理方法需要适应海量高速的大数据环境，并以低复杂度、高准确率的特性配合各类数据流挖掘方法，从而产生“1+1>2”的放大效应，使得数据流得到真正实时高效的分析处理。 

对数据流冗余消除的研究中往往需要解决以下两大问题。首先， 传统的逐行比较方法已不能适应大量分组与并发的数据流环境，我们必须在单次遍历中得到数据流的所有冗余记录。其次，内存不可能处理全部数据流，在有限的内存空间中需要采用基于窗口的方法，取最近的一段数据流计算得到其近似结果。然而由于计算资源的限制各种数据流冗余消除方法往往通过牺牲冗余消除的准确性来降低方法的复杂度。在大数据流环境下的分类、聚类、频繁模式挖掘等多种数据挖掘方法则更注重在计算效率和准确性之间寻找最优的平衡点，在合理降低冗余消除准确性的前提下尽可能的提高效率，使消除技术能够适应高速流动的大数据流环境。 

发明内容

本发明要克服现有城市数据流处理量大、冗余度高的缺点，本发明提出一种基于改进Bloom Filter结构的城市大数据流快速冗余消除方法，支持城市管理人员快捷高效的处理持续高速增长的城市大数据流。 

本发明解决其技术问题所采用的技术方案是： 

一种基于改进Bloom Filter结构的城市海量数据流快速冗余消除方法，包括以下步骤： 

1）基于Bloom Filter结构的数据集存储：设定数据流表示为S_N=x₁,x₂,...,x_n，N为数据流中元素的个数，初始状态时，Bloom Filter是一个包含m位的位数组，每一位都置为0，如下所示：b[i]=0,i=0...m-1；Bloom Filter使用k个相互独立的哈希函数，它们分别将集合中的每个元素映射到(1,...,m)的范围中，对任意一个元素x，第i个哈希函数映射的位置就会被置为1，即h_i(x)=1,1≤i≤k； 

2）海量动态数据集计数存储方法：将标准Bloom Filter位数组的每一 位扩展为一个小的计数器,在插入元素时给对应的k个Counter的值分别加1，而在删除元素时则给对应的k个Counter的值分别减1： 

hi(x)=counter+1counter-1]]>

3）老化元素加速处理机制：采用前后两个计数窗口的跳跃窗口模式，首先定义两个BF结构体，即 

BFO[1,...,m] 

BFN[1,...,m] 

每个结构体是由m个整数组成的数组；