[发明专利]一种流式重复数据检测方法

说明书

技术领域

本发明属于计算机数据传输及存储系统，具体涉及一种数据流中的重复数据删除方法。

背景技术

互联网的扩展使得数据信息呈几何级数爆炸性增长，图灵奖得主吉姆.格雷(Jim Gray)指出：网络环境下每18个月新增的数据量等于有史以来数据量的总和。数字图书馆、电子商务、医学影像、生物工程、科学计算、虚拟现实、数字化地球、网站多媒体等应用的不断发展，对建立高性能、高可靠的海量信息存储系统提出了需求，未来的存储系统其规模将达到PB级甚至EB级。海量的数据的传输与存储对网络系统及存储设备及服务器系统提出了非常高的要求，另一方面虚拟技术及云存储及各种网络应用的发展，使得大数据的流动变成了经常的事情。大量数据的转移、上载、下载给网络造成了沉重的负担，降低了用户的网络体验。同时大数据量的流动也加剧了存储系统的开销。但在这些数据流中实际上存在大量的数据冗余，即数据流中存在许多重复的数据块，这些冗余及重复的数据占据着大量的网络带宽和存储空间。而这些重复数据完全可以通过重复数据删除技术进行清洗，以达到节约存储空间提高带宽利用率的目的。

关于重复数据删除技术，近几年来，国际上对重复数据的检测与删除进行了大量的研究并提出了几种重复数据检测方法。主要有：完全文件检测(whole file detection，简称WFD)、固定块(fixed-sized chunking，简称FSC)检测技术、基于内容的块检测技术(content-defined chunking，简称CDC)、滑动块(sliding block)技术、shingle检测技术、bloom filter检测技术、模式匹配的检测技术等。这些重复数据检测技术尽管方法不同，但目的都是为了检测出存储系统中不同文件或数据对象间存在的相同数据块。流式重复数据检测，目前已知的有三种方法，(分段窗口模型(Landmark window model)、跳跃窗口模型(Jumping window model)、滑动窗口模型(Sliding window model)。分段窗口模型是按照等时或等长条件将数据流分成多个段，在每次检查重复数据时，只需放置一段于内存中。该方法的主要缺点是无法同时检测各段之间的重复数据。跳跃窗口模型是先定义一个能容纳N个数据段的滑动窗口，然后将数据流分成很多小段；每次从窗口的一端跳入一个数据段进入窗口，同时从窗口的另一端淘汰一个数据段；窗口内的所有数据段之间可以进行重复数据检测。该方法的主要缺点，是数据流不够流畅，同时无法精确分析重复数据检测的结果。滑动窗口模型仅仅维持最近的N个元素，当一个新元素到达时，同时淘汰到期的旧元素。该方法的主要缺点是当N的取值过大时检测的开销不可接受。

发明内容

本发明的目的在于提出一种高效精准的流式重复数据检测方法，在减小内存开销的同时提高了查询效率和精准度。

一种流式重复数据检测方法，涉及由多个布隆过滤器TBF在逻辑上构成的循环先入先出队列，将逻辑上从队首到队尾的TBF依次计为TBF₁，TBF₂，…，TBF_g，g为TBF的个数，每个TBF包含一个位向量BV和k个哈希函数，每个位向量关联一组计时器TA，位向量用于插入数据元素，计时器数用于记录插入数据元素时的时间戳，该检测方法具体为：

(1)插入数据元素x：采用所述k个哈希函数分别对数据元素x进行计算得到k个哈希值h₁(x)，h₂(x)，...，h_k(x)，将处于队尾的TBF_g中偏移量为h₁(x)，h₂(x)，...，h_k(x)的k个位的值分别置1，同时启用这k个位关联的计时器记录置1时的时间戳；若TBF_g此时已装满数据元素，则清空处于队头的TBF₁并将其摘下置为队尾；

(2)检测数据元素x是否为重复数据：

(21)在TBF₁，TBF₂，…，TBF_g-1中查询是否存在一个TBF，其偏移量为h₁(x)，h₂(x)，...，h_k(x)的k个位的值全为1，若存在，则说明该TBF插入过数据元素x，进入步骤(22)，否则，x不为重复元素