[发明专利]一种并行重复数据删除方法和系统

说明书

技术领域

本发明属于计算机存储技术领域，更具体地，涉及一种并行重复数据删除方法。

背景技术

随着信息技术的发展和科技的进步，海量信息的保存对存储系统提出了严峻的挑战，PB级别甚至EB级别的信息存储对数据中心的压力也越来越大。由于海量数据中有很多重复数据，如果直接存储这些重复数据，不但会加重存储系统的负担，而且还会占用宝贵的网络带宽。重复数据删除技术可以消除数据中的重复部分，只保留数据的唯一副本，从而减少了数据所需求的物理存储空间，提高了存储效率，减少传输重复数据对网络带宽的占用。

目前很多的重复数据删除系统都是基于单节点的，虽然可以用高配置的服务器来一定程度上缓解重删对性能的需求，但是对于海量数据的重删来说，单节点系统会存在以下缺点：首先，重复数据删除由于进行了分块和哈希指纹计算，会占用CPU资源，而且哈希指纹存放在内存中几乎要占用全部的内存资源，而且指纹库不能完全放入内存的时候还有一部分指纹库必须放入磁盘，这样查找比较哈希指纹的时候也会带来瓶颈；其次，基于单节点的系统的扩展性有限，无法随着系统规模的扩大而线性的扩展；第三，基于单节点的系统还会受限于网络传输的带宽限制；最后，该系统同时也牺牲了一些重复数据删除率，没有做到100％重复数据删除，使得重复数据删除过后的数据中仍然有重复的数据。同时也牺牲了一些重删率，没有做到100％重删，使得重删过后的数据中仍然有重复的数据。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种并行重复数据删除方法，其目的在于，解决现有单节点重复数据系统中存在的重删处理性能瓶颈、扩展性有限从而无法随着系统规模的扩大而线性的扩展、受限于网络传输的带宽限制、不能实现100％重复数据删除的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种并行重复数据删除方法，包括：

写过程，包括以下步骤：

(1)客户端将虚拟机镜像文件划分为多个相同大小的数据块，并且为每一个数据块分配一个数据块ID；

(2)客户端设置计数器i＝1；

(3)客户端利用哈希算法对第i个数据块进行处理，以生成哈希指纹值，根据哈希指纹值生成对应的节点ID，并将<第i个数据块ID，哈希指纹值>二元组传送到哈希指纹值对应的节点ID所对应的数据节点进行哈希指纹查询；

(4)数据节点在其指纹库中查询该哈希指纹值是否命中，如果命中则转到步骤(5)，否则转到步骤(8)；

(5)数据节点将<第i个数据块ID，PBA)>二元组传送到查询节点；

(6)查询节点根据<第i个数据块ID，PBA>二元组更新其地址映射表；

(7)客户端判断是否虚拟机镜像文件中的所有数据块都已处理完毕，如果是，则过程结束，否则设置i＝i+1，并返回步骤(1)；

(8)客户端将第i个数据块ID传送到查询节点，并向该查询节点请求分配新的PBA；

(9)查询节点为第i个数据块分配新的PBA，更新其地址映射表，并将<哈希指纹值，PBA>二元组发回到数据节点；

(10)数据节点根据<哈希指纹值，PBA>二元组更新其指纹库，将<第i个数据块ID，PBA>二元组发给客户端，并通知客户端发送第i个数据块；

(11)客户端根据<第i个数据块ID，PBA>二元组发送第i个数据块到数据节点；

(12)数据节点保存第i个数据块，并返回步骤(7)；

读过程，包括以下步骤：

(1’)客户端向查询节点发送地址映射表读请求；

(2’)查询节点根据地址映射表读请求将其地址映射表发送到客户端；

(3’)查询节点设置计数器j＝1；

(4’)客户端根据地址映射表将虚拟机镜像文件的第j个数据块的PBA发送到对应的数据节点；

(5’)对应的数据节点根据PBA在其指纹库中读取对应的第j个数据块，并将该数据块发回客户端；

(6’)客户端判断是否虚拟机镜像文件的所有数据块均处理完毕，若是则过程结束，否则设置j＝j+1，并返回步骤(2’)。

优选地，每个数据块ID包括文件ID和LBA，且每个数据块的大小是4KB至2MB。

优选地，哈希算法包括SHA-1、SHA-2、以及MD5算法。

优选地，步骤(3)是采用DHT算法对哈希指纹值进行计算，以得到节点ID。

按照本发明的另一方面，提供了一种并行重复数据删除系统，包括：