[发明专利]一种云存储系统中节约型重复数据删除方法

权利要求书

1.一种云存储系统中节约型重复数据删除方法，所述云存储系统由进行文件操作的客户端、存放文件系统元数据信息的元数据服务器、同步备份元数据的镜像文件和操作日志的二级元数据服务器、存储数据块的存储节点共同构成，该方法包括如下步骤：

步骤一：每个客户端对本地待上传文件进行预处理，进行文件级和数据块级的局部重复数据删除操作以防重复数据的再次上传，然后将待上传文件的元数据信息上传到元数据服务器；

步骤二：元数据服务器接收到来自不同客户端的元数据信息，依次读取文件指纹、数据块指纹，然后比对内存、硬盘和写缓存区的指纹索引信息，最后将未上传过的指纹值信息返回到各个客户端；

步骤三：客户端将未上传过的新数据上传到存储端，存储端对新数据进行存储，并更新存储端的元数据信息表；

步骤四：客户端发出要修改数据的请求，通过元数据服务器获取待修改数据所在的存储节点号，然后连接存储节点并直接对存储端的数据进行修改操作；

步骤五：存储端对修改后的数据块进行检测，当修改后的数据块通过比对指纹值发现已经在本节点上，直接对其进行重删；当修改后的数据块不在本节点上，则先保存到本节点上，再通过元数据服务器的比对发现在其他节点上，对该数据块采用延迟重删；当修改后的数据块通过比对本节点和元数据服务器上的指纹索引，发现既不在本节点上，又不在其他节点上，除了将该数据块保存到本节点上，元数据服务器还需要为该数据块创建副本。

2.根据权利要求1所述的一种云存储系统中节约型重复数据删除方法，其特征在于所述元数据服务器上还含有过滤模块以及更新模块，过滤模块用于过滤不同客户端的重复数据信息，更新模块用于更新存储端全局数据元数据信息，即直接更新重复数据块的元数据信息，等接收到存储节点反馈的信息后才更新非重复数据块的元数据信息。

3.根据权利要求1所述的一种云存储系统中节约型重复数据删除方法，其特征在于所述客户端有文件预处理模块、局部重删模块、元数据管理模块和数据传输模块，其中文件预处理模块依据文件的类型进行文件分类，然后交给局部重删模块进行文件级重删，经过文件级重删后的非重复文件再返还给文件预处理模块进行过滤,过滤掉小于64MB的非重复文件，最后再由局部重删模块进行数据块级重删，元数据管理模块用于记录客户端已上传数据块的指纹值信息，以避免本地重复数据的上传；数据传输模块则是客户端连接元数据服务器和存储节点的接口，即负责将待上传文件的元数据信息上传到元数据服务器，将非重复数据块上传到存储节点上。

4.根据权利要求1所述的一种云存储系统中节约型重复数据删除方法，其特征在于所述存储节点包括存储模块、元数据管理模块、自检报告模块和延迟重删模块，其中存储模块负责数据块的存储，分配数据块的物理地址；元数据管理模块记录本节点上的数据块的元数据信息；自检报告模块是检测数据块的修改所带来的重复数据，交给延迟重删模块进行热点重复数据块的判断与相应的处理并将修改的元数据信息反馈给自检报告模块，然后报告给元数据服务器。

5.根据权利要求1所述的一种云存储系统中节约型重复数据删除方法，其特征在于所述步骤一中文件级重复数据删除：利用MD5算法计算文件指纹值，比对大小和类型相等的文件指纹值，然后再与本地的元数据信息表进行比对，确定重复文件和非重复文件。

6.根据权利要求1所述的一种云存储系统中节约型重复数据删除方法，其特征在于所述步骤一所述的数据块级重复数据删除如下：对于已经过滤掉小于64MB的非重复文件，利用定长分块算法进行分块，块长设为64MB，利用MD5算法计算数据块的指纹值，比对块长相等的数据块确定重复数据块。

7.根据权利要求1所述的一种云存储系统中节约型重复数据删除方法，其特征在于所述步骤二中比对文件指纹时，若发现指纹值已存在，则不再比对数据块的指纹，否则还要比对构成文件的数据块指纹。

8.根据权利要求1所述的一种云存储系统中节约型重复数据删除方法，其特征在于所述步骤三中每个存储端都保存着其上的数据块指纹及其存储地址的映射关系，通过数据块指纹，即可确定数据块存放的物理地址。