[发明专利]一种云存储系统中节约型重复数据删除方法

摘要

本发明公开了一种云存储系统中节约型重复数据删除方法，所述云存储系统由进行文件操作的客户端、存放文件系统元数据信息的元数据服务器、同步备份元数据的镜像文件和操作日志的二级元数据服务器、存储数据块的存储节点共同构成，其方法五个步骤针对云存储系统中数据的动态性，考虑数据本身的特性，将数据分为热点数据和非热点数据，对于不同的数据采用不同的重删时机，以保证系统的性能更佳，对于系统响应时间的降低效果会更好。

主权项

1.一种云存储系统中节约型重复数据删除方法，所述云存储系统由进行文件操作的客户端、存放文件系统元数据信息的元数据服务器、同步备份元数据的镜像文件和操作日志的二级元数据服务器、存储数据块的存储节点共同构成，该方法包括如下步骤：步骤一：每个客户端对本地待上传文件进行预处理，进行文件级和数据块级的局部重复数据删除操作以防重复数据的再次上传，然后将待上传文件的元数据信息上传到元数据服务器；步骤二：元数据服务器接收到来自不同客户端的元数据信息，依次读取文件指纹、数据块指纹，然后比对内存、硬盘和写缓存区的指纹索引信息，最后将未上传过的指纹值信息返回到各个客户端；步骤三：客户端将未上传过的新数据上传到存储端，存储端对新数据进行存储，并更新存储端的元数据信息表；步骤四：客户端发出要修改数据的请求，通过元数据服务器获取待修改数据所在的存储节点号，然后连接存储节点并直接对存储端的数据进行修改操作；步骤五：存储端对修改后的数据块进行检测，当修改后的数据块通过比对指纹值发现已经在本节点上，直接对其进行重删；当修改后的数据块不在本节点上，则先保存到本节点上，再通过元数据服务器的比对发现在其他节点上，对该数据块采用延迟重删；当修改后的数据块通过比对本节点和元数据服务器上的指纹索引，发现既不在本节点上，又不在其他节点上，除了将该数据块保存到本节点上，元数据服务器还需要为该数据块创建副本。