[发明专利]一种云存储系统中节约型重复数据删除方法

说明书

本发明公开了一种云存储系统中节约型重复数据删除方法，所述云存储系统由进行文件操作的客户端、存放文件系统元数据信息的元数据服务器、同步备份元数据的镜像文件和操作日志的二级元数据服务器、存储数据块的存储节点共同构成，其方法五个步骤针对云存储系统中数据的动态性，考虑数据本身的特性，将数据分为热点数据和非热点数据，对于不同的数据采用不同的重删时机，以保证系统的性能更佳，对于系统响应时间的降低效果会更好。

技术领域

本发明涉及计算机数据存储领域，尤其涉及一种云存储系统中节约型重复数据删除方法。

背景技术

近年来，云计算、移动计算、物联网等技术的日益普及使得目前数据呈爆炸式增长，云存储技术应运而生。据国际数据公司IDC统计，2011年全球数据总量已达到1.8ZB(1ZB＝109TB)，预计到2020年全球产生的信息总量将达到35ZB。系统的存储压力也与日俱增。IDC调查还发现信息系统中有近75％的重复冗余数据，大量的重复性冗余数据浪费了大量的存储资源，而重复数据删除技术可以有效地缩减数据。

重复数据删除技术通过比对指纹值，保留唯一的数据，并用指向唯一数据的指针代替其它重复的数据。重复数据删除技术现已广泛应用于备份和归档系统，其中较为成熟的重复数据删除策略有基于文件语义感知的多层源端重复数据方法(Semantic-awareMultiered Deduplication，SAM-Dedupe)、基于因果关系的重复数据删除方法(Causality-Based Deduplication，CABdedupe)、基于应用感知的重复数据删除方法(Application-aware Deduplication，AA-Dedupe)等。它们各有优缺点，SAM-Dedupe通过对文件大小，文件位置，文件类型，文件时间戳的认知不断缩小指纹比对范围；CABdedupe通过捕获与记录备份数据集在多个时间点之间的因果关系，挖掘未修改的数据实施重删；AA-Dedupe通过对不同类型文件应用采用不同分块算法和指纹提取技术以获得最佳的重删效果，如静态应用数据或虚拟机镜像采用FSC(Fixed-Sized Chunking)算法分块和MD5算法提取指纹。这些策略以备份系统为环境，致使处理的数据相对比较静态，即上传到存储端后，用户不会对存储端中的数据直接进行修改，因此简单移植这些方法并不适用于云存储系统。目前，云存储系统中也有一些研究成果，侧重于系统安全性，或基于代理加密的重复数据删除机制，或基于交互式的PoW(Proof of Ownership)的重复数据删除机制，或基于数据流行度的安全重复数据删除机制。重复数据删除方法致使同一数据块被多个用户所共享，而用户对数据的修改呈多样性，如何保证数据的可用性和安全性是必要的。

现有技术普遍面向数据相对比较静态的备份和归档系统，从源端避免重复数据上传后并不考虑存储系统中的数据是否会被修改，而云存储系统中数据被多用户所共享，多用户修改数据导致数据的动态性增强，因此并不适用云存储系统。

发明内容

为解决上述技术问题，本发明采用的技术方案如下：

一种云存储系统中节约型重复数据删除方法，所述云存储系统由进行文件操作的客户端、存放文件系统元数据信息的元数据服务器、同步备份元数据的镜像文件和操作日志的二级元数据服务器、存储数据块的存储节点共同构成，该方法包括如下步骤：

步骤一：每个客户端对本地待上传文件进行预处理，进行文件级和数据块级的局部重复数据删除操作以防重复数据的再次上传，然后将待上传文件的元数据信息上传到元数据服务器；

步骤二：元数据服务器接收到来自不同客户端的元数据信息，依次读取文件指纹、数据块指纹，然后比对内存、硬盘和写缓存区的指纹索引信息，最后将未上传过的指纹值信息返回到各个客户端。

步骤三：客户端将未上传过的新数据上传到存储端，存储端对新数据进行存储，并更新存储端的元数据信息表。