[发明专利]一种基于源端重删的数据高效删除方法及系统

权利要求书

1.一种基于源端重删的数据高效删除方法，其特征在于，

在备份过程中，将源端的数据流切分数据块，计算指纹，比对指纹，如果指纹不存在说明是新块，就把对应的数据块传到服务端的容器内存放，并把对应的容器标记为1，容器写满后把容器写到数据文件里，再创建一个新的容器，所述容器包含若干数据块，重删库中包含若干固定大小的数据文件，每个数据文件包含若干容器；

备份集到期被自动清理，清理掉guid对象记录；

在正常业务窗口期之外的空闲时间利用预先设定的循环删除逻辑对标记为0的容器进行数据块及其指纹清理，容器标记为0表示该容器内的数据块及其指纹都没有被引用可以清理。

2.根据权利要求1所述的基于源端重删的数据高效删除方法，其特征在于，所述容器大小固定。

3.根据权利要求1所述的基于源端重删的数据高效删除方法，其特征在于，对每个所述容器进行标记的过程为：

确定备份集，所述备份集包括对象库和重删库，所述对象库存放对象文件，对象文件存放对象记录及对象的索引数据，所述重删库存放数据文件，所述数据文件存放对象包含的每个数据块的信息；

获取被引用的对象文件，根据对象的唯一标识符读取对象文件中的索引数据，根据索引数据里的指纹找到对应的容器，把对应的容器记录打上标记1。

4.根据权利要求3所述的基于源端重删的数据高效删除方法，其特征在于，所述循环删除逻辑为：

S1、在备份的过程中，对于已引用的数据块，把对应的数据块所在的容器标记为1，对应的对象记录也标记为1，表示已经检查过；

S2、遍历对象记录，找到那些标记为0的对象，根据对象文件中的记录的索引信息，到重删库中找到对应数据块存放的容器的位置，并标记指纹对应的容器为1，对象记录标记为0表示还未被检查过；

S3、遍历重删库中的容器记录，清理标记为0的容器内的数据块及其指纹，然后把容器状态标记为2，代表该容器已经被清理可以重复利用；

S4、把重删库中的容器记录标记为1的置0，对象库中所有的对象记录的标记置0；

S5、收集重删库中中所有标记为2的容器，在新数据需要存放的时候优先选择收集到的容器来复用；

S6、以设定好的周期循环执行上述步骤S1-S5。

5.一种基于源端重删的数据高效删除系统，其特征在于，包括容器确定模块、备份集清理模块和删除模块；

所述容器确定模块，在备份过程中，将源端的数据流切分数据块，计算指纹，比对指纹，如果指纹不存在说明是新块，就把对应的数据块传到服务端的容器内存放，并把对应的容器标记为1，容器写满后把容器写到数据文件里，再创建一个新的容器，所述容器包含若干数据块，重删库中包含若干固定大小的数据文件，每个数据文件包含若干容器；

备份集清理模块，用于在备份集到期后对备份集自动清理，同时guid对象记录也一并删除；

所述删除模块，用于在正常业务窗口期之外的空闲时间利用预先设定的循环删除逻辑对标记为0的容器进行数据块及其指纹清理，容器标记为0表示该容器内的数据块及其指纹都没有被引用可以清理。

6.根据权利要求5所述的基于源端重删的数据高效删除系统，其特征在于，所述容器确定模块确定的容器的大小固定。

7.根据权利要求5所述的基于源端重删的数据高效删除系统，其特征在于，所述容器确定模块包括备份集确定模块和容器标记模块；

所述备份集确定模块，用于确定备份集，所述备份集包括对象库和重删库，所述对象库存放对象文件，对象文件存放对象记录及对象的索引数据，所述重删库存放数据文件，所述数据文件存放对象包含的每个数据块的信息；

所述容器标记模块，用于获取被引用的对象文件，根据对象的唯一标识符读取对象文件中的索引数据，根据索引数据里的指纹找到对应的容器，把对应的容器记录打上标记1。

8.根据权利要求7所述的基于源端重删的数据高效删除系统，其特征在于，所述清理模块包括备份模块、第一遍历模块、第二遍历模块、初始化模块、收集模块和循环模块；

所述备份模块，用于在备份的过程中，对于已引用的数据块，把对应的数据块所在的容器标记为1，对应的对象记录也标记为1，代表已经检查过；

所述第一遍历模块，用于遍历对象记录，找到那些标记为0的对象，根据对象文件中的记录的索引信息，到重删库中找到对应数据块存放的容器的位置，并标记指纹对应的容器为1，对象记录标记为0表示还未被检查过；

所述第二遍历模块，遍历重删库中的容器记录，清理标记为0的容器内的数据块及其指纹，然后把容器状态标记为2，代表该容器已经被清理可以重复利用；；

所述初始化模块，把重删库中的容器记录标记为1的置0，对象库中所有的对象记录的标记置0；

所述收集模块，用于收集重删库中中所有标记为2的容器，在新数据需要存放的时候优先选择收集到的容器来复用；

所述循环模块，用于以设定好的周期循环执行上述备份模块、第一遍历模块、第二遍历模块、初始化模块、收集模块的过程。