[发明专利]一种基于全局统计的去碎片方法及系统

摘要

本发明公开了一种基于全局统计的去碎片方法，包括确定待备份的数据流中的各重复数据块，统计各重复数据块所对应的被引用段中所有被引用数据的长度，得到段引用缓冲区；计算待备份的数据流中的各重复数据块所对应的被引用段中所有被引用数据的长度与该被引用段的长度的比值，并判断该比值是否小于设定阈值，若是则将该重复数据块写入段中。本发明还提供了一种基于全局统计的去碎片系统。本发明统计得到各重复数据块所对应的被引用段中所有被引用数据的长度，并计算各重复数据块所对应的被引用段的段引用率，将段引用率小于设定阈值的数据段所对应的重复数据块判定为数据碎片，将这些数据碎片写入段中，可达到去碎片以提高恢复性能的目的。

主权项

一种基于全局统计的去碎片方法，其特征在于，所述方法包括以下步骤：步骤1，确定待备份的数据流中的各重复数据块，统计各重复数据块所对应的被引用段中所有被引用数据的长度，得到段引用缓冲区；步骤2，计算待备份的数据流中的各重复数据块所对应的被引用段中所有被引用数据的长度与该被引用段的长度的比值，并判断该比值是否小于设定阈值，若是则将该重复数据块写入新建立的段中；其中，所述步骤1具体包括：步骤1.1，判断数据流中的数据块是否是重复数据，若是则转入步骤1.2；否则转入步骤1.5；步骤1.2，根据该数据块的引用地址，在段引用缓冲区中查找该数据块引用地址对应的记录，若记录不存在，则转入步骤1.3；否则转入步骤1.4；步骤1.3，在段引用缓冲区中新建记录，该记录包括段ID、段长度、被引用数据的长度和段引用率，该记录的段ID初始化为所述数据块的引用地址，该记录的段长度根据所述段ID查询得到，该记录的被引用数据的长度初始化为0，该记录的段引用率初始化为负值；转入步骤1.4；步骤1.4，将所述数据块的长度与该数据块引用地址对应的记录的被引用数据的长度相加，并赋值给该数据块引用地址对应的记录的被引用数据的长度；转入步骤1.5；步骤1.5，将所述数据块存入去重结果缓冲区中，并判断数据流中是否还有数据块，若是则转入步骤1.1；否则转入步骤2；其中，所述步骤2具体包括：步骤2.1，判断去重结果缓冲区中的数据块是否是重复数据，若是重复数据，则转入步骤2.2；否则将数据块写入段中，并转入步骤2.5；步骤2.2，根据数据块的引用地址，在段引用缓冲区中查找该数据块引用地址对应的记录，若该记录中的段引用率为负值，则转入步骤2.3；否则转入步骤2.4；步骤2.3，用该记录中的被引用数据的长度除于段长度，得到的值设置为该记录中的段引用率；转入步骤2.4；步骤2.4，比较该记录的段引用率和设定阈值，若该记录的段引用率小于设定阈值，则将该重复数据块写入段中；否则转入步骤2.5；步骤2.5，判断所述去重结果缓冲区中是否还有数据块，若是则转入步骤2.1；否则结束。