[发明专利]一种基于全局统计的去碎片方法及系统

权利要求书

1.一种基于全局统计的去碎片方法，其特征在于，所述方法包括以下步骤：

步骤1，确定待备份的数据流中的各重复数据块，统计各重复数据块所对应的被引用段中所有被引用数据的长度，得到段引用缓冲区；

步骤2，计算待备份的数据流中的各重复数据块所对应的被引用段中所有被引用数据的长度与该被引用段的长度的比值，并判断该比值是否小于设定阈值，若是则将该重复数据块写入新建立的段中；

其中，所述步骤1具体包括：

步骤1.1，判断数据流中的数据块是否是重复数据，若是则转入步骤1.2；否则转入步骤1.5；

步骤1.2，根据该数据块的引用地址，在段引用缓冲区中查找该数据块引用地址对应的记录，若记录不存在，则转入步骤1.3；否则转入步骤1.4；

步骤1.3，在段引用缓冲区中新建记录，该记录包括段ID、段长度、被引用数据的长度和段引用率，该记录的段ID初始化为所述数据块的引用地址，该记录的段长度根据所述段ID查询得到，该记录的被引用数据的长度初始化为0，该记录的段引用率初始化为负值；转入步骤1.4；

步骤1.4，将所述数据块的长度与该数据块引用地址对应的记录的被引用数据的长度相加，并赋值给该数据块引用地址对应的记录的被引用数据的长度；转入步骤1.5；

步骤1.5，将所述数据块存入去重结果缓冲区中，并判断数据流中是否还有数据块，若是则转入步骤1.1；否则转入步骤2；

其中，所述步骤2具体包括：

步骤2.1，判断去重结果缓冲区中的数据块是否是重复数据，若是重复数据，则转入步骤2.2；否则将数据块写入段中，并转入步骤2.5；

步骤2.2，根据数据块的引用地址，在段引用缓冲区中查找该数据块引用地址对应的记录，若该记录中的段引用率为负值，则转入步骤2.3；否则转入步骤2.4；

步骤2.3，用该记录中的被引用数据的长度除于段长度，得到的值设置为该记录中的段引用率；转入步骤2.4；

步骤2.4，比较该记录的段引用率和设定阈值，若该记录的段引用率小于设定阈值，则将该重复数据块写入段中；否则转入步骤2.5；

步骤2.5，判断所述去重结果缓冲区中是否还有数据块，若是则转入步骤2.1；否则结束。

2.如权利要求1所述的去碎片方法，其特征在于，所述段引用缓冲区是一个哈希表。

3.如权利要求1或2所述的去碎片方法，其特征在于，所述去重结果缓冲区为一个先入先出队列。