[发明专利]一种基于文件内容类型的重复数据删除方法

权利要求书

1.一种基于文件内容类型的重复数据删除方法，预先进行块边界特征计算步骤：在备份系统中采集样本文件集合，提取样本文件的元数据，并根据元数据确定样本文件的内容类型，再根据样本文件的内容类型将样本文件集合分类为多个子集合，计算每个子集合的块边界特征值，将各个子集合的块边界特征值保存在块边界特征库中；

以下顺序包括：

A.内容类型识别步骤：提取用户输入文件的元数据，并根据元数据确定文件的内容类型，根据文件的内容类型在块边界特征库中寻找对应的块边界特征值；

B.文件分块步骤：根据步骤A中寻找到的块边界特征值，采用滑动窗口对用户输入文件整体进行扫描，将用户输入文件划分为多个数据块；

C.数字指纹计算步骤：对步骤B中产生的每个数据块，计算其哈希(HASH)值作为该数据块的数字指纹，转步骤D；

D.重复数据块判断步骤：将步骤C中生成的哈希值与存储池中的哈希值表中的哈希值进行比较，判断是否相同，是则仅将该哈希值存入文件的索引节点中，转步骤E；否则把该哈希值存入哈希值表以及文件的索引节点中，并将对应的数据块写入存储池中，转步骤E；

E.结束步骤：当前文件重复数据删除结束，当用户输入下一文件时，转步骤A；

所述存储池存储哈希值表和数据块，该哈希值表中包含所存储每个数据块的哈希值以及在磁盘上的地址，所存储的所有数据块不重复；

所述样本文件和用户输入文件的元数据均包括文件的内容类型、文件扩展名、生成文件的应用程序以及文件内容的编码方式，其中，文件扩展名、生成文件的应用程序以及文件内容的编码方式三种元数据构成一个元数据三元组，形为{扩展名，应用程序，编码方式}。

2.如权利要求1所述的重复数据删除方法，其特征在于：

所述块边界特征计算步骤，包括下述子步骤：

A.在存储池中生成样本文件集合：从备份系统定期执行的备份过程中，随机抽取1次备份过程生成的备份文件集合，作为样本文件集合，放入存储池中；

B.样本文件分类：提取样本文件集合中每个样本文件的元数据，并根据元数据确定文件的内容类型，相同内容类型的样本文件被放入同一子集合中；

C.确定候选块边界特征值取值范围：根据备份系统规定的平均分块大小，确定候选块边界特征值取值范围为[0，n)，其中n为备份系统规定的平均分块字节大小，n＝256、512、1024、2048、4096或8192；

D.生成块边界特征值：对于样本文件集合中各种内容类型的文件子集合，遍历候选特征值取值范围中的每个候选特征值，并计算该候选特征值生成的重复数据块数量，以生成重复数据块数量最大的候选特征值作为该内容类型的块边界特征值；

E.保存：在每种内容类型与相应的块边界特征值之间建立一一映射关系并保存到块边界特征库中。

3.如权利要求1或2所述的重复数据删除方法，其特征在于：

所述内容类型识别步骤或者块边界特征计算步骤的样本文件分类子步骤中，根据元数据确定文件的内容类型过程为：

判断元数据中是否包含内容类型属性，是则直接将其设置为文件的内容类型，否则，将文件扩展名、生成文件的应用程序以及文件内容的编码方式构成一个元数据三元组，形式为{扩展名，应用程序，编码方式}，在内容类型查询表中找到文件所对应的内容类型；

所述内容类型查询表反映元数据三元组的每种取值和内容类型的对应关系。