[发明专利]数据区块的切分方法

说明书

技术领域

本发明涉及一种数据区块的切分方法，尤其涉及一种重复数据删除程序的数据区块切分方法。

背景技术

重复数据删除程序是一种数据缩减技术，通常用于基于磁盘的备份系统，主要目的在于减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符号取代。由于存储系统中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，  “重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使存储系统上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。

为能判断存除系统中数据区块是否重复，因此现有技术中是以定长切分(fixed-size partition)或内容定义切分(content-defined chunking，CDC)作为判断的依据。在经过上述的切分处理后，会将每一个切分后的数据区块依序的存放至特定的文件结构中，以下为能清楚说明将此一文件结构定义为文件结构块(Tank)。请参考图1所示，其为现有技术的数据区块的文件结构之示意图。每一个文件结构块100都是相等大小的容量。重复数据删除程序只需检查相同的文件结构块100中的每一数据区块110是否重复。在文件结构块100中依序存放已切分的数据区块110与相应的指纹信息120(fingerprint)。

现有技术的存储方式虽然方便，但这样的存储方式可能会在不同的文件结构块100中存在着相同的数据区块。如此一来，将无法有效的达到重复数据删除的目的。

发明内容

本发明所要解决的技术问题在于提供一种数据区块的切分方法，应用在重复数据删除的程序中，对输入文件进行文件切割为多个数据区块。

本发明所揭露的数据区块的切分方法包括下列步骤：将第一滑动窗口依序在输入文件进行移动，用以产生相应于第一滑动窗口的长度的文件结构块与相应文件结构块的结构块特征值；利用第二滑动窗口在第一滑动窗口的范围内依序对输入文件进行数据区块切分程序，产生相应第二滑动窗口的输入文件的数据区块与指纹特征值；在每一文件结构块中记录所属的数据区块及相应数据区块的指纹特征值；将新生成的数据区块定义为目标数据区块；将目标数据区块与现有的文件结构块进行比对，用以查找是否存在重复的指纹特征值；若现有的文件结构块中存在与目标数据区块重复的指纹特征值时，则判断重复的指纹特征值是否为所属的文件结构块的第一个数据区块；若数据区块为文件结构块的第一个数据区块时，则计算目标数据区块所相应的文件结构块与结构块特征值，并比对此一数据区块与目标数据区块的结构块特征值是否相同；若此一数据区块与目标数据区块的结构块特征值相同时，则移动第一滑动窗口；若此一数据区块与目标数据区块的结构块特征值不相同时，则删除目标数据区块并重复数据区块的比对，直至完成输入文件为止。

其中，该第一滑动窗口以不重迭的方式于该输入文件中移动。

其中，若现有的该些文件结构块中不存在与该目标数据区块重复的该指纹特征值时，则删除该目标数据区块并重复该数据区块的比对。

其中，若该数据区块不是该文件结构块的第一个该数据区块时，则删除该目标数据区块并重复该数据区块的比对。

其中，该文件结构块中更包括一元数据，该元数据用以记录相应的该数据区块于该输入文件的位置信息。

本发明提供一种重复数据删除的数据区块的切分处理方法，除了以数据区块作为重复数据的判断外，另根据文件结构块作为重复数据的判定。由于文件结构块的文件长度大于数据区块的文件长度，所以可以更快速的比对到重复数据，进而提高存储的容量。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为现有技术的数据区块的文件结构的示意图；

图2分别为本发明的切分运作流程示意图；

图3为本发明第一滑动窗口与第二滑动窗口的示意图；

图4为本发明的第二滑动窗口与数据区块的示意图；

图5为本发明的文件结构块的组成示意图。

其中，附图标记：

100：文件结构块

110：数据区块

120：指纹信息

300：输入文件

311：第一滑动窗口

312：第二滑动窗口

320：数据区块

510：文件结构块

520：元数据