[发明专利]索引文件的建立方法与利用索引文件查询数据区块的方法

说明书

技术领域

本发明涉及一种文件的建立方法与其查询方法，特别涉及一种应用在重复数据删除程序中对索引文件的建立方法与查询方法。

背景技术

重复数据删除是一种数据缩减技术，通常用于基于磁盘的备份系统，主要目的在于减少存储系统中使用的存储容量。它的工作方式是在某个时间周期内查找不同文件中不同位置的重复可变大小数据块。重复的数据块用指示符取代。由于存储系统中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使存储系统上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。

为能达到数据完整保存的目的，所以在进行重复数据删除的过程中，会对输入文件进行切分的处理。输入文件在经过切分处理后会产生多个数据区块。为了能有效管理数据区块，所以在进行切分的过程中会利用索引文件来记录所有的数据区块的各项存储信息。例如数据区块的容量大小、在输入文件中的偏移量(offset)或数据区块在服务端中的存储位置。

假设一个数据区块为X Bytes，而对该数据区块需要利用N Bytes进行描述，所以数据区块的冗余度为N：X。随着，输入文件的文件长度越长时，索引文件的文件长度也会随着增加。为能加快索引文件的查询速度，一般而言会将索引文件直接载入内存中进行读取。但是内存的空间有限，如果将索引文件的部分内容存储于虚拟内存中，除了会降低存取速度外可能会产生击中失误(hit miss)的问题。

发明内容

鉴于以上的问题，本发明的主要目的在于提供一种建立索引文件的方法，应用在重复数据删除程序中，对输入文件进行切分后所产生的数据区块与相应数据区块一索引文件。

为达到上述目的，本发明所揭露的建立索引文件的方法包括下列步骤：对输入文件进行切分程序，生成至少一数据区块与相应数据区块的描述信息，描述信息中记录数据区块相对于输入文件的偏移量与文件长度；将描述信息整合为第一索引文件；选取固定数量的数据区块，并将所选取出的数据区块定义为选择群组；记录选择群组中相对于输入文件的起始地址与结束地址至第二索引文件中；重复上述步骤，直至完成所有数据区块所相应的第一索引文件与第二索引文件为止。

为配合上述建立索引文件，因此本发明还提出一种配合索引文件对数据区块查询方法。

为达到上述目的，本发明所揭露的一种数据区块查询方法包括以下步骤：将第二索引文件载入内存单元；输入查询请求；从查询请求所解析出欲查询的数据区块，与数据区块的偏移量与文件长度；根据数据区块的偏移量与文件长度对第二索引文件进行查询所相应的选择群组；根据所找出的选择群组，将第一索引文件中的相应部分读入内存单元进行查询，并返回查询结果；此时在内存单元中的第一索引文件部分并不会立即清除，而是作为計算机的高速缓存(cache)应对下一次读取，如果下一次读取也命中到此选择群组区间内，则直接到第一索引文件读入内存单元的部分进行检索，否则再将选择群组对应的第一索引文件部分读入内存单元进行检索。

本发明在运行重复数据删除程序时，产生相应于输入文件的索引文件。通过本发明的二个索引文件，可以降低读入内存单元的索引文件的容量，节省内存占用，并提高查找相应数据区块的效率。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为本发明的建立索引文件的流程示意图；

图2A为本发明切分数据区块的示意图；

图2B为本发明第一索引文件的示意图；

图2C为本发明第二索引文件的示意图；

图3为本发明的数据区块查询流程示意图。

其中，附图标记

210        输入文件

220        数据区块

230        第一索引文件

231        选择群组

240        第二索引文件

具体实施方式

下面结合附图对本发明的结构原理和工作原理作具体的描述：

本发明应用于具有处理重复数据删除程序的计算机，例如：个人电脑、笔记型电脑、服务器或应用在客户端与服务端架构中。请参考图1所示，其为本发明的建立索引文件的流程示意图。本发明的建立索引文件的处理过程包括以下步骤：