[发明专利]用于高效文件存储的具有多个索引的去重复存储系统

说明书

技术领域

本发明总体上涉及用于计算机系统的数据备份软件。更具体地，本发明涉及备份软件，该备份软件运行用于创建并使用一种去重复存储系统的多个索引。

背景技术

大机构经常使用备份存储系统，该系统对多个客户端计算机系统所使用的文件进行备份。备份存储系统可以利用数据去重复技术以避免不得不存储的大量数据。例如，文件从一个备份到下一个备份可能变化很小或者完全没有变化。可以使用去重复技术以使得不需要再次备份已经备份过的文件数据。文件可以分为多个分段，并且文件分段可以作为分段对象单独地存储在备份存储系统中。当备份了文件的一个新版本时，备份软件可以检查代表当前文件分段的分段对象是否已经存储在备份存储系统中。已经存储的每个分段对象可以被再次引用，而无需存储新的分段对象的副本。

备份存储系统可以使用一个索引，该索引指示分段对象在备份存储系统中的存储位置。可以通过将一个哈希函数应用到分段对象上来创建分段对象的指纹。索引可以将分段对象的指纹映射到分段对象的存储位置上。当一个文件被备份到系统上时，将它分成多个分段并在索引中查找这些分段的指纹。如果在索引中发现了一个分段，那么可以再次使用该分段并且不需要再次对其进行存储。因此，仅存储每个唯一分段的一份拷贝，并且多个文件可以共享该分段的单一拷贝。

为了使索引查找速度更快，可以将索引存储在RAM中。这种解决方案对于小备份存储系统而言是有效的，但是对大系统并不十分适合。当系统容量达到几百太字节时，分段的数量可能超过一百亿。管理一百亿指纹的索引就出现了问题，因为索引太大以致于无法存入存储器。

如果索引存储在磁盘中，在索引中进行表项查找、创建、删除和修改也是一个问题，因为速度会很慢。随机磁盘存取性能非常差，在一些系统中每秒的索引表项存取次数不超过1000。

发明内容

在此披露了一种用于备份并恢复去重复存储系统中的文件的系统和方法的不同实施方案。根据该方法的一个实施方案，一个第一组一个或多个索引可以存储在一个第一类型存储装置中。在一些实施方案中，该第一类型的存储装置可以是能够快速访问该存储装置的所有内容的一种存储装置。在一些实施方案中，该第一类型的存储装置可以是随机存取存储器（RAM）。在其他实施方案中，该第一类型存储装置可以是固态驱动器（SSD）。该第一组的每个索引指示去重复存储系统中存储的文件分段的存储位置。

一个第二组一个或多个索引可以存储在一个第二类型存储装置中。在一些实施方案中，该第二类型存储装置可以是在其上可廉价地存储大量数据的一种存储装置，例如一个或多个磁盘驱动器。同样，第二组中的每个索引指示存储在该去重复存储系统中的文件分段的存储位置。

响应于接收有待存储在该去重复存储系统中的一个第一文件，该方法可操作用于将该第一文件分为多个文件分段。该第一组索引而非第二组索引可用于试图查找该第一文件的多个文件分段的存储位置。

响应于接收一个从该去重复存储系统恢复一个第二文件的请求，该方法可操作用于确定该第二组索引的一个具体索引指示该第二文件的文件分段的存储位置。该第二组索引的具体索引可用于查找该第二文件的文件分段的存储位置，以恢复该第二文件。

在一些实施方案中，该第一文件的多个文件分段可以包括在接收该第一文件之前已经存储在该去重复存储系统中的一个具体文件分段。有可能的是第二组索引可以包括指示该具体文件分段的存储位置的一个索引，但该第一组索引中没有一个索引可以指示该具体文件分段的存储位置。在这种情况中，响应于确定该第一组索引中没有索引指示该具体文件分段的存储位置，该方法可操作用于在该去重复存储系统中存储该具体文件分段的一个重复拷贝。

在一个进一步的实施方案中，响应于确定该第一组的具体索引已经到达最大容量或充满，该方法可操作用于将存储在RAM中的第一组的一个具体索引移至存储在该一个或多个磁盘驱动器上的第二组中。在一些实施方案中，响应于确定该第一组的具体索引将移至该第二组中，该方法还可以确定该第一组的具体索引的多个最常使用的文件分段并将这些最常使用的文件分段添加到该第一组的另一个索引中。

附图说明

当结合以下附图来考虑以下详细说明时，可以更好地理解本发明，在附图中：

图1展示了连接至一个去重复存储系统的多个客户端计算机系统；

图2的示图展示了该去重复存储系统中的一个备份服务器计算机的实例；

图3展示了存储在该备份服务器计算机的系统存储器中的不同软件模块；