[发明专利]数据去重

说明书

相关申请的交叉引用

本申请涉及2010年6月18日提交的、顺序号为61/356,368、代理人案号为201000205-1的美国临时申请并且要求该美国临时申请的优先权，该美国临时申请的公开被结合在此以作参考。

背景技术

可以使用备份系统来对计算机的存储装置进行备份。这可以在许多天内被重复地进行，其中每天取得一个备份，从而在发生了一段时间之后才被发现的数据丢失仍然可以被恢复。虽然一些备份可能是“完全备份（full）”，其中做出存储装置的完整拷贝，但是其他的可能是“增量备份（incremental）”，其仅仅保存自上一次备份以来已被修改的文件/部分。虽然增量备份不是存储装置的完整拷贝，但是当与上一个完全备份以及其间的任何增量备份相组合时，它可以被用来复原在取得该增量备份时存储装置的内容。

为了减少备份所需的存储量，备份系统可以对备份进行去重（deduplicate）。它可以通过把备份分成被称作块的小片（~4-12KB）并且仅仅保持每个独有块的一个拷贝来做到这一点。通过仅仅保存独有块加上备份配方（recipe）（用于从所述独有块集合重建备份的指令），备份系统可以使用更少数量级的存储装置来存储任何给定备份集合。

当要检索备份以用于复原计算机的存储装置时，必须按顺序读取并组装构成该备份的各种独有块。对于许多现代存储技术（例如硬盘驱动器）来说，这一过程的速度在很大程度上取决于所述备份的块如何被碎片化。更确切地说，每当读取过程必须切换到从备份存储装置的不同部分读取时，它可能付出随机查找惩罚（对于当前驱动器是~10ms）。如果备份的块所处的位置没有局部性（例如76、12、34、224、103、876...而不是76、77、78、224、225、226、...），则复原速度可能相当慢。

现有技术顺序地存储新的独有块。虽然这把来自给定备份的所有新块放在一起，但是它不把它们放在来自该备份的旧块旁边。如果每天取得备份，则每天的新数据被定位在一起。遗憾的是，诸如日志文件和草稿文档之类的许多文件每天改变一点儿，这导致它们的块分散在备份系统的存储装置上。从给定备份的角度来看，在不同备份之间共享块也可能导致块被放置在次优位置处。因此，许多用户抱怨从经去重的备份中复原计算机的存储装置是缓慢且耗时的过程。

附图说明

图1是示出根据现有技术的对于数据块放置使用简单附加算法的系统的框图。

图2A是示出根据本发明的一个示例实施例的用于基于块的去重系统的基于容器的算法的框图。

图2B是更详细地示出根据本发明的一些示例实施例的用于基于容器的去重的存储介质的一个实施例的框图。

图3是根据本发明的示例实施例的基于容器的、基于块的去重的方法的流程图。

具体实施方式

本发明的实施例减少了重建存储在备份系统中的经去重的备份所需的时间。本发明的实施例采用基于块的去重以减少存储构成所存储的备份的数据块的多于一个备份拷贝的发生。所述系统和伴随的方法高效地利用计算机处理和存储器资源，并且已经显示出显著地减少了计算机盘读取头为了获取并组装位于一个或多个存储盘上的备份的所有部分而必须重定位其自身的次数。

虽然本发明的一个或多个实施例是在被用作备份系统的情境中描述的，但是它可以被用于许多其他用途。更一般来说，它可以被用作可以存储任意大小的数据对象（被称作项目）的高效存储系统。由于它们可能非常大，所以项目通常每次一个比特被流送到本发明的一个或多个实施例中。为计算机生成备份的软件可以生成一起构成该备份的许多虚拟带镜像（高达4GB）；每个虚拟带镜像可以是单个项目。

在基于块的去重中，输入数据流（或者数据输入或项目）被分成数据块。分块算法被设计成使得，当足够大的字节序列由两个数据区共享时，由分解这些区所产生的一些块是相同的。当正在摄取新项目时，去重系统尝试识别出在存储库（store）中作为所述新项目被划分成的块的拷贝的现有块。如果识别出这样的块拷贝，则所述系统可以通过存储指向该块的现有拷贝的引用而不是再次存储该块来避免去重。无法为之找到现有拷贝的块被添加到块存储库。