[发明专利]基于上下文感知的重复数据删除的方法和装置

说明书

本发明提供一种基于上下文感知的重复数据删除的装置和方法，所述方法包括以下步骤：通过将已写入数据的至少一个元数据加载到元数据存储器缓存(40)中以及将所述待写入数据分成数据片，分配(S1)重复数据删除模块；通过扫描所述元数据存储器缓存(40)中的所述已缓存元数据，计算(S2)每个数据分段中所述待写入数据和所述已写入数据的所述数据片的数目，所述片的数目表示所述数据分段的得分；以及调用(S3)数据分段选择进程，从而基于所述数据分段的所述得分提供数据分段集以对所述待写入数据和所述已写入数据进行重复数据删除。

技术领域

本发明涉及用于重复数据删除的上下文感知数据分段选择领域，尤其涉及一种基于上下文感知的重复数据删除的方法和装置。

背景技术

重复数据删除是一种用于删除重复数据或片(chunk)的副本的专用数据压缩技术，对于备份很有用。重复数据删除机制大多数都有要求过多的资源或低的吞吐量的问题，因此为了在商业产品中实现重复数据删除，需要更成熟的机制。

实现重复数据删除的常见技术之一是将数据片保存容器/分段中,维护接收到的数据的局部性特征。

常见技术通常结合缓存利用若干索引技术来解决上述问题。在现有技术系统中，一个索引已经维护了存储在系统中的片的指纹的全部或部分(稀疏)索引。这些系统通过在索引对传入的块(block)中的片的部分或所有指纹的查找操作找到用于对块中的数据进行重复数据删除的容器或分段。

不同技术在索引的实施方式(基于RAM或基于RAM和磁盘的组合)、索引中的指纹数目和为索引选择指纹的方式、在索引中查询的片集或其它变量方面有所不同。

发明内容

本发明的目的是提供一种用于重复数据删除系统的一种改进技术，用以存储备份数据。

该目的由独立权利要求的特征来实现。其它实施方式从从属权利要求、描述内容和附图中可直接获得。

根据第一方面，提供了一种基于上下文感知的重复数据删除的方法，所述方法包括以下步骤：通过将已写入数据的至少一个结构元数据加载到元数据存储器缓存中以及将所述已缓存的待写入数据分成数据片，将重复数据删除模块分配给写操作；通过扫描所述元数据存储器中的所述已缓存的结构元数据，计算每个数据分段中所述待写入数据的所述数据片的数目，所述数据片的数目表示所述数据分段的得分；以及调用数据分段选择进程，从而基于所述数据分段的所述得分提供数据分段集以对所述待写入数据进行重复数据删除。

在这种技术中，为了执行重复数据删除，接收到的数据片序列被合并到块中，在块的第一位置处给出所述传入数据。以有限数目的分段中的片对片进行重复数据删除。

对于每个块，重复数据删除机制需要确定对块进行重复数据删除的分段集，该过程被称为分段选择。需要选择机制满足高性能约束，而且选择机制对获得的重复数据删除率具有显著影响。

备份系统被用来创建、存储和恢复卷或文件系统的快照集合，即一个卷或多个卷，或者一个或多个文件系统。所述备份系统的工作原理是生成初始全量备份，即一个快照，以及多个增量备份或多个快照，初始全量备份包含所有相关数据。

在计算机系统中，一个快照是系统在特定时间点的状态。所述术语作为摄影技术中的类比而被创造。它可以指代系统状态的实际副本或者指代某个系统，例如文件系统提供的能力。

增量备份只包含快照内容的子集。为了访问全部快照的内容，要使用快照和先前快照中的数据。在两种技术中，正在备份的块/区域/文件在先前快照生成的备份系统中存在先前版本。

本发明解决用于存储备份数据的重复数据删除系统中的分段选择问题。本发明还可以用于主存储系统的重复数据删除。

本发明包括结合专用接口的一系列步骤。通过将不同技术与备份系统和重复数据删除部件之间的上下文感知接口结合解决该问题。