[发明专利]重复数据删除方法、系统和介质

权利要求书

1.一种重复数据删除方法，包括：

获得存储有重复数据删除系统的多个容器索引的至少一个存储设备所经历的磨损量的指示，其中所述重复数据删除系统包括多个容器，每个容器包括一个或多个数据块；

基于所述磨损量调整容器索引阈值；

在所述多个容器索引中识别具有针对给定数据流的给定部分的命中的容器索引；

从所述至少一个存储设备中取回一数量的所识别容器索引，所述数量不超过所述容器索引阈值，其中，所述容器索引阈值是要从所述至少一个存储设备读取以对任何数据流的单个部分进行重复数据删除的所识别容器索引的最大数量；以及

相对于所取回的容器索引对所述给定部分执行重复数据删除。

2.如权利要求1所述的方法，还包括：

基于确定所述至少一个存储设备所经历的磨损量已经超过阈值磨损量来增大所述容器索引阈值。

3.如权利要求1所述的方法，其中，基于所述磨损量调整所述容器索引阈值包括：

随着所述至少一个存储设备的磨损量增加，递增所述容器索引阈值。

4.如权利要求3所述的方法，还包括：

每当确定所述磨损量已经超过多个相继更大磨损水平边界的下一个边界时，增大所述容器索引阈值。

5.如权利要求1所述的方法，其中，所述磨损量由对所述至少一个存储设备的剩余寿命量的估计来表示。

6.如权利要求1所述的方法，其中：

所述容器索引中的每个容器索引是多个容器中的相应容器的索引；所述容器索引中的每个容器索引包括一个或多个条目，所述容器索引中的容器索引的条目中的每个条目针对相应容器的相应块，所述容器索引中的该容器索引是该相应容器的索引，并且针对所述相应块的所述每个条目包括：

所述相应块的块签名；以及

所述块签名的引用计数。

7.如权利要求6所述的方法，其中，所述识别具有针对所述给定部分的命中的容器索引包括：

将所述给定数据流的所述给定部分的经选择的块签名与稀疏索引进行比较，所述稀疏索引将块签名映射到所述多个容器索引中的容器索引；以及

基于存在于所述稀疏索引中的所述经选择的块签名，在所述多个容器索引中识别具有针对所述给定部分的命中的容器索引。

8.如权利要求7所述的方法，其中：

所述稀疏索引将所述稀疏索引中的每个块签名映射到所述多个容器索引中的具有包括所述块签名的条目的容器索引的标识符；并且

其中，所述识别具有针对所述给定部分的命中的容器索引包括：将所述容器索引中的、具有在所述稀疏索引中将所述经选择的块签名中的给定块签名映射到的标识符的每个容器索引识别为具有命中的容器索引。

9.如权利要求6所述的方法，还包括：

基于所述磨损量调整压缩阈值；

对所述容器索引中的具有大于或等于所述压缩阈值的数量的未被引用的条目的经选择的容器索引执行压缩；以及

防止对任何具有小于所述压缩阈值的数量的未被引用的条目的容器索引进行压缩；

其中，针对所述容器索引中的每个容器索引的所述条目中的每个条目，该条目的引用计数指示该条目是否未被引用。

10.如权利要求9所述的方法，其中，基于所述磨损量调整所述压缩阈值包括：

随着所述至少一个存储设备的磨损量增加，递增所述压缩阈值。

11.如权利要求6所述的方法，还包括：

响应于确定所述至少一个存储设备所经历的磨损量已超过锁定阈值：

针对每个容器索引的每个条目，当所述引用计数达到计数阈值时，将该引用计数指定为不可修改的，使得其在被指定为不可修改时不会被改变。