[发明专利]数据去重

权利要求书

1.一种用于数据去重的方法，包括：

接收散列集合310/206，其中所述散列集合中的每个散列是从输入数据块集合205中的数据块251导出的；

对所述散列集合进行采样320/215以形成采样散列集合241；

使用索引330/241识别出保存具有处在所述采样散列集合241中的散列的数据块的数据块容器251；

把所识别出的数据块容器中的至少一个的索引加载340到存储器210中；

确定350所述输入数据块集合205的哪些散列对应于存储在与所加载的索引241相对应的数据块容器251中的数据块；

至少部分地基于确定所述输入数据块集合205的哪些散列241对应于存储在与所加载的索引241相对应的数据块容器251中的数据块，决定应当存储360所述输入数据块集合中的哪些数据块；以及

把已决定要被存储的所述输入数据块集合205中的块存储370在一个或多个数据块容器251中。

2.根据权利要求1所述的方法，还包括：

把输入数据流的一部分分割202/207/215成所述输入数据块集合；以及

在所述接收步骤之前对于所述输入数据块集合中的每个数据块确定散列以形成所述散列集合219/206。

3.根据权利要求1所述的方法，还包括：

请求已决定要被存储的输入数据块207；以及

接收已决定要被存储的输入数据块210。

4.根据权利要求1所述的方法，其中，所述索引仅仅对于已被采样的散列215/219/241把数据块的散列映射到数据块容器集合239的记录信息。

5.根据权利要求1所述的方法，其中，形成采样散列集合的所述散列集合还包括：选择平均少于四分之一的散列219。

6.根据权利要求1所述的方法，其中，决定应当存储所述输入数据块集合中的哪些数据块还包括：如果确定对应于输入数据块的散列未被包括在所加载的索引241中，则决定应当存储该输入数据块。

7.根据权利要求6所述的方法，其中，决定360应当存储所述输入数据块集合205中的哪些数据块的步骤还包括：如果确定输入数据块的散列被包含在所加载的索引241中，则决定不应当存储该输入数据块。

8.根据权利要求6所述的方法，其中，决定应当存储所述输入数据块集合中的哪些数据块还包括：

使用容器封顶239来确定将把所述输入数据块集合存储在其中的第一数据块容器集合251；以及

决定存储210不具有已被存储在第一数据块容器集合251中的拷贝的输入数据块。

9.根据权利要求1所述的方法，其中，存储所述输入数据块集合中的数据块包括：

使用基于局部性的分配算法221把将被存储的输入数据块分配给数据块容器251；以及

把将要存储的输入数据块210存储在所分配的数据块容器251中。

10.一种用于执行数据去重的系统200，包括：

采样模块215，其形成对应于从数据流205的数据块采样的散列的采样散列集合；

一个或多个块容器索引241，其识别出保存具有处在所述采样散列集合中的散列的数据块的数据块容器251；

用于把所识别出的数据块容器215中的至少一个的索引207加载到存储器203中的逻辑；

用于确定所述输入数据块集合的哪些散列对应于存储在与所加载的索引241相对应的数据块容器251中的数据块的逻辑239；以及

用于至少部分地基于确定所述输入数据块集合的哪些散列对应于存储在与所加载的索引241相对应的数据块容器251中的数据块来决定应当存储所述输入数据块集合中的哪些数据块的逻辑221/231/239。

11.根据权利要求10所述的系统，还包括用于把已决定要被存储的输入数据块集合中的数据块存储在一个或多个数据块容器251中的逻辑207。

12.根据权利要求10所述的系统，还包括用于对被存储在布置于存储介质210上的数据块容器251中的数据块的散列215进行采样的逻辑。