[发明专利]数据去重

摘要

一种用于数据去重的方法包括接收从输入数据块集合中的数据块导出的散列集合310。所述方法包括：对所述散列集合进行采样320，使用索引识别出保存具有处在所述采样散列集合中的散列的数据块的数据块容器330，以及加载所识别出的数据块容器中的至少一个的索引340。所述方法包括：确定哪些散列对应于存储在与所加载的索引相对应的数据块容器中的数据块350，以及至少部分地基于所述确定来决定应当存储所述输入数据块集合中的哪些数据块。

主权项

一种用于数据去重的方法，包括：接收散列集合310/206，其中所述散列集合中的每个散列是从输入数据块集合205中的数据块251导出的；对所述散列集合进行采样320/215以形成采样散列集合241；使用索引330/241识别出保存具有处在所述采样散列集合241中的散列的数据块的数据块容器251；把所识别出的数据块容器中的至少一个的索引加载340到存储器210中；确定350所述输入数据块集合205的哪些散列对应于存储在与所加载的索引241相对应的数据块容器251中的数据块；至少部分地基于确定所述输入数据块集合205的哪些散列241对应于存储在与所加载的索引241相对应的数据块容器251中的数据块，决定应当存储360所述输入数据块集合中的哪些数据块；以及把已决定要被存储的所述输入数据块集合205中的块存储370在一个或多个数据块容器251中。