[发明专利]存储系统

说明书

技术领域

本发明涉及存储系统，并且具体而言涉及具有重复存储消除功能的存储系统。

背景技术

辅助存储系统的去重(deduplication)目前已在研究和商用应用中引起广泛关注。通过识别数据中相同的块并且仅存储这种块的单个副本，去重使得存储容量要求显著降低。以前的结果已经显示在备份数据中存在明显重复。这并不奇怪，因为相同系统的后续备份通常非常相似。

去重存储系统在多个维度上不同。一些系统仅对相同的文件进行去重，而其他系统将文件分割成更小的块并且对这些块进行去重。本发明将关注块级别的去重，因为备份应用典型地对来自被备份到大型tar类的档案文件中的文件系统的单独的文件进行聚合。在文件级别上的去重将不会提供多少空间减少。

块可以具有固定的或可变的尺寸，其中典型地由内容定义的组块产生尺寸可变的块。显示出使用内容定义的尺寸可变的块显著提高了去重效率。

大部分系统消除相同的块，而一些系统仅需要块存储是类似的，并且有效地存储差异。虽然这可以提高去重效率，但是其需要从盘读取以前的块，这使得难以传递高的写吞吐量。本发明因此将关注本文中的相同的块的去重。

(去重存储的概述)

典型地通过由备份应用创建的长数据流提供备份存储系统。这些流典型地是档案文件或虚拟磁带图像。数据流被分割成块，并且针对每个块计算安全哈希(例如SHA-1)。然后将这些哈希值与以前存储在系统中的块的哈希值进行比较。由于极不可能找到安全哈希函数的哈希冲突，所以具有相同哈希值的块可以假设是相同的(所谓的通过哈希比较)。因此，如果找到具有相同哈希的块，则认为该块是重复的并且不存储该块。构成该数据流的全部块的标识符被存储并且可用于重构读取的原始数据流。

引用列表

非专利文献

NPL 1：DUBNICKI，C.，GRYZ，L.，HELDT，L.，KACZMARCZYK，M.，KILIAN，W.，STRZELCZAK，P.，SZCZEPKOWSKI，J.，UNGUREANU，C.，AND WELNICKI，M.，HYDRAstor：a Scalable Secondary Storage。在7th USENIX Conference on File and Storage Technologyies(San Francisco，California，USA，February 2009)。

NPL 2：ZHU，B.，LI，K.，AND PATTERSON，H.，Avoiding the disk bottleneck in the data domain deduplication file system。在FAST’08：the 6th USENIX Conference on File and Storage Technologyies(Berkeley，CA，USA，2008)，USENIX Association，pp.1-14。

NPL 3：BIRK，Y.，Random raids with selective exploitation of redundancy for high performance video servers，671-681。

NPL 4：UNGUREANU，C.，ARANYA，A.，GOKHALE，S.，RAGO，S.，ATKIN，B.，BOHRA，A.，DUBNICKI，C.，AND CALKOWSKI，G.，Hydrafs：A high-throughput file system for the hydrastor content addressable storage system。在FAST’10：Proceedings of the 8th USENIX Conference on File and Storage Technologies(Berkeley，CA，USA，2010)，USENIX Association，pp.225-239。