[发明专利]用于固态驱动器控制器的重复数据删除

说明书

一种由控制器执行的用于固态驱动器的重复数据删除方法。控制器接收一个数据块的签名。控制器执行签名与所述签名库的信息的比较，并确定签名是否匹配该信息。控制器发送指示比较结果的信号。如果签名和信息匹配，则所述信号具有指示数据块已经存储在SSD上的第一值；如果签名和信息不匹配，则信号具有与第一值不同的第二值。

技术领域

本发明涉及存储技术领域，具体涉及用于固态驱动器SSD的重复数据删除方法。本发明同时涉及一种固态驱动器SSD。

背景技术

当代商业在数据库中积累了巨大的数据(例如，PB，petabyte)，这些数据库存储于诸如磁带，硬盘驱动器，固态驱动器(SSD)等各种介质中。法律规定，政府规则和规章，商业规则及最佳实践需要数据库经常存档并备份。结果，数千PB的数据已被存储，且存储的数据量不断激增。

重复数据删除方法和系统用于减少数据量以提高效率并降低成本。通常，重复数据删除系统会在不同的数据文件中找到相同的部分，并将这些相同的部分仅存储一次。重复数据删除系统也维护元数据，以便数据文件可以在稍后访问时组织和重建。然而，大量的数据被存储以检验现有重复数据删除方法和系统的极限。现有的重复数据删除方法和系统适用于数PB的数据，但并不适用于数千PB量级数据量的数据。

使用固态硬盘SSD(替代其它存储介质，例如随机存取存储器(RAM))来存储大量数据带来了一些挑战。SSD相对于例如双数据速率三型同步动态随机存储器(double datarate type three synchronous dynamic RAM，DDR3 DRAM)有较长的读取和写入延迟。并且，SSD在写入之前会被擦除，并且在耗尽之前只能擦除有限的次数。

在另一方面，固态硬盘具有很多优点，使它们成为存储大量数据的不错选择。对于重复数据删除，文件被分割成通常称为与元数据相关联的“块(chunks)”(例如，4千字节(KB)，16KB或256KB块)的块(blocks)或片段。每个独有的块都与其元数据一起存储。元数据的大小例如可以是16字节(B)，32B，128B或256B。对于512PB数据，假设每个块的大小为16KB，并假定每块的元数据为32B，元数据的存储空间为一个PB。使用RAM来存储这些数据是不实际的，但使用SSD是有效的。

而且，为了满足上述法规和要求，元数据需要被硬写入到存储器中。当RAM的电源断电或中断时，RAM所保存的数据将丢失。SSD使用基于NAND的闪速存储器，例如，其无需电源保持数据。

因此，SSD的优势包括其容量和非易失性。为了缓解其较长的访问时间(读取和写入延迟)，数据并行写入。每个SSD读/写操作的基本单位被称为页面。对于16KB的页面大小，假设每块大小为128B的元数据，则可以在页面内并行读取或写入128个块的元数据。

针对每块中的元数据包括唯一标识该块的哈希值或签名。因此，为了确定是否有必要存储新的块(以确定先前是否存储了相同的块)，可以将新块的签名与已经存储的块的签名进行比较。如果新块的签名与现有签名相匹配，则新的块无需被存储。

如上所述，一SSD读/写操作的基本单元是页面。为获得一块的签名与其它签名进行比较，整个页面(例如，16K字节)被读出并由SSD传输至中央处理单元(CPU)。该传输会占用CPU以及内存带宽和总线带宽的大量资源。

更具体地，具有要存储在存储服务器上的数据的客户端将数据分成块并计算每个块的签名。在一实现中，客户端将每个签名发送到签名服务器，该签名服务器包含已存储在存储服务器上的块的签名库。签名服务器的作用是确定来自客户端的签名是否与签名库中的任何签名相匹配。为了达到此目的，针对每个签名将整个页面(例如，16KB)传输到内存中，并且CPU将在页面内定位和提取签名并将提取的签名与来自客户端的签名进行比较。但是，签名可能只有32B的大小。因此，要获得签名与其它签名进行比较，高达所需数据500倍的数据被读出并被传输(例如，16KB的数据被读取以获得32B签名)。