[发明专利]可移动介质上的公共因子分解的硬件加速

说明书

本申请要求所有共同未决的优先权：2007年7月6日提交的第60/948,387号美国临时申请；2007年7月6日提交的第60/948,394号美国临时申请；2008年7月3日提交的第12/167,867号美国申请；以及2008年7月3日提交的第12/167,872号美国申请，从而其全部内容清楚地结合于此作为参考。

技术领域

本发明大体上涉及数据存储系统，以及涉及(但不限于)在可移动介质上存储信息的数据存储系统。

背景技术

传统的备份涉及一系列完全备份、增量备份、或差异备份，其保存相同的或缓慢变化的数据的多种拷贝。这种备份方法导致较高程度的数据冗余。

多年以来，随着基于磁带的存储器变得便宜，磁带和基于磁盘的存储系统的价格之间已有相当大的差距。因此，传统的数据存储解决方案已是基于磁带的存储系统，其利用约为2∶1的平均压缩比率的传统算法来压缩数据。有利地，基于磁带的存储系统使用可移动磁带盒带(cartridge)，可以将其拿到装置外的位置用于灾害恢复。然而，恢复基于磁带的存储系统中的数据的处理缓慢、复杂并且不可靠。

名为公共因子分解(commonality factoring)的重复数据删除是通过消除冗余数据来降低存储需求的处理。重复数据删除是基于磁盘的数据存储系统，其大大地降低了的对磁盘空间的需求。然而，包括重复删除方法的基于磁盘的数据存储系统并不能轻易地被导出到可移动介质。为了将经重复删除的数据导出到可移动介质，必须首先将经重复删除的数据再次形成为其原始形式然后再被记录在可移动磁带盒带上，因此，需要比经重复删除的版本更多的存储空间。

重复数据删除是资源密集处理，将其在软件中作为公共因子分解解决方案的一部分来执行。由于该密集计算处理，使用高端的线程多核/多处理器服务器来提供对于执行该重复删除处理来说充分的性能。通过使用多核/多处理器服务器所获得的性能总量取决于所使用的算法和其在软件中的实现。然而，这些多核/多处理器服务器的总费用和功耗较高。

发明内容

在多种实施例中，描述了用于在可移动存储介质上存储数据的公共因子分解的系统和方法。这些系统和方法允许以高效方式将高度压缩的数据(例如，利用包括重复删除的归档或备份方法所压缩的数据)存储在便携式存储装置上(诸如，可移动存储盒带)。该方法包括：将数据(例如，用于备份的数据文件)分为多个唯一组块(chunk)；以及基于这些唯一组块来计算标识符(例如，哈希标识符)。可以通过计算标识符以及将其他组块的标识符与之前所计算的唯一组块的标识符进行比较来识别冗余组块。当识别出冗余组块时，生成对于现存的唯一组块的索引，从而可以相对于其他组块来重建该组块，以使原始数据再现。该方法还包括将多个唯一组块、多个标识符和/或多个索引中的一个或多个存储在可移动存储介质上。

在某些方面，可以使用硬件和/或软件来加速该公共因子分解处理。取决于实施例，可将加速硬件和/或软件置于多个装置中。例如，用于组块(chunking)和/或哈希(hash)功能的硬件和/或软件可以位于主机、可移动存储装置、可移动盒带架(例如，插座)、以及可移动存储盒带中的一个或多个。

在一个实施例中，公开了一种用于利用可移动存储盒带存储数据的公共因子分解系统。该系统包括处理器、连接到处理器的扩展总线、以及连接到该扩展总线的插座。将该插座配置为接纳可移动存储盒带。将扩展模块可拆卸地连接到扩展总线。将该扩展模块配置为将数据传送到可移动存储盒带。该扩展模块包括组块模块和哈希模块。该组块模块被配置为将原始数据流分为多个组块。将哈希模块以流水线方式连接到组块模块，从而对哈希模块的输入的至少一部分包括来自组块模块的输出。该哈希模块被配置为确定每个组块是否唯一以及向可移动存储盒带转发确定为唯一的组块。

在另一个实施例中，公开了一种用于利用可移动存储盒带存储数据的公共因子分解方法。在一个步骤中，在可拆卸地连接到主机的扩展模块处接收原始数据流。该扩展模块包括组块模块和哈希模块。以流水线架构来配置哈希模块和组块模块，从而对哈希模块的输入的至少一部分包括来自组块模块的输出。在组块模块处，将原始数据流分为多个组块。向所述哈希模块转发这些模块。该哈希模块计算所转发的每个组块的标识符；存储标识符；并且基于标识符来确定每个组块是否唯一。将标识符和多个唯一组块中的至少一个转发到可移动存储盒带。该可移动存储盒带包括存储驱动器。