[发明专利]用于数据去重复块存储的垃圾收集和热点释放

说明书

技术领域

本发明涉及用于数据去重复块存储的垃圾收集和热点释放。

背景技术

数据去重复，也称为数据优化，是减少需要存储在盘上或需要通过网络进行传送的数据的物理字节量，而不会损害原始数据的保真性或完整性的动作。数据去重复减少了存储数据所需的存储容量，并且可因此导致存储硬件成本和数据管理成本方面的节省。数据去重复提供了处理快速增长的数字存储的数据的解决方案。

数据去重复可根据用于消除各持久存储的文件之内和之间的冗余的一项或多项技术来执行。例如，根据一项技术，在一个或多个文件中出现多次的唯一数据区域可被标识，并且这些所标识的唯一数据区域的单一副本可被物理地存储。可存储对这些所标识的唯一数据区域(也称为数据“块”)的引用，引用指示了包含这些唯一数据区域的各文件以及在这些文件中的位置。该技术一般称为单一实例化。除了单一实例化以外，还可执行对数据的压缩。其他数据减少技术也可被实现为数据去重复解决方案的一部分。

管理根据数据去重复技术存储的数据存在各种困难。例如，由于由数据去重复所强加的数据存储碎片，在访问根据去重复存储的文件时可能存在等待时间。该等待时间限制了对数据去重复解决方案的采用，尤其是对主存储数据，在主存储数据中用户期望对文件的无缝的、快速的访问。而且，数据去重复算法可在专用装置上运行，或者在存储和提供数据的设备(例如，文件服务器)上运行。在文件服务器的示例中，数据去重复可能不是该设备的主要功能，并且因此可能需要数据去重复技术是高效的，以免过度消耗设备资源(例如，存储器、输入/输出(I/O)机制、中央处理单元(CPU)容量等)。而且，因为数字数据量以非常高的速度增长，所以存储设备(例如，存储盘)的大小以及与计算设备相关联的总存储容量必须增大，从而导致关于不能随着增加存储量而进行很好地伸缩的数据去重复技术的困难。

此外，在处理从存储删除经优化的文件时存在挑战。删除这样的文件可能导致与所删除的文件对应的未使用数据剩余在存储中。该剩余的未使用数据占用本可被使用的存储空间。在使数据能够被可靠地存储时，特别是在这些数据被多个文件共享时，也存在挑战。当数据被大量文件共享时，所存储的数据扇区的丢失可能给多个文件甚至数千个文件带来负面影响。

发明内容

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

提供用于对存储中的未使用的数据块进行垃圾收集并用于存储频繁使用的数据块的冗余副本的方法、系统和计算机程序产品。

例如，提供用于对存储中的未使用的数据块进行垃圾收集的各种实现。根据一种实现，基于被指示为已删除的一个或多个流映射块来标识存储在块容器中的未使用的数据块。所标识的数据块被指示为已删除。块容器中由被指示为已删除的数据块所填充的存储空间可被回收。

在一种实现中，未使用的数据块可如下被标识：多个流映射块被扫描以确定未被指示为已删除的任何流映射块。由被指示为未删除的每个流映射块所引用的数据块标识符被包括在数据结构(例如，布隆(Bloom)过滤器)中。多个流映射块被扫描以确定被指示为已删除的任何流映射块。由未包括在该数据结构中的、被指示为已删除的流映射块所引用的数据块标识符被确定并且被指示为已删除。

在一种实现中，由被指示为已删除的数据块所填充的存储空间可如下被回收：该块容器中未被指示为已删除的每个数据块被复制到新容器文件。新容器文件的重定向表被填充以将所复制的数据块的唯一标识符映射到该数据块在该新容器文件中的起始偏移。然后该块容器被删除，且该新容器文件可被重命名为该块容器的文件名以取代该块容器作为该块容器的压缩版。

提供用于块存储中的数据备份的各种实现。根据一种实现，数据块被接收以存储在块容器中。确定所接收的数据块是否是“热点”并且尚未被复制以进行备份。“热点”数据块可被定义成被包括在数据存储中前预定百分比的最多被引用的数据块中，具有大于预定引用阈值的引用数，或两者。如果所接收的数据块是热点，并且还没有被复制以进行备份，则所接收的数据块的备份副本被存储在备份容器中。