[发明专利]利用数据缩减在高性能直接附接非易失性存储器上进行有效跨设备冗余实现

说明书

一种方法，所述方法用于通过以下步骤利用单次提交实现跨设备冗余方案：由写入页分配单元接收分配数据颗粒的请求；响应于接收所述请求，由所述写入页分配单元执行对与颗粒存储器相关联的预定数据布局映射的分析以标识存储器段；由所述写入页分配单元向所述存储器段分配若干数据颗粒，同时计算与所述若干数据颗粒相关联的冗余数据；向所述颗粒存储器的所述存储器段中存储所述若干数据颗粒和所述冗余数据；由所述写入页分配单元判定是否已满足与所述颗粒存储器相关联的存储阈值；以及响应于满足与所述颗粒存储器相关联的所述存储阈值，向一个或多个存储设备传输存储在所述存储器段中的数据颗粒和冗余数据。

技术领域

本公开涉及计算跨设备冗余数据。具体地，本公开描述了计算冗余数据并将其存储在预先指定的位置。更具体地，本公开涉及提供与数据和冗余数据相关联的单次提交保证。

背景技术

高性能非易失性存储器系统变得流行，成为传统存储层次的新级别。进一步地，试图在电源故障的情况下实现冗余方案的现有方法包括各种形式的独立磁盘冗余阵列(例如，RAID 5和RAID 6)或更多复杂方案(如纠删码)，以便保护数据免遭单个或多个设备故障。但是，现有冗余方案和设备故障方法要求两次提交，一次针对数据，而另一次针对冗余数据。这些现有方法不考虑冗余数据是如何计算的，从而导致了成为性能瓶颈的双提交。本公开通过提供一种用于利用单次提交实现跨设备冗余方案的高度可靠系统，解决了与存储设备中冗余数据相关联的问题。

发明内容

本公开涉及用于利用单次提交实现跨设备冗余方案的系统和方法。根据本公开主题的一个新颖方面，一种用于存储和数据缩减的系统包括压缩单元，所述压缩单元具有用于压缩数据的输入和输出，所述压缩单元的所述输入被耦合以用于接收数据流，所述压缩单元压缩所述数据流以产生数据颗粒；写入页分配单元，所述写入页分配单元具有用于向所述一个或多个存储设备传送数据颗粒并生成冗余数据的输入和输出，所述写入页分配单元的所述输入与所述压缩单元的所述输出耦合以用于接收数据颗粒，所述写入页分配单元的所述输出与所述一个或多个存储设备耦合；以及颗粒存储器，所述颗粒存储器用于临时存储数据且具有输入和输出，所述输入与所述写入页分配单元耦合，所述输出与所述一个或多个存储设备耦合。所述系统还可以包括：加密单元，所述加密单元具有用于将所述数据进行编码以产生编码数据流的输入和输出，所述加密单元的所述输入被耦合以用于接收所述数据流，所述加密单元的所述输出与所述写入页分配单元的所述输入耦合；分配逻辑，所述分配逻辑用于分析与所述颗粒存储器相关联的预定数据布局映射以标识所述颗粒存储器的用于临时存储数据颗粒的存储器段，所述分配逻辑与所述压缩单元和所述颗粒存储器耦合；数据队列，所述数据队列用于临时存储颗粒直至所述颗粒可以被存储在所述颗粒存储器中，所述数据队列具有输入和输出，所述数据队列的所述输入与所述压缩单元耦合，所述数据队列的所述输出与所述分配逻辑耦合；以及DMA命令单元，所述DMA命令单元用于将数据从所述颗粒存储器直接传送到所述一个或多个存储设备。

通常，本公开中描述的主题的另一新颖方面可以通过多种方法实现，所述方法包括：由写入页分配单元接收分配数据颗粒的请求；响应于接收所述请求，由所述写入页分配单元执行对与颗粒存储器相关联的预定数据布局映射的分析以标识存储器段；由所述写入页分配单元向所述存储器段分配若干数据颗粒，同时计算与所述若干数据颗粒相关联的冗余数据；向所述颗粒存储器的所述存储器段中存储所述若干数据颗粒和所述冗余数据；由所述写入页分配单元判定是否已满足与所述颗粒存储器相关联的存储阈值；以及响应于满足与所述颗粒存储器相关联的所述存储阈值，向一个或多个存储设备传输存储在所述存储器段中的数据颗粒和冗余数据。

一个或多个这种方面的其他实施方式包括相应系统、装置和计算机程序，所述计算机程序被配置成用于执行方法的动作并被编码在计算机存储设备上。