[发明专利]高效高可用性存储系统

说明书

一种用于构成数据保护组一部分的服务器，所述服务器包括：存储器；收发器，用于接收来自其他设备的存储数据文件的请求；处理器，其与所述存储器及所述收发器耦合，用于：获取所述存储数据文件的请求；将所述数据文件写入所述存储器的容器；当所述容器存满时编码容器内容，生成多个编码块；其中，所述收发器还用于将所述多个编码块在数据保护组的对等服务器中分发。

相关申请案交叉申请

本发明要求2013年5月24日提交的作者为Guangyu Shi等人、发明名称为“高效高可用性存储系统”的第13/902,343号的美国非临时申请案的在先申请优先权，其要求2012年12月31日提交的作者为Guangyu Shi等人、发明名称为“构建高效高可用性存储系统的方法”的第61/747,747号美国临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文中。

背景技术

数据冗余保证了数据在一个或多个存储节点出现故障的情况下的可用性。为了提供容错功能，许多企业存储系统(例如，网络附加存储(NAS)和存储区域网络(SAN))以及云存储系统(例如，对象存储和键值存储)采用了数据冗余机制。数据冗余可以分为两类：基于副本的和基于纠删编码的数据冗余。传统的三副本法，一个数据内容有三个副本，且将它们存储在三个存储节点中，这使成本增至三倍。例如，当该方法应用于具有100个节点的分布式存储系统时，若超过两个服务器出现故障，某些数据很可能变得不可用。

企业存储中，传统纠删编码的实现可以包括RAID(独立磁盘冗余阵列)、里德-所罗门以及柯西里德-所罗门纠删编码。纠删编码用符号“N+M”来表示N个数据块和通过编码N个数据块生成的M个冗余块。即，N个数据块可以编码生成总共N+M个块。编码的额外成本可以定义为M/N。例如，在100个节点的系统中实现“8+2”编码仍然有一定的可能发生数据不可用。

可能需要更大规模地运行纠删编码，比如使用100个服务器进行“80+20”编码。此时，在额外磁盘使用率为25％的情况下，即使100个服务器中有20个发生故障，该系统也可以保障100％的数据可用性。实现这样一个系统面临的一个重大挑战可能是：计算复杂度随着规模呈线性增长。因此，为了提高不足以进行大规模实施的传统系统的效率，需要开发最优软件纠删编码/解码运算与并行数据恢复。

发明内容

在一个实施例中，本发明包括用于构成数据保护组一部分的服务器，其中，该服务器包括存储器；收发器，用于接收来自其他设备的存储数据文件的请求；处理器，其与所述存储器及所述收发器耦合，用于：获取所述存储数据文件的请求；将所述数据文件写入所述存储器的容器；当所述容器存满时编码容器内容，生成多个编码块；其中，所述收发器还用于将所述多个编码块在数据保护组的对等服务器中分发。

在另一个实施例中，公开了一种装置，包括：存储器，用于存储数据块以及用于编码所述数据块的编码矩阵；缓存；处理器，其与所述缓存及所述存储器耦合，且所述处理器用于：确定所述编码矩阵的大小；确定所述数据块的子矩阵的大小，使得所述编码矩阵的大小和所述子矩阵的大小之和小于所述缓存的大小；请求将所述数据块的所述子矩阵和所述编码矩阵从所述存储器写入所述缓存，其中，所述缓存用于存储所述数据块的所述子矩阵和所述编码矩阵；通过选择所述数据块的所述子矩阵中的至少两个行并对所述至少两个行进行二进制运算来计算一部分编码块，其中，所述至少两个行是根据所述编码矩阵的第一子矩阵中的元素选择的。

在又一个实施例中，公开了一种用于构成数据保护组一部分的服务器，其中，所述服务器包括：收发器，用于向至少一个位置节点请求故障服务器的容器列表；处理器，其与所述收发器耦合，用于：选择容器列表的一部分以备恢复，其中，所述收发器还用于向所述数据保护组中的多个服务器发送多个请求，所述请求是针对所述列表的一部分中的一个容器对应的所有编码块的。