[发明专利]一种基于纠删码的分布式块存储系统

说明书

本发明涉及一种基于纠删码的分布式块存储系统，包括块访问客户端、元数据服务集群和存储服务器集群，其中，该块访问客户端接收上层应用请求，基于纠删码配置策略将所述上层应用请求转化为对后端存储对象的读写请求；该存储服务器集群包括多个存储服务节点，接收并响应所述读写请求；该元数据服务集群监视所有存储服务节点状态，形成集群状态；各所述存储服务节点采用三层分布式哈希算法逻辑进行数据分布。与现有技术相比，本发明不仅能提供不输于副本存储系统的吞吐量性能，在节点/磁盘故障、扩容等异常场景对前端应用的读写请求性能的影响很小。

技术领域

本发明涉及一种分布式块存储系统，尤其是涉及一种基于纠删码的分布式块存储系统。

背景技术

分布式块存储系统中，一般采用多副本的存储方式，即同一份数据在不同故障域存储多份的方式，通过提高数据冗余度方法以解决通用硬件不可靠性带来的数据安全性，但同样存在存储空间利用率低的问题。例如，市场上分布式块存储普遍采用三副本策略存储数据，其空间利用率只有1/3。相比之下，纠删码技术在不降低冗余度的情况下，可以获得更高的存储空间利用率，例如采用4:2配置的纠删码存储系统，存储空间利用率为2/3，比之副本技术，空间利用率足足提高了一倍。虽然比之副本块存储系统，纠删码(Erasure Code，EC)存储系统读写延迟会相对较高，但在某些对延时相对不敏感，对存储吞吐量要求较高的场景，纠删码存储系统不仅可以提供不输于副本块存储系统的吞吐量，还可以提供较高的存储空间利用率，从而降低成本。

当前大部分分布式存储系统使用分布式一致性哈希算法或CRUSH伪随机分布算法进行数据分布，在发生故障时，均无法解决部分未产生故障的存储对象的分布位置发生变更的问题。而纠删码各数据分块之间是有序的，比之副本存储系统，这种变动，无疑会对前端应用的读写访问影响更大，大负载场景甚至可能导致整个存储系统不可用。而且，当前大部分纠删码存储系统也主要应用于对象存储领域，一般不支持块访问方式，且存在不支持覆盖写的问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种能够保证吞吐性能且对读写请求性能影响小的基于纠删码的分布式块存储系统。

本发明的目的可以通过以下技术方案来实现：

一种基于纠删码的分布式块存储系统，包括块访问客户端、元数据服务集群和存储服务器集群，其中，

该块访问客户端接收上层应用请求，基于纠删码配置策略将所述上层应用请求转化为对后端存储对象的读写请求；

该存储服务器集群包括多个存储服务节点，接收并响应所述读写请求；

该元数据服务集群监视所有存储服务节点状态，形成集群状态；

各所述存储服务节点采用三层分布式哈希算法逻辑进行数据分布，以故障域层、节点层和磁盘层构建分布式哈希，对存储对象的数据进行纠删码编码，生成校验数据，将存储对象的数据及校验数据写入不同故障域的多个数据块中，所述块访问客户端根据集群状态，将读写请求发送给存储对象的第一纠删码数据分块所在的存储服务节点进行处理。

进一步地，当所述上层应用请求为写请求时，所述块访问客户端接收写请求，基于所述纠删码配置策略判断该写请求是否纠删码条带对齐，若是，则直接发送至所述存储服务器集群，若否，则从所述存储服务器集群中读取数据使该写请求满足纠删码条带对齐要求后，再发送至所述存储服务器集群。

进一步地，当所述上层应用请求为写请求时，所述块访问客户端检查并行写请求是否存在写位置冲突，将存在冲突的写请求放入等待队列。

进一步地，所述存储服务节点包括数据路由单元、纠删码单元、集群状态代理、数据恢复单元和数据读写单元，其中，

该数据路由单元根据所述集群状态构建所述分布式哈希，接收并处理所述读写请求；

该纠删码单元处理数据读写及恢复数据时的纠删码编解码请求；