[发明专利]基于网络数据转发与控制层面分离的纠删码修复方法

说明书

本发明属于分布式存储系统技术领域，具体涉及一种基于网络数据转发与控制层面分离的纠删码修复方法。与现有技术相比较，本发明采取了数据与转发平面分离的方式，实现将网络的数据转发的控制平面分开，实时监控节点间的流量，从而测得网络的实时带宽，可以选择出带宽最好的节点，实现基于带宽的数据修复算法，可以最终优化纠删码的修复方法。该基于带宽的数据修复算法，通过与传统的纠删码修复算法时间做比较，数据修复的速度提高了将近10％。纠删码的修复速度提高，分布式存储系统数据的可靠性和可用性也提高。

技术领域

本发明属于分布式存储系统技术领域，具体涉及一种基于网络数据转发与控制层面分离的纠删码修复方法。

背景技术

纠删码是分布式存储系统的一种容错技术，可以用三元组(n，k，k')表示，主要思想为将原数据D分为k个大小相等的数据块，通过特定的编码算法对这k个数据块进行编码计算，产生n个编码块，其中nk，从中取任意k'(k≤k'n)个编码块都可以恢复出原数据对象D，如图1所示。当节点发生失效时，供应节点向新生节点发送数据，新生节点接收数据之后，根据使用的编码算法恢复出丢失的数据。

在分布式存储系统的修复模型中，可以将节点分为两种类型，供应节点与新生节点，供应节点是提供编码块的节点，新生节点是接收编码块恢复出丢失数据的节点，数据传输的路径形成修复树，如图2表示，其中V₀为新生节点，V₁-V₃为供应节点。

为了提高纠删码的修复速度，提出了基于带宽的修复模型，基于带宽的修复模型是指，在进行路径选择时，优先选择带宽好的节点，以此提高数据传输的速度，从而提高纠删码修复的速度，如图3所示，可以将分布式存储节点抽象为拓扑图的其中一个节点，两个节点之间的边值代表节点间的带宽，选择带宽最大的节点即变成选择边值最大的节点。

中国专利“CN103729151一种基于改进型纠删码的失效数据修复方法”构建了一个由1个控制节点和N个存储节点组成的分布式存储系统，控制节点安装有数据写入管理程序和数据读取程序，存储节点安装有数据写入程序和数据读取程序，数据写入管理程序接收用户提交的数据对象，进行分块和编码计算，最终修复丢失的数据。

现有的专利关注点在减少纠删码数据的负载，然而纠删码的修复速度会影响数据的可靠性和可用性。基于带宽的纠删码修复算法只关注纠删码的修复速度，从而提高数据的可靠性和可用性。实时带宽极难测量，基于带宽的纠删码修复算法只停留在理论阶段，没有在实际环境中应用。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何提供一种纠删码修复方法。

(二)技术方案

为解决上述技术问题，本发明提供一种基于网络数据转发与控制层面分离的纠删码修复方法，该方法基于包括纠删码修复系统来实施，所述纠删码修复系统包括：数据存储层、网络转发层、网络控制层；

所述纠删码修复方法包括如下步骤：

步骤1：通过在数据存储层部署分布式存储系统，构建分布式存储系统的网络模型，包括数据存储层、网络转发层与网络控制层；其中网络控制层控制交换机端口数据转发，网络转发层的交换机顺序连接，每台交换机与几台存储节点相连，为分布式存储系统配置纠删码的编码算法；

步骤2：当分布式存储系统的存储节点中有节点发生失效时，依据纠删码的编码算法，确定所有可提供数据的供应节点与新生节点，并将新生节点存储为V₀，供应节点存储为V₁,...,V_i,...,V_n；