[发明专利]一种纠删码存储单节点失效的修复优化方法

权利要求书

1.一种纠删码存储单节点失效的修复优化方法，其特征在于包括以下步骤：

1)编码数据和分散存储；

2)修复流图抽象，以图的形式描述单条带的数据传输以及参与修复的块之间的依赖关系；

3)单条带修复流确定阶段，单条带修复流的映射结合存储系统中所有节点的上传、下载流量负载考虑，从整体角度确定单条带修复流来平衡节点的上传下载负载；

4)多条带传输调度阶段，平衡系统中节点整体的上传、下载流量负载后，调度数据的传输顺序以进一步提高修复并行性。

2.如权利要求1所述一种纠删码存储单节点失效的修复优化方法，其特征在于在步骤1)中，所述编码数据和分散存储的具体步骤为：

(1.1)根据系统的可靠性需求和存储开销限制，选择满足系统容错需求和存储效率的纠删码；

(1.2)根据纠删码的参数将原始数据划分为固定大小的数据块；

(1.3)根据纠删码的参数和编码规则对数据块进行编码生成校验块；

(1.4)将同个条带的数据块和校验块分散存储在不同的节点中。

3.如权利要求1所述一种纠删码存储单节点失效的修复优化方法，其特征在于在步骤2)中，所述以图的形式描述单条带的数据传输以及参与修复的块之间的依赖关系，具体步骤如下：

(2.1)当单个节点失效时，根据纠删码的编码参数和条带采用的修复优化方法，将每个条带抽象为有向无环图来表示单条带的修复流；

(2.2)单条带的修复流图包含k+1个点，包括k个取数据的点和1个解码并存储修复数据的点，顶点间的有向边表明数据的传输方向，有向边的结构由条带采用的修复优化方法确定；

(2.3)根据节点内所有数据的分布信息即数据所属的条带的节点分布情况将条带的修复流图中的k+1个点映射到实际的存储系统的节点，即从该条带的k+m-1个幸存节点中选取k个取数据的节点并从未存储该条带任何数据的节点中选取1个存储修复数据的目标节点。

4.如权利要求1所述一种纠删码存储单节点失效的修复优化方法，其特征在于在步骤3)中，所述从整体角度确定单条带修复流来平衡节点的上传下载负载，具体步骤如下：

(3.1)从单条带的修复流图得到图中各个顶点的上传、下载流量消耗其中，1≤i≤k+1，根据消耗流量的不同将所有条带的所有顶点分成三类：(1)叶子顶点(2)根顶点(3)中间顶点由于全双工通信的特点，上传和下载可以独立考虑，而叶子顶点仅耗费上传带宽、根节点仅耗费下载带宽，不同类型的顶点映射到存储节点中对存储节点的负载影响不同，以不同优先级考虑不同类的顶点；

(3.2)根据全局信息得到存储系统中所有存储节点当前的上传、下载负担(U,D)，优先将中间顶点和根顶点映射到节点，尽可能平衡系统中各存储节点的上传、下载流量负载，再分配叶顶点以进一步平衡上传修复流量。

5.如权利要求1所述一种纠删码存储单节点失效的修复优化方法，其特征在于在步骤4)中，所述平衡系统中节点整体的上传、下载流量负载后，调度数据的传输顺序以进一步提高修复并行性的具体步骤如下：

(4.1)以最大流的形式建模传输调度问题，假设存储系统中共有n个存储节点，构造具有2n+2个点的流网络，所述2n+2个点的流网络包括1个源点，1个汇集点，n个发送点和n个接收点；源点与所有发送点连边，边的容量为1；发送点和接收点间的边由修复流图决定，边的容量为1；所有接收点与汇集点连边，边的容量为1；

(4.2)根据修复流图构建发送点和接收点间的连接，取出所有修复流图中没有前驱限制(即没有入度)的顶点，顶点的所有出边为当前无需等待可以立即执行的传输边，在流网络中连接这些出边所对应的发送点和接收点；

(4.3)流网络构建完成后，运行最大流算法得到最大流结果，最大流中发送点和接收点间流量为1的边为当前时间片要执行的传输；

(4.4)相应传输执行完成后，动态更改修复流图，从修复流图中删除已经传输完成的边，若修复流图中的顶点删边后成为孤立点，将孤立点也从修复流图中删去；

(4.5)若仍有修复流图不为空图，返回步骤(4.2)继续构造流网络，否则结束。

6.一种用于纠删码存储单节点失效修复优化的框架系统，其特征在于包括：

纠删码方案选择模块，用于根据系统的可靠性需求和存储开销需求，选择满足系统容错能力和编码效率的纠删码方案；

编码模块，用于根据纠删码方案的参数设置对存储的数据进行编码，将数据划分为固定大小的数据块，根据纠删码的编码规则，编码数据块生成对应的校验块；所述数据块和对应的校验块一起构成一个条带，存储系统在逻辑上为多个相互独立的条带的组合；将同个条带的数据块和校验块分发到不同的节点中进行存储，以保证存储系统的容错能力；

单节点失效修复决策模块，用于在出现单节点失效故障时，确定节点中所有失效块的编号以及采用的单条带失效修复算法，然后利用修复流量平衡算法得到各个失效块修复所需的取数据的节点和执行修复的目标节点，确定单条带修复流后，利用多条带传输调度算法得到各参与块的发送顺序，以尽可能利用存储系统中各节点的空闲带宽资源。