[发明专利]一种基于I/O流水线的失效节点数据重构优化方法

说明书

技术领域

本发明属于计算机存储领域，更具体地，涉及一种基于I/O流水线的失效节点数据重构优化方法。

背景技术

RAID编码是一种可以容许磁盘失效的保护技术。作为RAID码的一般化形式，纠删码（Erasure Codes）也具备这种容错特性。当前典型数据中心采用纠删码来避免多个节点上数据的失效，从而提供数据高可用性。特别地，可以将纠删码应用于存储集群，以保护集群节点的数据失效，从而构成具有容错特性的纠删码存储集群。

如图1所示，在现有（k+r，k）纠删码存储集群中，含有k个数据节点，r个校验节点。集群内数据分布示意图如图2所示。如图3所示，在（k+r，k）纠删码集群中，任意一个存储节点失效的示意图。重构过程表示当集群中有存储节点失效时，采用存活节点上数据来恢复失效节点数据的过程。如图4所示，纠删码集群中，传统的失效节点数据重构的示意图。如图5所示，纠删码集群中，传统的失效节点数据重构的流程图。纠删码存储集群中传统的失效节点数据重构过程大致可以分为以下几步：（1）替换节点分别从任意k个存活节点中取同一条带的存活分块；（2）替换节点将所获取的k个存活分块进行解码计算，解码出失效数据；（3）将解码出的失效数据写入替换节点；（4）判断失效节点数据是否重建完成，如果完成则重构结束，否则转到（1）继续执行；

纠删码集群中传统失效节点数据重构过程存在以下技术问题：首先，重构过程中，替换节点将分别从任意k个存活节点读取数据并进行解码操作，则此时替换节点的网络带宽将成为整个重构过程的瓶颈，从而制约了失效数据的重构速度；此外，存活节点的计算资源以及网络带宽资源没有得到充分的利用。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于I/O流水线的失效节点数据重构优化方法，其目的在于，解决传统纠删码集群数据重构过程存在的上述技术问题，其不仅能充分利用存活节点的计算资源和网络带宽资源，同时还能显著地加快失效节点数据重构过程的速度。

为实现上述目的，按照本发明的一个方面，提供了一种基于I/O流水线的失效节点数据重构优化方法，是应用于纠删码存储集群中，所述方法包括如下步骤：

（1）从纠删码存储集群中的存活节点中任选k个节点，记为N₁,N₂,…,N_k，并初始化计数器i=0，j=1，其中k为纠删码存储集群中数据节点的数量；

（2）节点N_j读取其自身的分块Block_i,j，并将其发送到N_j+1，其中Block_i,j表示第j个节点N_j的第i个分块，并设置j=j+1；

（3）节点N_j读取其自身的分块Block_i,j，并与接收自节点N_j-1的分块Block_i,j-1进行线性组合计算，以得到结果分块Block_i,j’，并将结果分块Block_i,j’发送到节点N_j+1；

（4）设置j=j+1，并判断j是否等于k，如果等于则进入步骤（5），否则返回步骤（3）；

（5）N_j读取分块Block_i,j与接收自N_j-1的分块Block_i,j-1’进行线性组合计算，以得到结果分块Block_i,j’，并将结果分块Block_i,j’发送到替换节点；

（6）替换节点将结果分块Block_i,j’写入该替换节点的磁盘；

（7）设置i=i+1，并判断i是否等于节点上的总分块数，如果等于，则重构过程结束，否则设置j=1，并返回步骤（2）。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、避免了替换节点的网络带宽成为重构性能瓶颈：由于采用了步骤（2）至步骤（7）的流水过程，替换节点只需接收已重构数据，并将其写入指定位置即可；而在传统模式下，替换节点需要接收k个存活分块方可进行重构操作。从而避免了数据接收带宽此一重构性能瓶颈；