[发明专利]一种基于纠删码的多节点调度修复方法及系统

说明书

本发明提供了一种基于纠删码的多节点调度修复方法及系统，属于计算机存储领域，方法包括：获取当前网络带宽状态，包括各个节点之间的带宽；为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每一个失效节点选择k个helper节点；根据带宽大小，对所有候选链路进行从大到小排序；从排序后的候选链路中依次选择带宽最大的候选链路插入到纠删码集群中，纠删码集群中最小链路带宽大于等于未插入候选链路的带宽；根据候选链路的节点状态确定链路方向，纠删码完成对失效节点的修复任务。本发明可以充分利用带宽资源，提升失效节点的修复效率。

技术领域

本发明属于计算机存储领域，更具体地，涉及一种基于纠删码的多节点调度修复方法及系统。

背景技术

随着信息技术的飞速发展，无时无刻都有海量的新数据产生并需要被持久化地存储下来。为了防止故障导致数据不可用，现有的大规模分布式存储系统引入了纠删码以保持系统可靠性并降低存储成本。

现有的纠删码集群处在一个异构网络中，因此，集群中节点之间的最低带宽链路阻碍了修复进程，并且许多存储设备可能同时出现故障，网络故障可能导致多台服务器断开连接及其数据不可用。因此，加速多节点的恢复也很重要。

传统的多节点修复采用简单的顺序修复方法；该方法存在各个受损节点不能并行修复的问题；当前有一些研究针对在异构的网络环境中实现纠删码的多节点快速修复技术，例如parallel pipeline cross-tree(PPCT)，通过与所有的helper分担多个requestor的带宽从而降低修复时间，但是该方法会导致网络的拥塞与竞争问题，修复并行度不高；因此，针对云存储中带宽异构的环境且存在的低带宽链路阻碍修复时间的情况，提出一个快速的多节点修复技术以修复数据，保证云存储中数据的可靠性是十分重要且有意义的。

发明内容

针对现有技术的缺陷，本发明的目的在于提供一种基于纠删码的多节点调度修复方法及系统，旨在解决现有的低带宽链路阻碍纠删码快速修复数据，导致数据修复效率较低的问题。

为实现上述目的，一方面，本发明提供了一种基于纠删码的多节点调度修复方法，包括以下步骤：

获取当前网络带宽状态，包括各个节点之间的带宽；

为每个失效节点选择对应的新生节点requestor以存储修复数据，并从所有幸存节点中为每一个失效节点选择k个helper节点；其中，k为原始数据块；

根据带宽大小，对所有候选链路进行从大到小排序；其中，候选链路表示链路的两个节点为失效节点对应的不同helper节点；

从排序后的候选链路中依次选择带宽最大的候选链路插入到纠删码集群中，纠删码集群中最小链路带宽大于等于未插入候选链路的带宽；

根据候选链路的节点状态确定链路方向，纠删码完成对失效节点的修复任务。

优选地，采用iperf或心跳机制获取当前网络带宽状态；

优选地，根据候选链路的节点状态确定链路方向的方法为：

若候选链路中包含受损节点N_f，则受损节点N_f为下载节点且链路的修复任务为N_f；

且若候选链路中的一个节点已经作为上传节点，且修复任务为修复受损节点N_f；则上传节点可继续作为一个下载节点，且修复任务为修复受损节点N_r；其中，N_r≠N_f。

优选地，采用空闲节点绕过最低带宽链路，具体方法为：

从候选链路中选取最低带宽链路；

从纠删码集群中条带外的空闲节点中选择满足带宽条件的空闲节点；