[发明专利]一种基于纠删码存储系统的负载均衡修复调度方法

说明书

本发明公开了一种基于纠删码存储系统的负载均衡修复调度方法，特征是包含对负载均衡状态评估，分批调度重构任务和选择源节点，为不饱和的任务补充源节点的连接，和选择替代节点步骤。本发明方法由于采用更新最大流的方式来动态的选择重构任务和源节点，相比于传统的按顺序分批执行修复和随机选择源节点的方式，能够动态的构建均匀的数据布局以及实现源节点的负载均衡；由于替代节点的选择采用寻找完美匹配的方式，克服了传统随机选择替代节点做不到均衡的缺点；本发明通过动态的调度重构任务，提高了系统的修复速度，并减少了在修复过程中对前端任务的干扰，提高了分布式存储系统的服务质量和性能。

技术领域

本发明属于计算机分布式存储系统中的纠删码技术领域，具体涉及通过在纠删码修复过程中动态调度重构任务从而达到负载均衡的高效调度方法。

背景技术

根据2013年，James S.Plank和Cheng Huang在第11届USENIX文件和存储技术会议(11th USENIX Conference on File and Storage Technologies,FAST 2013)上的报告《Erasure Coding for Storage Applications》中所介绍的内容，其强调了纠删码在分布式存储系统中的广泛使用，虽然纠删码可使用少量的冗余提供与副本技术相当的可靠性，但其修复通常需要消耗大量的网络资源去读取数据执行解码计算，所以网络常成为纠删码存储系统中修复的性能瓶颈。存储系统通常采用随机的数据布局去保持大量数据的存储均衡，但由于有限的系统资源，故障修复一般是采取分批进行的，一批修复的条带数量是少量的，且数据分布不均衡；另外，系统常随机选取替代节点和源节点参与修复，所以进一步加剧了修复流量的不均衡，导致存储系统的修复性能降低。

发明内容

本发明的目的是提出一种基于纠删码存储系统的负载均衡修复调度方法，以克服现有技术的上述缺陷，达到在单点故障修复过程中修复流量的负载均衡，进一步均匀计算资源和磁盘I/O资源的占用，在提高修复速度的同时减少对前端应用的性能干扰。

本发明基于纠删码存储系统的负载均衡修复调度方法，其特征在于包括以下步骤：

第一步：负载均衡状态评估

设分布式存储系统部署(k,m)的纠删码，其中k是数据块的数量，m是校验块的数量；当发生单点故障，待重构的任务在主节点构成重构队列；构造出关于替代节点和源节点的二部图G_r-s＝(N,N,E)，其中两部分的点集N都是系统中的幸存节点，设系统中幸存节点数量为n，边集合E代表执行当前这批重构任务时替代节点与源节点的对应关系，修复时间片为系统空闲情况下通过跨节点传输k个块来修复单个故障块所花费的时间；设一个分布式存储系统部署(k,m)的故障块大小是B，系统节点的带宽是同构的，都是B_w，那么该修复时间片就是kB/B_w；定义修复并行度为在修复时间片内系统能够修复的故障块数量，当G_r-s达到最优的源和替代节点负载均衡时，修复并行度达到最优值，即为n，即系统一批执行的重构任务数量为n；通过对每一批重构任务计算修复并行度来判断是否达到最优调度，若修复并行度已达到最优值n，则按当前调度执行该批重构任务，算法终止；否则，转第二步；

第二步：分批调度重构任务和选择源节点

构造一个二部图G_s＝(T,N,E),其中T是n个待重构的任务集合，N是系统中n个幸存节点集合；对任意重构任务T_i∈T，若存在N_i∈N是T_i所在条带的源节点，则在T_i与N_i之间连一条边(T_i,N_i)∈E；重构一个故障块，从该故障块所在条带中剩余的k+m-1个源节点中读取任意的k个块，即为G_s中每个重构任务从E中选择k条边；若每个幸存节点为重构任务都恰好贡献了k个块，则达到最优的负载均衡；