[发明专利]一种纠删码存储单节点失效的修复优化方法

说明书

一种纠删码存储单节点失效的修复优化方法，涉及数据存储。利用全双工通信的特点独立看待每个节点的上传和下载带宽资源，将单节点失效的多条带修复问题抽象建模为图的问题，从整体的角度选择每个条带参与修复的节点，之后考虑调度各个条带节点间数据的传输顺序以充分利用系统中可用的带宽资源。可协助现有编码和单条带修复优化，在不减少单条带修复流量的前提下充分利用空闲的带宽资源，提高单节点修复的并行性从而减少单节点修复的总时间。在单节点故障发生时，分配并调度存储系统中各节点的修复任务，在单条带修复流确定阶段为每个条带选择合适的修复流，在多条带传输调度阶段确定适合的数据传输顺序来饱和地占用各节点可用的上传、下载带宽。

技术领域

本发明涉及数据存储技术领域，尤其是涉及针对单节点失效修复和修复优化的一种纠删码存储单节点失效的修复优化方法。

背景技术

为容纳爆炸性增长的数据量，如今的存储系统通常设于成百上千个存储节点(简称为节点)上，这导致原本属于意外发生的故障普遍发生。“备份”和“纠删码”是现有存储系统常用的冗余容错技术，都依赖于预先存储额外的冗余数据来修复丢失的数据。备份是直接复制多份原始数据并分别存储在不同节点上，数据丢失时只需从幸存的任意副本中获得原始数据。纠删码通常由两个参数(k,m)进行设置，将原始文件划分为固定大小的k个数据块，对数据块进行线性编码生成额外的m个冗余块(称为校验块)，这k+m个块组成一个“条带”，条带中任意一个丢失的数据块可通过取回同个条带的幸存的k个块进行解码恢复。纠删码通过两个轻量级的计算操作，即“编码”和“解码”来实现原始数据和冗余数据间的有效转换。与简单地存储相同副本的备份方法相比，纠删码在保证相同容错能力的同时消耗更少的存储开销，因此在商业存储系统中更受喜爱。

纠删码虽然存储效率很高，但是容易产生大量的修复数据(即通过网络传输以进行修复的数据量)，因为需要取回幸存的k个块来修复一个丢失块。为解决修复带来的I/O放大的问题，现有的研究方法主要集中于构建新型减少修复流量的纠删码(Cheng Huang,HuseyinSimitci,Yikang Xu,et al.Erasure Coding in Windows Azure Storage.InProc.of USENIX ATC,2012；A.Dimakis,P.Godfrey,Y.Wu,M.Wainwright,andK.Ramchandran.Network Coding for Distributed Storage Systems.IEEETransactions on Information Theory,56(9):4539–4551,2010)、设计修复算法来并行化修复过程(Jianzhong Huang,Xianhai Liang,Xiao Qin,Qiang Cao,and ChangshengXie.Push:A Pipelined Reconstruction I/O for Erasure-Coded StorageClusters.IEEE Transactions on Parallel and Distributed Systems,26(2):516–526,2014；Runhui Li,Xiaolu Li,Patrick P.C.Lee,and Qun Huang.Repair Pipelining forErasure-Coded Storage.In Proc.of USENIX ATC,2017)以及利用故障预测技术在故障发生前主动修复数据(Ao Ma,Fred Douglis,Guanlin Lu,Darren Sawyer,SurendarChandra,and Windsor Hsu.RAIDShield:Characterizing,Monitoring,and ProactivelyProtecting Against Disk Failures.In Proc.of USENIX FAST,2015；Zhirong Shen,Xiaolu Li,and Patrick P.C.Lee.Fast Predictive Repair in Erasure-CodedStorage.In Proc.of IEEE/IFIP DSN,2019.)。观察发现，大多数的现有工作主要集中于单条带修复的优化，而单节点故障(即节点中所有)需要从整体上考虑多个块的修复。直接将现有的修复优化方法应用在单节点失效修复存在着一些问题，(1)没有很好地设计利用全双工通信的特点来占用可用带宽资源；(2)没有巧妙地安排块的传输顺序以充分利用带宽；(3)不灵活，忽视不同修复优化算法间的弹性配合，无法满足不同可靠性的要求；(4)缺乏全节点修复的通用框架。因此，如何应用现有修复优化算法来有效解决单节点失效修复问题仍然是纠删码存储系统中一个具有挑战性且重要的问题。