[发明专利]基于纠删码分布式存储的节点异常重连复用方法及系统

说明书

本发明提供一种基于纠删码分布式存储的节点异常重连复用方法及系统，方法包括：获取数据写入状态，根据所述数据写入状态识别异常节点；对识别结果中的异常节点进行状态监控；当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域；本发明通过节点设备复用，使局部数据恢复，在节点短暂异常后恢复正常的情况下，能够继续向该节点写入数据，恢复集群k+m的纠删特性，并以少量的数据交互，消除节点异常带来的影响，减少后续数据恢复的压力以及减低存储空间浪费的风险。

技术领域

本发明涉及计算机及其应用领域，尤其涉及一种基于纠删码分布式存储的节点异常重连复用方法及系统。

背景技术

随着市场对数据规模需求的不断提高，存储技术也随之革新。在大量数据存储领域，相对于传统的SAN(Storage Attached Network)和NAS(Network-Attached Storage)，分布式存储有着性能高，成本低和扩展性强的优势。纠删码技术是将完整的原始数据切割成k个数据条带，经过纠删算法后得到m个检验条带，在丢失条带不超过m的情况下可以恢复出原始数据。将纠删码容错技术代替多副本技术运用在分布式存储中，在保障了数据安全的前提下，还提高了存储空间利用率，进一步降低了成本。纠删码运用在分布式存储中，将业务数据分成k份数据条带，在纠删计算得到m份校验条带，将这k+m份数据按一定顺序存储在集群k+m个不同的节点设备上，并将这k+m个节点设备上的k+m文件视为一组，以此做到在节点设备异常数量不超过m的情况下(后续将异常节点设备为m的情况称之为纠删极限)，可以恢复出原始数据。

但是，在一组文件的写入期间，部分节点设备异常后，即便这些节点设备能在短期内恢复，相应的文件往往不会复用，则这组文件后续写入过程中实际存储条带小于k+m，期间更容易超出纠删极限的情况，在超出纠删极限后该组文件将不可写入，需申请新的文件组，造成空间浪费。在异常节点设备修复重新上线后，需要对异常的文件数据块进行大量的修复操作，短期内会在节点间产生大量数据交互与计算。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种基于纠删码分布式存储的节点异常重连复用方法及系统，以解决上述技术问题。

本发明提供的基于纠删码分布式存储的节点异常重连复用方法，包括：

获取数据写入状态，根据所述数据写入状态识别异常节点；

对识别结果中的异常节点进行状态监控；

当检测到异常节点恢复正常时，更新节点状态，并复用所述异常节点的数据写入流程，发送异常期间的异常数据段的位置信息至对应节点并保存；

调取其他节点上的相应数据对异常节点进行局部数据还原，将还原出的数据覆盖写入到异常区域，完成数据恢复。

可选的，根据预先设置的映射关系表对异常节点进行监控，所述映射关系表根据节点设备状态信息和节点身份信息的映射关系建立。

可选的，在获取数据写入状态之前还包括输入业务数据，并对所述业务数据进行纠删处理后，进行分布式存储。

可选的，所述复用所述异常节点的数据写入流程具体包括，当检测到异常节点恢复正常时，更新节点状态，在写入流程中，根据更新后的节点状态恢复对该节点的写入，重新打开对应节点中的文件，偏移(seek)到文件当前最新写入的位置，对异常期间的数据填零，并将异常期间的异常数据段的位置信息发送到节点保存，作为后续数据恢复的依据。

可选的，记录异常期间数据位置，以节点被标识为异常节点的写入偏移为起始位置，以节点重新上线恢复写入后的当前写入偏移为终止位置，根据所述异常期间数据位置对文件进行局部恢复。