[发明专利]数据恢复方法、系统及可读存储介质

说明书

本发明提供了一种数据恢复方法、系统及可读存储介质，方法包括以下步骤：S1、基于系统中数据条带的分布情况构建数据流图，在数据流图中，节点分别表示数据条带和解码节点，数据条带与解码节点连接的边代表恢复路径的选择；S2、对数据流图进行检测并识别拥塞的解码节点，将拥塞的解码节点及其在数据流图中相连的边删掉；S3、根据发生故障的数据条带的恢复路径的数量，选用不同的恢复方式。本发明通过利用大规模数据流图的剪枝和增枝，选择合适的数据恢复方案，增枝成功的执行纠删码恢复，增枝失败的执行插帧恢复，可以有效提高恢复性能。

技术领域

本发明涉及数据恢复技术领域，尤其涉及一种数据恢复方法、系统及可读存储介质。

背景技术

通常云存储系统使用纠删码以提供更高的存储可靠性，纠删码在提供高可靠性的同时保证了低存储开销。当前的纠删码技术在恢复故障节点数据时，恢复过程中会因为大规模的拥堵节点带来恢复的极大的延迟和造成部分故障数据的不可恢复，此外还会因为降级读而带来很大的I/O和网络开销。

现有的优化恢复性能的实现方案可以分为两类：基于EC(纠删码)的恢复方法和基于AI(人工智能)的恢复方法。基于EC的恢复方法是通过图算法绕过少量的拥塞节点进而实现对故障数据的较快速且高质量的恢复，比如基于最大匹配的SelectiveEC，基于最大流算法的FAGR，通过线性规划绕过单节点拥塞的EC-Store。而基于AI的恢复方法，则是通过插值帧或合成因节点拥堵而难以恢复的故障数据进行近似恢复，不需要像基于EC的恢复方法那样读取k倍的数据进行恢复，I/O和网络开销都很小，如CDFI、GAN等方法。

但是，基于EC的恢复方法只能针对静态的负载且拥塞节点较少的场景去做恢复，而面对拥塞节点动态变化且数量较多的时候它们往往是失效的，从而导致部分数据不可恢复和总体恢复时间延长的问题；而基于AI的恢复方法只适用于视频中非关键帧的恢复，很难实现关键帧的无损恢复。

发明内容

本发明的目的在于提供一种数据恢复方法、系统及可读存储介质，能够将基于纠删码和基于人工的恢复方式进行融合，有效降低恢复延时，提高恢复性能。

为达到上述目的，本发明提供一种数据恢复方法，包括以下步骤：

S1、基于系统中数据条带的分布情况构建数据流图，在所述数据流图中，节点分别表示数据条带和解码节点，所述数据条带与所述解码节点连接的边代表恢复路径的选择；

S2、对所述数据流图进行检测并识别拥塞的解码节点，将所述拥塞的解码节点及其在所述数据流图中相连的边删掉；

S3、根据发生故障的数据条带的恢复路径的数量，选用不同的恢复方式；当故障条带的恢复路径的数量大于第一阈值时，选用基于纠删码的恢复方式；当所述故障条带的恢复路径小于第一阈值且大于第二阈值时，从剩余未选中的节点中选取未拥塞的解码节点来替换当前的拥塞的解码节点，以满足纠编码的恢复条件；当故障条带的恢复路径小于第二阈值时，对所述故障条带上的不重要的故障数据块采用AI插帧的方式恢复，对重要的故障数据块的恢复选用基于纠删码的恢复方式。

可选的，所述数据流图为二分图，所述二分图左侧的节点用于表示所述数据条带，所述二分图右侧的节点用于表示所述解码节点。

可选的，通过对所述解码节点设置不同的点权以表征所述解码节点的拥塞情况。

可选的，对所述数据流图进行周期性的检测以识别所述拥塞的解码节点。

可选的，若选用基于纠删码的恢复方式的故障条带不止一条，则可以采用并行恢复的方式。

基于同一发明构思，本申请还提出一种数据恢复系统，包括：

构建模块，其被配置为基于系统中数据条带的分布情况构建数据流图，在所述数据流图中，节点分别表示数据条带和解码节点，所述数据条带与所述解码节点连接的边代表恢复路径的选择；