[发明专利]一种分布式文件系统中的存储数据修复结构及修复方法

说明书

本发明公开了一种分布式文件系统中的存储数据修复结构及其修复方法。本发明设计了一种通用的修复框架，包括修复树生成协议模块，编码数据传输协议模块，网络监测模块，编码模块；其可以很方便的应用到现有的分布式存储系统中。在树形结构修复中，能够结合网络的拓扑结构，根据节点之间链路的使用情况，构造合理的传输路径，并在中间节点进行编码和解码，以达到减少数据修复过程中产生的流量开销。同时还能够利用网络中资源较多的链路来降低整个数据修复过程中的时间开销。从另一方面来讲，这对于网络中的负载均衡也有很重要的意义，能很好的避免性能瓶颈的产生。

技术领域

本发明涉及数据中心(Data Center)网络系统，具体是一种分布式存储中的数据修复结构及方法。

背景技术

随着云计算的兴起，相关技术的迅猛发展，数据中心作为云计算的后台，提供可靠的，高效的云计算服务。目前的研究表明，数据中心的网络资源已经很大程度上成为了数据中心的一个性能瓶颈。而且随着编码技术的引入，这一瓶颈变得愈发明显。因为在数据中心，节点失效变得比较常见，因此数据修复操作变得相对频繁起来。而编码的引入使得数据修复的开销变得相当高昂。

发明内容

本发明所要解决的技术问题是提供一种分布式文件系统中的存储数据修复结构及其修复方法，其结合底层的网络拓扑，通过一系列协议模块和软件模块提供高效的树形结构的数据恢复，不仅大大降低了数据修复的流量开销，而且使得修复过程的持续时间大为缩短。

本发明所述的一种分布式文件系统中的数据修复结构，所述分布式文件系统中数据存储采用主/从架构模式，在中心节点和从节点中都设有：

修复树生成协议模块，即STNRP：以丢失数据所属文件id作为特征码标识编码块，构建一棵Stenier Tree修复树，以支持编码数据的传输协议模块；

编码数据传输协议模块，即CDTP：对于每个特征码标识的编码块通信，根据修复树生成协议模块生成的修复树，同步各个叶子节点和中间节点，使得编码块由叶子节点同步传输到根结点，并在中间过程或者转发，或者做编码操作；

网络监测模块：负责更新网络各链路资源的使用情况，由adjMatrix矩阵来表示，以展现整个网络的拓扑结构，其权值表示链路上的负载情况；

编码模块：在中心节点该模块负责计算修复向量，从节点则负责在中间节点上对编码块的编码解码操作；

树形修复模块：负责根据网络的拓扑信息，构造出一棵修复树，然后将这颗树转发给STNRP协议模块。

2、一种分布式文件系统中的数据修复方法，其特征在于包括以下步骤：

1）生成修复树，其具体步骤包括：

11）中心节点运行STNR算法，根据网络拓扑结构，构造一棵再生树用于数据修复，这棵树本质上是一棵Stenier Tree，其保证修复带宽和流量；

12）中心节点实现stnrp_dispatch()函数，该函数通过Socket将再生树中的节点信息分发到每个从节点，包括其父节点，子节点信息以及修复系数；

13）从节点实现stnrp_rcv()函数，该函数收到中心节点的节点信息后，在本地构造修复结构，包括数据源，数据目的地以及修复系数；然后构造一个接收队列和一个发送队列，一个接收线程和一个发送线程；然后调用stnrp_ack()将结果报告给中心节点；

14）中心节点若收到节点构造失败消息，则调用stnrp_replace()函数，以stnrp_closest()函数来选择替代节点以代替再生树中构造失败的节点，接着调用stnrp_dispatch()向这些节点分发修复信息；选择替代节点的策略为：1) 如果节点是参与节点，则选择离其最近的一个节点替换；2) 如果节点是数据提供节点，则从提供节点集合中选取一个下一个瓶颈带宽值最大的节点；