[发明专利]分布式存储系统中供应服务器选择和修复数据传输方法

说明书

本发明公开了一种分布式存储系统中供应服务器选择和修复数据传输方法，其特征在于，基于混合整数线性规划实现，将供应服务器定义为供应节点，根据待修复的分布式存储系统，获取节点集合、链路集合、需选择的供应节点的数量、每个供应节点需传输到新生节点的数据量；将基于网络编码的分布式存储系统表示为有向图；根据有向图，基于混合整数线性规划，建立最优供应节点选择及修复数据传输的数学模型；求解获得最优的供应节点集合，每个供应节点到新生节点的数据传输路径以及每条路径上传输的数据传输速率。本发明减少了整个数据修复的再生时间，从而提高了系统性能。

技术领域

本发明涉及基于网络编码的分布式存储系统的数据修复，具体涉及一种在对基于网络编码的分布式存储系统进行数据修复时进行供应服务器选择和修复数据传输的方法。

背景技术

随着大数据时代的到来，爆炸式增长的信息加速了数据存储的发展。思科预测在2018年，数据中心流量预估为8.6 ZB（zettabytes）。由于分布式存储系统具有以下优点：1）增强存储的可靠性；2）提高存储的可靠性；3）动态可扩展，易于维修等等，因此，很多提供数据存储的服务商都是通过分布式存储系统存储数据。

众所周知，数据的储存必须具有很高的可靠性。为了保证数据存储的可靠性并节约成本，现有技术中，大规模的分布式存储系统一般在分布在不同地理位置的服务器上，通过冗余方式存储数据，这样，用户可以随时随地的获得所需的信息。传统的存储方案主要有复制和里德-所罗门码。2000年，网络编码被提出，网络编码是一种融合了路由和编码的信息交换技术，它的核心思想是在网络中的各个节点上对各条信道上收到的信息进行线性或者非线性的处理，然后转发给下游节点，中间节点扮演着编码器或信号处理器的角色。通过网络编码，可以达到多播路由传输的最大流界，提高了信息的传输效率，因而其具有增加网络吞吐量、均衡网络负载、提高带宽利用率等优点。网络编码应用于分布式存储系统的数据存储，同时具有纠删码的MDS性质，用户只要获得足够的编码块就可以恢复原文件。

尽管网络编码能提高可靠性，但在实际应用中，分布式存储系统中的数据容易受到各式各样的破坏，例如断电，骇客入侵、磁盘损坏等。为了保证存储的可靠性，需要对丢失的数据进行及时修复。当某一个存储服务器失效后，一个新的存储服务器（该服务器被称为新生服务器）会替换原有失效服务器，并且从其它幸存的存储服务器（也称为存活服务器）中选择部分服务器（称为供应服务器），并从其上下载修复数据，对丢失的数据进行再生。例如，中国发明专利申请CN103336785A公开了一种基于网络编码的分布式存储方法及其装置，其中，在数据修复步骤中，从可用数据节点（存活服务器）中随机选择编码数据块，下载编码数据块构建修复矩阵并存储到新的可用数据节点（新生服务器）中。

但是，在修复过程中，供应服务器的选择和修复数据的传输方法直接影响网络的带宽（修复带宽）消耗和修复时延（再生时间）。上述随机选择供应服务器的方法对再生时间具有不利影响。

发明内容

本发明的发明目的是提供一种分布式存储系统中供应服务器选择和修复数据传输方法，通过对供应服务器的优化选择和数据传输路径的优化，有效利用网络带宽，缩短修复时延。

为达到上述发明目的，本发明采用的技术方案是：一种分布式存储系统中供应服务器选择和修复数据传输方法，基于混合整数线性规划实现，将供应服务器定义为供应节点，所述方法包括以下步骤：

A、根据待修复的分布式存储系统，获取下列参数：

由存活服务器、新生服务器和网络中的互联设备构成的节点集合，

节点集合中各节点间的链路集合，

需选择的供应节点的数量，

每个供应节点需传输到新生节点的数据量；

B、根据所获取的参数，将基于网络编码的分布式存储系统表示为有向图G(V,E)，G为有向连通图，V和E分别为节点集合及链路集合；