[发明专利]用于数据备份的方法、装置和分布式文件系统

说明书

技术领域

本发明涉及通信领域，特别涉及一种用于数据备份的方法、装置和分布式文件系统。

背景技术

云计算分布式文件系统利用多台服务器提供大容量高可靠的文件服务，集群包含数据服务器和目录服务器(元数据服务器)。目录服务器用来维护文件数据块在数据服务器的分布情况（元数据），数据服务器用来存储具体文件数据。相比现今其他存储技术，分布式文件系统以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。然而，如何保证分布式文件系统的各方面要求，如扩展性、可用性、可靠性、安全性、效率等，是我们需要解决的问题。

在分布式系统中，副本机制是一种提高有效性和性能的重要方法。副本机制指当向文件系统写入数据块时，除了在一个主用节点上写入数据，同时会分配其他几个节点并在这些节点中写入数据。具体分配多少节点根据系统的可靠性要求决定。副本弥补了存储对象单点失效、容错性差、接入性能不高等问题。但引入副本机制也必然带来以下几个方面的问题:副本一致性问题、负载平衡问题、创建副本的各种硬件和通信上的代价问题以及云计算任务对副本访问代价问题等等。

副本机制虽然能够有效提高分布式系统的有效性，但现有的分布式文件系统数据副本备份方案存在以下问题：

1、创建数据副本时，没有考虑存储、通信等代价，容易造成备份代价过高的问题。

2、由于数据副本随机选择位置，当大量副本集中在同一节点时，可能造成节点负载不均。

发明内容

本发明要解决的技术问题是提供一种用于数据备份的方法、装置和分布式文件系统。通过引入代价矩阵，根据代价矩阵选择备份成本最低的节点进行数据备份，从而有效避免出现备份代价过高和节点负载不均的问题。

根据本发明的一个方面，提供一种用于数据备份的方法，包括：

当接收到数据节点发送的数据备份请求时，向代价服务器发送查询请求，用于查询分布式系统中与所述数据节点相关联的代价矩阵信息，其中所述数据节点为写入数据的主用节点，与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式系统中其它任一候选节点之间的存储成本；

接收代价服务器发送的响应信息，其中响应信息中包括与所述数据节点相关联的代价矩阵信息；

利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本；

选择备份成本最小的候选节点作为目标节点；

将目标节点信息发送给所述数据节点，以便所述数据节点将数据备份到目标节点上。

优选的，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本的步骤包括：

数据节点i和候选节点j之间的备份成本Cost(i,j)为：

其中CM(i,j)[l]为所述数据节点i与候选节点j之间第l个维度的存储成本，W[l]为第l个维度的成本权重，K为维度总数。

优选的，选择备份成本最小的候选节点作为目标节点的步骤包括：

将满足argminCost(i,j)的候选节点j作为所述数据节点i的目标节点。

优选的，以预定的时间间隔检测分布式系统中任意两个节点之间的网络状态；

根据所述网络状态向代价服务器发送更新请求，以更新代价矩阵信息。

优选的，以预定的时间间隔检测分布式系统中任意两个节点之间的网络状态的步骤包括：

以预定的时间间隔检测分布式系统中任意两个节点之间的链路拥塞度。

根据本发明的另一方面，提供一种用于数据备份的方法，包括：

当数据节点作为写入数据的主用节点时，向主节点发送数据备份请求，以便使主节点根据数据备份请求从代价服务器获取与所述数据节点相关联的代价矩阵信息，利用代价矩阵信息计算所述数据节点与其它任一候选节点之间的备份成本，选择备份成本最小的候选节点作为目标节点；其中与所述数据节点相关联的代价矩阵信息代表所述数据节点与分布式系统中其它任一候选节点之间的存储成本；

接收主节点发送的目标节点信息；

将数据备份到目标节点上。

根据本发明的另一方面，提供一种用于数据备份的主节点，包括：

第一接收单元，用于接收数据节点发送的数据备份请求，当接收到数据节点发送的数据备份请求时，指示第一发送单元向代价服务器发送查询请求，其中所述数据节点为写入数据的主用节点；