[发明专利]适用于基于哈希的多节点备份系统的数据备份方法及装置

说明书

本发明公开了一种适用于基于哈希的多节点备份系统的数据备份方法，所述方法包括：遍历本地存储的目标复制备份数据，统计并记录各个目标复制备份数据所引用的数据块以及数据块是否存在于远端服务器；将不存在于远端服务器的数据块在本地保存为作业文件；根据作业文件并发地进行多个目标复制备份数据的复制。本发明避免了不必要的数据传输，极大地提升了复制的效率。复制的粒度从整个目标复制备份数据减小为了单独的数据块，避免了大量重复的数据查询和数据传输。

技术领域

本发明涉及计算机技术领域，尤其涉及一种适用于基于哈希的多节点备份系统的数据备份方法。

背景技术

在基于哈希的备份系统中，根据不同的切片算法，备份的原始数据会被切分成许多个数据切片。这些数据切片和他们对应的哈希值会被分散地存储在备份系统的数据节点中，并最终组织成一个默克尔(Merkel)树的形式来保存。在备份系统中，查询到哈希值的存在就意味着它所关联的数据块的存在。如图1所示，多个备份Merkel树可能会引用相同的数据块；但是，数据块本身只会被系统存储一次，所以备份系统具有高效的磁盘利用率。

备份系统的一种主要的容灾方法就是远程复制，它允许用户把目标复制备份数据从一个源备份服务器(即源数据节点)复制到另一个目的备份服务器(目的数据节点，也可以称为远端服务器或远端备份服务器)。当源备份服务器发生了任何导致数据丢失或数据不可用错误时，用户可以从远端备份服务器将数据恢复回来。图2示出了目前远程复制功能的实现流程，在图2中，n大于0，为源备份服务器存储节点的数目，m大于0，为目的备份服务器存储节点的数目。

在当前的远程复制功能实现中，当预设的复制时间到达或者用户手动触发了数据复制的时候，源系统的控制节点会为每一个需要复制的备份客户端创建一个复制会话，它们会被用于复制这个客户端的目标复制备份数据到远端服务器。不同的备份系统，可能会有不同的可并发执行的复制会话数目限制。

虽然当前的实现方式简单并满足了复制功能的需要，但是它还是具有以下的缺陷以至于大大地影响了复制的性能，具体地：

1、工作量在集群中是不平衡的，如图2所示，所有的复制会话都是在集群的控制节点上创建并运行的。这就对控制节点的CPU和内存性能提出了很高的性能要求，可能会成为性能瓶颈。

2、数据块的复制会分为两步：第一步是从源数据节点到源控制节点；第二步是源控制节点到远端服务器。其中的第一步是不必要且费时的；同时，也增加了复制出错的概率。

3、站在数据去重的角度上，多个复制会话互相独立地工作会导致一定程度的冗余工作量。例如：对于那些支持源端数据去重的备份系统来说，在真实数据被复制到目的备份服务器之前，源数据节点会先通过一条查询命令来查看这块数据的哈希是否在远端服务器已经存在了。如果哈希已经存在了，那么对应的数据块也是存在的，也就不需要再把整个数据块给发送到远端服务器。但是，在现有技术中，多个复制会话会独立地处理他们自己的备份，如果某些数据块(哈希)被多个备份引用的话，他们可能会被查询多次。更糟糕的情况会发生在那些依赖服务器端去重的产品上，因为大量的重复数据传输会造成功能耗时急剧增加。

综上所述，目前复制实现方式具有以下缺点：所有工作都是在源端控制节点上执行的，导致复制效率低下。控制节点上的CPU繁忙度将非常高，成为复制效果的瓶颈。而存储节点上计算能力被完全地浪费。多个复制会话相互独立的执行，无法避免冗余的数据查询和传输。源端数据节点和源端控制节点间的数据传输是不必要的，将导致额外的复制时间和增加复制失败的可能性。因此，目前急需一种数据备份方法来解决上述问题。

发明内容

本发明实施例提供一种适用于基于哈希的多节点备份系统的数据备份方法，用以解决现有技术中的上述至少一个问题。

本发明实施例提供一种适用于基于哈希的多节点备份系统的数据备份方法，在数据节点中执行以下处理：