[发明专利]一种基于源端数据重删的卷复制方法

说明书

本发明提供一种基于源端数据重删的卷复制方法，所述卷复制方法包括以下步骤：S1，对源卷创建快照；S2，遍历所述快照，形成数据流，S3，对所述数据流进行重删处理；S4，发送经过重删处理的数据流；S5，接收所述数据流，对重删数据进行还原，并将所接收的全部数据写入存储到对应的位置上，再对其做快照。本发明能够减少复制网络中的数据传输量，提高远程复制整体的效率，节省系统资源。

技术领域

本发明涉及一种卷复制方法，特别是涉及一种基于源端数据重删的卷复制方法。

背景技术

当前，随着信息化技术的不断发展，人们需要保存的资料、数据越来越多，数据对人们的工作、生活也越来越重要。数据的保存和数据的安全也显得越来越重要了，出现了各种各样的数据备份技术和产品。如针对前端主机的数据备份，将主机上的数据拷贝到其他的存储介质上进行保存，以便将来当原有数据丢失时，能够再找回来。基于存储后端的备份技术。有对存储卷或者文件系统做快照、创建克隆等本地的数据备份方式和将生成的快照备份到异地的存储介质上面的复制，异步远程镜像等技术。

通过快照技术实现卷复制过程中，卷中很多数据可能是相同的。在传输过程中，很多数据是相同的，或者有些文件只是修改了很少的部分，绝大多数是相同的。但在传输中，传输的是整个卷的数据。即使是一样的数据，也需要传输多次到目的端。而现有的卷复制一般用于异地数据保护，如两地三中心等这种场景，网络一般采用10/100Mb专线网络，相比本地的数据读写速度慢很多，网络就成为了整个系统的瓶颈。如何在不增加网络带宽的情况下，提高卷复制的整体效率，成为该发明需要解决的首要问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于源端数据重删的卷复制方法，用于解决现有技术中卷复制整体效率低、复制网络中数据传输量大的问题。

为实现上述目的及其他相关目的，本发明提供一种基于源端数据重删的卷复制方法，其特征在于，所述卷复制方法包括以下步骤：S1，对源卷创建快照；S2，遍历所述快照，形成数据流，S3，对所述数据流进行重删处理；S4，发送经过重删处理的数据流；S5，接收所述数据流，对重删数据进行还原，并将所接收的全部数据写入存储到对应的位置上，再对其做快照。

于本发明的一实施例中，步骤S2中形成的数据流以文件系统的数据块为最小单位，每个所述数据块的前部分为此数据块的元数据，后部分为此数据块的内容。

于本发明的一实施例中，所述元数据用于描述数据块的属性，至少包括所述数据块的标示符、所述数据块在数据对象中的偏移、所述数据块的位置。

于本发明的一实施例中，所述步骤S3包括如下步骤：S31，将每一个所述数据块与其他所述数据块进行比较，确定是否是重复数据块，若是，则执行步骤S32；否则，执行步骤S33；S32，在所述数据块的元数据中增加重复数据块的元数据信息，并仅将增加后的元数据插入到所述数据流中；S33，将所述数据块插入到所述数据流中。

于本发明的一实施例中，所述步骤S31具体包括如下步骤：S311，建立初始为空的指纹库；S312，遍历所述数据块，计算其指纹值；S313，逐一将所述数据块的指纹值与所述指纹库中的指纹值进行对比，判断所述指纹库中是否存在相同的指纹值，若是，则执行步骤S32；否则，将所述指纹值插入到所述指纹库中以更新指纹库，并执行步骤S33。

于本发明的一实施例中，所述步骤S312中采用哈希算法sha-256计算数据块的指纹值。

于本发明的一实施例中，所述步骤S32中所增加的元数据信息至少包括重复数据块的唯一标示符、重复数据块在数据对象中的偏移、原数据块的位置。

于本发明的一实施例中，经过重删处理后的数据块形成重删数据块，所述重删数据块的元数据中包含两个位置信息，分别为原数据块的位置以及数据块写入的位置。