[发明专利]一种基于SAPCI可变长分块的文件间增量同步方法

说明书

本发明公开了一种基于SAPCI可变长分块的文件间增量同步方法，包括以下步骤：S1、备份服务器对备份文件进行文件分块；S2、备份服务器利用MD5对备份文件分块后的各小块分别进行加密和整合，把加密和整合的结果发送至源服务器；S3、在源服务器中同样对发生变动的源文件使用相同的SAPCI算法进行文件分块，并同样利用MD5对源文件分块后的各小块进行加密；S4、在源服务器中通过对比从备份服务器发送过来的MD5数据和自身对源文件进行分块并计算后的MD5数据，从而得到增量数据块和非增量数据块；S5、源服务器整合增量数据和匹配数据，并把增量数据和匹配数据发送至备份服务器；S6、备份服务器对备份文件进行整合。

技术领域

本发明属于计算机文件间增量领域，具体涉及一种基于SAPCI可变长分块的文件间增量同步方法

背景技术

当今世界信息技术飞速发展，数字技术产生的数据正在爆发性增长，同时为了保证系统的容错性，往往会往系统中添加多个备份服务器，并生成多个备份文件，随着数据量的飞速增长，源文件与备份文件间的同步问题已经是不可被忽视的一个重要问题。

在目前，文件间进行增量同步的传统算法主要是应用Rsync算法实现的，Rsync算法基于文件固定长度分块以及滚动校验，能较为精确定位出源文件与备份文件之间的增量数据，但是由于固定长度分块算法的设计缺陷，该分块算法对字节偏移抵抗能力非常差，文件的轻微变动将导致文件后续分块边界的集体偏移[邓雪峰,孙瑞志，张永瀚，等.基于数据位图的滑动分块算法[J].计算机研究与发展，2014，51(Suppl.):30－38.]，因此Rsync算法除了计算强校验码外，还需要额外计算弱校验码，并且在源服务器端进行滚动校验，这就导致极大地增大了源服务器的CPU计算负担，以及极大地增加了校验耗时[A.Tridgell,“Efficient algorithms for sorting and synchronization,”https://www.sama.org//～tridge/phd_thesis.pdf,accessed February,1999.]。基于Rsync算法的固有缺陷，可变长分块(CDC)应运而生，该类算法对文件进行分块时的分块边界是根据一定条件来设计的，只有当算法达到对应条件时才会进行边界划分，因此并不会因为文件的轻微变动直接导致大量后续分块边界的集体偏移，而这就为把该算法应用于文件间增量同步提供了足够的可能。

发明内容

本发明的目的是提出基于SAPCI(自适应-区间奇偶校验)可变长分块的文件间增量同步方法。

本发明的目的至少通过如下技术方案之一实现。

一种基于SAPCI可变长分块的文件间增量同步方法，包括以下步骤：

S1、需要进行增量同步的备份服务器(Backup Server)对备份文件(Backup File)基于SAPCI算法进行文件分块；

S2、备份服务器利用信息摘要算法MD5(Message-Digest，MD5Algorithm)对备份文件分块后的各小块分别进行加密和整合，生成MD5列表List_backup-MD5，最终把加密和整合的结果即MD5列表List_backup-MD5发送至源服务器(Source Server)；

S3、在源服务器中同样对发生变动的源文件(Source File)使用与步骤S1相同的SAPCI算法进行文件分块，并同样利用MD5对源文件分块后的各小块进行加密，各小块加密后的结果为MD5_src-i，其中src代表对源文件分块后的各小块进行加密，i＝0,1,2,3,4,5…,代表着对源文件分块后各小块的编号顺序，完成加密后同样把加密后的结果MD5_src-i按照编号顺序存储于源服务器的内存中形成MD5列表List_src-MD5，其中该步骤与步骤S1、步骤S2同步进行；

S4、在源服务器中获取增量数据块和非增量数据块；