[发明专利]一种基于内容分块的远程文件实时更新方法

权利要求书

1.一种基于内容分块的远程文件实时更新方法，其特征在于包括以下步骤：

第一步，对F_old文件分块存储，方法是采用固定大小分块的策略将文件分成n块，按顺序将文件从前往后划分成大小相同的数据块，数据块的大小K根据应用不同设置，记每一个数据块为chunk₁、chunk₂、…、chunk_n，最后一个数据块chunk_n的大小小于或等于其他数据块的大小，n为正整数，n＝L/K上取整，其中L为文件大小；

第二步，采用Hash算法为chunk₁、chunk₂、…、chunk_n计算摘要，记每一个数据块的摘要为hash₁、hash₂、…、hash_n；再对数据块的开头和结尾各采用rabin-fingerprinting算法计算一个指纹，方法是：除第一个数据块外每一个数据块选取所属数据块开头48字节的内容，除最后一个数据块外每一个数据块选取结尾48字节的内容，采用rabin-fingerprinting算法计算每个数据块的指纹值，记这些指纹值为第一数据块结尾指纹finpr-back₁、第二数据块开头指纹finpr-front₂、第二数据块结尾指纹finpr-back₂、…、第n-1数据块开头指纹finpr-front_n-1、第n-1数据块开头指纹finpr-back_n-1、第n数据块开头指纹finpr-front_n；

第三步，用户终端从云端服务器下载原始文件F_old和分块信息，并进行更新操作，得到F_new；

第四步，用户终端采用基于CDC的数据分块方式对F_new分块，采用一个48字节的滑动窗口，窗口长度须与rabin-fingerprinting的数据块长度一致，从F_new的起始部分开始执行以下动作：

4.1为当前窗口内的48字节的内容采用rabin-fingerprinting计算一个指纹finpr；

4.2把指纹finpr与finpr-back₁、finpr-back₂、…、finpr-back_k、…、finpr-back_n-1作对比，若存在finpr-back_k与finpr相等，其中1≤k<n，则转入步骤4.3；若不存在finpr-back_k与finpr相等，则判断是否到F_new的尾部，若到F_new的尾部则转第五步，如果未到F_new的尾部，把窗口向后滑动1个字节，并转步骤4.1，其中1≤k<n；

4.3把滑动窗口向F_new的尾部方向滑动48个字节，采用rabin-fingerprinting算法为窗口内的48字节的内容计算指纹finpr_next，并把finpr_next和finpr-front_k+1作对比，若finpr_next和finpr-front_k+1相等，说明当前窗口是分块的边界，从当前窗口的起始地址处分块，其分块的内容为更新后的一个数据块，记为chunk_i'，其中i初始值为1，并在之后分块时进行自增操作，记分块结束时i值为m；若finpr_next和finpr-front_k+1不相等，说明当前窗口不是分块的边界，将窗口向F_new的起始处滑动47个字节，即相对步骤4.2存在finpr-back_k与finpr相等时的窗口位置向后滑动了1个字节，转步骤4.1；

第五步，采用与第二步中相同的Hash算法为更新后的数据块chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'计算摘要，得到更新后的每个数据块的摘要hash₁'、hash₂'、…、hash_i'、…、hash_m'；

第六步，对比更新前的数据块序列chunk₁、chunk₂、…、chunk_j、…、chunk_n和更新后的数据块序列chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'，其中1≤i≤m，1≤j≤n，对比数据块的摘要，根据摘要是否相等判断两个数据块是否相同，找出发生变化数据块，方法如下：

用curBefore指示当前比较到的更新前文件F_old的数据块的下标，则当前F_old中的数据块为chunk_curBefore，数据块的hash值为hash_curBefore，curAfter指示当前比较到的更新后文件F_new的数据块的下标，则当前F_new中的数据块为chunk_curAfter'，数据块的hash值为hash_curAfter'，curBefore和curAfter初始值都为1，用数组RedundantBlock记录F_old中有但F_new中没有的数据块编号，即需要删除的数据块编号，用数组NewBlock记录F_old中没有但F_new中有的数据块编号，即需要添加到F_old中的数据块编号；

6.1将hash_curAfter'与数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j、…、chunk_n的摘要hash_curBefore、hash_curBefore+1、…、hash_j、…、hash_n进行比较，若存在某个数据块的摘要hash_k与hash_curAfter'相等，执行步骤6.2，否则执行步骤6.3；

6.2存在hash_j与hash_curAfter'相等说明F_old中数据块chunk_k与F_new中数据块chunk_curAfter'是相同的，不需要重新存储，同时也说明F_new内容中已经不包含F_old的数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j-1，需要删除，将需要删除的数据块编号curBefore、curBefore+1、…、j-1存入到数组RedundantBlock中；若j不等于原有数据块数量n，执行步骤6.4，否则执行步骤6.5；

6.3将新数据块编号curAfter加入数组NewBlock中，curBefore不变，curAfter增加1，若curAfter小于或等于m，执行步骤6.1，否则，执行步骤6.6；

6.4为curBefore赋新值j，curAfter增加1，若curAfter小于或等于更新数据块数量m，执行步骤6.1，否则，执行步骤6.6；

6.5当j等于n时，将编号curAfter、curAfter+1、…、m加入到数组NewBlock中，执行第七步；

6.6当curAfter等于m时，将编号curBefore、curBefore+1、…、n加入到数组RedundantBlock中，执行第七步；

第七步，将数组RedundantBlock中记录的数据块从云端服务器F_old文件中删除，将数组NewBlock中记录的数据块从用户终端F_new文件中通过网络上传到云端服务器，进行文件块的拼接，拼接过程如下：

7.1设置变量i指向F_new数据块和变量j指向F_old数据块，i和j的初值均为1，记新生成文件为F；

7.2如果j大于n，转第八步；

7.3如果j指向的数据块不在RedundantBlock中记录，则将j指向的数据块加入F，j增1，执行步骤7.2；

如果j指向的数据块在RedundantBlock中记录，则j自增到j指向的数据块不在RedundantBlock中记录或j大于n，i自增到i指向的数据块在NewBlock中记录，如果i大于m执行步骤7.2，否则将i指向的数据块加入F，转7.4；

7.4变量i自增，如果i指向的数据块在NewBlock中记录，将i指向的数据块加入F，转步骤7.4，否则转步骤7.2。

第八步，结束，文件更新完成，文件F即为F_new在云端的副本。