[发明专利]一种基于内容分块的远程文件实时更新方法

摘要

本发明公开了一种基于内容分块的远程文件实时更新方法，目的是为分布式存储系统提供一种低网络传输开销的文件增量更新方法，使得分布式存储系统能以较低的开销支持文件随机写。技术方案是先对原文件F_old文件分块存储，采用Hash算法为每个数据块计算摘要，再对数据块的开头和结尾各采用rabin-fingerprinting算法计算一个指纹，采用基于CDC的数据分块方式对照原文件F_old的分块信息，对新文件F_new分块并采用Hash算法为F_new每个数据块计算摘要，对比F_old数据块和F_new数据块的摘要，找出发生变化数据块，将需删除的数据块从F_old删除，将需更新的数据块添加到F_old。采用本发明能使得分布式存储系统能以较低的开销支持文件随机写。

主权项

一种基于内容分块的远程文件实时更新方法，其特征在于包括以下步骤：第一步，对F_old文件分块存储，方法是采用固定大小分块的策略将文件分成n块，按顺序将文件从前往后划分成大小相同的数据块，数据块的大小K根据应用不同设置，记每一个数据块为chunk₁、chunk₂、…、chunk_n，最后一个数据块chunk_n的大小小于或等于其他数据块的大小，n为正整数，n＝L/K上取整，其中L为文件大小；第二步，采用Hash算法为chunk₁、chunk₂、…、chunk_n计算摘要，记每一个数据块的摘要为hash₁、hash₂、…、hash_n；再对数据块的开头和结尾各采用rabin‑fingerprinting算法计算一个指纹，方法是：除第一个数据块外每一个数据块选取所属数据块开头48字节的内容，除最后一个数据块外每一个数据块选取结尾48字节的内容，采用rabin‑fingerprinting算法计算每个数据块的指纹值，记这些指纹值为第一数据块结尾指纹finpr‑back₁、第二数据块开头指纹finpr‑front₂、第二数据块结尾指纹finpr‑back₂、…、第n‑1数据块开头指纹finpr‑front_n‑1、第n‑1数据块开头指纹finpr‑back_n‑1、第n数据块开头指纹finpr‑front_n；第三步，用户终端从云端服务器下载原始文件F_old和分块信息，并进行更新操作，得到F_new；第四步，用户终端采用基于CDC的数据分块方式对F_new分块，采用一个48字节的滑动窗口，窗口长度须与rabin‑fingerprinting的数据块长度一致，从F_new的起始部分开始执行以下动作：4.1为当前窗口内的48字节的内容采用rabin‑fingerprinting计算一个指纹finpr；4.2把指纹finpr与finpr‑back₁、finpr‑back₂、…、finpr‑back_k、…、finpr‑back_n‑1作对比，若存在finpr‑back_k与finpr相等，其中1≤k<n，则转入步骤4.3；若不存在finpr‑back_k与finpr相等，则判断是否到F_new的尾部，若到F_new的尾部则转第五步，如果未到F_new的尾部，把窗口向后滑动1个字节，并转步骤4.1，其中1≤k<n；4.3把滑动窗口向F_new的尾部方向滑动48个字节，采用rabin‑fingerprinting算法为窗口内的48字节的内容计算指纹finpr_next，并把finpr_next和finpr‑front_k+1作对比，若finpr_next和finpr‑front_k+1相等，说明当前窗口是分块的边界，从当前窗口的起始地址处分块，其分块的内容为更新后的一个数据块，记为chunk_i'，其中i初始值为1，并在之后分块时进行自增操作，记分块结束时i值为m；若finpr_next和finpr‑front_k+1不相等，说明当前窗口不是分块的边界，将窗口向F_new的起始处滑动47个字节，即相对步骤4.2存在finpr‑back_k与finpr相等时的窗口位置向后滑动了1个字节，转步骤4.1；第五步，采用与第二步中相同的Hash算法为更新后的数据块chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'计算摘要，得到更新后的每个数据块的摘要hash₁'、hash₂'、…、hash_i'、…、hash_m'；第六步，对比更新前的数据块序列chunk₁、chunk₂、…、chunk_j、…、chunk_n和更新后的数据块序列chunk₁'、chunk₂'、…、chunk_i'、…、chunk_m'，其中1≤i≤m，1≤j≤n，对比数据块的摘要，根据摘要是否相等判断两个数据块是否相同，找出发生变化数据块，方法如下：用curBefore指示当前比较到的更新前文件F_old的数据块的下标，则当前F_old中的数据块为chunk_curBefore，数据块的hash值为hash_curBefore，curAfter指示当前比较到的更新后文件F_new的数据块的下标，则当前F_new中的数据块为chunk_curAfter'，数据块的hash值为hash_curAfter'，curBefore和curAfter初始值都为1，用数组RedundantBlock记录F_old中有但F_new中没有的数据块编号，即需要删除的数据块编号，用数组NewBlock记录F_old中没有但F_new中有的数据块编号，即需要添加到F_old中的数据块编号；6.1将hash_curAfter'与数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j、…、chunk_n的摘要hash_curBefore、hash_curBefore+1、…、hash_j、…、hash_n进行比较，若存在某个数据块的摘要hash_k与hash_curAfter'相等，执行步骤6.2，否则执行步骤6.3；6.2存在hash_j与hash_curAfter'相等说明F_old中数据块chunk_k与F_new中数据块chunk_curAfter'是相同的，不需要重新存储，同时也说明F_new内容中已经不包含F_old的数据块chunk_curBefore、chunk_curBefore+1、…、chunk_j‑1，需要删除，将需要删除的数据块编号curBefore、curBefore+1、…、j‑1存入到数组RedundantBlock中；若j不等于原有数据块数量n，执行步骤6.4，否则执行步骤6.5；6.3将新数据块编号curAfter加入数组NewBlock中，curBefore不变，curAfter增加1，若curAfter小于或等于m，执行步骤6.1，否则，执行步骤6.6；6.4为curBefore赋新值j，curAfter增加1，若curAfter小于或等于更新数据块数量m，执行步骤6.1，否则，执行步骤6.6；6.5当j等于n时，将编号curAfter、curAfter+1、…、m加入到数组NewBlock中，执行第七步；6.6当curAfter等于m时，将编号curBefore、curBefore+1、…、n加入到数组RedundantBlock中，执行第七步；第七步，将数组RedundantBlock中记录的数据块从云端服务器F_old文件中删除，将数组NewBlock中记录的数据块从用户终端F_new文件中通过网络上传到云端服务器，进行文件块的拼接，拼接过程如下：7.1设置变量i指向F_new数据块和变量j指向F_old数据块，i和j的初值均为1，记新生成文件为F；7.2如果j大于n，转第八步；7.3如果j指向的数据块不在RedundantBlock中记录，则将j指向的数据块加入F，j增1，执行步骤7.2；如果j指向的数据块在RedundantBlock中记录，则j自增到j指向的数据块不在RedundantBlock中记录或j大于n，i自增到i指向的数据块在NewBlock中记录，如果i大于m执行步骤7.2，否则将i指向的数据块加入F，转7.4；7.4变量i自增，如果i指向的数据块在NewBlock中记录，将i指向的数据块加入F，转步骤7.4，否则转步骤7.2。第八步，结束，文件更新完成，文件F即为F_new在云端的副本。