[发明专利]一种基于内容分块的远程文件实时更新方法

说明书

技术领域

本发明涉及分布式存储系统中数据更新方法，尤其指支持广域网级应用的分布式存储系统中的数据更新方法。

背景技术

随着云存储的快速发展，存储技术正在发生革命性的变化。传统文件系统已无法满足海量数据存储的需求，分布式存储系统应运而生。典型的分布式存储系统包括主从结构的分布式文件系统如Google公司的GFS（Google File System）、开源项目Hadoop的HDFS，以及扁平式环形结构的key-value存储系统如Amazon公司的Dynamo、Facebook公司的Cassandra等。

分布式存储系统在存储容量、可扩展性、可靠性以及性能等方面表现出了特有的优势，因而在海量数据处理中的应用越来越广泛，正逐渐演变成企业IT框架的一个部分。然而，现有的主流分布式存储系统虽然在大容量、可伸缩性等方面能够提供很好支持，但也存在诸多问题，目前主流的分布式存储系统，如GFS、HDFS等，大部分文件的更新是通过添加新数据完成的，而不是改变已存在的数据，即只支持文件的追加操作，而不支持文件的随机写。

CDC是基于内容分块(content-defined chunking)的简称，是重复数据删除技术中所广泛采用的一种检测不同文件中相同数据内容的技术。其基本思想是基于文件内容对文件进行分块，从而能够最大限度地检测出不同文件中的相同内容。其基本方法是用一个固定大小的滑动窗口从头到尾扫描文件内容，每次移动窗口都采用RabinFingerpring算法（Broder A Z.的文章Some applications of Rabin’s fingerprinting method所述）计算一个48位指纹序列，并将指纹与一个初始定义的指纹相比，若相等则从当前窗口处将文件断开分块。分块的基础是一段内容，即对比原文件产生的指纹和新文件产生的指纹，而不是固定的大小，从而可以最大限度地检测出不同文件之中相同的数据块。现有的方法主要将更新文件完全发回分布式存储系统，会加重网络传输开销和影响存储系统的IO网络性能，尤其是在IO访问量较大的情况。

如何解决分布式存储系统更新开销高，普遍不支持文件随机写的问题是本领域技术人员关注的重要技术问题，有效减少文件更新过程中的网络传输开销，可应用于支持广域网级应用的分布式存储系统，但目前主流的GFS、HDFS等分布式存储系统也存在着不足，只支持文件的追加操作，而不支持文件的随机写。

发明内容

本发明要解决的技术问题是为支持广域网级应用的分布式存储系统提供一种低网络传输开销的文件增量更新方法，使得分布式存储系统能以较低的开销支持文件随机写。为方便描述，记在云端服务器存贮的原文件为F_old，用户更新后文件为F_new。

本发明的技术方案包括以下步骤：

第一步，对F_old文件分块存储。为了在文件更新过程中减少通过网络传输的数据量，将文件分块存储，在文件内容发生变化的时候，对比更新前后的文件内容，确定发生变化的数据块，在更新时只传输发生变化的数据块，减少传输的数据量，降低网络传输开销，提高文件更新的效率。

采用固定大小分块的策略将文件分成n块，按顺序将文件从前往后划分成大小相同的数据块，数据块的大小K可根据应用不同设置，默认K是2M，记每一个数据块为chunk₁、chunk₂、…、chunk_n，最后一个数据块chunk_n的大小小于或等于其他数据块的大小，n为正整数，n＝L/K上取整，其中K为文件大小。