[发明专利]一种全分布式文件索引及协作编辑机制的实现方法

说明书

本发明公开一种全分布式文件索引及协作编辑机制的实现方法，包括：将文件夹信息采用Key‑value字典文件形式存储于Swift存储介质中，对文件夹操作变为文件夹索引文件修改操作；采用补丁提交方式进行文件更新；在API和Swift间建立中间层，接收提交的补丁文件；中间层负责合并向该节点提交的补丁；所有中间层节点协同在分布式线段树上合并得到合并所有更改的补丁；将原文件与补丁合并作为原文件最终版本。本发明既提供了分布式、高度稳定的文件索引系统，又统一了文件操作与文件夹操作，提出了一套离线协作编辑机制，弥补了Openstack Swift为追求完全分布式而牺牲的文件操作原子性及不良的文件索引支持。

技术领域

本发明涉及互联网技术领域，尤其涉及一种全分布式文件索引及协作编辑机制的实现方法。

背景技术

在“云”的概念如此流行的今天，云计算、云存储等应用已经较为成熟，为人们生活带来便利。云存储，即将数据通过上传、下载或同步的方式托管至云端，以其跨平台、限制弱、可靠性高的特征在网络普及率较高的现今发挥着重要的作用，可免去用户在不同设备间拷贝数据的麻烦，并可给用户提供不会丢失、不会损坏的重要数据备份仓库。在这样的背景下，各大商业云存储服务纷纷崛起，从Dropbox、Google Docs到国内的百度网盘，但其依托的下层技术都是各自实现的分布式对象存储系统：如Dropbox的对象容器是Amazon S3。

由于商业云存储技术细节均未知，故开源界也出现了海量的分布式文件系统，如Hadoop框架下的HDFS，Ceph，以及Openstack项目的Swift。Swift号称开源版的Amazon S3，提供任意大小的对象在任意集群上的存储服务。其有以下几个优点：1、架构高度分布式，其担任任何角色的节点均可扩展，平等节点的功能高度对称，不存在单点失败(Single NodeFailure)。与之相比，HDFS的文件元数据与索引存储于单台机器；而Ceph在存储访问上有主从结构，这都限制了其在超大集群的可扩展性。2、支持吞吐量大，由于其采取最终一致(Eventually Consistent)的策略，无需收到其他节点的阻塞即可完成数据存取。

但是，相对其他云存储项目，Swift仍存在如下不足：1、原子操作过少，Swift仅支持读、写(覆盖)两个原子操作，相较而言Ceph支持追加(Append)和缩减(Truncate)操作，结合其弱一致性，在Swift上存储有修改需求的元数据文件较为困难。2、原生文件层次支持差，作为可用的文件系统，文件夹支持是必不可少的。然而在Swift中，文件夹通过文件名前缀方式维护，导致对文件夹的批量操作没有原子性，带来较差的使用体验。那么，在保留以Openstack为代表的算法全分布式、完全可扩展的特色上增加文件的原子性更改操作、优化文件系统层次处理方式则成了尚未完全探索的问题。

发明内容

本发明的目的在于通过一种全分布式文件索引及协作编辑机制的实现方法，来解决以上背景技术部分提到的问题。

为达此目的，本发明采用以下技术方案：

一种全分布式文件索引及协作编辑机制的实现方法，其包括如下步骤：

S101、将文件夹信息采用Key-value字典文件形式存储于Swift存储介质中，对文件夹的操作变为文件夹索引文件的修改操作；

S102、采用补丁提交方式进行文件更新；

S103、在使用者API和Swift间建立中间层，接收提交的补丁文件；

S104、中间层负责合并向该节点提交的补丁；

S105、所有的中间层节点协同在分布式线段树上合并得到合并所有更改的补丁；

S106、将原文件与该补丁合并作为原文件最终版本。